KR20190133425A - Program and method for displaying surgical assist image - Google Patents

Program and method for displaying surgical assist image Download PDF

Info

Publication number
KR20190133425A
KR20190133425A KR1020180058354A KR20180058354A KR20190133425A KR 20190133425 A KR20190133425 A KR 20190133425A KR 1020180058354 A KR1020180058354 A KR 1020180058354A KR 20180058354 A KR20180058354 A KR 20180058354A KR 20190133425 A KR20190133425 A KR 20190133425A
Authority
KR
South Korea
Prior art keywords
surgical
image
computer
displaying
surgery
Prior art date
Application number
KR1020180058354A
Other languages
Korean (ko)
Inventor
이종혁
형우진
양훈모
김호승
Original Assignee
(주)휴톰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴톰 filed Critical (주)휴톰
Priority to KR1020180058354A priority Critical patent/KR20190133425A/en
Publication of KR20190133425A publication Critical patent/KR20190133425A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles

Abstract

Disclosed is a surgical assistant image displaying method which can minimize time delay caused by data transmission. The surgical assistant image displaying method comprises: allowing a computer to obtain a surgical image including at least a portion of a body part of a subject and a surgical instrument; allowing the computer to display the obtained surgical image; allowing the computer to determine a surgical situation corresponding to the surgical image; and allowing the computer to display a surgical assistant image corresponding to the surgical situation.

Description

수술보조 영상 표시방법 및 프로그램 {PROGRAM AND METHOD FOR DISPLAYING SURGICAL ASSIST IMAGE}PROGRAM AND METHOD FOR DISPLAYING SURGICAL ASSIST IMAGE}

본 발명은 수술보조 영상 표시방법 및 프로그램에 관한 것이다. The present invention relates to a method and program for displaying a surgical aid image.

수술과정에서, 의사의 수술을 보조하기 위한 정보를 제공할 수 있는 기술들의 개발이 요구되고 있다. 수술을 보조하기 위한 정보를 제공하기 위해서는, 수술행위를 인식할 수 있어야 한다. In the surgical procedure, there is a need for the development of technologies that can provide information to assist the surgeon's surgery. In order to provide information to assist the surgery, the operation must be recognizable.

기존에는 수술 프로세스를 최적화 하기 위한 시나리오 구상을 위해서는 사전에 촬영된 의료영상을 참고하거나 매우 숙련된 의사의 자문을 받았으나, 의료영상만으로는 불필요한 프로세스의 판단이 어려웠으며 숙련된 의사의 자문은 특정 환자에 맞는 자문을 받기에 어려운 문제점이 있었다.Conventionally, in order to design a scenario for optimizing a surgical process, a previously taken medical image or a highly skilled doctor was consulted. However, the medical image alone was difficult to judge unnecessary processes. There was a difficult problem to consult.

따라서, 의료영상이나 숙련된 의사의 자문은 수술대상 환자에 대한 수술프로세스의 최적화를 위한 보조 용도로는 활용되기 어려운 점이 많았다.Therefore, medical imaging and the advice of an experienced doctor were often difficult to be used as an aid for the optimization of the surgical process for the patient.

이에, 3차원 의료영상(예를 들어, 3차원 수술도구 움직임 및 도구의 움직임으로 인해 발생하는 장기 내부의 변화에 대한 가상영상)을 이용하여 수술을 행하는데 있어서 불필요한 프로세스를 최소화하여 수술 프로세스를 최적화하고, 이에 기반한 수술보조 정보를 제공할 수 있는 방법에 대한 개발이 요구된다.Thus, by optimizing the surgical process by minimizing unnecessary processes in performing surgery using a three-dimensional medical image (for example, a virtual image of the internal movement caused by the movement of the three-dimensional surgical instruments and tools) And, there is a need for the development of a method that can provide surgical assistance information based on this.

또한, 최근에는 의료영상의 분석에 딥 러닝이 널리 이용되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.In recent years, deep learning has been widely used to analyze medical images. Deep learning is defined as a set of machine learning algorithms that attempts to achieve high levels of abstraction (summarizing key content or functions in large amounts of data or complex data) through a combination of several nonlinear transformations. Deep learning can be seen as a field of machine learning that teaches computers how people think in a large framework.

본 발명이 해결하고자 하는 과제는 수술보조 영상 표시방법 및 프로그램을 제공하는 것이다.The problem to be solved by the present invention is to provide a surgical aid image display method and program.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Problems to be solved by the present invention are not limited to the above-mentioned problems, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 수술보조 영상 표시방법은, 컴퓨터가 대상체의 신체부위의 적어도 일부 및 수술도구를 포함하는 수술영상을 획득하는 단계, 상기 획득된 수술영상을 표시하는 단계, 상기 수술영상에 대응하는 수술상황을 판단하는 단계 및 상기 수술상황에 대응하는 수술보조 영상을 표시하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for displaying a surgical assistance image, wherein the computer acquires a surgical image including at least a part of a body part of a subject and a surgical tool, and displays the obtained surgical image. And determining a surgical situation corresponding to the surgical image and displaying a surgical assistant image corresponding to the surgical situation.

또한, 상기 수술상황을 판단하는 단계는, 상기 수술영상에서 상기 대상체의 신체부위 및 수술도구를 인식하는 단계 및 상기 인식된 신체부위, 상기 수술도구의 위치, 상기 수술도구의 방향 및 상기 수술도구의 움직임 중 적어도 하나에 기초하여 상기 수술상황을 판단하는 단계를 포함한다.The determining of the surgical situation may include: recognizing the body part and the surgical tool of the object in the surgical image and the recognized body part, the position of the surgical tool, the direction of the surgical tool, and the surgical tool. Determining the surgical situation based on at least one of the movements.

또한, 상기 수술에 대한 레퍼런스 큐시트데이터를 획득하는 단계를 더 포함하고, 상기 수술상황을 판단하는 단계는, 상기 수술영상에 대응하는, 상기 큐시트데이터에 포함된 세부수술동작을 결정하는 단계를 포함하고, 상기 수술보조 영상을 표시하는 단계는, 상기 세부수술동작에 대응하는 3D 모델링 영상을 표시하는 단계를 포함할 수 있다.The method may further include obtaining reference cue sheet data for the operation, and determining the operation situation may include determining a detailed operation operation included in the cue sheet data corresponding to the operation image. The displaying of the surgical assistance image may include displaying a 3D modeling image corresponding to the detailed surgery operation.

또한, 상기 레퍼런스 큐시트데이터를 획득하는 단계는, 상기 수술상황에 따라 업데이트된 레퍼런스 큐시트데이터를 획득하는 단계를 더 포함할 수 있다.The acquiring the reference cuesheet data may further include acquiring the updated reference cuesheet data according to the surgical situation.

또한, 상기 수술상황을 판단하는 단계는, 상기 수술상황에 대응하는 표준화된 코드데이터를 서버로 송신하는 단계를 더 포함하고, 상기 수술보조 영상을 표시하는 단계는, 서버로부터 상기 수술상황에 대응하는 수술보조 영상의 표준화된 코드데이터를 수신하는 단계, 상기 코드데이터에 대응하는 수술보조 영상을 획득하는 단계 및 상기 획득된 수술보조 영상을 표시하는 단계를 포함할 수 있다.The determining of the surgery situation may further include transmitting standardized code data corresponding to the surgery situation to a server, and displaying the surgery aid image corresponding to the surgery situation from a server. Receiving the standardized code data of the surgical aid image, obtaining a surgical assistant image corresponding to the code data and displaying the obtained surgical assistant image.

또한, 상기 수술보조 영상을 표시하는 단계는, 상기 수술보조 영상을 상기 수술영상에 정합시키는 단계 및 상기 정합된 영상을 표시하는 단계를 포함할 수 있다.The displaying of the surgical assistance image may include matching the surgical assistance image to the surgical image and displaying the matched image.

또한, 상기 수술보조 영상은, 사전에 상기 대상체의 수술부위를 촬영한 의료영상에 기초하여 생성된 3D 모델링 영상을 이용하여 생성된 수술 레퍼런스 영상일 수 있다.The surgical assistance image may be a surgical reference image generated by using a 3D modeling image generated based on a medical image of a surgical region of the subject.

또한, 상기 수술보조 영상을 표시하는 단계는, 상기 수술 레퍼런스 영상에 기초하여 상기 수술영상에 포함된 수술도구의 이동방향을 안내하는 정보를 표시하는 단계를 더 포함할 수 있다.The displaying of the surgical assistance image may further include displaying information for guiding a moving direction of a surgical tool included in the surgical image based on the surgical reference image.

또한, 상기 수술보조 영상을 표시하는 단계는, 상기 수술영상에 표시되지 않거나, 상기 수술영상에서 식별하기 어려운 상기 신체부위의 적어도 일부에 대한 정보를 표시하는 단계를 더 포함할 수 있다.The displaying of the surgical assistance image may further include displaying information on at least a part of the body part that is not displayed on the surgical image or is difficult to identify in the surgical image.

또한, 상기 수술영상에 포함된 수술도구의 위치를 판단하는 단계, 상기 수술영상 및 상기 수술보조 영상을 이용하여 상기 대상체의 신체부위의 적어도 일부와 상기 수술도구의 위치관계를 판단하는 단계 및 상기 판단된 위치관계에 대응하는 피드백을 제공하는 단계를 더 포함할 수 있다.The method may further include determining a position of a surgical tool included in the surgical image, and determining a positional relationship between at least a portion of a body part of the object and the surgical tool using the surgical image and the surgical assistant image. The method may further include providing feedback corresponding to the established positional relationship.

또한, 상기 수술영상은 로봇수술을 수행하는 영상이고, 상기 피드백을 제공하는 단계는, 상기 컴퓨터가 상기 로봇수술을 제어하는 컨트롤러에 상기 판단된 위치관계에 대응하는 햅틱(haptic) 피드백을 제공하는 단계를 포함할 수 있다.In addition, the surgical image is an image for performing a robot operation, the step of providing the feedback, the computer provides a haptic (haptic) feedback corresponding to the determined position relationship to the controller for controlling the robot operation It may include.

또한, 상기 수술보조 영상을 표시하는 단계는, 상기 수술영상에서 적어도 하나의 수술오류(surgical error) 상황이 감지되는 경우, 상기 감지된 수술오류 상황에 대한 피드백을 표시하는 단계를 포함할 수 있다.The displaying of the surgical assistance image may include displaying feedback about the detected surgical error situation when at least one surgical error condition is detected in the surgical image.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따라 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 수술보조 영상 표시방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 제공된다.In accordance with an aspect of the present invention for solving the above problems, there is provided a computer program stored in a computer-readable recording medium to perform the operation-assisted image display method according to the disclosed embodiment, the computer.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

개시된 실시 예에 따르면, 수술시 3D 모델링 영상을 실제수술영상에 정합하여 다양한 정보를 제공할 수 있는 효과가 있다.According to the disclosed embodiment, there is an effect that can provide a variety of information by matching the 3D modeling image to the actual surgical image during surgery.

또한, 개시된 실시 예에 따르면 서버와 제어부 간에 실제 영상 데이터를 전송하는 것이 아니고, 영상 데이터를 나타내는 코드만을 전송하여, 각자가 코드에 대응하는 영상을 획득한다. 따라서, 데이터 전송에 따른 시간지연을 최소화할 수 있는 효과가 있다.In addition, according to the disclosed embodiment, instead of transmitting the actual image data between the server and the control unit, only a code representing the image data is transmitted, so that each image obtains an image corresponding to the code. Therefore, there is an effect that can minimize the time delay caused by data transmission.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 개시된 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.
도 2는 일 실시 예에 따라 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.
도 3은 일 실시 예에 따라 레퍼런스 큐시트데이터를 이용하여 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.
도 4는 일 실시 예에 따라 최적화 큐시트데이터를 산출하는 방법을 도시한 흐름도이다.
도 5는 일 실시 예에 따라 컴퓨터가 서버로부터 수신되는 코드데이터에 기초하여 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.
도 6은 일 실시 예에 따라 컴퓨터가 다양한 종류의 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.1 is a view showing a robot surgery system according to the disclosed embodiment.
2 is a flowchart illustrating a method of displaying a surgical assistant image according to an exemplary embodiment.
3 is a flowchart illustrating a method of displaying a surgical assistant image using reference cuesheet data according to an exemplary embodiment.
4 is a flowchart illustrating a method of calculating optimization cuesheet data according to an exemplary embodiment.
FIG. 5 is a flowchart illustrating a method of displaying, by a computer, a surgical assistant image based on code data received from a server.
6 is a flowchart illustrating a method of displaying various types of surgical aid images by a computer, according to an exemplary embodiment.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be embodied in various different forms, and the present embodiments only make the disclosure of the present invention complete, and those of ordinary skill in the art to which the present invention belongs. It is provided to fully inform the skilled worker of the scope of the invention, which is defined only by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, "comprises" and / or "comprising" does not exclude the presence or addition of one or more other components in addition to the mentioned components. Like reference numerals refer to like elements throughout, and "and / or" includes each and all combinations of one or more of the mentioned components. Although "first", "second", etc. are used to describe various components, these components are of course not limited by these terms. These terms are only used to distinguish one component from another. Therefore, of course, the first component mentioned below may be a second component within the technical spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms used in the present specification (including technical and scientific terms) may be used in a sense that can be commonly understood by those skilled in the art. In addition, terms that are defined in a commonly used dictionary are not ideally or excessively interpreted unless they are specifically defined clearly.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.As used herein, the term "part" or "module" refers to a hardware component such as software, FPGA, or ASIC, and the "part" or "module" plays certain roles. However, "part" or "module" is not meant to be limited to software or hardware. The “unit” or “module” may be configured to be in an addressable storage medium or may be configured to play one or more processors. Thus, as an example, a "part" or "module" may include components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Functions provided within components and "parts" or "modules" may be combined into smaller numbers of components and "parts" or "modules" or into additional components and "parts" or "modules". Can be further separated.

본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다. As used herein, "image" may mean multi-dimensional data composed of discrete image elements (eg, pixels in a 2D image and voxels in a 3D image). For example, the image may include a medical image of the object obtained by the CT imaging apparatus.

본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다. As used herein, an "object" may be a person or an animal, or part or all of a person or an animal. For example, the subject may include at least one of organs such as the liver, heart, uterus, brain, breast, abdomen, and blood vessels.

본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.As used herein, a "user" may be a doctor, a nurse, a clinical pathologist, a medical imaging professional, or the like, and may be a technician who repairs a medical device, but is not limited thereto.

본 명세서에서 "의료영상데이터"는 의료영상 촬영장비로 촬영되는 의료영상으로서, 대상체의 신체를 3차원 모델로 구현 가능한 모든 의료영상을 포함한다. "의료영상데이터"는 컴퓨터 단층촬영(Computed Tomography; CT)영상, 자기공명영상(Magnetic Resonance Imaging; MRI), 양전자 단층촬영(Positron Emission Tomography; PET) 영상 등을 포함할 수 있다.In the present specification, "medical image data" is a medical image photographed by a medical imaging apparatus, and includes all medical images that can be implemented as a three-dimensional model of the body of an object. The medical image data may include a computed tomography (CT) image, a magnetic resonance image (MRI), a positron emission tomography (PET) image, and the like.

본 명세서에서 "가상신체모델"은 의료영상데이터를 기반으로 실제 환자의 신체에 부합하게 생성된 모델을 의미한다. "가상신체모델"은 의료영상데이터를 그대로 3차원으로 모델링하여 생성한 것일 수도 있고, 모델링 후에 실제 수술 시와 같게 보정한 것일 수도 있다.As used herein, the term "virtual body model" refers to a model generated according to the actual patient's body based on medical image data. The "virtual body model" may be generated by modeling medical image data in three dimensions as it is, or may be corrected as in actual surgery after modeling.

본 명세서에서 "가상수술데이터"는 가상신체모델에 대해 수행되는 리허설 또는 시뮬레이션 행위를 포함하는 데이터를 의미한다. "가상수술데이터"는 가상공간에서 가상신체모델에 대해 리허설 또는 시뮬레이션이 수행된 영상데이터일 수도 있고, 가상신체모델에 대해 수행된 수술동작에 대해 기록된 데이터일 수도 있다.As used herein, "virtual surgery data" refers to data including rehearsal or simulation actions performed on a virtual body model. The "virtual surgery data" may be image data for which rehearsal or simulation has been performed on the virtual body model in the virtual space, or may be data recorded for a surgical operation performed on the virtual body model.

본 명세서에서 "실제수술데이터"는 실제 의료진이 수술을 수행함에 따라 획득되는 데이터를 의미한다. "실제수술데이터"는 실제 수술과정에서 수술부위를 촬영한 영상데이터일 수도 있고, 실제 수술과정에서 수행된 수술동작에 대해 기록된 데이터일 수도 있다.As used herein, the term "actual surgery data" refers to data obtained by performing a surgery by an actual medical staff. "Real surgery data" may be image data photographing the surgical site in the actual surgical procedure, or may be data recorded for the surgical operation performed in the actual surgical procedure.

본 명세서에서 "세부수술동작"은 특정한 기준에 따라 분할된 수술동작의 최소단위를 의미한다.As used herein, the term "detailed operation" refers to a minimum unit of a surgical operation divided according to a specific criterion.

본 명세서에서 "큐시트(Cue sheet) 데이터"는, 특정한 수술과정을 세부수술동작으로 분할하여 순서대로 기록한 데이터를 의미한다.As used herein, "Cue sheet data" refers to data recorded by sequentially dividing a specific surgical procedure into detailed surgical operations.

본 명세서에서 "시행 큐시트데이터"는 사용자가 시뮬레이션을 수행한 가상수술데이터를 기반으로 획득되는 큐시트데이터를 의미한다. In this specification, "execution cue sheet data" means cue sheet data obtained based on virtual surgical data on which a user performs a simulation.

본 명세서에서 "훈련용 가상수술 큐시트데이터"는 시행 큐시트데이터에 포함되는 것으로서, 사용자가 수술 모의훈련(Simulation)을 수행하여 획득된 가상수술데이터를 기반으로 생성된 큐시트데이터를 의미한다.As used herein, "training virtual surgery cue sheet data" refers to cue sheet data generated based on virtual surgery data obtained by a user performing surgery simulation.

본 명세서에서 "참고용 가상수술 큐시트데이터"는 학습용 빅데이터 구축 또는 수술프로세스 안내를 위해 특정한 의료인이 수행한 가상수술에 대한 큐시트데이터를 의미한다.In the present specification, "reference virtual surgery cue sheet data" refers to cue sheet data for virtual surgery performed by a specific medical person for constructing learning big data or guiding a surgical process.

본 명세서에서 "최적화 큐시트데이터"는 수술시간 또는 수술 예후 등의 측면에서 최적화된 수술프로세스에 대한 큐시트데이터를 의미한다.As used herein, "optimized cuesheet data" refers to cuesheet data for a surgical process optimized in terms of operation time or surgical prognosis.

본 명세서에서 "학습 큐시트데이터"는 최적화 큐시트데이터 산출을 위한 학습에 이용되는 큐시트데이터를 의미한다.In the present specification, "learning cue sheet data" means cue sheet data used for learning for calculating the optimized cue sheet data.

본 명세서에서 "수술가이드 데이터"는 실제 수술 시에 가이드정보로 이용되는 데이터를 의미한다.In the present specification, "surgical guide data" means data used as guide information in actual surgery.

본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.As used herein, the term "computer" includes all the various devices capable of performing arithmetic processing to provide a result to a user. For example, a computer can be a desktop PC, a notebook, as well as a smartphone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), synchronous / asynchronous The mobile terminal of the International Mobile Telecommunication-2000 (IMT-2000), a Palm Personal Computer (PC), a Personal Digital Assistant (PDA), and the like may also be applicable. In addition, when a head mounted display (HMD) device includes a computing function, the HMD device may be a computer. Also, the computer may correspond to a server that receives a request from a client and performs information processing.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 개시된 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.1 is a view showing a robot surgery system according to the disclosed embodiment.

도 1을 참조하면, 개시된 실시 예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이 도시되어 있다.Referring to FIG. 1, there is shown a simplified schematic diagram of a system capable of performing robotic surgery in accordance with the disclosed embodiments.

도 1에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(20) 및 수술실에 구비된 제어부(30), 영상촬영부(36), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 개시된 실시 예에 따른 로봇수술 시스템에서 생략될 수 있다.According to FIG. 1, the robotic surgical system includes a medical imaging apparatus 10, a server 20, and a control unit 30 provided in an operating room, an imaging unit 36, a display 32, and a surgical robot 34. do. According to an embodiment, the medical imaging apparatus 10 may be omitted in the robot surgery system according to the disclosed embodiment.

일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.In one embodiment, the robot surgery is performed by the user controlling the surgical robot 34 using the control unit 30. In one embodiment, the robot surgery may be automatically performed by the controller 30 without the user's control.

서버(20)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.The server 20 is a computing device including at least one processor and a communication unit.

제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.The controller 30 includes a computing device including at least one processor and a communication unit. In one embodiment, the control unit 30 includes hardware and software interfaces for controlling the surgical robot 34.

영상촬영부(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 영상촬영부(36)는 적어도 하나의 카메라 장치를 포함하여, 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 영상촬영부(36)는 수술로봇(34)과 결합되어 이용된다. 예를 들어, 영상촬영부(36)는 수술로봇(34)의 수술 암(Arm)과 결합된 적어도 하나의 카메라를 포함할 수 있다.The image capturing unit 36 includes at least one image sensor. That is, the image capturing unit 36 includes at least one camera device and is used to photograph the surgical site. In one embodiment, the imaging unit 36 is used in conjunction with the surgical robot 34. For example, the image capturing unit 36 may include at least one camera coupled with a surgical arm of the surgical robot 34.

일 실시 예에서, 영상촬영부(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.In an embodiment, the image photographed by the image capturing unit 36 is displayed on the display 340.

제어부(30)는 서버(20)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.The controller 30 receives information necessary for surgery from the server 20 or generates information necessary for surgery and provides the information to the user. For example, the controller 30 displays the information necessary for surgery, generated or received, on the display 32.

예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.For example, the user performs the robot surgery by controlling the movement of the surgical robot 34 by manipulating the control unit 30 while looking at the display 32.

서버(20)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체(환자)의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다. The server 20 generates information necessary for robotic surgery using medical image data of a subject (patient) previously photographed from the medical image photographing apparatus 10, and provides the generated information to the controller 30.

제어부(30)는 서버(20)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(20)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.The control unit 30 provides the user with the information received from the server 20 on the display 32 or controls the surgical robot 34 using the information received from the server 20.

일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다. In one embodiment, the means that can be used in the medical imaging apparatus 10 is not limited, for example, other various medical image acquisition means such as CT, X-Ray, PET, MRI may be used.

이하에서는, 도면을 참조하여 수술보조 영상을 표시하는 방법에 대하여 상세하게 설명한다.Hereinafter, a method of displaying a surgical assistant image will be described in detail with reference to the accompanying drawings.

도 2는 일 실시 예에 따라 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.2 is a flowchart illustrating a method of displaying a surgical assistant image according to an exemplary embodiment.

도 2에 도시된 각 단계들은 도 1에 도시된 서버(20) 또는 제어부(30)에서 시계열적으로 수행된다. 이하에서는, 설명의 편의를 위하여 각 단계들이 컴퓨터에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행될 수 있다.Each step shown in FIG. 2 is performed in time series in the server 20 or the controller 30 shown in FIG. 1. Hereinafter, for the convenience of description, each step is described as being performed by a computer, but the performing agent of each step is not limited to a specific device, and all or part thereof may be performed by the server 20 or the controller 30. Can be.

도 2를 참조하면, 본 발명의 일실시예에 따른 수술보조 영상 제공방법은, 컴퓨터가 대상체의 신체부위의 적어도 일부 및 수술도구를 포함하는 실제수술영상을 획득하고, 획득된 실제수술영상을 표시하는 단계(S200), 상기 실제수술영상에 대응하는 수술상황을 판단하는 단계(S400) 및 상기 수술상황에 대응하는 수술보조 영상을 표시하는 단계(S600)를 포함한다. 이하, 각 단계에 대한 상세한 설명을 기재한다.Referring to FIG. 2, in a method for providing a surgical assistant image according to an embodiment of the present invention, a computer acquires an actual surgical image including at least a part of a body part of a subject and a surgical tool, and displays the obtained actual surgical image. And a step S200 of determining a surgery situation corresponding to the actual surgery image, and displaying a surgery aid image corresponding to the surgery situation S600. Hereinafter, a detailed description of each step will be described.

컴퓨터가 대상체의 신체부위의 적어도 일부 및 수술도구를 포함하는 실제수술영상을 획득하고, 획득된 실제수술영상을 표시한다(S200).The computer acquires an actual surgical image including at least a part of the body part of the subject and a surgical tool, and displays the obtained actual surgical image (S200).

일 실시 예에서, 실제수술영상은 대상체의 신체부위의 적어도 일부, 즉 수술부위를 포함한다. 예를 들어, 실제수술영상은 대상체의 수술부위에 해당하는 장기를 포함한다. 일 실시 예에서, 실제수술영상은 적어도 하나의 수술도구를 포함한다. 수술도구는 로봇수술을 수행하기 위하여 필요한 도구, 수술로봇의 적어도 일부 및 수술에 사용되는 소모품 등을 포함한다.In one embodiment, the actual surgical image includes at least a part of a body part of the subject, that is, a surgical part. For example, the actual surgical image includes an organ corresponding to the surgical part of the subject. In one embodiment, the actual surgical image includes at least one surgical tool. Surgical instruments include tools necessary for performing robotic surgery, at least a portion of a surgical robot, and consumables used for surgery.

일 실시 예에서, 실제수술영상은 도 1에 도시된 수술로봇(34)에 구비된 영상촬영부(36)로부터 획득된다.In one embodiment, the actual surgical image is obtained from the imaging unit 36 provided in the surgical robot 34 shown in FIG.

컴퓨터는 실제수술영상에 대응하는 수술상황을 판단한다(S400).The computer determines the surgical situation corresponding to the actual surgical image (S400).

일 실시 예에서, 컴퓨터는 실제수술영상에서 대상체의 신체부위 및 수술도구를 인식하고, 인식된 신체부위, 수술도구의 위치, 방향 및 움직임 중 적어도 하나에 기초하여 수술상황을 판단한다.In an embodiment, the computer recognizes the body part and the surgical tool of the subject in the actual surgical image, and determines the surgical situation based on at least one of the recognized body part, the position, the direction, and the movement of the surgical tool.

구체적으로, 컴퓨터는 실제수술영상에서 대상체의 신체부위 및 수술도구를 인식하고, 인식된 신체부위, 수술도구의 위치, 방향 및 움직임 중 적어도 하나에 기초하여 수술상황에 대응하는 세부수술동작을 판단한다.Specifically, the computer recognizes the body part and the surgical tool of the subject in the actual surgical image, and determines the detailed operation motion corresponding to the surgical situation based on at least one of the recognized body part, the position, the direction and the movement of the surgical tool. .

세부수술동작은 수술프로세스를 구성하는 최소 동작 단위이다. 세부수술동작은 여러 기준에 의해 나누어질 수 있다. 예를 들어, 세부수술동작은 수술유형(예를 들어, 복강경수술, 로봇수술), 수술이 수행되는 해부학적 신체부위, 사용되는 수술도구, 수술도구의 개수, 화면상에 수술도구가 나타나는 방향 또는 위치, 수술도구의 움직임(예를 들어, 전진/후퇴) 등을 기준으로 나누어질 수 있다.Detailed surgical motion is the smallest operation unit that constitutes the surgical process. The detailed operation can be divided by several criteria. For example, the detailed surgical motion may include the type of surgery (e.g., laparoscopic surgery, robotic surgery), the anatomical body portion on which the surgery is performed, the surgical tools used, the number of surgical tools, the direction in which the surgical tools appear on the screen, or Location, surgical instrument movement (e.g., forward / retract), and the like.

상기 분할기준과 분할기준 내에 포함되는 세부카테고리는 의료진의 실제수술데이터 학습을 통해 직접 설정될 수 있다. 컴퓨터는 의료진에 의해 설정된 분할기준 및 세부카테고리에 따라 지도(Supervised)학습을 수행하여 최소단위인 세부수술동작으로 실제수술데이터를 분할하고, 실제수술영상에 대응하는 세부수술동작을 판단할 수 있다.The division criteria and the detailed categories included in the division criteria may be directly set through the actual surgical data learning of the medical staff. The computer may perform supervised learning according to the division criteria and the detailed categories set by the medical staff to divide the actual surgical data into the smallest detailed surgical operations, and determine the detailed surgical operations corresponding to the actual surgical images.

또한, 상기 분할기준과 분할기준 내에 포함되는 세부카테고리는 컴퓨터의 실제수술영상 학습을 통해 추출될 수 있다. 예를 들어, 컴퓨터는 빅데이터로 누적된 실제수술데이터를 딥러닝 학습(즉, 비지도학습)하여 분할기준 및 각 분할기준 내 카테고리를 산출할 수 있다. 그 후, 컴퓨터는 실제수술데이터 학습을 통해 생성된 분할기준에 따라 실제수술영상에 대응하는 세부수술동작을 판단한다.In addition, the subdivision criteria and the subcategories included in the subdivision criteria may be extracted through the actual surgical image learning of the computer. For example, the computer may calculate a division criterion and a category within each division criterion by deep learning learning (ie, non-supervised learning) of the actual surgical data accumulated as big data. Thereafter, the computer determines the detailed surgical operation corresponding to the actual surgical image according to the segmentation criteria generated through the actual surgical data learning.

또한, 다른 일실시예로, 실제수술데이터는 영상 인식을 통해 각각의 분할기준에 해당하는지 여부를 파악하여 분할(Segmentation)될 수도 있다. 즉, 컴퓨터는 실제수술데이터의 영상 내 화면에서 분할기준에 해당하는 해부학적 장기 위치, 등장하는 수술도구, 각 수술도구의 개수 등을 인식하여, 세부수술동작 단위로 분할을 수행하고, 실제수술영상에 대응하는 세부수술동작을 판단할 수 있다.Also, in another embodiment, the actual surgery data may be segmented by identifying whether it corresponds to each segmentation standard through image recognition. That is, the computer recognizes the location of the anatomical organs corresponding to the division criteria, the surgical tools appearing, the number of each surgical tool, etc. on the screen in the image of the actual surgical data, and divides them by the unit of detailed surgical operation, and the actual surgical image It is possible to determine the detailed surgical operation corresponding to the.

또한, 다른 일실시예로, 컴퓨터는 실제수술데이터에 포함되는 수술도구 움직임데이터를 기반으로 큐시트데이터 생성을 위한 분할과정을 수행할 수 있다. 실제수술데이터는, 사용자가 로봇수술을 수행하는 경우, 사용자에 의해 선택된 수술도구 종류 및 개수, 각 수술도구의 움직임에 대한 정보 등의 수술로봇을 제어하는 과정에서 입력되는 다양한 정보를 포함할 수 있다. 따라서, 컴퓨터는 실제수술데이터의 각 시점에 포함된 정보를 바탕으로 분할을 수행하고, 실제수술영상에 대응하는 세부수술동작을 판단할 수 있다.In another embodiment, the computer may perform a partitioning process for generating cue sheet data based on the surgical tool motion data included in the actual surgical data. The actual surgery data may include a variety of information input in the process of controlling the surgical robot, such as the type and number of surgical tools selected by the user, information on the movement of each surgical tool when the user performs the robot surgery. . Therefore, the computer may perform the segmentation based on the information included at each time point of the actual surgery data, and determine the detailed surgery operation corresponding to the actual surgery image.

상기 컴퓨터는 수술로봇에 의한 수술과정에서 촬영된 실제수술영상 또는 수술로봇의 제어과정에서 획득된 데이터를 바탕으로 하나 이상의 세부수술동작을 포함하는 실제수술 큐시트데이터를 생성한다.The computer generates actual surgical cuesheet data including one or more detailed surgical operations based on the actual surgical image photographed during the surgical procedure by the surgical robot or the data obtained during the control of the surgical robot.

또한, 일실시예로, 실제수술데이터는 절제, 봉합 등의 다양한 종류의 세부수술동작이 포함되고, 분할기준에 따라 분할(Segmentation)이 수행된다. 구체적으로, 위암수술을 실제로 수행한 실제수술데이터(예를 들어, 실제수술영상)를 세부수술동작으로 분할하여 큐시트데이터로 생성하는 과정을 설명하면 다음과 같다.In addition, in one embodiment, the actual surgical data includes various kinds of detailed surgical operations such as ablation and suture, and segmentation is performed according to the division criteria. In detail, the process of generating the cue sheet data by dividing the actual surgical data (for example, the actual surgical image) that actually performed gastric cancer surgery into detailed surgical operations will be described below.

예를 들어, 위암수술에는 우선 종양을 포함하는 위의 일부 또는 전부를 절제하는 세부수술동작 및 임파선을 절제하는 세부수술동작이 포함된다. 이외에도 위암의 상태에 따라 다양한 절제술 및 연결술이 이용된다. 또한 각각의 세부수술동작은 세부수술동작이 취해지는 구체적인 위치와, 수술도구의 이동방향에 따라 더 세부적인 복수의 세부수술동작으로 분할될 수 있다. For example, gastric cancer surgery includes a subsurgical operation for resecting a part or all of the stomach including a tumor and a suboperative operation for resecting a lymph node. In addition, depending on the state of gastric cancer, various resections and linkages are used. In addition, each subsurface operation may be divided into a plurality of subsurface operations in more detail according to the specific position at which the subsurface operation is taken and the moving direction of the surgical tool.

예로, 위암수술의 세부동작은 우선 개복단계, 절제단계, 연결단계 및 봉합단계 등으로 분할될 수 있다.For example, the detailed operation of gastric cancer surgery may be divided into an open stage, an ablation stage, a connection stage, and a suture stage.

또한, 절제된 장기를 연결하는 방법에는 명치 끝 4-5cm 이상을 절개하고 연결하는 체외문합 방법 또는 배꼽을 3cm 정도 절개하고 복강 내에서 절제 및 문합이 이루어지는 체내문합 방법 등이 포함되는데, 상술한 연결단계는 이와 같은 구체적인 연결방법에 따라 더 상세하게 분할될 수 있다.In addition, the method of connecting the resected organs includes an in vitro anastomosis method of cutting and connecting 4-5 cm or more of the end of the tooth, or an internal anastomosis method in which an abdominal cavity is incised about 3 cm and excision and anastomosis are performed in the abdominal cavity. Can be divided in more detail according to such a specific connection method.

나아가, 각각의 수술방법은 수술도구의 위치 및 움직임에 따라 더 세부적인 복수의 세부수술동작들로 분할될 수 있다.In addition, each surgical method may be divided into a plurality of detailed surgical operations according to the position and movement of the surgical tool.

컴퓨터는 상술한 방법에 따라 수술데이터를 세부수술동작들을 포함하는 큐시트데이터로 분할하고, 실제수술영상에 대응하는 세부수술동작을 판단할 수 있다.The computer may divide the surgical data into cue sheet data including the detailed surgical operations according to the above-described method, and determine the detailed surgical operation corresponding to the actual surgical image.

분할된 각각의 세부수술동작들은 세부수술동작이 수행되는 위치 및 수술도구의 이동경로(pathway)에 기초하여 표준화된 명칭이 부여될 수 있다. Each of the divided suboperative operations may be given a standardized name based on the location where the suboperative operation is performed and the path of the surgical tool.

일 실시 예에서, 표준화된 명칭에 이용되는 용어는 다양하게 정의될 수 있다. 예를 들어 위(stomach)의 하단 오른쪽 특정부위를 다룰때 그 부위의 이름은 의료분야에서 통상적으로 사용중인 이름을 사용할 수 있고, 개시된 실시 예에 따른 시스템에서 정의된, 더 포괄적이거나 세분화된 명칭이 이용될 수 있다.In one embodiment, terms used for standardized names may be variously defined. For example, when dealing with a specific area at the bottom right of the stomach, the name of the site may be a name commonly used in the medical field, and a more generic or refined name defined in the system according to the disclosed embodiments. Can be used.

따라서, 사용자가 실제로 수술을 수행한 수술 영상은 복수의 세부수술동작이 표준화된 명칭에 기초하여 순차적으로 나열된 큐시트 형태의 정보로 정리될 수 있다. Accordingly, the surgical image in which the user actually performs the surgery may be organized into cue sheet-type information sequentially arranged based on a standardized name of the plurality of detailed surgery operations.

또한, 일실시예로, 상기 큐시트데이터는 세부수술동작으로 분할하는 기준에 의해 특정한 자릿수의 코드(Code) 데이터로 생성될 수 있다. 즉, 컴퓨터는 표준화된 분할기준을 적용하고 분할기준 내의 세부카테고리를 지정함에 따라 실제수술데이터를 표준화된 세부수술동작으로 분할하고, 각 세부카테고리에 표준화된 코드값을 부여하여 각 세부수술동작을 구별할 수 있는 표준화된 코드데이터를 부여한다. In addition, as an example, the cue sheet data may be generated as code data having a specific number of digits based on a criterion of dividing into detailed surgical operations. That is, the computer divides the actual surgical data into standardized detailed surgical operations according to the standardized segmentation criteria and specifies the subcategories within the segmentation criteria, and assigns the standardized code values to each subcategory to distinguish each subsurface operation. Gives standardized code data that can be done.

컴퓨터는 분할기준 적용순서에 따라 특정한 세부수술동작이 속하는 상위카테고리부터 차례대로 숫자 또는 문자가 부여되어 디지털(Digital)화된 코드데이터를 각 세부수술동작에 부여한다. 이를 통해, 컴퓨터는 큐시트데이터를 분할된 세부수술동작 영상이 아닌 각 세부수술동작의 표준화된 코드데이터가 나열된 형태로 생성할 수 있다. 또한, 사용자는 표준화된 코드데이터로 이루어진 큐시트데이터만을 제공함에 따라 실제 수술과정을 공유 또는 전달할 수 있다.The computer assigns digital code data to each subsurgical operation by assigning numbers or letters in order from the upper category to which the specific subsurface operation belongs according to the division criteria application order. Through this, the computer may generate the cue sheet data in a form in which standardized code data of each detailed surgery operation is listed, rather than a divided detailed surgery operation image. In addition, the user can share or transmit the actual surgical procedure by providing only the cuesheet data consisting of standardized code data.

일 실시 예에서, 컴퓨터가 수술실에 배치된 클라이언트 단말이거나 제어부(30)에 대응하는 경우, 컴퓨터는 실제수술영상으로부터 표준화된 코드데이터를 획득하고, 획득된 코드데이터를 서버(20)로 전송함으로써 실제 수술과정을 공유 또는 전달할 수 있다.In one embodiment, when the computer is a client terminal disposed in the operating room or corresponds to the control unit 30, the computer obtains the standardized code data from the actual surgery image, and transmits the obtained code data to the server 20 to actually The procedure may be shared or communicated.

마찬가지로, 컴퓨터는 서버(20)로부터 표준화된 코드데이터를 획득하고, 획득된 코드데이터에 기초하여 컴퓨터에 저장된 영상을 획득하거나, 3D 모델링 영상을 렌더링하여 생성할 수 있다.Similarly, the computer may obtain standardized code data from the server 20, obtain an image stored in the computer based on the obtained code data, or render and generate a 3D modeling image.

또한, 일실시예로, 컴퓨터는 각각의 세부수술동작의 표준화된 코드(Code)에 표준화된 명칭을 부여할 수 있다. 이를 통해, 사용자는 전체 큐시트 내에서 원하는 세부수술동작 부분만을 선별하여 확인할 수 있다. 또한, 이 경우, 사용자는 수술 영상을 전부 보지 않아도, 각각의 세부수술동작이 표준화된 명칭에 기초하여 순차적으로 나열된 큐시트를 보는 것만으로도 수술의 진행과정을 용이하게 파악할 수 있다.Also, in one embodiment, the computer may assign a standardized name to the standardized code of each subsurface operation. Through this, the user can select and confirm only the desired detailed surgical operation part in the entire cue sheet. In this case, the user can easily grasp the progress of the surgery simply by looking at the cue sheets sequentially arranged on the basis of the standardized name of each detailed operation without having to see all of the surgery images.

컴퓨터는 수술상황에 대응하는 수술보조 영상을 표시한다(S600).The computer displays a surgical assistant image corresponding to the surgical situation (S600).

일 실시 예에서, 수술보조 영상은 사전에 대상체의 수술부위를 촬영한 의료영상에 기초하여 생성된 3D 모델링 영상을 이용하여 생성된 수술 레퍼런스 영상일 수 있으나, 이에 제한되지 않는다.In one embodiment, the surgical aid image may be a surgical reference image generated by using a 3D modeling image generated based on a medical image of a surgical region of the subject in advance, but is not limited thereto.

다른 일 실시 예에서, 수술보조 영상은 컴퓨터에 기 저장된 수술 참고영상을 포함한다. 컴퓨터는 수술상황에 대응하는 수술 참고영상을 표시할 수 있다.In another embodiment, the surgical assistance image includes a surgical reference image previously stored in a computer. The computer may display a surgical reference image corresponding to the surgical situation.

도 3은 일 실시 예에 따라 레퍼런스 큐시트데이터를 이용하여 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.3 is a flowchart illustrating a method of displaying a surgical assistant image using reference cuesheet data according to an exemplary embodiment.

도 3을 참조하면, 컴퓨터는 수술에 대한 레퍼런스 큐시트데이터를 획득한다(S610).Referring to FIG. 3, the computer obtains reference cuesheet data about the operation (S610).

일 실시 예에서, 레퍼런스 큐시트데이터는 참고용 가상수술 큐시트데이터를 의미한다. In one embodiment, the reference cue sheet data refers to the virtual surgical cue sheet data for reference.

일 실시 예에서, 레퍼런스 큐시트데이터는 컴퓨터에 의하여 생성된 최적화 큐시트데이터를 의미한다.In one embodiment, the reference cuesheet data refers to computer-generated optimization cuesheet data.

도 4는 일 실시 예에 따라 최적화 큐시트데이터를 산출하는 방법을 도시한 흐름도이다.4 is a flowchart illustrating a method of calculating optimization cuesheet data according to an exemplary embodiment.

컴퓨터는 하나 이상의 학습 큐시트데이터를 획득한다(S612). 상기 학습 큐시트데이터는 최적화 큐시트데이터 산출을 위해 학습되는 학습대상데이터이다. 상기 학습 큐시트데이터는 실제수술데이터를 기반으로 생성된 큐시트데이터(즉, 실제수술 큐시트데이터) 또는 참고용으로 시뮬레이션된 가상수술데이터를 기반으로 생성된 큐시트데이터(즉, 참고용 가상수술 큐시트데이터)를 포함할 수 있다. 상기 실제수술 큐시트데이터는 컴퓨터가 실제수술데이터를 분할기준에 따라 분할하여 생성된 것이다. 상기 참고용 가상수술 큐시트데이터는 사용자의 수술 훈련과정에서 획득되는 것이 아니라 학습대상데이터 구축 목적 또는 수련의들에게 참고용으로 제공하기 위한 목적으로 시뮬레이션이 수행되어 생성된 것이다.The computer acquires one or more learning cue sheet data (S612). The learning cue sheet data is learning object data learned for calculating the optimization cue sheet data. The learning cue sheet data may include cue sheet data generated based on actual surgical data (ie, actual surgical cue sheet data) or cue sheet data generated based on simulated virtual surgery data for reference (ie, virtual surgical cue sheet data for reference). It may include. The actual surgery cue sheet data is generated by a computer dividing the actual surgery data according to the division criteria. The virtual surgery cue sheet data for reference is not obtained in a surgical training course of a user, but a simulation is performed for the purpose of constructing a learning target data or providing a reference to a trainee.

그 후, 컴퓨터는 학습 큐시트데이터를 이용하여 강화학습(Reinforcement learning)을 수행한다(S614). 강화학습은 기계학습의 한 영역으로, 어떤 환경 안에서 정의된 에이전트가 현재의 상태를 인식하여, 선택 가능한 행동들 중 보상을 최대화하는 행동 혹은 행동 순서를 선택하는 방법이다. 강화학습은 상태전이와, 상태전이에 따른 보상에 기초하여 보상을 최대화하는 방법을 학습하는 것으로 요약될 수 있다.Thereafter, the computer performs reinforcement learning using the learning cue sheet data (S614). Reinforcement learning is an area of machine learning, in which an agent defined in an environment is aware of its current state and selects an action or sequence of actions that maximizes rewards from selectable actions. Reinforcement learning can be summarized as learning how to maximize rewards based on state transitions and the rewards of state transitions.

그 후, 컴퓨터는 강화학습 결과를 이용하여 최적화 큐시트데이터를 산출한다(S616). 상기 최적화 큐시트데이터는 강화학습 결과를 기반으로 환자의 마취시간을 줄일 수 있는 최단 수술시간, 최소 출혈량, 필수동작그룹, 필수수행순서 등을 조건으로 산출된다. Thereafter, the computer calculates the optimization cue sheet data using the reinforcement learning result (S616). The optimized cuesheet data is calculated on the basis of the reinforcement learning result on the basis of the shortest operation time, the minimum bleeding amount, the required operation group, and the required performance order to reduce the anesthesia time.

상기 필수동작그룹은 특정한 세부수술동작을 수행하기 위해 필수적으로 함께 수행되어야 하는 세부수술동작들의 그룹이다. 상기 필수수행순서는 특정한 수술을 수행하는 과정에서 반드시 순차적으로 수행되어야 하는 수술동작 순서이다. 예를 들어, 수술의 종류 또는 수술동작의 종류에 따라 순차적으로 등장하여야 하는 수술동작들 및 그 순서가 정해져 있을 수 있다.The mandatory action group is a group of detailed operation operations that must be performed together to perform a specific detailed operation. The essential procedure is a surgical operation sequence that must be performed sequentially in the process of performing a specific surgery. For example, according to the type of operation or the type of operation, the operations and the order of operations that must appear sequentially may be determined.

또한, 컴퓨터는 강화학습을 통해 환자의 신체조건, 수술부위(예를 들어, 종양조직) 조건(예를 들어, 종양의 크기, 위치 등) 등에 따른 상황별 최적화 큐시트데이터를 산출한다. 이를 위해, 컴퓨터는 학습 시에 환자조건, 수술부위 조건 등을 학습 큐시트데이터와 함께 활용한다.In addition, the computer calculates contextual optimization cuesheet data according to the patient's physical condition, surgical site (eg, tumor tissue) condition (eg, tumor size, location, etc.) through reinforcement learning. To this end, the computer utilizes patient conditions, surgical site conditions, and the like along with the learning cuesheet data.

일 실시 예에서, 컴퓨터는 스스로 가상의 시뮬레이션 수술을 수행할 수 있다. 예를 들어, 컴퓨터는 개시된 수술 프로세스 최적화 방법에 기초하여 수술 종류 및 환자의 종류에 따른 수술 프로세스를 생성하고, 생성된 수술 프로세스에 기초하여 가상의 수술 시뮬레이션을 수행할 수 있다.In one embodiment, the computer may perform virtual simulation surgery on its own. For example, the computer may generate a surgical process according to the type of surgery and the type of patient based on the disclosed surgical process optimization method, and perform a virtual surgical simulation based on the generated surgical process.

컴퓨터는 가상의 수술 시뮬레이션 결과를 평가하고, 가상의 수술 시뮬레이션 정보 및 그 결과에 대한 평가정보에 기초하여 강화학습을 수행함으로써, 최적화된 수술 프로세스를 획득할 수 있다.The computer may obtain an optimized surgical process by evaluating the virtual surgical simulation result and performing reinforcement learning based on the virtual surgical simulation information and the evaluation information on the result.

최적의 수술 프로세스를 생성할 수 있도록 학습된 모델이라 할지라도, 실제 수술의 경우 환자마다 신체구조와 수술의 종류가 상이하므로 각 환자 및 수술종류에 따라 최적화된 수술 프로세스를 생성하기 어려울 수 있다.Even in a model trained to generate an optimal surgical process, it may be difficult to generate an optimized surgical process according to each patient and type of surgery since the actual surgery may have different body structures and types of surgery.

따라서, 컴퓨터는 학습된 모델을 이용하여 환자의 신체구조 및 수술종류에 기초한 수술 프로세스를 생성하고, 가상의 수술 시뮬레이션을 수행함으로써 강화학습을 수행, 각각의 환자 및 수술종류에 따라 최적화된 수술 프로세스를 생성할 수 있다.Therefore, the computer generates a surgical process based on the patient's body structure and the type of surgery using the learned model, and conducts reinforcement learning by performing a virtual surgery simulation, and optimizes the surgical process for each patient and type of surgery. Can be generated.

컴퓨터는 실제수술영상에 대응하는, 레퍼런스 큐시트데이터에 포함된 세부수술동작을 결정한다(S620).The computer determines a detailed operation operation included in the reference cue sheet data corresponding to the actual surgical image (S620).

예를 들어, 컴퓨터는 실제수술영상에 대응하는 세부수술동작을 판단하고, 판단된 세부수술동작을 레퍼런스 큐시트데이터에서 탐색할 수 있다.For example, the computer may determine a detailed surgical operation corresponding to the actual surgical image, and search for the determined detailed surgical operation in the reference cue sheet data.

컴퓨터는 레퍼런스 큐시트데이터에 포함된 세부수술동작에 대응하는 3D 모델링 영상을 표시한다.The computer displays the 3D modeling image corresponding to the detailed surgical operation included in the reference cuesheet data.

예를 들어, 컴퓨터는 실제수술영상에 대응하는 세부수술동작을 레퍼런스 큐시트데이터에서 탐색하고, 탐색된 세부수술동작에 대응하는 3D 모델링 영상을 표시한다. 다른 예로, 컴퓨터는 실제수술영상에 대응하는 세부수술동작을 레퍼런스 큐시트데이터에서 탐색하고, 탐색된 세부수술동작의 다음 세부수술동작에 대응하는 3D 모델링 영상을 표시하여, 수술방향에 대한 가이드를 제공할 수도 있다.For example, the computer searches for the detailed surgical operation corresponding to the actual surgical image in the reference cue sheet data and displays the 3D modeling image corresponding to the retrieved detailed surgical operation. As another example, the computer may search for detailed surgical operations corresponding to the actual surgical images in the reference cue sheet data, and display 3D modeling images corresponding to the next detailed surgical operations of the retrieved detailed surgical operations to provide a guide to the surgical direction. It may be.

일 실시 예에서, 컴퓨터는 레퍼런스 큐시트데이터에 포함된 세부수술동작에 대응하는 3D 모델링 영상을 서버로부터 수신하여 표시한다.In one embodiment, the computer receives and displays a 3D modeling image from the server corresponding to the detailed operation included in the reference cuesheet data.

다른 일 실시 예에서, 컴퓨터에는 레퍼런스 큐시트데이터에 포함된 세부수술동작에 대응하는 3D 모델링 영상이 미리 저장되어 있고, 컴퓨터는 컴퓨터는 레퍼런스 큐시트데이터에 포함된 세부수술동작에 대응하는, 미리 저장된 3D 모델링 영상을 획득하여 표시한다.In another embodiment, the computer prestores the 3D modeling image corresponding to the detailed operation included in the reference cuesheet data, and the computer stores the 3D modeling image corresponding to the detailed operation included in the reference cuesheet data. Acquire and display an image.

다른 일 실시 예에서, 컴퓨터는 레퍼런스 큐시트데이터에 포함된 세부수술동작의 정보에 기초하여, 3D 모델링 영상을 렌더링하여 생성하고, 생성된 3D 모델링 영상을 표시할 수 있다.In another embodiment, the computer may render and generate a 3D modeling image based on the information of the detailed surgery operation included in the reference cuesheet data, and display the generated 3D modeling image.

일 실시 예에서, 실제수술영상에 대응하는 수술상황이 변화하는 경우 레퍼런스 큐시트데이터 또한 변경되어야 할 수 있다. 따라서, 컴퓨터는 수술상황에 따라 업데이트된 레퍼런스 큐시트데이터를 획득할 수 있다. 마찬가지로, 레퍼런스 큐시트데이터는 수술상황에 따라 실시간으로 변경되거나, 다시 획득될 수 있다.In one embodiment, the reference cuesheet data may also need to be changed when the surgical situation corresponding to the actual surgical image changes. Thus, the computer can obtain updated reference cuesheet data according to the surgical situation. Similarly, the reference cuesheet data can be changed in real time or acquired again according to the surgical situation.

일 실시 예에서, 컴퓨터는 수술보조영상(예를 들어, 3D 모델링 영상)을 실제수술영상에 정합시키고, 정합된 수술보조영상을 표시할 수 있다. In one embodiment, the computer may match the surgical assistance image (eg, 3D modeling image) to the actual surgical image and display the matched surgical assistance image.

일 실시 예에서, 컴퓨터는 실제수술영상에 포함된 대상체의 신체부위의 위치 및 모양과, 3D 모델링 영상에 포함된 신체부위의 위치 및 모양을 정합한다. 예를 들어, 컴퓨터는 3D 모델링 영상에 포함된 장기의 모양과 위치를 실제수술영상에 포함된 장기의 모양과 위치에 따라 정합시킨다.In one embodiment, the computer matches the position and shape of the body part of the object included in the actual surgery image, and the position and shape of the body part included in the 3D modeling image. For example, the computer matches the shape and position of the organs included in the 3D modeling image according to the shape and position of the organs included in the actual surgical image.

3D 모델링 영상은 대상체의 신체부위를 촬영한 의료영상에 기초하여 생성되나, 의료영상을 촬영하는 환경과 실제 수술시의 환경은 상이할 수 있다. 예를 들어, 수술시의 신체각도와 의료영상을 촬영하는 환경에서의 신체각도는 상이할 수 있으며, 수술을 위해 신체에 가스를 주입하는 경우 또한 존재하므로, 3D 모델링 영상은 실제수술영상과 차이가 존재할 수 있다. The 3D modeling image is generated based on a medical image of a body part of the object, but the environment in which the medical image is taken may be different from the environment during the actual surgery. For example, the body angle at the time of surgery and the body angle at the environment in which the medical image is taken may be different, and since the gas is injected into the body for surgery, the 3D modeling image is different from the actual surgery image. May exist.

따라서, 컴퓨터는 3D 모델링 영상과 실제수술영상 간의 정합을 수행하고, 정합된 3D 모델링 영상을 실제수술영상과 함께 표시할 수 있다.Accordingly, the computer may perform registration between the 3D modeling image and the actual surgical image, and display the matched 3D modeling image together with the actual surgical image.

일 실시 예에서, 컴퓨터는 서버로부터 수술상황에 대응하는 수술보조 영상에 대한 정보를 실시간으로 수신하고, 수신된 정보에 기초하여 수술보조 영상을 표시할 수 있다.In an embodiment, the computer may receive, in real time, information about a surgical assistant image corresponding to a surgical situation from a server, and display the surgical assistant image based on the received information.

하지만, 실제수술영상과 수술보조 영상을 서버와 송수신하는 경우, 딜레이가 발생할 수 있다. 수술보조 영상은 수술상황에 맞도록 실시간으로 표시되어야 하므로, 딜레이가 발생하지 않도록 하는 것이 중요하다.However, when transmitting and receiving the actual surgical image and the surgical assistant image with the server, a delay may occur. Surgical assistant images should be displayed in real time to suit the surgical situation, so it is important that no delay occurs.

개시된 실시 예에 따르면, 컴퓨터는 수술데이터를 세부수술동작으로 분할하고, 분할된 각각의 세부수술동작에 대하여 표준화된 명칭과 코드데이터를 부여한다. 따라서, 컴퓨터와 서버는 각 세부수술동작에 대응하는 표준화된 코드데이터를 주고받음으로써 실제수술영상과 수술보조영상을 주고받는 것을 갈음할 수 있다.According to the disclosed embodiment, the computer divides the surgical data into detailed surgical operations, and assigns standardized names and code data to each of the divided detailed surgical operations. Therefore, the computer and the server may exchange the actual surgical image and the surgical assistant image by exchanging standardized code data corresponding to each detailed operation.

도 5는 일 실시 예에 따라 컴퓨터가 서버로부터 수신되는 코드데이터에 기초하여 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.FIG. 5 is a flowchart illustrating a method of displaying, by a computer, a surgical assistant image based on code data received from a server.

컴퓨터는 실제수술영상으로부터 판단된 수술상황에 대응하는 표준화된 코드데이터를 서버로 송신한다(S650). 예를 들어, 컴퓨터는 실제수술영상에 대응하는 세부수술동작의 코드데이터를 서버로 송신한다.The computer transmits the standardized code data corresponding to the surgical situation determined from the actual surgical image to the server (S650). For example, the computer transmits code data of a detailed surgery operation corresponding to the actual surgery image to the server.

컴퓨터는 서버로부터 수술상황에 대응하는 수술보조 영상의 표준화된 코드데이터를 수신한다. The computer receives from the server standardized code data of the surgical aid image corresponding to the surgical situation.

일 실시 예에서, 서버는 수신된 코드데이터에 기초하여 실시간으로 수술상황을 판단할 수 있다. 서버는 판단된 수술상황에 대응하는 수술보조 영상을 결정하고, 결정된 수술보조 영상에 대응하는 코드데이터를 컴퓨터로 전송할 수 있다.In one embodiment, the server may determine the surgical situation in real time based on the received code data. The server may determine a surgery aid image corresponding to the determined surgery situation, and transmit code data corresponding to the determined surgery aid image to a computer.

예를 들어, 컴퓨터는 수신된 코드데이터에 기초하여 현재 수술상황에 대응하는 세부수술동작을 판단하고, 레퍼런스 큐시트데이터에 기초하여 다음 세부수술동작에 대한 정보를 획득한다. 서버는 다음 세부수술동작에 대응하는 코드데이터를 컴퓨터로 전송한다.For example, the computer determines a detailed surgery operation corresponding to the current surgery situation based on the received code data, and obtains information on the next detailed surgery operation based on the reference cuesheet data. The server transmits code data corresponding to the next detailed operation to the computer.

컴퓨터는 수신된 코드데이터에 대응하는 수술보조 영상을 획득하고, 획득된 수술보조 영상을 표시한다. The computer acquires a surgical assistant image corresponding to the received code data, and displays the acquired surgical assistant image.

일 실시 예에서, 컴퓨터는 코드데이터에 대응하는 수술보조 영상을 컴퓨터의 메모리로부터 획득하여 표시한다.In an embodiment, the computer acquires and displays an operation assistant image corresponding to the code data from the memory of the computer.

다른 일 실시 예에서, 컴퓨터는 코드데이터에 대응하는 수술보조 영상을 렌더링하여 생성하고, 생성된 영상을 표시한다.In another embodiment, the computer renders and generates a surgical assistance image corresponding to the code data, and displays the generated image.

개시된 실시 예에서, 컴퓨터는 서버로부터 다음 세부수술동작에 대응하는 코드데이터가 수신되는 경우, 다음 세부수술동작에 대한 정보를 획득하고, 획득된 정보에 기초하여 수술방향을 가이드하는 영상을 표시할 수 있다.In the disclosed embodiment, when the code data corresponding to the next detailed surgery operation is received from the server, the computer may acquire information about the next detailed surgery operation and display an image for guiding the surgical direction based on the obtained information. have.

도 6은 일 실시 예에 따라 컴퓨터가 다양한 종류의 수술보조 영상을 표시하는 방법을 도시한 흐름도이다.6 is a flowchart illustrating a method of displaying various types of surgical aid images by a computer, according to an exemplary embodiment.

일 실시 예에서, 수술보조 영상은 사전에 대상체의 수술부위를 촬영한 의료영상에 기초하여 생성된 3D 모델링 영상을 이용하여 생성된 수술 레퍼런스 영상일 수 있다. 수술 레퍼런스 영상은 레퍼런스 큐시트데이터에 대응하는 영상일 수 있다.In one embodiment, the surgical assistance image may be a surgical reference image generated by using a 3D modeling image generated based on a medical image of a surgical part of a subject previously photographed. The surgical reference image may be an image corresponding to the reference cuesheet data.

컴퓨터는 수술 레퍼런스 영상에 기초하여 실제수술영상에 포함된 수술도구의 이동방향을 안내하는 정보를 표시할 수 있다(S720).The computer may display information guiding a moving direction of the surgical tool included in the actual surgical image based on the surgical reference image (S720).

예를 들어, 수술 레퍼런스 영상에 포함된 수술도구의 위치와 실제수술영상에 포함된 수술도구의 위치가 상이한 경우, 컴퓨터는 수술 레퍼런스 영상에 포함된 수술도구의 위치로 수술도구를 이동할 것을 알리는 가이드 정보를 표시할 수 있다.For example, if the position of the surgical tool included in the surgical reference image and the position of the surgical tool included in the actual surgical image are different, the guide information for informing the computer to move the surgical tool to the position of the surgical tool included in the surgical reference image Can be displayed.

또한, 컴퓨터는 실제수술영상에서 표시되지 않거나, 식별하기 어려운 신체부위의 적어도 일부에 대한 정보를 표시한다(S740).In addition, the computer displays information on at least a part of the body part that is not displayed or difficult to identify in the actual surgical image (S740).

예를 들어, 컴퓨터는 다른 장기에 가려져 보이지 않는 다른 장기나 혈관, 그리고 육안으로 식별이 어려운 혈관이나 신경에 대한 정보를 표시한다. For example, a computer displays information about other organs or blood vessels that are hidden by other organs and those that are difficult to see with the naked eye.

예를 들어, 다른 장기에 가려져 보이지 않는 다른 장기나 혈관, 그리고 육안으로 식별이 어려운 혈관이나 신경이 증강현실 형태로 실제수술영상과 함께 표시될 수 있다.For example, other organs or blood vessels that are not covered by other organs, and blood vessels or nerves that are difficult to see with the naked eye, may be displayed together with the actual surgery image in augmented reality.

일 실시 예에서, 컴퓨터는 실제수술영상 및 수술보조 영상을 이용하여 대상체의 신체부위의 적어도 일부와 상기 수술도구의 위치관계를 판단하고, 판단된 위치관계에 대응하는 피드백을 제공한다(S760).In an embodiment, the computer determines a positional relationship between at least a part of the body part of the object and the surgical tool by using the actual surgery image and the surgical assistant image, and provides feedback corresponding to the determined positional relationship (S760).

일 실시 예에서, 컴퓨터는 로봇수술을 제어하는 컨트롤러에 판단된 위치관계에 대응하는 햅틱 피드백을 제공할 수 있다. 예를 들어, 수술도구가 신체부위에 근접하거나 접촉하는 경우, 진동과 같은 햅틱 피드백을 컨트롤러에 제공함으로써, 수술도구와 신체부위의 위치관계에 대한 피드백을 제공할 수 있다.In one embodiment, the computer may provide haptic feedback corresponding to the determined positional relationship to the controller controlling the robotic operation. For example, when the surgical tool approaches or contacts the body part, the controller may provide haptic feedback such as vibration to the controller, thereby providing feedback about the positional relationship between the surgical tool and the body part.

더 나아가, 컴퓨터는 대상체의 신체구조에 따라 수술도구를 이동시키면 출혈이 발생할 위험이 있는 방향과 같이 수술도구를 이동시키면 안 되는 방향에 대한 정보를 제공할 수 있다. 제공되는 정보는 디스플레이에 표시되어, 사용자가 해당 부분을 건드리지 않도록 주의하여 수술하도록 할 수 있다.Furthermore, the computer may provide information about the direction in which the surgical tool should not be moved, such as the direction in which the bleeding will occur if the surgical tool is moved according to the body structure of the object. The information provided may be displayed on the display, allowing the user to operate with care to avoid touching the portion.

일 실시 예에서, 컴퓨터는 실제수술영상 및 정합된 3D 모델링 영상 중 적어도 하나에 기초하여, 수술상황을 판단하고, 정해진 규칙에 어긋나는 상황, 위험상황 및 돌발상황 등을 감지하여 알림을 제공할 수 있다.In an embodiment of the present disclosure, the computer may determine a surgical situation based on at least one of the actual surgical image and the matched 3D modeling image, and may provide a notification by detecting a situation, a risk situation, and a sudden situation that deviate from a predetermined rule. .

예를 들어, 정해진 규칙에 어긋나는 상황은, 잘못된 수술 도구의 동작(예를 들어, 수술 암끼리 부딪히는 동작과 같이 수술에 방해가 되거나 위험할 수 있는 행위들), 잘못된 장기에 대한 수술도구의 접근(예를 들어, 수술도구가 동맥에 접근하여 동맥이 절단되거나 상처를 입을 위험이 있는 경우이거나, 절단동작을 수행할 때 절단대상이 아닌 다른 신체부위, 특히 동맥에 접근하여 잘못된 신체부위가 절단될 위험이 있는 경우 등), 그리고 수술 소모품이 수거되지 않는 경우(예를 들어, 거즈, 실 클립 등이 수거되지 않는 경우) 등을 포함할 수 있다. 이는 예시를 위하여 서술된 것으로, 정해진 규칙에 어긋나는 상황의 종류는 이에 제한되지 않는다.For example, situations that violate established rules may include misoperation of surgical instruments (e.g., actions that can interfere with or be dangerous to surgery, such as colliding between surgical arms), surgical instruments' access to the wrong organs ( For example, if the surgical tool is approaching the artery and there is a risk that the artery is cut or injured, or when performing a cutting operation, another body part that is not the target of the cut, particularly the artery, is cut off And the like, and a case in which surgical consumables are not collected (eg, gauze, seal clips, etc. are not collected), and the like. This is described for the sake of illustration, and the kind of situations that deviate from the prescribed rules are not limited thereto.

또한, 돌발 상황은, 예를 들어 장기나 혈관에서 출혈이 발생하는 경우를 포함할 수 있으나, 이에 제한되지 않는다.In addition, the accidental situation may include, for example, a case where bleeding occurs in an organ or blood vessel, but is not limited thereto.

컴퓨터는 수술상황을 판단하여, 상술한 바와 같은 상황이 감지되는 경우 알림을 제공할 수 있고, 긴급한 상황의 경우 수술도구의 동작을 강제로 정지시키거나 수술도구를 안전한 위치로 이동시킬 수 있다.The computer may determine a surgical situation and may provide a notification when a situation as described above is detected, and in case of an emergency, may forcefully stop the operation of the surgical tool or move the surgical tool to a safe position.

일 실시 예에서, 컴퓨터는 기 설정된 규칙에 따른 수술오류(surgical error)상황이 감지되는 경우, 피드백을 제공할 수 있다(S780).In one embodiment, the computer may provide feedback when a surgical error situation is detected according to a preset rule (S780).

예를 들어, 보편적인 수술오류 상황과 그에 따른 피드백 제공방법은 후술되는 바와 같다.For example, a universal surgical error situation and a feedback providing method thereof will be described later.

일 예로, 환자의 신체에 이물질이 남아 있는 경우(Foreign objects left in the patient's body)를 감지하여 피드백을 제공할 수 있다. 개시된 실시 예에 따르면, 컴퓨터는 획득되는 수술 영상에 기초하여 수술 도구의 위치, 출혈 부위뿐 아니라, 수술 영상에 포함된 모든 객체를 인식하고, 각 객체를 분석한다. 컴퓨터는 수술 영상에 포함된 객체의 위치, 개수, 유입 시간 등을 판단한다. 따라서, 컴퓨터는 수술이 종료되었을 때 유입된 외부 물질이 수술부위로부터 제거되지 않은 것으로 판단되는 경우 경고를 발생하고, 사용자에게 확인할 것을 요청하는 피드백을 제공할 수 있다. 일 실시 예에서, 컴퓨터는 수술부위에 유입된 객체가 영상에서 확인되지 않는 경우에도, 사용자에게 확인을 요청할 수 있다. 예를 들어, 수술부위에 유입된 객체가 수술부위로부터 제거되는 것이 확인되지 않은 경우, 실제수술영상에 포함되어 있지 않아도 보이지 않는 곳에 남아있을 가능성이 있으므로, 사용자에게 피드백을 제공할 수 있다.For example, feedback may be provided by detecting foreign objects left in the patient's body. According to the disclosed embodiment, the computer recognizes not only the position of the surgical tool and the bleeding site, but also all objects included in the surgical image based on the acquired surgical image, and analyzes each object. The computer determines the location, number, inflow time, etc. of the objects included in the surgical image. Accordingly, the computer may generate a warning and provide a feedback requesting the user to confirm when it is determined that the foreign substance introduced at the end of the surgery has not been removed from the surgical site. In one embodiment, the computer may request confirmation from the user even when an object introduced to the surgical site is not identified in the image. For example, when it is not confirmed that the object introduced to the surgical site is removed from the surgical site, the feedback may be provided to the user because it may remain invisible even though it is not included in the actual surgical image.

일 예로, 잘못된 환자에 대한 수술 집도(Wrong patient surgery)상황을 감지하고, 피드백을 제공할 수 있다. 개시된 실시 예에 따르면, 컴퓨터는 실제수술영상을 실시간으로 분석하고, 3D 모델링 영상의 장기들과 실제 장기들 간의 정합(registration)을 수행한다. 컴퓨터는 실시간으로 카메라와 수술 도구의 위치를 추적하고, 수술상황을 판단하며, 시뮬레이터가 실제 수술과정을 따라하도록 하는 정보를 획득한다. 일 실시 예에서, 환자의 실제 장기와 3D 모델링 영상의 장기들을 정합하는 과정에서 실제 장기와 3D 모델링 영상이 매칭되지 않는 경우, 잘못된 환자에 대한 수술이 집도될 가능성이 있으므로, 컴퓨터는 사용자에게 확인을 요청할 수 있다.For example, a Wrong patient surgery situation may be detected and feedback may be provided. According to the disclosed embodiment, the computer analyzes the real surgery image in real time and performs registration between the organs of the 3D modeling image and the real organs. The computer tracks the location of the camera and surgical instruments in real time, determines the surgical situation, and obtains information that allows the simulator to follow the actual surgical procedure. In one embodiment, if the actual organs and the 3D modeling images do not match in the process of matching the real organs of the patient with the organs of the 3D modeling image, the operation of the wrong patient may be performed. You can request

일 예로, 잘못된 수술부위(Wrong side surgery)에 대한 상황을 감지하고, 피드백을 제공할 수 있다. 개시된 실시 예에서, 컴퓨터는 수술상황을 판단하고, 리허설 결과 또는 최적의 수술방법에 따른 수술 가이드 영상을 제공하게 된다. 그 과정에서, 실제 수술의 진행과정이 리허설 또는 최적의 수술방법과 상이한 경우, 잘못된 부위에 수술을 집도하거나, 다른 종류의 수술이 집도되는 것일 수 있으므로, 컴퓨터는 사용자에게 확인을 요청할 수 있다. For example, a situation about a wrong side surgery may be detected and feedback may be provided. In the disclosed embodiment, the computer determines the surgical situation and provides a surgical guide image according to the rehearsal result or the optimal surgical method. In the process, if the actual operation progress is different from the rehearsal or the optimal surgical method, the operation may be performed in the wrong area, or other kinds of surgery may be performed, the computer may ask the user for confirmation.

일 예로, 신경손상(Nerve damage) 상황을 인지하고, 피드백을 제공할 수 있다. 개시된 실시 예에서, 컴퓨터는 상술한 방법과 같이 실제 수술이 리허설과 상이한 경우 경고나 알림을 제공할 수 있으며, 환자의 장기와 수술도구의 위치관계에 따라 중요한 신경이나 신경절을 절단하거나, 수술도구가 신경에 접근하여 위험이 예측되는 경우 경고를 제공할 수 있다. 또한, 컴퓨터는 이미지의 정합과, 나아가 AR또는 MR(Mixed Reality)기술을 이용하여 잘 보이지 않는 혈관, 신경, 신경절 등을 수술 영상에 중첩하여 보여줌으로써, 사용자가 중요한 부분을 잘 볼 수 있도록 도움을 줄 수 있다.For example, a neuro damage situation may be recognized and feedback may be provided. In the disclosed embodiment, the computer may provide a warning or a notification when the actual operation is different from the rehearsal as described above, and may cut an important nerve or ganglion according to the positional relationship between the patient's organ and the surgical tool, The nerves can be approached and a warning given when a risk is foreseen. In addition, the computer uses image matching and AR or MR (Mixed Reality) technology to superimpose invisible vessels, nerves, and ganglions on the surgical image to help the user see the important parts. Can give

이상에서 전술한 본 발명의 일 실시예에 따른 수술보조 영상 표시방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The surgical aid image display method according to an embodiment of the present invention described above may be implemented as a program (or an application) to be executed by being combined with a computer which is hardware and stored in a medium.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다. The above-described program includes C, C ++, JAVA, machine language, etc. which can be read by the computer's processor (CPU) through the computer's device interface so that the computer reads the program and executes the methods implemented as the program. Code may be coded in the computer language of. Such code may include functional code associated with a function or the like that defines the necessary functions for executing the methods, and includes control procedures related to execution procedures necessary for the computer's processor to execute the functions according to a predetermined procedure. can do. In addition, the code may further include memory reference code for additional information or media required for the computer's processor to execute the functions at which location (address address) of the computer's internal or external memory should be referenced. have. Also, if the processor of the computer needs to communicate with any other computer or server remotely in order to execute the functions, the code may be used to communicate with any other computer or server remotely using the communication module of the computer. It may further include a communication related code for whether to communicate, what information or media should be transmitted and received during communication.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The stored medium is not a medium for storing data for a short time such as a register, a cache, a memory, but semi-permanently, and means a medium that can be read by the device. Specifically, examples of the storage medium include, but are not limited to, a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like. That is, the program may be stored in various recording media on various servers to which the computer can access or various recording media on the computer of the user. The media may also be distributed over network coupled computer systems so that the computer readable code is stored in a distributed fashion.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, in a software module executed by hardware, or by a combination thereof. The software module may be a random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. In the above, embodiments of the present invention have been described with reference to the accompanying drawings, but those skilled in the art to which the present invention pertains may realize the present invention in other specific forms without changing the technical spirit or essential features thereof. I can understand that. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive.

10: 의료영상 촬영장비
20: 서버
30: 제어부
32: 디스플레이
34: 수술용 로봇
36: 영상촬영부10: medical imaging equipment
20: server
30: control unit
32: display
34: surgical robot
36: video recording unit

Claims (13)

컴퓨터가 대상체의 신체부위의 적어도 일부 및 수술도구를 포함하는 수술영상을 획득하는 단계;
상기 획득된 수술영상을 표시하는 단계;
상기 수술영상에 대응하는 수술상황을 판단하는 단계; 및
상기 수술상황에 대응하는 수술보조 영상을 표시하는 단계; 를 포함하는, 수술보조 영상 표시방법.Acquiring, by the computer, a surgical image including at least a portion of a body part of the subject and surgical instruments;
Displaying the obtained surgical image;
Determining a surgical situation corresponding to the surgical image; And
Displaying a surgical assistant image corresponding to the surgical situation; Comprising a, surgical aid image display method. 제1 항에 있어서,
상기 수술상황을 판단하는 단계는,
상기 수술영상에서 상기 대상체의 신체부위 및 수술도구를 인식하는 단계; 및
상기 인식된 신체부위, 상기 수술도구의 위치, 상기 수술도구의 방향 및 상기 수술도구의 움직임 중 적어도 하나에 기초하여 상기 수술상황을 판단하는 단계; 를 포함하는, 수술보조 영상 표시방법.According to claim 1,
Determining the surgical situation,
Recognizing a body part and a surgical tool of the subject in the surgical image; And
Determining the surgical situation based on at least one of the recognized body part, the position of the surgical tool, the direction of the surgical tool, and the movement of the surgical tool; Comprising a, surgical aid image display method. 제1 항에 있어서,
상기 수술에 대한 레퍼런스 큐시트데이터를 획득하는 단계; 를 더 포함하고,
상기 수술상황을 판단하는 단계는,
상기 수술영상에 대응하는, 상기 큐시트데이터에 포함된 세부수술동작을 결정하는 단계; 를 포함하고,
상기 수술보조 영상을 표시하는 단계는,
상기 세부수술동작에 대응하는 3D 모델링 영상을 표시하는 단계; 를 포함하는, 수술보조 영상 표시방법.According to claim 1,
Obtaining reference cuesheet data for the surgery; More,
Determining the surgical situation,
Determining a detailed surgical operation included in the cue sheet data corresponding to the surgical image; Including,
The displaying of the operation assistant image,
Displaying a 3D modeling image corresponding to the detailed surgery operation; Comprising a, surgical aid image display method. 제3 항에 있어서,
상기 레퍼런스 큐시트데이터를 획득하는 단계는,
상기 수술상황에 따라 업데이트된 레퍼런스 큐시트데이터를 획득하는 단계; 를 더 포함하는, 수술보조 영상 표시방법.The method of claim 3, wherein
Acquiring the reference cue sheet data,
Acquiring updated reference cue sheet data according to the surgical situation; Further comprising, a surgical aid image display method. 제1 항에 있어서,
상기 수술상황을 판단하는 단계는,
상기 수술상황에 대응하는 표준화된 코드데이터를 서버로 송신하는 단계; 를 더 포함하고,
상기 수술보조 영상을 표시하는 단계는,
서버로부터 상기 수술상황에 대응하는 수술보조 영상의 표준화된 코드데이터를 수신하는 단계;
상기 코드데이터에 대응하는 수술보조 영상을 획득하는 단계; 및
상기 획득된 수술보조 영상을 표시하는 단계; 를 포함하는, 수술보조 영상 표시방법.According to claim 1,
Determining the surgical situation,
Transmitting standardized code data corresponding to the surgery situation to a server; More,
The displaying of the operation assistant image,
Receiving standardized code data of a surgical assistant image corresponding to the surgical situation from a server;
Acquiring an operation assistant image corresponding to the code data; And
Displaying the obtained surgical assistance image; Comprising a, surgical aid image display method. 제1 항에 있어서,
상기 수술보조 영상을 표시하는 단계는,
상기 수술보조 영상을 상기 수술영상에 정합시키는 단계; 및
상기 정합된 영상을 표시하는 단계; 를 포함하는, 수술보조 영상 표시방법.According to claim 1,
The displaying of the operation assistant image,
Matching the surgical assistance image to the surgical image; And
Displaying the matched image; Comprising a, surgical aid image display method. 제1 항에 있어서,
상기 수술보조 영상은,
사전에 상기 대상체의 수술부위를 촬영한 의료영상에 기초하여 생성된 3D 모델링 영상을 이용하여 생성된 수술 레퍼런스 영상인, 수술보조 영상 표시방법.According to claim 1,
The surgical aid image,
Surgical reference image display method, which is a surgical reference image generated using a 3D modeling image generated based on a medical image of the surgical region of the subject in advance. 제7 항에 있어서,
상기 수술보조 영상을 표시하는 단계는,
상기 수술 레퍼런스 영상에 기초하여 상기 수술영상에 포함된 수술도구의 이동방향을 안내하는 정보를 표시하는 단계; 를 더 포함하는, 수술보조 영상 표시방법.The method of claim 7, wherein
The displaying of the operation assistant image,
Displaying information for guiding a moving direction of a surgical tool included in the surgical image based on the surgical reference image; Further comprising, a surgical aid image display method. 제1 항에 있어서,
상기 수술보조 영상을 표시하는 단계는,
상기 수술영상에 표시되지 않거나, 상기 수술영상에서 식별하기 어려운 상기 신체부위의 적어도 일부에 대한 정보를 표시하는 단계; 를 더 포함하는, 수술보조 영상 표시방법.According to claim 1,
The displaying of the operation assistant image,
Displaying information on at least a portion of the body part that is not displayed on the surgical image or is difficult to identify in the surgical image; Further comprising, a surgical aid image display method. 제1 항에 있어서,
상기 수술영상에 포함된 수술도구의 위치를 판단하는 단계;
상기 수술영상 및 상기 수술보조 영상을 이용하여 상기 대상체의 신체부위의 적어도 일부와 상기 수술도구의 위치관계를 판단하는 단계; 및
상기 판단된 위치관계에 대응하는 피드백을 제공하는 단계; 를 더 포함하는, 수술보조 영상 표시방법.According to claim 1,
Determining a position of a surgical tool included in the surgical image;
Determining a positional relationship between at least a portion of a body part of the object and the surgical tool by using the surgical image and the surgical assistant image; And
Providing feedback corresponding to the determined positional relationship; Further comprising, a surgical aid image display method. 제10 항에 있어서,
상기 수술영상은 로봇수술을 수행하는 영상이고,
상기 피드백을 제공하는 단계는,
상기 컴퓨터가 상기 로봇수술을 제어하는 컨트롤러에 상기 판단된 위치관계에 대응하는 햅틱(haptic) 피드백을 제공하는 단계; 를 포함하는, 수술보조 영상 표시방법.The method of claim 10,
The surgical image is an image for performing a robot surgery,
Providing the feedback,
Providing, by the computer, haptic feedback corresponding to the determined positional relationship to a controller that controls the robotic operation; Comprising a, surgical aid image display method. 제1 항에 있어서,
상기 수술보조 영상을 표시하는 단계는,
상기 수술영상에서 적어도 하나의 수술오류(surgical error) 상황이 감지되는 경우, 상기 감지된 수술오류 상황에 대한 피드백을 표시하는 단계; 를 포함하는, 수술보조 영상 표시방법.According to claim 1,
The displaying of the operation assistant image,
If at least one surgical error condition is detected in the surgical image, displaying feedback on the detected surgical error condition; Comprising a, surgical aid image display method. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.A computer program, coupled to a computer, which is hardware, stored on a recording medium readable by a computer to perform the method of claim 1.
KR1020180058354A 2018-05-23 2018-05-23 Program and method for displaying surgical assist image KR20190133425A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180058354A KR20190133425A (en) 2018-05-23 2018-05-23 Program and method for displaying surgical assist image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180058354A KR20190133425A (en) 2018-05-23 2018-05-23 Program and method for displaying surgical assist image

Publications (1)

Publication Number Publication Date
KR20190133425A true KR20190133425A (en) 2019-12-03

Family

ID=68838016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180058354A KR20190133425A (en) 2018-05-23 2018-05-23 Program and method for displaying surgical assist image

Country Status (1)

Country Link
KR (1) KR20190133425A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210131020A (en) * 2020-04-23 2021-11-02 재단법인대구경북과학기술원 Method and Apparatus for Registration of Image data Using Unsupervised Learning Model

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210131020A (en) * 2020-04-23 2021-11-02 재단법인대구경북과학기술원 Method and Apparatus for Registration of Image data Using Unsupervised Learning Model

Similar Documents

Publication Publication Date Title
KR102014355B1 (en) Method and apparatus for calculating location information of surgical device
US11806085B2 (en) Guidance for placement of surgical ports
JP2022017422A (en) Augmented reality surgical navigation
US11925423B2 (en) Guidance for positioning a patient and surgical robot
US11636940B2 (en) Method and program for providing feedback on surgical outcome
CN110062608A (en) Remote operation surgery systems with the positioning based on scanning
US20160354152A1 (en) Accurate Three-Dimensional Instrument Positioning
US20210315637A1 (en) Robotically-assisted surgical system, robotically-assisted surgical method, and computer-readable medium
US11660142B2 (en) Method for generating surgical simulation information and program
KR102008891B1 (en) Apparatus, program and method for displaying surgical assist image
KR102146672B1 (en) Program and method for providing feedback about result of surgery
KR101864411B1 (en) Program and method for displaying surgical assist image
KR102298417B1 (en) Program and method for generating surgical simulation information
KR20190133425A (en) Program and method for displaying surgical assist image
KR20190133424A (en) Program and method for providing feedback about result of surgery
US11779412B2 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
KR20190133423A (en) Program and method for generating surgical simulation information
KR102628325B1 (en) Apparatus and Method for matching the Real Surgical Image with the 3D based Virtual Simulated Surgical Image based on POI Definition and Phase Recognition
JP7444569B2 (en) Arthroscopic surgery support device, arthroscopic surgery support method, and program
Kersten-Oertel et al. 20 Augmented Reality for Image-Guided Surgery
KR101940706B1 (en) Program and method for generating surgical simulation information
Inácio et al. Augmented Reality in Surgery: A New Approach to Enhance the Surgeon's Experience