KR20230167194A - Method, device and program for generating 3d model of organ and blood vessel according to the type of surgery - Google Patents

Method, device and program for generating 3d model of organ and blood vessel according to the type of surgery Download PDF

Info

Publication number
KR20230167194A
KR20230167194A KR1020220066185A KR20220066185A KR20230167194A KR 20230167194 A KR20230167194 A KR 20230167194A KR 1020220066185 A KR1020220066185 A KR 1020220066185A KR 20220066185 A KR20220066185 A KR 20220066185A KR 20230167194 A KR20230167194 A KR 20230167194A
Authority
KR
South Korea
Prior art keywords
blood vessels
organs
surgery
images
type
Prior art date
Application number
KR1020220066185A
Other languages
Korean (ko)
Inventor
정태영
김성재
Original Assignee
(주)휴톰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴톰 filed Critical (주)휴톰
Priority to KR1020220066185A priority Critical patent/KR20230167194A/en
Priority to PCT/KR2023/007105 priority patent/WO2023234626A1/en
Publication of KR20230167194A publication Critical patent/KR20230167194A/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Abstract

제1 장치에 의해 수행되는, 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 방법을 개시한다. 상기 방법은, 환자의 신체를 스캔함으로서 출력된 하나 이상의 스캔 이미지를 획득하는 단계; 상기 환자에 대해 진행될 특정 수술의 타입을 제1 UI를 통해 입력받는 단계; 상기 입력된 특정 수술의 타입과 관련된 장기 및 혈관과 관련된 정보를 획득하는 단계; 상기 획득된 정보에 기초하여, AI 모델을 통해 상기 하나 이상의 스캔 이미지 상에서 상기 장기 및 혈관 각각에 대한 이미지를 분할하여 식별하는 단계; 상기 식별된 장기 및 혈관 각각에 대한 이미지를 이용하여, 상기 장기 및 혈관 각각의 3D 모델링 데이터를 생성하는 단계; 및 상기 생성된 3D 모델링 데이터 정합하여 상기 특정 수술의 진행을 위한 3D 모델을 생성할 수 있다.Disclosed is a method for generating 3D models of organs and blood vessels according to the type of surgery performed by a first device. The method includes obtaining one or more scanned images output by scanning the patient's body; Receiving a type of specific surgery to be performed on the patient through the first UI; Obtaining information related to organs and blood vessels related to the input specific type of surgery; Based on the obtained information, dividing and identifying images for each of the organs and blood vessels on the one or more scanned images through an AI model; Using images of each of the identified organs and blood vessels, generating 3D modeling data for each of the identified organs and blood vessels; And by matching the generated 3D modeling data, a 3D model for performing the specific surgery can be generated.

Description

수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 방법, 장치 및 프로그램{METHOD, DEVICE AND PROGRAM FOR GENERATING 3D MODEL OF ORGAN AND BLOOD VESSEL ACCORDING TO THE TYPE OF SURGERY}Method, device and program for generating 3D models of organs and blood vessels according to the type of surgery {METHOD, DEVICE AND PROGRAM FOR GENERATING 3D MODEL OF ORGAN AND BLOOD VESSEL ACCORDING TO THE TYPE OF SURGERY}

본 개시는 3D 모델을 생성하는 방법, 장치 및 프로그램에 관한 것이다. 보다 상세하게는, 본 개시는 수술 종류에 따라 자동으로 장기 및 혈관에 대한 3D 모델을 생성하는 방법, 장치 및 프로그램에 관한 것이다.This disclosure relates to methods, devices, and programs for creating 3D models. More specifically, the present disclosure relates to a method, device, and program for automatically generating 3D models for organs and blood vessels according to the type of surgery.

최근 들어 병원에서 수술하는 경우, 수술을 수행하기 전, 환자의 상태, 수술 수행 조건을 확인하고 수술 성공의 확률을 높이기 위하여, 환자의 수술 부위에 대한 3D 시뮬레이션(입체영상)으로 생성하고, 실제 수술과 동일한 조건 하에 가상으로 수술을 시행하고 있다.Recently, in the case of surgery in hospitals, before performing surgery, in order to check the patient's condition and surgical performance conditions and increase the probability of successful surgery, a 3D simulation (stereoscopic image) of the patient's surgical site is created and the actual surgery is performed. The surgery is being performed virtually under the same conditions.

이러한, 가상 모의 수술의 경우, 환자 신체에 대해 정밀한 진단을 내리고 수술 계획을 사전에 세울 수 있다. 이에 따라, 전문의의 직감에 의존하는 것이 아니라 가상 모의 수술을 수행함으로써, 수술과 관련된 아주 작은 오차까지도 줄여 나갈 수 있다.In the case of this virtual mock surgery, it is possible to make a precise diagnosis of the patient's body and make a surgical plan in advance. Accordingly, by performing a virtual simulation surgery rather than relying on the intuition of a specialist, even the smallest errors related to surgery can be reduced.

다만, 기존의 가상 모의 수술을 위한 시뮬레이션의 경우 수술 종류와는 무관하게 해부학적 구조에 기초하여 개발되어 왔다. 이에 따라, 기존의 가상 모의 수술을 위한 시뮬레이션은 수술 종류에 따른 특성이 반영되지 않는다는 문제점이 존재한다.However, simulations for existing virtual mock surgeries have been developed based on anatomical structures regardless of the type of surgery. Accordingly, there is a problem in that simulations for existing virtual mock surgeries do not reflect the characteristics of the type of surgery.

미국 특허등록공보 10178157 (2019.01.08)US Patent Registration No. 10178157 (2019.01.08) 일본 특허공개공보 2017-535337 (2017.11.30)Japanese Patent Publication No. 2017-535337 (2017.11.30)

본 개시는 상술된 문제점을 해결하기 위해 안출된 것으로서, 본 개시가 해결하고자 하는 과제는 수술 종류에 따라 자동으로 장기 및 혈관에 대한 3D 모델을 생성하는 방법, 장치 및 프로그램을 제공함에 있다.The present disclosure was created to solve the above-mentioned problems, and the problem that the present disclosure seeks to solve is to provide a method, device, and program for automatically generating 3D models of organs and blood vessels according to the type of surgery.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present disclosure are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.

상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른, 제1 장치에 의해 수행되는, 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 방법은, 환자의 신체를 스캔함으로서 출력된 하나 이상의 스캔 이미지를 획득하는 단계; 상기 환자에 대해 진행될 특정 수술의 타입을 제1 UI(user interface)를 통해 입력받는 단계; 상기 입력된 특정 수술의 타입과 관련된 장기 및 혈관과 관련된 정보를 획득하는 단계; 상기 획득된 정보에 기초하여, 인공 지능(artificial intelligence, AI) 모델을 통해 상기 하나 이상의 스캔 이미지 상에서 상기 장기 및 혈관 각각에 대한 이미지를 분할하여 식별하는 단계; 상기 식별된 장기 및 혈관 각각에 대한 이미지를 이용하여, 상기 장기 및 혈관 각각의 3D 모델링 데이터를 생성하는 단계; 및 상기 생성된 3D 모델링 데이터 정합하여 상기 특정 수술의 진행을 위한 3D 모델을 생성하는 단계를 포함할 수 있다.According to an embodiment of the present disclosure to solve the above-described problem, a method of generating a 3D model of organs and blood vessels according to the type of surgery performed by a first device includes one output by scanning the patient's body. Acquiring one or more scanned images; Receiving a type of specific surgery to be performed on the patient through a first user interface (UI); Obtaining information related to organs and blood vessels related to the input specific type of surgery; Based on the obtained information, dividing and identifying images for each of the organs and blood vessels on the one or more scanned images through an artificial intelligence (AI) model; Using images of each of the identified organs and blood vessels, generating 3D modeling data for each of the identified organs and blood vessels; And it may include matching the generated 3D modeling data to generate a 3D model for performing the specific surgery.

그리고, 상기 하나 이상의 스캔 이미지는 상기 환자의 신체에 대한 하나 이상의 컴퓨터 단층촬영(computer tomography, CT) 이미지를 포함하고, 상기 하나 이상의 CT 이미지를 획득하는 단계는, 상기 환자의 신체를 스캔한 제2 장치 또는 상기 제2 장치와 연결된 클라우드 서버 중의 적어도 하나로부터 상기 하나 이상의 CT 이미지를 수신하는 단계를 포함할 수 있다.And, the one or more scanned images include one or more computed tomography (CT) images of the patient's body, and the step of acquiring the one or more CT images includes a second scan of the patient's body. It may include receiving the one or more CT images from at least one of a device or a cloud server connected to the second device.

그리고, 상기 입력된 특정 수술의 타입과 관련된 장기 및 혈관과 관련된 정보를 획득하는 단계는, 복수의 수술 타입 별로 대응되는 장기 및 혈관에 대한 정보를 저장한 데이터베이스(database)를 구축하거나 로드(load)하는 단계; 및 상기 데이터베이스에서 상기 입력된 특정 수술의 타입과 관련된 장기 및 혈관과 관련된 정보를 획득하는 단계를 포함할 수 있다.In addition, the step of acquiring information related to organs and blood vessels related to the type of specific surgery entered includes building or loading a database storing information on organs and blood vessels corresponding to each type of surgery. steps; And it may include obtaining information related to organs and blood vessels related to the input specific type of surgery from the database.

그리고, 상기 AI 모델은, 상기 복수의 수술 타입 별로 대응되는 장기 및 혈관에 대한 이미지를 식별할 수 있는, 상기 복수의 수술 타입 별 알고리즘 모듈을 포함할 수 있다.In addition, the AI model may include an algorithm module for each of the plurality of surgery types, capable of identifying images of organs and blood vessels corresponding to each of the plurality of surgery types.

그리고, 상기 식별하는 단계는, 제2 UI 상에서 상기 복수의 수술 타입 별 알고리즘 모듈 중 상기 입력된 특정 수술의 타입에 대응되는 장기 및 혈관에 대한 이미지를 식별할 수 있는 알고리즘 모듈을 선택하는 단계; 및 상기 선택된 알고리즘 모듈을 이용하는 상기 AI 모델을 통해, 상기 하나 이상의 CT 이미지 상에서 상기 장기 및 혈관 각각에 대한 이미지를 분할하여 식별하는 단계를 포함할 수 있다.And, the identifying step includes selecting an algorithm module capable of identifying images of organs and blood vessels corresponding to the type of the specific surgery input among the plurality of algorithm modules for each surgery type on the second UI; And it may include dividing and identifying images for each of the organs and blood vessels on the one or more CT images through the AI model using the selected algorithm module.

그리고, 상기 3D 모델링 데이터를 생성하는 단계는, 상기 하나 이상의 스캔 이미지 상에서 식별된 상기 장기 및 혈관 각각에 대한 이미지의 위치, 크기, 및 형태를 검수하기 위한 제3 UI를 제공하는 단계; 및 상기 제3 UI를 통해 입력된 검수 결과에 따라 상기 장기 및 혈관 각각에 대한 이미지를 수정하는 단계를 포함할 수 있다.And, generating the 3D modeling data includes providing a third UI for inspecting the position, size, and shape of the image for each of the organs and blood vessels identified on the one or more scanned images; and modifying the image for each of the organs and blood vessels according to the inspection results input through the third UI.

그리고, 상기 제3 UI는, 상기 식별된 장기 및 혈관 각각에 대한 이미지의 위치를 이동시키는 제1 툴(tool), 삭제하는 제2 툴, 또는 추가적인 이미지를 생성하는 제3 툴 중의 적어도 하나를 포함할 수 있다.And, the third UI includes at least one of a first tool for moving the position of the image for each of the identified organs and blood vessels, a second tool for deleting, or a third tool for creating an additional image. can do.

그리고, 상기 정합하는 단계는, 상기 생성된 3D 모델링 데이터의 위치를 상기 환자의 움직임 또는 상기 하나 이상의 CT 이미지 상에서 공통으로 나타나는 혈관의 위치에 기초하여 조정하는 단계를 포함할 수 있다.And, the matching step may include adjusting the position of the generated 3D modeling data based on the movement of the patient or the position of blood vessels commonly appearing on the one or more CT images.

상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 제1 장치는, 하나 이상의 통신 모듈; 하나 이상의 메모리(memory); 및 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는, 환자의 신체를 스캔함으로서 출력된 하나 이상의 스캔 이미지를 획득하고; 상기 환자에 대해 진행될 특정 수술의 타입을 제1 UI(user interface)를 통해 입력받고; 상기 입력된 특정 수술의 타입과 관련된 장기 및 혈관과 관련된 정보를 획득하고; 상기 획득된 정보에 기초하여, 인공 지능(artificial intelligence, AI) 모델을 통해 상기 하나 이상의 스캔 이미지 상에서 상기 장기 및 혈관 각각에 대한 이미지를 분할하여 식별하고; 상기 식별된 장기 및 혈관 각각에 대한 이미지를 이용하여, 상기 장기 및 혈관 각각의 3D 모델링 데이터를 생성하고; 및 상기 생성된 3D 모델링 데이터 정합하여 상기 특정 수술의 진행을 위한 3D 모델을 생성하도록 설정될 수 있다.A first device for generating a 3D model of organs and blood vessels according to the type of surgery according to an embodiment of the present disclosure to solve the above-described problem includes one or more communication modules; One or more memories; and one or more processors, wherein the one or more processors acquire one or more scanned images output by scanning the patient's body; Receiving the type of specific surgery to be performed on the patient through a first UI (user interface); Obtain information related to organs and blood vessels related to the type of specific surgery entered; Based on the obtained information, segment and identify images for each of the organs and blood vessels on the one or more scanned images through an artificial intelligence (AI) model; Using the images for each of the identified organs and blood vessels, 3D modeling data for each of the identified organs and blood vessels is generated; And it can be set to generate a 3D model for performing the specific surgery by matching the generated 3D modeling data.

이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.In addition to this, a computer program stored in a computer-readable recording medium for execution to implement the present disclosure may be further provided.

이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition, a computer-readable recording medium recording a computer program for executing a method for implementing the present disclosure may be further provided.

본 개시의 전술한 과제 해결 수단에 의하면, 수술 종류에 따라 자동으로 장기 및 혈관에 대한 3D 모델을 생성하는 방법, 장치 및 프로그램이 제공될 수 있다.According to the above-described problem-solving means of the present disclosure, a method, device, and program for automatically generating 3D models of organs and blood vessels according to the type of surgery can be provided.

또한, 본 개시의 전술한 과제 해결 수단에 의하여, 수술 종료 별 특성이 반영/결합된 3D 모델에 기초하여 3D 시뮬레이션을 생성함으로써, 실제 환자의 인체 구조의 확인이 가능하며, 실제 수술에 도움을 줄 수 있다.In addition, by creating a 3D simulation based on a 3D model in which the characteristics of each surgical procedure are reflected/combined by the means for solving the above-described problem of the present disclosure, it is possible to confirm the human body structure of the actual patient, which will be helpful in the actual surgery. You can.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned may be clearly understood by those skilled in the art from the description below.

도 1은 본 개시의 일 실시예에 따른, 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 방법을 구현하기 위한 시스템의 개략도이다.
도 2는 본 개시의 일 실시예에 따른, 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시예에 따른, 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 방법을 설명하기 위한 순서도이다.
도 4는 본 개시의 일 실시예에 따른, 스캔 이미지 상에서 장기 및 혈관을 분할/식별하는 방법을 설명하기 위한 순서도이다.
도 5 내지 도 7은 본 개시의 일 실시예에 따른, 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 방법을 설명하기 위한 도면이다.
1 is a schematic diagram of a system for implementing a method for generating 3D models of organs and blood vessels according to the type of surgery, according to an embodiment of the present disclosure.
Figure 2 is a block diagram for explaining the configuration of a device that generates 3D models of organs and blood vessels according to the type of surgery, according to an embodiment of the present disclosure.
Figure 3 is a flowchart for explaining a method of generating 3D models of organs and blood vessels according to the type of surgery, according to an embodiment of the present disclosure.
Figure 4 is a flowchart for explaining a method of segmenting/identifying organs and blood vessels on a scanned image, according to an embodiment of the present disclosure.
5 to 7 are diagrams for explaining a method of generating 3D models of organs and blood vessels according to the type of surgery, according to an embodiment of the present disclosure.

본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다. Like reference numerals refer to like elements throughout this disclosure. The present disclosure does not describe all elements of the embodiments, and general content or overlapping content between the embodiments in the technical field to which the present disclosure pertains is omitted. The term 'unit, module, member, block' used in the specification may be implemented as software or hardware, and depending on the embodiment, a plurality of 'unit, module, member, block' may be implemented as a single component, or It is also possible for one 'part, module, member, or block' to include multiple components.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우 뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is said to be “connected” to another part, this includes not only direct connection but also indirect connection, and indirect connection includes connection through a wireless communication network. do.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Additionally, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components, unless specifically stated to the contrary.

명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout the specification, when a member is said to be located “on” another member, this includes not only cases where a member is in contact with another member, but also cases where another member exists between the two members.

제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. Terms such as first and second are used to distinguish one component from another component, and the components are not limited by the above-mentioned terms.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly makes an exception.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. The identification code for each step is used for convenience of explanation. The identification code does not explain the order of each step, and each step may be performed differently from the specified order unless a specific order is clearly stated in the context. there is.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless clearly specifically defined.

이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.Hereinafter, the operating principle and embodiments of the present disclosure will be described with reference to the attached drawings.

본 개시를 설명함에 있어서, "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다.In describing the present disclosure, “image” refers to multi-dimensional data consisting of discrete image elements (e.g., pixels in a two-dimensional image and voxels in a 3D image). You can. For example, the image may include a medical image of an object acquired by a CT imaging device.

본 개시를 설명함에 있어서 "오브젝트(object)"는 사람(예로, 환자) 또는 동물, 또는 사람 또는 동물의 일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등과 같은 장기, 및 혈관(예로, 동맥(artery) 또는 정맥(vein) 등), 지방 조직 등 중 적어도 하나를 포함할 수 있다. 그리고, “타겟 오브젝트”는 실제 수술의 대상이 되는 사람의 일 부분을 의미할 수 있다.In describing the present disclosure, an “object” may be a person (eg, a patient) or an animal, or a part or all of a person or an animal. For example, the object may include at least one of organs such as the liver, heart, uterus, brain, breast, abdomen, etc., blood vessels (eg, arteries or veins, etc.), fat tissue, etc. And, “target object” may refer to a part of a person that is actually the target of surgery.

본 개시를 설명함에 있어서, "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.In describing the present disclosure, a “user” is a medical professional and may be a doctor, nurse, clinical pathologist, medical imaging expert, etc., and may be a technician who repairs a medical device, but is not limited thereto.

본 개시를 설명함에 있어서, “3D 모델링 데이터”는 특정 오브젝트를 3D로 형상화한 데이터를 의미하여, “3D 모델”은 하나 이상의 3D 모델링 데이터의 결합을 통해 생성된 시뮬레이션의 일 요소를 의미할 수 있다. In explaining the present disclosure, “3D modeling data” refers to data that represents a specific object in 3D, and “3D model” may refer to an element of a simulation created through the combination of one or more 3D modeling data. .

“3D 모델링 데이터” 또는/및 “3D 모델”은 사용자에게 제공되는 디스플레이 상에서 2D로 제공되나, 3D의 형태로 보여지도록 제공되거나, 또는 증강현실과 같이 해당 디스플레이를 통하여 실제 공간상에 신체 부위가 나타나는 것처럼 보여지도록 제공될 수 있다.“3D modeling data” or/and “3D model” is provided in 2D on the display provided to the user, but is provided to be viewed in 3D form, or body parts appear in real space through the display, such as augmented reality. It can be presented to look like this.

본 개시를 설명함에 있어서, "제1 장치"(즉, 환자 맞춤형 3D 수술 시뮬레이션 방법을 수행하는 장치)는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. In explaining the present disclosure, the “first device” (i.e., a device that performs a patient-customized 3D surgical simulation method) includes all various devices that can perform computational processing and provide results to the user.

예를 들어, 상기 장치는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 상기 장치가 될 수 있다. 또한, 장치는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 별도의 서버로 구현될 수 있다.For example, the devices include not only desktop PCs and laptops (Note Books), but also smart phones, tablet PCs, cellular phones, PCS phones (Personal Communication Service phones), synchronous/ Asynchronous IMT-2000 (International Mobile Telecommunication-2000) mobile terminals, Palm Personal Computers (Palm PCs), Personal Digital Assistants (PDAs), etc. may also apply. Additionally, if a Head Mounted Display (HMD) device includes computing functionality, the HMD device may be the device. Additionally, the device may be implemented as a separate server that receives requests from clients and performs information processing.

도 1은 본 개시의 일 실시예에 따른, 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 방법을 구현하기 위한 시스템(1000)의 개략도이다.1 is a schematic diagram of a system 1000 for implementing a method for generating 3D models of organs and blood vessels according to the type of surgery, according to an embodiment of the present disclosure.

도 1에 도시된 바와 같이, 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 방법을 구현하기 위한 시스템(1000)은, 제1 장치(100), 병원 서버(200), 데이터 베이스(300) 및 AI 모델(400)을 포함할 수 있다.As shown in FIG. 1, the system 1000 for implementing a method of generating 3D models of organs and blood vessels according to the type of surgery includes a first device 100, a hospital server 200, and a database 300. ) and AI model 400.

여기서, 도 1에는 제1 장치(100)가 하나의 데스크 탑의 형태로 구현될 것으로 도시되어 있으나, 이에 한정되는 것은 아니다. 제1 장치(100)는 상술한 바와 같이 다양한 유형의 장치 또는 하나 이상의 유형의 장치가 연결된 장치 군을 의미할 수 있다.Here, in FIG. 1, the first device 100 is shown to be implemented in the form of a single desktop, but it is not limited thereto. As described above, the first device 100 may refer to various types of devices or a device group in which one or more types of devices are connected.

시스템(1000)에 포함된 제1 장치(100), 병원 서버(200), 데이터 베이스(300), 및 인공 지능(artificial intelligence, AI) 모델(400)은 네트워크(W)를 통해 통신을 수행할 수 있다. 여기서, 네트워크(W)는 유선 네트워크와 무선 네트워크를 포함할 수 있다. 예를 들어, 네트워크는 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등의 다양한 네트워크를 포함할 수 있다.The first device 100, hospital server 200, database 300, and artificial intelligence (AI) model 400 included in the system 1000 perform communication through the network (W). You can. Here, the network W may include a wired network and a wireless network. For example, the network may include various networks such as a local area network (LAN), a metropolitan area network (MAN), and a wide area network (WAN).

또한, 네트워크(W)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 개시의 실시예에 따른 네트워크(W)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 전화 네트워크, 공지의 유무선 텔레비전 네트워크를 적어도 일부로 포함할 수도 있다.Additionally, the network W may include the known World Wide Web (WWW). However, the network (W) according to an embodiment of the present disclosure is not limited to the networks listed above, and may include at least some of a known wireless data network, a known telephone network, and a known wired and wireless television network.

제1 장치(100)는 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 방법을 제공할 수 있다. The first device 100 may provide a method for generating 3D models of organs and blood vessels depending on the type of surgery.

예로, 제1 장치(100)는 환자의 신체를 스캔(scan)함으로써 출력된 스캔 이미지를 획득하고, 환자에 대해 진행될 특정 수술의 타입을 사용자로부터 입력받을 수 있다. 제1 장치(100)는 입력된 특정 수술의 타입과 관련된 장기 및 혈관과 관련된 정보를 획득할 수 있다. 제1 장치(100)는, 획득된 정보에 기초하여, AI 모델을 통해 하나 이상의 스캔 이미지 상에서 장기 및 혈관 각각에 대한 이미지를 분할하여 식별할 수 있다. 제1 장치(100)는 식별된 장기 및 혈관 각각에 대한 이미지를 이용하여, 장기 및 혈관 각각의 3D 모델링 데이터를 생성하고, 생성된 3D 모델링 데이터를 정합하여 특정 수술의 진행을 위한 3D 모델을 생성할 수 있다.For example, the first device 100 may obtain a scanned image by scanning the patient's body and receive input from the user about the type of specific surgery to be performed on the patient. The first device 100 may obtain information related to organs and blood vessels related to the type of specific surgery entered. Based on the acquired information, the first device 100 can segment and identify images for each organ and blood vessel on one or more scanned images through an AI model. The first device 100 uses images of each identified organ and blood vessel to generate 3D modeling data for each organ and blood vessel, and matches the generated 3D modeling data to create a 3D model for the progress of a specific surgery. can do.

병원 서버(200)(예로, 클라우드 서버 등)는 환자의 신체에 대해 스캔을 하여 획득한 스캔 이미지(예로, 컴퓨터 단층촬영(computer tomography, CT) 이미지)를 저장할 수 있다. 병원 서버(200)는 제1 장치(100), 데이터 베이스(300), 또는 AI 모델(400)로 저장한 스캔 이미지를 전송할 수 있다.The hospital server 200 (eg, cloud server, etc.) may store scanned images (eg, computer tomography (CT) images) obtained by scanning the patient's body. The hospital server 200 may transmit the saved scanned image to the first device 100, the database 300, or the AI model 400.

병원 서버(200)는 CT 이미지의 대상을 가명화 또는 익명화하여 신체의 개인 정보를 보호할 수 있다. 또한, 병원 서버는 사용자에 의해 입력된 CT 이미지의 대상이 되는 환자의 나이/성별/키/몸무게/출산 여부와 관련된 정보를 암호화하여 저장할 수 있다.The hospital server 200 can protect personal information about the body by pseudonymizing or anonymizing the subject of the CT image. Additionally, the hospital server may encrypt and store information related to the age/gender/height/weight/parity of the patient who is the subject of the CT image input by the user.

데이터 베이스(300)는 제1 장치(100)에 의해 생성된 각종 오브젝트/수술 장비에 대한 3D 모델링 데이터 및 3D 모델을 저장할 수 있다. 또 따른 예로, 데이터 베이스(300)는 복수의 수술 타입 별로 대응되는 장기 및 혈관에 대한 정보를 저장할 수 있다. 도 1에서는 데이터 베이스(300)가 제1 장치(100) 외부에 구현된 경우를 도시하고 있으나, 데이터 베이스(300)는 제1 장치(100)의 일 구성 요소로 구현될 수도 있다.The database 300 may store 3D modeling data and 3D models for various objects/surgical equipment generated by the first device 100. As another example, the database 300 may store information on organs and blood vessels corresponding to each type of surgery. Although FIG. 1 illustrates the case where the database 300 is implemented outside the first device 100, the database 300 may also be implemented as a component of the first device 100.

AI 모델(400)은 하나 이상의 스캔 이미지 상에서 상기 장기 및 혈관 각각에 대한 이미지를 분할하여 식별하도록 학습된 인공지능 모델이다. AI 모델(400)은 실제 수술 영상 또는 CT 이미지 및 해부학 관련 자료 등으로 구축된 데이터 셋을 통해 하나 이상의 스캔 이미지 상에서 상기 장기 및 혈관 각각에 대한 이미지를 분할하여 식별하도록 학습될 수 있다. 학습 방식은 지도 학습(supervised training)/비지도 학습(unsupervised training) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.The AI model 400 is an artificial intelligence model learned to segment and identify images for each of the organs and blood vessels on one or more scanned images. The AI model 400 may be trained to segment and identify images for each of the organs and blood vessels on one or more scanned images through a data set constructed from actual surgical images, CT images, and anatomy-related data. Learning methods may include, but are not limited to, supervised training/unsupervised training.

도 1은 AI 모델(400)이 제1 장치(100) 외부에 구현(예로, 클라우드 기반(cloud-based)으로 구현)된 경우를 도시하고 있으나, 이에 한정되는 것은 아니며, 제1 장치(100)에 일 구성 요소로 구현될 수 있다.1 illustrates a case where the AI model 400 is implemented outside of the first device 100 (e.g., implemented as cloud-based), but is not limited thereto and is implemented outside the first device 100. It can be implemented as a single component.

도 2는 본 개시의 일 실시예에 따른, 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 제1 장치(100)의 구성을 설명하기 위한 블록도이다.FIG. 2 is a block diagram for explaining the configuration of a first device 100 that generates 3D models of organs and blood vessels according to the type of surgery, according to an embodiment of the present disclosure.

도 2에 도시된 바와 같이, 제1 장치(100)는 메모리(110), 통신 모듈(120), 디스플레이(130), 입력 모듈(140) 및 프로세서(150)를 포함할 수 있다. 다만, 이에 국한되는 것은 아니며, 제1 장치(100)는 필요한 동작에 따라 당업자 관점에서 자명한 범위 내에서 소프트웨어 및 하드웨어 구성이 수정/추가/생략될 수 있다.As shown in FIG. 2, the first device 100 may include a memory 110, a communication module 120, a display 130, an input module 140, and a processor 150. However, it is not limited to this, and the software and hardware configuration of the first device 100 may be modified/added/omitted depending on the required operation within the range obvious to those skilled in the art.

메모리(110)는 본 제1 장치(100)의 다양한 기능을 지원하는 데이터와, 프로세서(150)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)을 저장할 있고, 본 장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 제1 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. The memory 110 can store data supporting various functions of the first device 100 and a program for the operation of the processor 150, and can store input/output data (e.g., music files, images, moving pictures, etc.), a plurality of application programs (application programs or applications) running on the device, data for operation of the first device 100, and commands can be stored. At least some of these applications may be downloaded from an external server via wireless communication.

이러한, 메모리(110)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 110 is of a flash memory type, hard disk type, solid state disk type, SDD type (Silicon Disk Drive type), and multimedia card micro type. micro type), card type memory (e.g. SD or XD memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), EEPROM (electrically erasable) It may include at least one type of storage medium among programmable read-only memory (PROM), programmable read-only memory (PROM), magnetic memory, magnetic disk, and optical disk.

또한, 메모리(110)는 본 장치와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스를 포함할 수 있다. 즉, 도 1에 도시된 데이터 베이스는 메모리(110)의 일 구성 요소로 구현될 수 있다.Additionally, the memory 110 is separate from the device, but may include a database connected by wire or wirelessly. That is, the database shown in FIG. 1 may be implemented as a component of the memory 110.

통신 모듈(120)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.The communication module 120 may include one or more components that enable communication with an external device, for example, at least one of a broadcast reception module, a wired communication module, a wireless communication module, a short-range communication module, and a location information module. may include.

유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다. Wired communication modules include various wired communication modules such as Local Area Network (LAN) modules, Wide Area Network (WAN) modules, or Value Added Network (VAN) modules, as well as USB (Universal Serial Bus) modules. ), HDMI (High Definition Multimedia Interface), DVI (Digital Visual Interface), RS-232 (recommended standard 232), power line communication, or POTS (plain old telephone service).

무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.In addition to Wi-Fi modules and WiBro (Wireless broadband) modules, wireless communication modules include GSM (global System for Mobile Communication), CDMA (Code Division Multiple Access), WCDMA (Wideband Code Division Multiple Access), and UMTS (universal mobile telecommunications system). ), TDMA (Time Division Multiple Access), LTE (Long Term Evolution), 4G, 5G, 6G, etc. may include a wireless communication module that supports various wireless communication methods.

디스플레이(130)는 본 제1 장치(100)에서 처리되는 정보(예를 들어, 3D 모델링 데이터/모델 또는 3D 모델링 데이터/모델에 기초한 시뮬레이션 화면)를 표시(출력)한다. 예를 들어, 디스플레이는 본 제1 장치(100)에서 구동되는 응용 프로그램(일 예로, 어플리케이션)의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다. 디스플레이(130)에서 출력되는 UI에 대한 종류는 후술하도록 한다.The display 130 displays (outputs) information processed by the first device 100 (eg, 3D modeling data/model or a simulation screen based on the 3D modeling data/model). For example, the display displays execution screen information of an application program (for example, an application) running on the first device 100, or UI (User Interface) and GUI (Graphic User Interface) information according to this execution screen information. It can be displayed. The types of UI output from the display 130 will be described later.

입력 모듈(140)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부를 통해 정보가 입력되면, 프로세서(150)는 입력된 정보에 대응되도록 본 제1 장치(100)의 동작을 제어할 수 있다. The input module 140 is for receiving information from the user. When information is input through the user input unit, the processor 150 can control the operation of the first device 100 to correspond to the input information.

이러한, 입력 모듈(140)은 하드웨어식 물리 키(예를 들어, 본 장치의 전면, 후면 및 측면 중 적어도 하나에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 소프트웨어식 터치 키를 포함할 수 있다. 일 예로서, 터치 키는, 소프트웨어적인 처리를 통해 터치스크린 타입의 디스플레이(130) 상에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다. The input module 140 includes hardware-type physical keys (e.g., buttons, dome switches, jog wheels, jog switches, etc. located on at least one of the front, back, and sides of the device) and software-type physical keys. May include touch keys. As an example, the touch key consists of a virtual key, soft key, or visual key displayed on the touch screen type display 130 through software processing, or the above It may consist of a touch key placed in a part other than the touch screen. Meanwhile, the virtual key or visual key can be displayed on the touch screen in various forms, for example, graphic, text, icon, video or these. It can be made up of a combination of .

프로세서(150)는 본 제1 장치(100) 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리, 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.The processor 150 has a memory that stores data for an algorithm for controlling the operation of the components in the first device 100 or a program that reproduces the algorithm, and performs the above-described operations using the data stored in the memory. It may be implemented with at least one processor (not shown). At this time, the memory and processor may each be implemented as separate chips. Alternatively, the memory and processor may be implemented as a single chip.

또한, 프로세서(150)는 이하의 도 3 내지 도 7에서 설명되는 본 개시에 따른 다양한 실시 예들을 본 제1 장치(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다. In addition, the processor 150 combines any one or a plurality of the above-described components to implement various embodiments according to the present disclosure described in FIGS. 3 to 7 below on the first device 100. You can control it.

도 3은 본 개시의 일 실시예에 따른, 환자의 신체를 스캔함으로서 출력된 하나 이상의 스캔 이미지를 획득할 수 있다(S310).3 shows that, according to an embodiment of the present disclosure, one or more scanned images output can be obtained by scanning the patient's body (S310).

예를 들어, 제1 장치는 병원 서버로부터 환자의 신체를 스캔한 컴퓨터 하나이사의 단층촬영(computer tomography, CT) 이미지를 수신할 수 있다. 구체적으로, 장치는 환자에 대해 진행될 특정 수술 대상(예로, 타겟 오브젝트)의 이미지가 포함된 특정 환자의 CT 이미지를 요청하는 신호를 병원 서버(또는, 병원이 제어하는 장치)로 전송할 수 있다. 병원이 제어하는 제2 장치는 환자의 신체에 대해 스캔하여 하나 이상의 CT 이미지를 획득할 수 있다. 제2 장치와 연결된 병원 서버(또는, 클라우드 서버)는 제1 장치의 요청 신호에 따라 상기 특정 수술 대상의 이미지가 포함된 특정 환자의 하나 이상의 CT 이미지를 장치로 전송할 수 있다.For example, the first device may receive a computer tomography (CT) image obtained by scanning the patient's body from a hospital server. Specifically, the device may transmit a signal requesting a CT image of a specific patient including an image of a specific surgical object (eg, target object) to be performed on the patient to a hospital server (or a device controlled by the hospital). A second device controlled by the hospital may scan the patient's body to obtain one or more CT images. The hospital server (or cloud server) connected to the second device may transmit one or more CT images of a specific patient including the image of the specific surgical subject to the device according to a request signal from the first device.

다만, 이는 일 실시예에 불과하며, 제1 장치는 제1 장치와 무선/유선으로 연결된 CT 촬영 장치로부터 특정 수술 대상의 이미지가 포함된 CT 이미지를 수신할 수 있다.However, this is only an example, and the first device may receive a CT image including an image of a specific surgical target from a CT imaging device connected wirelessly/wirely to the first device.

제1 장치는 환자에 대해 진행될 특정 수술의 타입을 제1 UI를 통해 입력받을 수 있다(S320). 예로, 제1 UI는 도 5와 같이 도시될 수 있다. 제1 장치는 제1 UI 상의 UI 엘리먼트(500)를 통해 특정 수술의 타입(즉, 수술이 진행될 특정 장기/혈관/지방 조직 등)을 선택받을 수 있다.The first device can receive input of the type of specific surgery to be performed on the patient through the first UI (S320). For example, the first UI may be shown as shown in FIG. 5. The first device may select a specific type of surgery (i.e., a specific organ/blood vessel/fatty tissue, etc. where the surgery will be performed) through the UI element 500 on the first UI.

제1 장치는 입력된 특정 수술의 타입과 관련된 장기 및 혈관과 관련된 정보를 획득할 수 있다(S330). 그리고, 제1 장치는, 획득된 정보에 기초하여, AI 모델을 통해 하나 이상의 스캔 이미지 상에서 장기 및 혈관 각각에 대한 이미지를 분할하여 식별할 수 있다(S340). S330 및 S340는 도 4를 참조하여 더욱 구체적으로 설명하도록 한다.The first device may obtain information related to organs and blood vessels related to the type of specific surgery entered (S330). And, based on the acquired information, the first device can segment and identify images for each organ and blood vessel on one or more scanned images through an AI model (S340). S330 and S340 will be described in more detail with reference to FIG. 4.

제1 장치는 식별된 장기 및 혈관 각각에 대한 이미지를 이용하여, 장기 및 혈관 각각의 3D 모델링 데이터를 생성할 수 있다(S350).The first device may generate 3D modeling data for each of the identified organs and blood vessels using images of each identified organ and blood vessel (S350).

구체적으로, 제1 장치는 하나 이상의 스캔 이미지 상에서 식별된 장기 및 혈관 각각에 대한 이미지의 위치, 크기, 및 형태를 검수하기 위한 제3 UI를 사용자에게 제공할 수 있다. 제1 장치는 제3 UI를 통해 사용자로부터 입력된 검수 결과에 따라 장기 및 혈관 각각에 대한 이미지를 수정할 수 있다.Specifically, the first device may provide the user with a third UI for inspecting the position, size, and shape of the images for each of the organs and blood vessels identified on one or more scanned images. The first device can modify the images for each organ and blood vessel according to the inspection results input by the user through the third UI.

예를 들어, 제3 UI는 수술 타입 별로 정의된 장기/혈관 데이터베이스를 바탕으로 검수 항목을 지정할 수 있다. 예로, 수술 타입이 위암일 경우, 위암과 관련된 장기는 간(liver), 복부(stomach), 비장(spleend) 등을 포함할 수 있으며, 위암과 관련된 동맥 혈관을 이루는 세부 혈관으로 AORTA , CHA, SA, PHA 등을 포함할 수 있으며, 위암과 관련된 정맥 혈관을 이루는 세부 혈관으로 PV, SV, GCT, SMV 등을 포함할 수 있다.For example, the third UI can specify inspection items based on an organ/blood vessel database defined for each surgery type. For example, if the surgery type is stomach cancer, organs related to stomach cancer may include the liver, abdomen, spleen, etc., and the detailed blood vessels that make up the arteries related to stomach cancer include AORTA, CHA, and SA. , PHA, etc., and may include PV, SV, GCT, SMV, etc. as detailed blood vessels forming venous vessels related to stomach cancer.

그리고, 제3 UI는 식별된 장기 및 혈관 각각에 대한 이미지의 위치를 이동시키는 제1 툴(tool), 삭제하는 제2 툴(예로, 지우개(eraser) 툴), 또는 추가적인 이미지를 생성하는 제3 툴(예로, 브러시(brush) 툴 등) 중의 적어도 하나를 포함할 수 있다. And, the third UI includes a first tool to move the position of the image for each of the identified organs and blood vessels, a second tool to delete (e.g., eraser tool), or a third tool to create an additional image. It may include at least one of tools (eg, brush tool, etc.).

예로, 사용자는 지우개 툴을 이용하여 제1 장치가 잘못 예측한 간(liver) 모델링 데이터를 지울 수 있다. 또 다른 예로, 사용자는 브러시 툴을 이용하여 생략된 간 모델링 데이터를 추가할 수 있다.For example, the user may use an eraser tool to erase liver modeling data incorrectly predicted by the first device. As another example, the user can add omitted liver modeling data using the brush tool.

이 때, 사용자의 검수 기준은 수술 유형 별로 정의된 검수 항목이 제대로 확인되는지, 그 구조가 해부학적으로 용인되는지에 기초할 수 있다. 또 다른 예로, 사용자의 검수 기준은 인체 해부학을 참조하여 검수 항목들이 올바른 크기와 위치 가지는지 확인할 수 있다. 예로, 사용자는 동맥 혈관들의 여러 분지점 형태를 고려하여 모델링을 검수할 수 있다.At this time, the user's inspection standard may be based on whether the inspection items defined for each type of surgery are properly confirmed and whether the structure is anatomically acceptable. As another example, the user's inspection criteria can refer to human anatomy to check whether the inspection items have the correct size and location. For example, the user can inspect the modeling by considering the various branch points of arterial blood vessels.

제1 장치는 생성된 3D 모델링 데이터 정합하여 특정 수술의 진행을 위한 3D 모델을 생성할 수 있다(S360).The first device can generate a 3D model for performing a specific surgery by matching the generated 3D modeling data (S360).

구체적으로, 제1 장치는 생성된 3D 모델링 데이터의 위치를 환자의 움직임 또는 하나 이상의 CT 이미지 상에서 공통으로 나타나는 혈관의 위치에 기초하여 조정할 수 있다.Specifically, the first device may adjust the location of the generated 3D modeling data based on the patient's movement or the location of blood vessels commonly appearing on one or more CT images.

예로, 환자에게 적용될 수술의 유형이 위암인 경우를 가정한다. 제2 장치는 위암과 관련된 장기 위치를 2번 이상 스캔하여 복수의 CT 이미지를 획득하고, 획득된 복수의 CT 이미지를 제1 장치로 전송할 수 있다. 제1 장치는 복수의 CT 이미지에서 공통적으로 확인되는 혈관을 기준으로 생성된 복수의 3D 모델링 데이터(즉, 위암과 관련된 복수의 장기에 대한 3D 모델링 데이터)를 정합할 수 있다. For example, assume that the type of surgery to be applied to the patient is stomach cancer. The second device may acquire a plurality of CT images by scanning the locations of organs related to stomach cancer two or more times, and transmit the acquired plurality of CT images to the first device. The first device may match a plurality of 3D modeling data (i.e., 3D modeling data for a plurality of organs related to stomach cancer) generated based on blood vessels commonly identified in a plurality of CT images.

예로, 도 7의 (a)에 도시된, 정맥을 구성하는 세부 혈관이 복수의 CT 이미지에 공통적으로 확인되는 경우를 가정한다. 복수의 CT 이미지에 공통적으로 확인된 상기 혈관의 위치가 각 CT 이미지 별로 x, y, z 좌표기준 (-10mm, 3mm, -5mm) 차이 값이 존재하는 경우, 제1 장치는 다른 장기/혈관의 위치(예로, 도 7의 (b)에 도시된 동맥을 구성하는 세부 혈관)도 상기 차이 값을 적용하여 조정할 수 있다. 그리고, 제1 장치는 위치를 조정한 각 장기/혈관에 대한 모델링 데이터를 정합하여 위암 수술의 진행을 위한 3D 모델(예로, 도 7의 (c)에 도시된 3D 모델과 같이)을 생성할 수 있다.For example, assume that detailed blood vessels constituting a vein, shown in (a) of FIG. 7, are commonly identified in a plurality of CT images. If the location of the blood vessel commonly identified in a plurality of CT images has difference values based on x, y, z coordinates (-10mm, 3mm, -5mm) for each CT image, the first device The location (eg, detailed blood vessels constituting the artery shown in (b) of FIG. 7) can also be adjusted by applying the difference value. In addition, the first device can generate a 3D model for the progress of gastric cancer surgery (e.g., like the 3D model shown in (c) of FIG. 7) by matching the modeling data for each organ/blood vessel whose positions have been adjusted. there is.

제1 장치는 생성된 3D 모델을 이용하여 특정 수술의 진행(즉, 가상 모의 수술)을 위한 시뮬레이션을 생성할 수 있다.The first device may generate a simulation for the progress of a specific surgery (i.e., virtual mock surgery) using the generated 3D model.

도 4는 본 개시의 일 실시예에 따른, 스캔 이미지 상에서 장기 및 혈관을 분할/식별하는 방법을 설명하기 위한 순서도이다. 즉, 도 4는 S330 및 S340를 구체적으로 설명하기 위한 순서도이다.Figure 4 is a flowchart for explaining a method of segmenting/identifying organs and blood vessels on a scanned image, according to an embodiment of the present disclosure. That is, Figure 4 is a flowchart for specifically explaining S330 and S340.

제1 장치는 복수의 수술 타입 별로 대응되는 장기 및 혈관에 대한 정보를 저장한 데이터베이스를 구축하거나 로드(load)할 수 있다(S410).The first device may build or load a database storing information on organs and blood vessels corresponding to a plurality of surgery types (S410).

예를 들어, 제1 장치는 특정 수술에 대응되는 장기/혈관/기타 조직에 대한 정보를 수집하여 데이터 베이스를 구축할 수 있다. 또는, 제1 장치는 특정 수술(에로, 위암 수술)에 대응되는 장기/혈관/기타 조직에 대한 정보에 기초하여 구축된 데이터 베이스를 외부 장치로부터 로드(또는, 수신)할 수 있다.For example, the first device may build a database by collecting information on organs/blood vessels/other tissues corresponding to a specific surgery. Alternatively, the first device may load (or receive) a database built based on information about organs/blood vessels/other tissues corresponding to a specific surgery (e.g., gastric cancer surgery) from an external device.

상기 특정 수술이 위암 수술인 경우, 데이터 베이스에는 위암 수술과 관련된 장기(예로, 간, 복부, 비장, 쓸개(Gallbladder), 콩팥(Pancreas)), 해당 장기의 동맥을 이루는 세부 혈관(예로, AORTA, CT, CHA, SA, PHA, GDA 등 총 16가지의 혈관), 해당 장기의 정맥을 이루는 세부 혈관(예로, PV, SV, GCT, SMV, LGV, LGEV 등 총 12가지의 혈관), 그 외 조직(예로, 피부, Lib, 복벽(Abdominal Wall) 등)을 포함할 수 있다.If the specific surgery is a stomach cancer surgery, the database includes organs related to the stomach cancer surgery (e.g., liver, abdomen, spleen, gallbladder, and pancreas), and detailed blood vessels forming the arteries of the organ (e.g., AORTA, A total of 16 blood vessels, including CT, CHA, SA, PHA, and GDA), detailed blood vessels forming the veins of the relevant organ (eg, a total of 12 blood vessels, including PV, SV, GCT, SMV, LGV, and LGEV), and other tissues (For example, it may include skin, Lib, abdominal wall, etc.).

제1 장치는 데이터베이스에서 입력된 특정 수술의 타입과 관련된 장기 및 혈관과 관련된 정보를 획득할 수 있다(S420).The first device may obtain information related to organs and blood vessels related to the type of specific surgery entered in the database (S420).

제1 장치는 제2 UI 상에서 입력된 특정 수술의 타입에 대응되는 장기 및 혈관에 대한 이미지를 식별할 수 있는 알고리즘 모듈을 선택할 수 있다(S430). The first device may select an algorithm module that can identify images of organs and blood vessels corresponding to the type of specific surgery input on the second UI (S430).

구체적으로, AI 모델은 복수의 수술 타입 별로 대응되는 장기 및 혈관에 대한 이미지를 식별할 수 있는, 복수의 수술 타입 별 기 학습된 알고리즘 모듈을 포함할 수 있다. 여기서, 알고리즘 모듈은 AI 모델이 특정 동작을 수행하기 위해 학습된 알고리즘을 의미할 수 있다. AI 모델은 복수의 수술 타입 별로 대응되는 장기 및 혈관에 대한 이미지를 식별하도록 학습되었는 바, AI 모델은 복수의 수술 타입 별 기 학습된 알고리즘 모듈을 포함할 수 있다.Specifically, the AI model may include a previously learned algorithm module for each type of surgery, capable of identifying images of organs and blood vessels corresponding to each type of surgery. Here, the algorithm module may refer to an algorithm learned by the AI model to perform a specific operation. The AI model is trained to identify images of organs and blood vessels corresponding to multiple types of surgery, and the AI model may include previously learned algorithm modules for each type of surgery.

사용자는 제2 UI 상에서 복수의 수술 타입 별 기 학습된 알고리즘 모듈 중 특정 수술 타입에 대응되는 알고리즘 모듈을 선택할 수 있다. 이에 따라, AI 모델은 선택된 알고리즘 모듈을 이용하여 특정 수술 타입과 관련된 장기/혈관/기타 조직을 식별할 수 있다.The user can select an algorithm module corresponding to a specific surgery type among the algorithm modules previously learned for each surgery type on the second UI. Accordingly, the AI model can identify organs/blood vessels/other tissues related to a specific surgery type using the selected algorithm module.

제2 UI는, 일 예시로, 도 6에 도시된 바와 같이 구현될 수 있다. 제2 UI는 복수의 수술 타입 별 기 학습된 알고리즘 모듈을 선택할 수 있는 UI 엘리먼트(610, 620)를 포함할 수 있다. 사용자는 UI 엘리먼트(610, 620)를 통해 특정 알고리즘 모듈을 선택할 수 있다.As an example, the second UI may be implemented as shown in FIG. 6. The second UI may include UI elements 610 and 620 that can select a pre-learned algorithm module for each type of surgery. The user can select a specific algorithm module through UI elements 610 and 620.

제1 장치는, 선택된 알고리즘 모듈을 이용하는 AI 모델을 통해, 하나 이상의 CT 이미지 상에서 장기 및 혈관 각각에 대한 이미지를 분할하여 식별할 수 있다(S450). The first device can segment and identify images for each organ and blood vessel on one or more CT images through an AI model using the selected algorithm module (S450).

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.Meanwhile, the disclosed embodiments may be implemented in the form of a recording medium that stores instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may create program modules to perform operations of the disclosed embodiments. The recording medium may be implemented as a computer-readable recording medium.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. Computer-readable recording media include all types of recording media storing instructions that can be decoded by a computer. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, etc.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.As described above, the disclosed embodiments have been described with reference to the attached drawings. A person skilled in the art to which this disclosure pertains will understand that the present disclosure may be practiced in forms different from the disclosed embodiments without changing the technical idea or essential features of the present disclosure. The disclosed embodiments are illustrative and should not be construed as limiting.

100: 장치
110: 메모리
120: 통신 모듈
130: 디스플레이
140: 입력 모듈
150 : 프로세서
100: device
110: memory
120: communication module
130: display
140: input module
150: processor

Claims (10)

제1 장치에 의해 수행되는, 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 방법에 있어서,
환자의 신체를 스캔함으로서 출력된 하나 이상의 스캔 이미지를 획득하는 단계;
상기 환자에 대해 진행될 특정 수술의 타입을 제1 UI(user interface)를 통해 입력받는 단계;
상기 입력된 특정 수술의 타입과 관련된 장기 및 혈관과 관련된 정보를 획득하는 단계;
상기 획득된 정보에 기초하여, 인공 지능(artificial intelligence, AI) 모델을 통해 상기 하나 이상의 스캔 이미지 상에서 상기 장기 및 혈관 각각에 대한 이미지를 분할하여 식별하는 단계;
상기 식별된 장기 및 혈관 각각에 대한 이미지를 이용하여, 상기 장기 및 혈관 각각의 3D 모델링 데이터를 생성하는 단계; 및
상기 생성된 3D 모델링 데이터 정합하여 상기 특정 수술의 진행을 위한 3D 모델을 생성하는 단계를 포함하는, 방법.
In a method of generating a 3D model of organs and blood vessels according to the type of surgery, performed by a first device,
Obtaining one or more scanned images output by scanning the patient's body;
Receiving a type of specific surgery to be performed on the patient through a first user interface (UI);
Obtaining information related to organs and blood vessels related to the input specific type of surgery;
Based on the obtained information, dividing and identifying images for each of the organs and blood vessels on the one or more scanned images through an artificial intelligence (AI) model;
Using images of each of the identified organs and blood vessels, generating 3D modeling data for each of the identified organs and blood vessels; and
A method comprising matching the generated 3D modeling data to generate a 3D model for performing the specific surgery.
제1항에 있어서,
상기 하나 이상의 스캔 이미지는 상기 환자의 신체에 대한 하나 이상의 컴퓨터 단층촬영(computer tomography, CT) 이미지를 포함하고,
상기 하나 이상의 CT 이미지를 획득하는 단계는,
상기 환자의 신체를 스캔한 제2 장치 또는 상기 제2 장치와 연결된 클라우드 서버 중의 적어도 하나로부터 상기 하나 이상의 CT 이미지를 수신하는 단계를 포함하는, 방법.
According to paragraph 1,
The one or more scanned images include one or more computer tomography (CT) images of the patient's body,
The step of acquiring one or more CT images includes:
A method comprising receiving the one or more CT images from at least one of a second device that scanned the patient's body or a cloud server connected to the second device.
제2항에 있어서,
상기 입력된 특정 수술의 타입과 관련된 장기 및 혈관과 관련된 정보를 획득하는 단계는,
복수의 수술 타입 별로 대응되는 장기 및 혈관에 대한 정보를 저장한 데이터베이스(database)를 구축하거나 로드(load)하는 단계; 및
상기 데이터베이스에서 상기 입력된 특정 수술의 타입과 관련된 장기 및 혈관과 관련된 정보를 획득하는 단계를 포함하는, 방법.
According to paragraph 2,
The step of acquiring information related to organs and blood vessels related to the type of specific surgery entered,
Building or loading a database storing information on organs and blood vessels corresponding to a plurality of surgery types; and
A method comprising obtaining information related to organs and blood vessels related to the input specific type of surgery from the database.
제3항에 있어서,
상기 AI 모델은,
상기 복수의 수술 타입 별로 대응되는 장기 및 혈관에 대한 이미지를 식별할 수 있는, 상기 복수의 수술 타입 별 기 학습된 알고리즘 모듈을 포함하는, 방법.
According to paragraph 3,
The AI model is,
A method comprising a previously learned algorithm module for each of the plurality of surgery types, capable of identifying images of organs and blood vessels corresponding to each of the plurality of surgery types.
제4항에 있어서,
상기 식별하는 단계는,
제2 UI 상에서 상기 복수의 수술 타입 별 기 학습된 알고리즘 모듈 중 상기 입력된 특정 수술의 타입에 대응되는 장기 및 혈관에 대한 이미지를 식별할 수 있는 알고리즘 모듈을 선택하는 단계; 및
상기 선택된 알고리즘 모듈을 이용하는 상기 AI 모델을 통해, 상기 하나 이상의 CT 이미지 상에서 상기 장기 및 혈관 각각에 대한 이미지를 분할하여 식별하는 단계를 포함하는, 방법.
According to paragraph 4,
The identification step is,
Selecting an algorithm module that can identify images of organs and blood vessels corresponding to the inputted specific surgery type among the algorithm modules previously learned for each surgery type on the second UI; and
A method comprising segmenting and identifying images for each of the organs and blood vessels on the one or more CT images through the AI model using the selected algorithm module.
제5항에 있어서,
상기 3D 모델링 데이터를 생성하는 단계는,
상기 하나 이상의 스캔 이미지 상에서 식별된 상기 장기 및 혈관 각각에 대한 이미지의 위치, 크기, 및 형태를 검수하기 위한 제3 UI를 제공하는 단계; 및
상기 제3 UI를 통해 입력된 검수 결과에 따라 상기 장기 및 혈관 각각에 대한 이미지를 수정하는 단계를 포함하는, 방법.
According to clause 5,
The step of generating the 3D modeling data is,
Providing a third UI for inspecting the position, size, and shape of the image for each of the organs and blood vessels identified on the one or more scanned images; and
A method comprising modifying images for each of the organs and blood vessels according to the inspection results input through the third UI.
제6항에 있어서,
상기 제3 UI는,
상기 식별된 장기 및 혈관 각각에 대한 이미지의 위치를 이동시키는 제1 툴(tool), 삭제하는 제2 툴, 또는 추가적인 이미지를 생성하는 제3 툴 중의 적어도 하나를 포함하는, 방법.
According to clause 6,
The third UI is,
A method comprising at least one of a first tool for moving the position of an image for each of the identified organs and blood vessels, a second tool for deleting, or a third tool for creating an additional image.
제7항에 있어서,
상기 정합하는 단계는,
상기 생성된 3D 모델링 데이터의 위치를 상기 환자의 움직임 또는 상기 하나 이상의 CT 이미지 상에서 공통으로 나타나는 혈관의 위치에 기초하여 조정하는 단계를 포함하는, 방법.
In clause 7,
The matching step is,
Method comprising adjusting the position of the generated 3D modeling data based on the movement of the patient or the position of blood vessels commonly appearing on the one or more CT images.
수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 제1 장치에 있어서,
하나 이상의 통신 모듈;
하나 이상의 메모리(memory); 및
하나 이상의 프로세서를 포함하고,
상기 하나 이상의 프로세서는,
환자의 신체를 스캔함으로서 출력된 하나 이상의 스캔 이미지를 획득하고;
상기 환자에 대해 진행될 특정 수술의 타입을 제1 UI(user interface)를 통해 입력받고;
상기 입력된 특정 수술의 타입과 관련된 장기 및 혈관과 관련된 정보를 획득하고;
상기 획득된 정보에 기초하여, 인공 지능(artificial intelligence, AI) 모델을 통해 상기 하나 이상의 스캔 이미지 상에서 상기 장기 및 혈관 각각에 대한 이미지를 분할하여 식별하고;
상기 식별된 장기 및 혈관 각각에 대한 이미지를 이용하여, 상기 장기 및 혈관 각각의 3D 모델링 데이터를 생성하고; 및
상기 생성된 3D 모델링 데이터 정합하여 상기 특정 수술의 진행을 위한 3D 모델을 생성하도록 설정되는, 제1 장치.
In the first device for generating 3D models of organs and blood vessels according to the type of surgery,
One or more communication modules;
One or more memories; and
Contains one or more processors,
The one or more processors:
Obtaining one or more scanned images output by scanning the patient's body;
Receiving the type of specific surgery to be performed on the patient through a first UI (user interface);
Obtain information related to organs and blood vessels related to the type of specific surgery entered;
Based on the obtained information, segment and identify images for each of the organs and blood vessels on the one or more scanned images through an artificial intelligence (AI) model;
Using the images for each of the identified organs and blood vessels, 3D modeling data for each of the identified organs and blood vessels is generated; and
A first device configured to generate a 3D model for performing the specific surgery by matching the generated 3D modeling data.
하드웨어인 제1 장치와 결합되어, 제1항 내지 제8항 중 어느 한 항의 수술 종류에 따라 장기 및 혈관에 대한 3D 모델을 생성하는 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.A computer program combined with a first device, which is hardware, and stored in a computer-readable recording medium to execute a method of generating a 3D model of organs and blood vessels according to the type of surgery according to any one of claims 1 to 8.
KR1020220066185A 2022-05-30 2022-05-30 Method, device and program for generating 3d model of organ and blood vessel according to the type of surgery KR20230167194A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220066185A KR20230167194A (en) 2022-05-30 2022-05-30 Method, device and program for generating 3d model of organ and blood vessel according to the type of surgery
PCT/KR2023/007105 WO2023234626A1 (en) 2022-05-30 2023-05-24 Apparatus and method for generating 3d model for organ and blood vessel according to type of surgery

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220066185A KR20230167194A (en) 2022-05-30 2022-05-30 Method, device and program for generating 3d model of organ and blood vessel according to the type of surgery

Publications (1)

Publication Number Publication Date
KR20230167194A true KR20230167194A (en) 2023-12-08

Family

ID=89025293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220066185A KR20230167194A (en) 2022-05-30 2022-05-30 Method, device and program for generating 3d model of organ and blood vessel according to the type of surgery

Country Status (2)

Country Link
KR (1) KR20230167194A (en)
WO (1) WO2023234626A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010178157A (en) 2009-01-30 2010-08-12 Nec Corp Base station device and method of operating the same, mobile communication system and method of operating the same
JP2017535337A (en) 2014-11-12 2017-11-30 マテリアライズ・ナムローゼ・フエンノートシャップMaterialise Nv Systems and methods for improving surgical treatment equipment using captured images for efficient surgical treatment planning.

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9259290B2 (en) * 2009-06-08 2016-02-16 MRI Interventions, Inc. MRI-guided surgical systems with proximity alerts
KR20120111871A (en) * 2011-03-29 2012-10-11 삼성전자주식회사 Method and apparatus for creating medical image using 3d deformable model
US9788905B2 (en) * 2011-03-30 2017-10-17 Surgical Theater LLC Method and system for simulating surgical procedures
US20140071125A1 (en) * 2012-09-11 2014-03-13 The Johns Hopkins University Patient-Specific Segmentation, Analysis, and Modeling from 3-Dimensional Ultrasound Image Data
KR20160121740A (en) * 2015-04-10 2016-10-20 한국전자통신연구원 Method and apparatus for providing surgery-related anatomical information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010178157A (en) 2009-01-30 2010-08-12 Nec Corp Base station device and method of operating the same, mobile communication system and method of operating the same
JP2017535337A (en) 2014-11-12 2017-11-30 マテリアライズ・ナムローゼ・フエンノートシャップMaterialise Nv Systems and methods for improving surgical treatment equipment using captured images for efficient surgical treatment planning.

Also Published As

Publication number Publication date
WO2023234626A1 (en) 2023-12-07

Similar Documents

Publication Publication Date Title
CN107844800B (en) System, method and device for determining optimal sagittal position of whole spine
JP6081907B2 (en) System and method for computerized simulation of medical procedures
EP3547252A1 (en) Multi-modal image processing system and method
US20230248439A1 (en) Method for generating surgical simulation information and program
CN114173692A (en) System and method for recommending parameters for surgical procedures
KR102146672B1 (en) Program and method for providing feedback about result of surgery
CN114359295A (en) Focus segmentation method and device, electronic device and storage medium
KR102628324B1 (en) Device and method for analysing results of surgical through user interface based on artificial interlligence
US20220108540A1 (en) Devices, systems and methods for generating and providing image information
CN113205488B (en) Blood flow characteristic prediction method, device, electronic equipment and storage medium
KR102298417B1 (en) Program and method for generating surgical simulation information
KR20230167194A (en) Method, device and program for generating 3d model of organ and blood vessel according to the type of surgery
EP3432310A1 (en) Method and system for a preoperative surgical intervention simulation
KR102457585B1 (en) Method and system for navigating vascular during surgery
KR20230166339A (en) Method, apparatus, and program for providing patient-specific 3 dimension surgical simulation
KR20190133423A (en) Program and method for generating surgical simulation information
EP3444778A1 (en) Method and apparatus for adjusting a model of an anatomical structure
Chen et al. A deformable model for navigated laparoscopic gastrectomy based on finite elemental method
CN113408152B (en) Coronary artery bypass grafting simulation system, method, medium and electronic equipment
US20230046302A1 (en) Blood flow field estimation apparatus, learning apparatus, blood flow field estimation method, and program
KR101940706B1 (en) Program and method for generating surgical simulation information
Chae et al. Imaging and printing in plastic and reconstructive surgery part 2: emerging techniques
US20230031396A1 (en) Apparatus and method for matching the real surgical image with the 3d-based virtual simulated surgical image based on poi definition and phase recognition
US20240020860A1 (en) Method and apparatus of fusion of multimodal images to fluoroscopic images
KR20240044196A (en) Method and apparatus for multi-stage segmentation of organs based on semi-supervised learning