WO2024117707A2 - Ai를 이용해 간의 구조를 3d 모델로 구현하는 방법 및 이를 위한 장치 - Google Patents

Ai를 이용해 간의 구조를 3d 모델로 구현하는 방법 및 이를 위한 장치 Download PDF

Info

Publication number
WO2024117707A2
WO2024117707A2 PCT/KR2023/019219 KR2023019219W WO2024117707A2 WO 2024117707 A2 WO2024117707 A2 WO 2024117707A2 KR 2023019219 W KR2023019219 W KR 2023019219W WO 2024117707 A2 WO2024117707 A2 WO 2024117707A2
Authority
WO
WIPO (PCT)
Prior art keywords
liver
model
image
imaging device
generating
Prior art date
Application number
PCT/KR2023/019219
Other languages
English (en)
French (fr)
Other versions
WO2024117707A3 (ko
Inventor
유진수
조재원
최규성
김종만
정우경
김재훈
임소영
Original Assignee
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단 filed Critical 사회복지법인 삼성생명공익재단
Publication of WO2024117707A2 publication Critical patent/WO2024117707A2/ko
Publication of WO2024117707A3 publication Critical patent/WO2024117707A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4244—Evaluating particular parts, e.g. particular organs liver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Definitions

  • the present invention relates to a method of implementing the structure of the liver as a 3D model using AI and a device for the same. More specifically, a method of generating a 3D model of the liver using AI based on an image captured using an imaging device, and It's about devices.
  • the liver is a solid organ located in the right upper abdomen of our body and has a complex vascular structure within the liver. Computed tomography (CT) or magnetic resonance imaging (MRI) is used to diagnose liver-related diseases that occur in the liver parenchyma between these vascular structures. In addition, ultrasound and positron emission tomography (PET) are used to diagnose liver-related diseases.
  • CT Computed tomography
  • MRI magnetic resonance imaging
  • PET ultrasound and positron emission tomography
  • Liver computed tomography is a computed tomography test performed for the purpose of diagnosing local or diffuse diseases such as tumors within the liver, and liver magnetic resonance imaging (liver MRI) generates high frequencies to detect hydrogen nuclei in the human body. It is a test to diagnose liver disease by creating image data using a computer through resonance. The results of the liver CT test and the liver MRI test are read by a radiologist and a written interpretation is written directly.
  • liver MRI has the advantage of providing superior contrast to soft tissues in the body and obtaining information on the biochemical characteristics of tissues containing hydrogen nuclei, but it has the disadvantage of being expensive and taking a long time.
  • 3D model of the liver must represent the internal structure of the liver, so further work can only be done by a liver expert. This additional work is not only difficult even for experienced experts, but is also a manual task that requires the expert to use specific software. Accordingly, although 3D models of the liver are useful for diagnosis and treatment of liver diseases, they are difficult to use.
  • the present invention proposes a method and a device for implementing the liver structure as a 3D model using AI.
  • a method of generating a 3D model of the liver includes reconstructing an image of the liver taken using an imaging device, inputting the reconstructed liver image into learned artificial intelligence (AI), and learning A step of determining the structure of the liver in the reconstructed liver image by AI, and generating a 3D model of the liver based on the determined liver structure, wherein the learned AI determines the structure of the liver in the input image of the liver. It can be determined and printed.
  • AI learned artificial intelligence
  • the imaging device may be a magnetic resonance imaging device.
  • the image of the liver captured using the imaging device may be a 20-minute delayed image.
  • the determined structure of the liver may be at least one of liver parenchyma, hepatic vein, portal vein, biliary tract, and mass.
  • the learned AI may be a U-Net model based on a deep learning model.
  • the computer-readable recording medium for generating a 3D model of the liver according to the present invention may record a computer program for executing at least one of the methods described above.
  • the electronic device for generating a 3D model of the liver according to the present invention may execute at least one of the methods described above.
  • the present invention can help in the diagnosis and treatment of liver diseases, including hepatocellular carcinoma.
  • 2D image data about the liver captured using a magnetic resonance imaging device can be converted into a 3D model without the help of a liver expert.
  • the anatomical understanding of a surgeon performing surgery on the liver can be improved.
  • a doctor can easily explain a liver disease to a patient, and the patient can easily understand the liver disease, which can help communicate information between the patient and the doctor.
  • Figures 1A to 1F show an example of original image data of the liver viewed from various directions, taken using a magnetic resonance imaging device for use in AI learning, and image data with some components of the liver masked.
  • Figures 2A to 2E are examples of liver parenchyma, mass, biliary tract, hepatic vein, and portal vein in a liver cross-section viewed from the axial plane.
  • 3A to 3D are examples of a 3D model of the liver viewed from various directions.
  • Figures 4a and 4b are examples of 3D models of the liver implemented by liver experts and AI.
  • Figure 5 is a flowchart of a method for generating a 3D model of the liver using learned AI according to an embodiment of the present invention.
  • Figure 6 is a configuration diagram of an electronic device that generates a 3D model of the liver according to an embodiment of the present invention.
  • each process/step that makes up the method may occur in a different order from the specified order unless a specific order is clearly stated in the context. That is, each process/step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the opposite order.
  • the data set (input data and output data) to be used for AI learning is liver magnetic resonance imaging (liver MRI) (i.e., original image data) taken using a magnetic resonance imaging device, and the original image data includes liver parenchyma, portal vein, hepatic vein, and biliary tract. and image data masking the mass.
  • the original image data may refer to image data without masking that is captured using a magnetic resonance imaging device.
  • Image data that masks the liver parenchyma, portal vein, hepatic vein, biliary tract, and mass from the original image data may have been manually processed by a liver expert using a medical imaging program.
  • Medical imaging programs may be, for example, Materialize's Mimix Medical, Medical IP's Medip, Coreline Soft's Aview, and open source programs such as 3D Slicer and inVesalius.
  • Image data that masks the liver parenchyma, portal vein, hepatic vein, biliary tract, and tumor from the original liver image data can be input for AI learning.
  • Figures 1A to 1F show an example of original image data of the liver viewed from various directions, taken using a magnetic resonance imaging device for use in AI learning, and image data with some components of the liver masked.
  • FIG. 1A is original image data showing the liver in an axial view taken using a magnetic resonance imaging device
  • FIG. 1B is image data masking the liver parenchyma, portal vein, hepatic vein, biliary tract, and mass in FIG. 1A
  • FIG. 1C is original image data showing the liver taken from the coronal plane using a magnetic resonance imaging device
  • FIG. 1D is image data masking the liver parenchyma, portal vein, hepatic vein, biliary tract, and mass in FIG. 1C.
  • Figures 2A to 2E are examples of the liver parenchyma, mass, biliary hepatic vein, and portal vein in a liver cross-section viewed from the axial plane.
  • Figures 2A to 2E are image data that masks the liver parenchyma, portal vein, hepatic vein, biliary tract, and mass from the original liver image data, and can be used as AI learning data.
  • Figure 2a shows liver parenchyma masked from 2D image data of the liver taken using a magnetic resonance imaging device
  • Figure 2b shows a mass masked from 2D image data of the liver taken using a magnetic resonance imaging device
  • Figure 2c shows the hepatic vein masked from 2D image data of the liver taken using a magnetic resonance imaging device
  • Figure 2d shows the hepatic portal vein masked from 2D image data of the liver taken using a magnetic resonance imaging device.
  • Image data input for AI learning can be reconstructed.
  • the voxel resolution of the input image data is reconstructed to 1.0 It can be converted.
  • At least some of the liver parenchyma, portal vein, hepatic vein, biliary tract, and mass may be displayed in the reconstructed image data.
  • a single voxel may represent one of the liver parenchyma, portal vein, hepatic vein, biliary tract, and mass, but may also represent ascites.
  • AI learning can be performed using deep learning models, for example.
  • the deep learning model may be, for example, a U-Net model using segmented image data.
  • the encoder block can be composed of ResNet-based modules
  • the decoder block can be composed of ConvNet-based modules.
  • it is output as one of the background, liver parenchyma, portal vein, hepatic vein, biliary tract, and mass.
  • At least one of flipping, rotating, and scaling can be performed on the preprocessed original image data.
  • 3A to 3D are examples of a 3D model of the liver viewed from various directions.
  • the liver parenchyma, mass, biliary tract, hepatic vein, and portal vein can be implemented in the 3D model of the liver. If there is no mass, the mass may not materialize.
  • Figure 3a is an example of a top view of a 3D model of the liver
  • Figure 3b is an example of a front view of a 3D model of the liver
  • FIG. 3C is an example of a right view of a 3D model of the liver
  • FIG. 3D is an example of a bottom view of a 3D model of the liver.
  • a user can check the internal structure of the liver from various directions by controlling a 3D model of the liver.
  • Figures 4a and 4b are examples of 3D models of the liver implemented by liver experts and AI.
  • Liver experts and AI can create a 3D model of the liver from 2D image data about the liver.
  • Figure 4a is an example of a 3D model of the liver implemented from 2D image data of the liver captured by a liver expert using a magnetic resonance imaging device
  • Figure 4b is an example of a 3D model of the liver implemented by AI from 2D image data of the liver as shown in Figure 4a. This is an example of a 3D model of a liver.
  • Figure 5 is a flowchart of a method for generating a 3D model of the liver using learned AI according to an embodiment of the present invention.
  • the method of generating a 3D model of the liver may first reconstruct an image of the liver captured using an imaging device (S510).
  • the imaging device may be a magnetic resonance imaging device, and the liver image taken using the imaging device may be a 20-minute delayed phase image (hepatobiliary phase).
  • AI may be a U-Net model based on a deep learning model.
  • the structure of the liver can be determined from the liver image reconstructed by the learned AI (S530).
  • the learned AI can determine the structure of the liver from the input liver image and output it.
  • the structure of the liver may include liver parenchyma, portal vein, hepatic vein, biliary tract, and mass. If a mass cannot be identified, it may be determined that there is no mass.
  • the area, size, and shape of the liver parenchyma, portal vein, hepatic vein, biliary tract, and mass can be accurately expressed.
  • the method of creating a 3D model of the liver using learned AI can generate a 3D model of the liver based on the determined structure of the liver (S540).
  • Figure 6 is a configuration diagram of an electronic device that generates a 3D model of the liver according to an embodiment of the present invention.
  • the electronic device 600 may include a processor 610, a storage module 620, and an input/output module 630.
  • the electronic device 600 may further include a communication module (not shown).
  • the processor 610 can reconstruct an image of the liver captured using an imaging device.
  • the imaging device may be a magnetic resonance imaging device, and the liver image taken using the imaging device may be a 20-minute delayed image.
  • the processor 610 can input the reconstructed liver image into the learned AI.
  • AI may be a U-Net model based on a deep learning model.
  • the processor 610 can determine the structure of the liver from the liver image reconstructed using the learned AI.
  • the structure of the liver may include liver parenchyma, portal vein, hepatic vein, biliary tract, and mass, but the mass does not necessarily have to be included. For example, if an image is of a subject's liver without a tumor, it may be determined that there is no tumor.
  • the processor 610 may generate a 3D model of the liver based on the determined liver structure.
  • the storage module 620 can store the learned AI.
  • the learned AI may be a U-Net model based on a deep learning model.
  • the learned AI can determine the structure of the liver from the input liver image and output it.
  • the learned AI may be stored on an external server, and in this case, input and output may be performed through a communication module.
  • the input/output module 630 can receive an image of the liver captured using an imaging device and output a 3D model of the liver.
  • the input/output module 630 is shown as one, but may be configured as a separate module.
  • the input module can be a mouse or/and keyboard
  • the output module can be a display module such as a monitor or speakers.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physiology (AREA)
  • Endocrinology (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 AI를 이용해 간의 구조를 3D 모델로 구현하는 방법 및 이를 위한 장치에 관한 것이다. 본 발명의 일 실시예에 따른 AI를 이용해 간의 구조를 3D 모델로 구현하는 방법은 영상장치를 이용해 촬영한 간의 영상을 재구성하는 단계, 상기 재구성된 간의 영상을 학습된 AI에 입력하는 단계, 상기 학습된 AI에 의해 상기 재구성된 간의 영상에서 간의 구조가 판별되는 단계, 및 상기 판별된 간의 구조에 기초해 간의 3D 모델을 생성하는 단계를 포함하고, 상기 학습된 AI는 입력된 간의 영상에서 간의 구조를 판별하여 출력하는 것일 수 있다.

Description

AI를 이용해 간의 구조를 3D 모델로 구현하는 방법 및 이를 위한 장치
본 발명은 AI를 이용해 간의 구조를 3D 모델로 구현하는 방법 및 이를 위한 장치에 관한 것으로, 보다 구체적으로는, 영상장치를 이용해 촬영한 영상에 기초해 AI를 이용하여 간의 3D 모델을 생성하는 방법 및 장치에 관한 것이다.
간은 우리 몸의 우상복부에 위치한 고형 장기로 간 내 혈관 구조가 복잡하게 얽혀있는 모양을 가지고 있다. 이런 혈관 구조물들 사이에 있는 간 실질에서 발생하는 간 관련 질환을 진단하기 위해 전산화단층촬영(CT)이나 자기공명영상(MRI)이 사용되고 있다. 그 외에도 간 관련 질환을 진단하기 위해 초음파, 양전자 단층촬영(PET)이 이용되고 있다.
간 전산화 단층촬영(간 CT)은 간 내에 종양과 같은 국소 질환이나 미만성 질환을 진단하는 목적으로 시행하는 컴퓨터 단층촬영 검사이고, 간 자기공명영상(간 MRI)은 고주파를 발생시켜 인체 내의 수소원자핵을 공명시킴으로써 컴퓨터를 이용해 영상 자료로 만들어 간질환을 진단하는 검사이다. 간 CT 검사의 결과 및 간 MRI 검사의 결과는 영상의학과 의사가 판독하여 직접 판독문을 작성한다. 간 MRI는 간 CT에 비해 체내 연부 조직의 대조도가 뛰어나며 수소원자핵을 함유한 조직의 생화학적 특성에 관한 정보를 얻을 수 있다는 장점이 있지만, 가격이 비싸고 시간이 오래 걸리는 단점이 있다.
자기공명 영상장치를 이용해 촬영한 간에 대한 2D 이미지 데이터를 3D 모델로 변환하기 위해서는 추가적인 작업을 필요로 한다. 간의 3D 모델은 간의 내부 구성이 표현되어야 해 추가적인 작업은 간에 대한 전문가에 의해서만 가능할 수 있다. 이러한 추가적인 작업은 경험이 있는 전문가에게도 어려울 뿐만 아니라 특정 소프트웨어를 사용하여 전문가가 직접 작업해야 하는 수작업이다. 이에 간의 3D 모델은 간질환에 대한 진단과 치료에 유용함에도 이용에 어려움이 있다.
이에, 본 발명에서는 AI를 이용해 간의 구조를 3D 모델로 구현하는 방법 및 이를 위한 장치에 대해 제안한다.
본 발명의 일 실시예에 따른 간의 3D 모델을 생성하는 방법은, 영상장치를 이용해 촬영한 간의 영상을 재구성하는 단계, 상기 재구성된 간의 영상을 학습된 AI(artificial intelligence)에 입력하는 단계, 상기 학습된 AI에 의해 상기 재구성된 간의 영상에서 간의 구조가 판별되는 단계, 및 상기 판별된 간의 구조에 기초해 간의 3D 모델을 생성하는 단계를 포함하고, 상기 학습된 AI는 입력된 간의 영상에서 간의 구조를 판별하여 출력할 수 있다.
본 발명의 일 실시예에 따른 간의 3D 모델을 생성하는 방법에서, 상기 영상장치는 자기공명 영상장치일 수 있다.
본 발명의 일 실시예에 따른 간의 3D 모델을 생성하는 방법에서, 상기 영상장치를 이용해 촬영한 간의 영상은 20분 지연기 영상일 수 있다.
본 발명의 일 실시예에 따른 간의 3D 모델을 생성하는 방법에서, 상기 판별되는 간의 구조는 간실질, 간정맥, 간문맥, 담도 및 종괴 중 적어도 하나일 수 있다.
본 발명의 일 실시예에 따른 간의 3D 모델을 생성하는 방법에서, 상기 학습된 AI는 딥러닝 모델에 기초한 U-Net 모델일 수 있다.
본 발명에 따른 간의 3D 모델을 생성하는 컴퓨터 판독 가능한 기록 매체는 앞서 설명한 방법 중 적어도 하나를 실행하기 위한 컴퓨터 프로그램을 기록한 것일 수 있다.
본 발명에 따른 간의 3D 모델을 생성하는 전자 장치는 앞서 설명한 방법 중 적어도 하나를 실행할 수 있다.
본 발명은 간세포암을 포함한 간 질환에 대한 진단 및 치료에 도움을 줄 수 있다.
본 발명에 따르면, 간에 대한 전문가의 도움없이 자기공명 영상장치를 이용해 촬영한 간에 대한 2D 이미지 데이터를 3D 모델로 변환할 수 있다.
본 발명에 따르면, 간에 대해 수술을 집도하는 집도의의 해부학적 이해를 높일 수 있다.
본 발명에 따르면, 의사는 환자에게 간에 대한 질환을 쉽게 설명할 수 있고, 환자는 간에 대한 질환에 대해 쉽게 이해할 수 있어 환자와 의사의 정보 소통에 도움이 될 수 있다.
도 1a 내지 도 1f는 AI 학습에 이용하기 위한 자기공명 영상장치를 이용해 촬영한 간을 여러 방향에서 본 원본 이미지 데이터와 간의 일부 구성을 마스킹한 이미지 데이터의 일 예를 나타낸 것이다.
도 2a 내지 도 2e는 축면에서 본 간 단면의 간실질, 종괴, 담도, 간정맥 및 간문맥의 일 예이다.
도 3a 내지 도 3d는 간의 3D 모델을 여러 방향에서 본 모습의 일 예이다.
도 4a와 도 4b는 간에 대한 전문가와 AI가 구현한 간의 3D 모델의 일 예이다.
도 5는 본 발명의 일 실시예에 따른 학습된 AI를 이용해 간의 3D 모델을 생성하는 방법의 순서도이다.
도 6은 본 발명의 일 실시예에 따른 간의 3D 모델을 생성하는 전자 장치의 구성도이다.
이하, 실시예는 오로지 본 발명을 보다 구체적으로 설명하기 위한 것으로서, 본 발명의 요지에 따라 본 발명의 범위가 이들 실시예에 의해 제한되지 않는다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어서 자명할 것이다. 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정/단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정/단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하에서는 학습된 AI를 이용해 간의 구조를 3D 모델로 구현하는 방법 및 이를 위한 장치에 대해 자세히 설명한다.
AI(artificial intelligence)를 이용한 학습 방법
AI 학습에 이용할 데이터 셋(입력 데이터와 출력 데이터)은 자기공명 영상장치를 이용해 촬영한 간 자기공명영상(간 MRI)(즉, 원본 영상 데이터)과 원본 영상 데이터에 간실질, 간문맥, 간정맥, 담도 및 종괴을 마스킹한 이미지 데이터가 될 수 있다. 여기서, 원본 영상 데이터는 자기공명 영상장치를 이용해 촬영한 영상 데이터로 마스킹을 하지 않는 영상 데이터를 의미할 수 있다. 원본 영상 데이터에 간실질, 간문맥, 간정맥, 담도 및 종괴를 마스킹한 이미지 데이터는 간에 대한 전문가가 의료 영상 프로그램을 이용하여 수작업으로 진행한 것일 수 있다. 의료 영상 프로그램은 예를 들어, Materialize사의 미믹스 메디컬, 메디컬아이피 사의 Medip, 코어라인소프트 사의 Aview, 오픈소스 프로그램인 3D Slicer, inVesalius 등일 수 있다. 간 원본 영상 데이터에서 간실질, 간문맥, 간정맥, 담도 및 종괴 각각을 마스킹 한 각각의 이미지 데이터가 AI 학습을 위해 입력될 수 있다.
도 1a 내지 도 1f는 AI 학습에 이용하기 위한 자기공명 영상장치를 이용해 촬영한 간을 여러 방향에서 본 원본 이미지 데이터와 간의 일부 구성을 마스킹한 이미지 데이터의 일 예를 나타낸 것이다.
구체적으로, 도 1a는 자기공명 영상장치를 이용해 촬영한 간을 축면(axial)에서 본 원본 이미지 데이터이고, 도 1b는 도 1a에서 간실질, 간문맥, 간정맥, 담도 및 종괴를 마스킹한 이미지 데이터이다. 도 1c는 자기공명 영상장치를 이용해 촬영한 간을 관상면(coronal)에서 본 원본 이미지 데이터이고, 도 1d는 도 1c에서 간실질, 간문맥, 간정맥, 담도 및 종괴를 마스킹한 이미지 데이터이다. 도 1e는 자기공명 영상장치를 이용해 촬영한 간을 시상면(sagittal)에서 본 원본 이미지 데이터이고, 도 1f는 도 1e에서 간실질, 간문맥, 간정맥, 담도 및 종괴를 마스킹한 이미지 데이터이다. 도 1b, 1d, 및 1f는 간에 대한 전문가가 의료 영상 프로그램을 이용하여 도 1a, 1c, 및 1e에 수작업으로 마스킹한 것일 수 있다.
도 2a 내지 도 2e는 축면에서 본 간 단면의 간실질, 종괴, 담도 간정맥 및 간문맥의 일 예이다.
도 2a 내지 도 2e는 간 원본 영상 데이터에서 간실질, 간문맥, 간정맥, 담도 및 종괴 각각을 마스킹 한 이미지 데이터로 AI 학습 데이터로 이용될 수 있다. 구체적으로, 도 2a는 자기공명 영상장치를 이용해 촬영한 간의 2D 이미지 데이터에서 간실질을 마스킹한 것이고, 도 2b는 자기공명 영상장치를 이용해 촬영한 간의 2D 이미지 데이터에서 종괴를 마스킹한 것이다. 도 2c는 자기공명 영상장치를 이용해 촬영한 간의 2D 이미지 데이터에서 간정맥을 마스킹한 것이고, 도 2d는 자기공명 영상장치를 이용해 촬영한 간의 2D 이미지 데이터에서 간문맥을 마스킹한 것이다. 도 2e는 자기공명 영상장치를 이용해 촬영한 간의 2D 이미지 데이터에서 담도를 마스킹한 것이다. 간의 2D 이미지 데이터는 축면에서 본 간의 단면을 나타낸 것일 수 있다. 자기공명 영상장치를 이용해 촬영한 간의 2D 이미지 데이터에는 간실질, 종괴, 담도, 간정맥 및 간문맥이 모두 나타날 수 있으며, 간에 대한 전문가는 이를 구별하여 마스킹할 수 있다.
AI 학습을 위해 입력된 이미지 데이터는 재구성될 수 있다. 예를 들어, 입력된 이미지 데이터의 voxel resolution을 1.0 x 1.0 x 1.0 mm 로 재구성하고, 재구성된 이미지 데이터의 신호 강도(signal intensity) 값을 5%~95%에서 잘라내고, 0에서 1의 값으로 변환할 수 있다. 재구성된 이미지 데이터에서 간실질, 간문맥, 간정맥, 담도 및 종괴 중 적어도 일부가 표시될 수 있다. 일 예에서는, 복셀(voxel) 하나가 간실질, 간문맥, 간정맥, 담도 및 종괴 중 하나를 나타낼 수도 있지만 복수를 나타낼 수도 있다.
AI 학습은 예를 들어, 딥러닝 모델을 이용해 수행될 수 있다. 딥러닝 모델은 예를 들어, 분할된 이미지 데이터를 이용하는 U-Net 모델일 수 있다. U-Net 모델에서 엔코더(encoder) 부분의 블록은 ResNet 기반의 모듈로 구성될 수 있고, 디코더(decoder) 부분의 블록은 ConvNet 기반의 모듈로 구성될 수 있다. 마지막 레이어(layer)에서 배경, 간실질, 간문맥, 간정맥, 담도 및 종괴 중 하나로 출력된다.
AI 학습에 이용할 데이터의 양을 늘리기 위해 전처리된 원본 이미지 데이터를 뒤집기(flip), 회전(rotation), 확대/축소(scaling) 중 적어도 하나를 수행할 수 있다.
Adam optimization와 dice loss를 이용하여 딥러닝을 수행할 수 있다.
Dice score 값을 이용해 딥러닝을 이용한 학습 결과를 확인하였다. 여기서, Dice score는 두 이미지의 교집합 *2/두 이미지의 총 픽셀 수로 표현될 수 있다.
도 3a 내지 도 3d는 간의 3D 모델을 여러 방향에서 본 모습의 일 예이다.
간의 3D 모델에는 간실질, 종괴, 담도, 간정맥 및 간문맥이 구현될 수 있다. 종괴가 없다면, 종괴는 구현되지 않을 수 있다. 구체적으로, 도 3a는 간의 3D 모델을 위에서 본 모습(top view)의 일 예이고, 도 3b는 간의 3D 모델을 앞에서 본 모습(front view)의 일 예이다. 도 3c는 간의 3D 모델을 오른쪽에서 본 모습(right view)의 일 예이고, 도 3d는 간의 3D 모델을 아래에서 본 모습(bottom view)의 일 예이다. 일 실시예에 따르면, 사용자는 간의 3D 모델을 제어해 다양한 방향에서 간의 내부 구조를 확인할 수 있다.
도 4a와 도 4b는 간에 대한 전문가와 AI가 구현한 간의 3D 모델의 일 예이다.
간에 대한 전문가와 AI는 간에 대한 2D 이미지 데이터로부터 간의 3D 모델을 구현할 수 있다. 구체적으로, 도 4a는 간에 대한 전문가가 자기공명 영상장치를 이용해 촬영한 간에 대한 2D 이미지 데이터로부터 구현한 간의 3D 모델의 일 예이고, 도 4b는 도 4a와 같은 간에 대한 2D 이미지 데이터로부터 AI가 구현한 간의 3D 모델의 일 예이다.
도 4a와 도 4b를 비교해 보면, 종괴, 담도, 간정맥, 간문맥이 간실질에 있는 위치, 모양, 크기 등이 거의 동일함을 확인할 수 있다.
학습된 AI를 이용해 간의 3D 모델을 생성하는 방법
도 5는 본 발명의 일 실시예에 따른 학습된 AI를 이용해 간의 3D 모델을 생성하는 방법의 순서도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 간의 3D 모델을 생성하는 방법은 먼저 영상장치를 이용해 촬영한 간의 영상을 재구성할 수 있다(S510). 영상장치는 자기공명 영상장치일 수 있고, 영상장치를 이용해 촬영한 간의 영상은 20분 지연기 영상(hepatobiliary phase)일 수 있다.
이후 학습된 AI를 이용해 간의 3D 모델을 생성하는 방법은 재구성된 간의 영상을 학습된 AI에 입력할 수 있다(S520). 일 실시예에 따르면, AI는 딥러닝 모델에 기초한 U-Net 모델일 수 있다.
학습된 AI를 이용해 간의 3D 모델을 생성하는 방법은 학습된 AI에 의해 재구성된 간의 영상에서 간의 구조가 판별될 수 있다(S530). 학습된 AI는 간의 영상이 입력되면 입력된 간의 영상에서 간의 구조를 판별하여 출력할 수 있다. 여기서, 간의 구조는 간실질, 간문맥, 간정맥, 담도 및 종괴를 포함할 수 있다. 종괴가 판별되지 않는 경우, 종괴가 없는 것으로 판단될 수 있다. 생성된 3D 모델에서는 간실질, 간문맥, 간정맥, 담도 및 종괴의 영역, 크기, 형상이 정확하게 표현될 수 있다.
학습된 AI를 이용해 간의 3D 모델을 생성하는 방법은 판별된 간의 구조에 기초해 간의 3D 모델을 생성할 수 있다(S540).
도 6은 본 발명의 일 실시예에 따른 간의 3D 모델을 생성하는 전자 장치의 구성도이다.
전자 장치(600)는 프로세서(610), 저장 모듈(620) 및 입출력 모듈(630)을 포함할 수 있다. 전자 장치(600)는 통신 모듈(미도시)을 더 포함할 수 있다.
프로세서(610)는 영상장치를 이용해 촬영한 간의 영상을 재구성할 수 있다. 영상장치는 자기공명 영상장치일 수 있고, 영상장치를 이용해 촬영한 간의 영상은 20분 지연기 영상일 수 있다. 프로세서(610)는 재구성된 간의 영상을 학습된 AI에 입력할 수 있다. 일 실시예에 따르면, AI는 딥러닝 모델에 기초한 U-Net 모델일 수 있다. 프로세서(610)는 학습된 AI를 이용해 재구성된 간의 영상에서 간의 구조를 판별할 수 있다. 여기서, 간의 구조는 간실질, 간문맥, 간정맥, 담도 및 종괴를 포함할 수 있으나, 종괴가 반드시 포함되어야 하는 것은 아니다. 예를 들어, 종괴가 없는 피검자의 간의 영상이라면 종괴가 없는 것으로 판단될 수 있다. 프로세서(610)는 판별된 간의 구조에 기초해 간의 3D 모델을 생성할 수 있다.
저장 모듈(620)은 학습된 AI를 저장할 수 있다. 일 실시예에 따르면, 학습된 AI는 딥러닝 모델에 기초한 U-Net 모델일 수 있다. 학습된 AI는 간의 영상이 입력되면 입력된 간의 영상에서 간의 구조를 판별하여 출력할 수 있다. 일 실시예에 따르면, 학습된 AI는 외부 서버에 저장될 수 있고, 이 경우 입력과 출력은 통신 모듈을 통해 수행될 수 있다.
입출력 모듈(630)은 영상장치를 이용해 촬영한 간의 영상을 입력받고, 생성한 간의 3D 모델을 출력할 수 있다. 여기서는 입출력 모듈(630)을 하나로 표시하나 별도의 모듈로 구성될 수 있다. 예를 들어, 입력 모듈은 마우스 또는/및 키보드가 될 수 있고, 출력 모듈은 모니터와 같은 디스플레이 모듈 또는 스피커가 될 수 있다.
이상, 본 발명내용의 특정한 부분을 상세히 기술하였는바, 당 업계의 통상의 지식을 가진 자에게 있어서, 이러한 구체적인 기술은 단지 바람직한 실시양태일 뿐이며, 이에 의해 본 발명의 범위가 제한되는 것이 아닌 점은 명백할 것이다. 따라서 본 발명의 실질적인 범위는 첨부된 청구항들과 그것들의 등가물에 의해 정의된다고 할 것이다.

Claims (7)

  1. 영상장치를 이용해 촬영한 간의 영상을 재구성하는 단계;
    상기 재구성된 간의 영상을 학습된 AI(artificial intelligence)에 입력하는 단계;
    상기 학습된 AI에 의해 상기 재구성된 간의 영상에서 간의 구조가 판별되는 단계; 및
    상기 판별된 간의 구조에 기초해 간의 3D 모델을 생성하는 단계를 포함하고,
    상기 학습된 AI는 입력된 간의 영상에서 간의 구조를 판별하여 출력하는 것인, 간의 3D 모델을 생성하는 방법.
  2. 제1항에 있어서,
    상기 영상장치는 자기공명 영상장치인, 간의 3D 모델을 생성하는 방법.
  3. 제2항에 있어서,
    상기 영상장치를 이용해 촬영한 간의 영상은 20분 지연기 영상인, 간의 3D 모델을 생성하는 방법.
  4. 제1항에 있어서,
    상기 판별되는 간의 구조는 간실질, 간정맥, 간문맥, 담도 및 종괴 중 적어도 하나인, 간의 3D 모델을 생성하는 방법.
  5. 제1항에 있어서,
    상기 학습된 AI는 딥러닝 모델에 기초한 U-Net 모델인, 간의 3D 모델을 생성하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
  7. 제1항 내지 제5항 중 어느 한 항에 따른 방법을 수행하는 전자 장치.
PCT/KR2023/019219 2022-11-28 2023-11-27 Ai를 이용해 간의 구조를 3d 모델로 구현하는 방법 및 이를 위한 장치 WO2024117707A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220161343A KR20240078793A (ko) 2022-11-28 2022-11-28 Ai를 이용해 간의 구조를 3d 모델로 구현하는 방법 및 이를 위한 장치
KR10-2022-0161343 2022-11-28

Publications (2)

Publication Number Publication Date
WO2024117707A2 true WO2024117707A2 (ko) 2024-06-06
WO2024117707A3 WO2024117707A3 (ko) 2024-09-19

Family

ID=91324419

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/019219 WO2024117707A2 (ko) 2022-11-28 2023-11-27 Ai를 이용해 간의 구조를 3d 모델로 구현하는 방법 및 이를 위한 장치

Country Status (2)

Country Link
KR (1) KR20240078793A (ko)
WO (1) WO2024117707A2 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102182357B1 (ko) * 2018-10-25 2020-11-24 고려대학교 산학협력단 Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법
KR102375258B1 (ko) * 2018-11-15 2022-03-17 사회복지법인 삼성생명공익재단 병변 영역 검출 장치, 병변 영역 검출 방법 및 컴퓨터 프로그램
WO2021211787A1 (en) * 2020-04-15 2021-10-21 Children's Hospital Medical Center Systems and methods for quantification of liver fibrosis with mri and deep learning
US20220318991A1 (en) * 2021-04-01 2022-10-06 GE Precision Healthcare LLC Artificial intelligence assisted diagnosis and classification of liver cancer from image data

Also Published As

Publication number Publication date
WO2024117707A3 (ko) 2024-09-19
KR20240078793A (ko) 2024-06-04

Similar Documents

Publication Publication Date Title
WO2020122357A1 (ko) 의료영상 재구성 방법 및 그 장치
Frangi et al. Simulation and synthesis in medical imaging
Spitzer et al. The visible human dataset: the anatomical platform for human simulation
Robb Virtual endoscopy: development and evaluation using the Visible Human datasets
WO2014185637A1 (ko) 환자 맞춤형 어플리케이터에 대한 인쇄 데이터를 생성하는 장치 및 방법, 환자 맞춤형 어플리케이터를 제조하는 시스템
Hisley et al. Coupled physical and digital cadaver dissection followed by a visual test protocol provides insights into the nature of anatomical knowledge and its evaluation
US20110311116A1 (en) System and methods for anatomical structure labeling
WO2018155765A1 (ko) 컴퓨터 단층촬영 영상에서 플라크를 분석하기 위한 방법 및 장치
WO2020231007A2 (ko) 의료기계 학습 시스템
JP2003242257A (ja) 患者データの処理システム及び処理方法
CN107330953A (zh) 一种基于非凸低秩的动态mri重建方法
CN1895185B (zh) 显示检查对象的检查区域和药剂在体内影响的信息的方法
WO2021040327A1 (ko) 심혈관 질환 위험 인자 예측 장치 및 방법
WO2019143021A1 (ko) 영상의 열람을 지원하는 방법 및 이를 이용한 장치
Ratul et al. CCX-rayNet: a class conditioned convolutional neural network for biplanar X-rays to CT volume
WO2015147595A1 (ko) 의료 영상에서 아티팩트와 병변을 구분하는 방법
WO2022010075A1 (ko) 의료영상을 기초로 인체 조직을 분석하는 방법 및 그 장치
WO2024111916A1 (ko) 주파수 영역에서 인공지능에 의한 의료영상 변환방법 및 그 장치
WO2024117707A2 (ko) Ai를 이용해 간의 구조를 3d 모델로 구현하는 방법 및 이를 위한 장치
KR100450278B1 (ko) 의료영상 처리 시스템 및 처리방법
Robb et al. Patient-specific anatomic models from three dimensional medical image data for clinical applications in surgery and endoscopy
WO2022177044A1 (ko) 주목 메커니즘 기반의 멀티 스케일 조건부 적대적 생성 신경망을 활용한 고해상도 흉부 x선 영상 생성 장치 및 방법
WO2022145988A1 (ko) 인공지능을 이용한 안면부 골절 판독 장치 및 방법
Fan et al. Developmental differences of structural connectivity and effective connectivity in semantic judgments of Chinese characters
US20110242096A1 (en) Anatomy diagram generation method and apparatus, and medium storing program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23898233

Country of ref document: EP

Kind code of ref document: A2