KR20230013041A - 딥러닝을 기반으로 절제 부위를 정하는 방법 - Google Patents

딥러닝을 기반으로 절제 부위를 정하는 방법 Download PDF

Info

Publication number
KR20230013041A
KR20230013041A KR1020227042538A KR20227042538A KR20230013041A KR 20230013041 A KR20230013041 A KR 20230013041A KR 1020227042538 A KR1020227042538 A KR 1020227042538A KR 20227042538 A KR20227042538 A KR 20227042538A KR 20230013041 A KR20230013041 A KR 20230013041A
Authority
KR
South Korea
Prior art keywords
interest
anatomical structure
post
ablation
lesion
Prior art date
Application number
KR1020227042538A
Other languages
English (en)
Inventor
에스타니슬라오 우벨
뤼시앙 블롱델
베르탱 나훔
페르낭 바다노
미카엘 지라르도
Original Assignee
퀀텀 서지컬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀀텀 서지컬 filed Critical 퀀텀 서지컬
Publication of KR20230013041A publication Critical patent/KR20230013041A/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20088Trinocular vision calculations; trifocal tensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

본 발명은 개체(individual)(110)의 관심 해부학적 구조물(130)의 임의의 부분의 절제에 관한 치료후 평가 방법에 관한 것으로, 상기 관심 해부학적 구조물은 하나 이상의 병변(165)을 포함한다.
상기 평가 방법은, 특히, 인공신경망 등의 자동 학습법을 통해, 절제 부위의 윤곽을 자동으로 정하여 개체의 관심 해부학적 구조물의 수술후 의료 영상을 분석하는 단계를 포함하며, 상기 자동 학습법은 환자군의 동일한 관심 해부학적 구조물의 다수 의료 영상들이 저장되어 있는 데이터베이스로 소위 훈련 단계(training phase)에서 사전에 훈련되는 것으로, 데이터베이스 내 각각의 의료 영상은 해당 환자의 관심 해부학적 구조물에 대한 절제 부위와 연계되어 저장된다.
본 발명은 또한 이러한 평가 방법을 위한 명령어들을 저장하는 컴퓨터 메모리 및 프로세서를 포함하는, 전자 장치(150)에 관한 것이다.

Description

딥러닝을 기반으로 절제 부위를 정하는 방법
본 발명은 의료 중재술에 대한 평가 분야에 속한다.
보다 정확하게는, 본 발명은 병변의 절제 부위에 대한 치료후 평가 및 이와 연관된 재발 위험도의 예측 방법에 관한 것이다.
본 발명은 특히 종양이나 전이와 같은 병변의 재발 위험도를 예측함으로써 최소 침습적 의료 중재술을 평가하는 데 적용될 수 있다. 이러한 최소 침습적 의료 중재술은 예를 들어 간, 폐, 신장 또는 그 외 다른 기관 내 종양과 같은 병변의 경피적 절제술에 해당한다. 일반적으로 경피적 절제술은 하나 이상의 바늘을 피부에 삽입하여 병변에 도달한 후 병변을 파괴하기까지의 영상 가이드를 포함한다.
의료 중재술의 효과를 평가하고 병변의 재발 위험도를 예측하기 위한 기법이 종래 기술에 공지되어 있다.
이러한 기법은, 예를 들어, 병변 절제 후, 절제 부위가 병변을 수용(또는 포함)하는 범위를 구하는 것으로 이루어진다. 절제 부위의 용적을 병변의 용적과 비교하여 절제연(ablation margin)을 정할 수 있다. 실제로, 최소한 5mm의 절제연을 확보하도록 보통 권고된다.
이러한 절제연을 정하기 위해, 대개는 의료 중재술을 계획할 때 병변의 용적을 구하고, 이를 집도의가 하나 이상의 수술후 영상에서 분할한 절제 부위의 용적과 비교한다.
이의 주요 결점은, 흔히 분할 작업을 수행한 집도의에 좌우되는 식으로, 절제 부위의 용적이 일반적으로 거의 정확하지 않게 정해진다는 것이다. 게다가, 수술후 영상의 질이 종종 좋지 않아, 분할 작업에 불확실성을 가져오는 원인이 된다. 이에 따라 절제연과 병변 재발 위험도 사이의 상관관계를 확립하기가 쉽지 않다.
종래 기술의 기법들을 개선하기 위해, 절제 부위를 자동으로 분할하는 방법들을 이용하는 것이 잘 알려진 관행이다.
이러한 기법이 예를 들어 2019년 9월에 발행된 과학 간행물에 Zhang 등에 의해"Detection and Monitoring of Thermal Lesions Induced by Microwave Ablation Using Ultrasound Imaging and Convolutional Neural Networks"이란 제목으로 기재되어 있다. 이 간행물에 기재된 분할 방법을 통해, 수술전 초음파 영상과 수술후 초음파 영상을 분할하여 절제 부위의 절제연을 산출할 수 있다.
그러나, 절제 부위의 자동 분할 정확도가 낮기 때문에 상기 간행물에 기재된 분할 방법으로 재발 위험도를 예측할 수 없다. 첫째, 상기 분할 방법은 보통 4mm2로 크기가 고정된 절제 부위 영상의 서브샘플링 매트릭스로 제한되므로, 방법의 용도가 작은 크기의 부위로 제한된다. 또한, 서브샘플링 매트릭스의 위치를 잡기 위해서는 절제 부위의 위치를 알아야 하므로, 상기 방법은 수술전 영상과 수술후 영상에서의 서브샘플링 매트릭스 내부측에 일정한 기준점들이 없는 경우에는 이용하기 어렵다. 끝으로, 2차원 초음파 영상의 특성 및 영상의 질로 인해 관심 해부학적 구조물을 식별하기 어려울 수 있어, 해당 부위의 분할 작업이 정확하지 않게 됨에 따라, 특히 분할된 절제 부위 안에 절제 대상 병변이 포함되지 않은 등 잘못된 관찰을 하게 된다.
게다가, 자동 분할 방법은 균질한 부위들, 즉, 예를 들면, 뼈, 혈관 또는 병변에 대해, 또는 영상에 포함된 부위들의 수가 알려졌을 때, 일관된 결과를 제공한다. 절제 부위는 일반적으로 가스, 괴사된 세포들, 건강한 세포들, 잔류 조영제, 침착된 석회성 물질 등과 같은 다양한 물질로 구성되는 매우 복잡한 부위이기 때문에, 절제 부위의 경우, 얻어지는 분할 결과들이 일관되지 않다. 또한, 대개 흐릿하고 콘트라스트가 낮은 의료 영상들에 분할 작업이 수행되는 것이므로, 영상의 자동 분할을 어렵게 만든다.
기존의 시스템들 중 어느 것도 모든 요구사항을 동시에 충족시킬 수 있게 하지는 못하며, 즉 선명하지 않고/않거나 콘트라스트가 낮은 의료 영상들을 기반으로, 절제 부위(특히, 불균질한 절제 부위)를 더 나은 정확도로 분할함으로써 절제 치료를 세밀하게 평가할 수 있게 하는 기법을 제공하지 못한다.
본 발명은 전술한 종래 기술의 결점들 전부 또는 그 일부를 극복하는 것을 목적으로 한다.
이를 위해, 본 발명의 주제는 개체(individual)의 관심 해부학적 구조물의 임의의 부분의 절제에 관한 치료후 평가 방법이며, 상기 관심 해부학적 구조물은 하나 이상의 병변을 포함한다.
상기 절제는 경피적 또는 최소 침습적 절제술로서, 일반적으로 하나 이상의 바늘을 피부에 삽입하여 병변에 도달한 후 병변을 파괴하는 것을 포함한다. 고주파, 극초단파, 전기천공, 레이저, 극저온 냉동요법, 초음파 등 많은 절제 기법이 가능하다.
관심 해부학적 구조물은 간, 폐, 신장, 또는 병변에 민감한 그 외 다른 기관일 수 있다.
본 발명에 따르면, 치료후 평가 방법은:
- 개체의 관심 해부학적 구조물의 수술후 의료 영상을 획득하는 단계;
- 인공신경망 유형의 머신 러닝 방법을 통해, 절제 부위의 윤곽을 자동으로 정하여 개체의 관심 해부학적 구조물의 수술후 의료 영상을 분석하는 단계로서, 상기 머신 러닝 방법은 환자군의 동일한 관심 해부학적 구조물의 다수 의료 영상들이 저장되어 있는 데이터베이스로 소위 훈련 단계(training phase)에서 사전에 훈련되는 것으로, 데이터베이스 내 각각의 의료 영상은 해당 환자의 관심 해부학적 구조물에 대한 절제 부위와 연계되어 저장되는 것인, 단계
를 포함한다.
따라서, 한 명 이상의 집도의, 바람직하게는 여러 명의 집도의에 의해 분할된 다수의 의료 영상에 대한 사전 학습을 기반으로, 수술후 의료 영상 내 절제 부위를 자동으로 분할한다. 인공신경망에 의한 이러한 자동 분할은 의료 영상 분석에 경험이 있는 집도의가 없어도 가능하다는 점에 유의해야 한다. 더욱이, 특히 3차원 영상을 분석하는 경우에는 인공신경망에 의해 이루어지는 분할이 일반적으로 더 정확하다. 끝으로, 이러한 방법을 이용하여 자동 분할하면 낮은 콘트라스트 및/또는 낮은 선명도를 나타내는 영상의 경우에도 더 나은 질의 영상이 제공된다.
본 발명의 일부 특정 구현에서, 훈련 단계는 절제되지 않은 병변을 포함하는 동일한 관심 해부학적 구조물의 의료 영상들을 사용하는 사전 훈련 단계를 포함한다.
이에 따라, 인공신경망이 개체의 수술후 의료 영상 내 절제 부위를 더 잘 분할한다. 이러한 놀라운 효과는 병변과 절제 부위 간의 형상 및 위치의 유사성으로 설명할 수 있다. 또한, 소정의 관심 해부학적 구조물에서의 절제되지 않은 병변을 보여주는 접근 가능 의료 영상들의 수가 일반적으로 병변 절제 후 획득한 접근 가능 의료 영상들의 수보다 많다는 것을 유의해야 한다.
본 발명의 다른 특정 구현에서, 치료후 평가 방법은 수술후 의료 영상을 수술전 의료 영상으로 지칭되는, 외과적 치료 이전에 획득한 개체의 관심 해부학적 구조물의 의료 영상과 정합하는 단계로서, 이렇게 정합된 수술전 의료 영상과 수술후 의료 영상으로 개체의 관심 해부학적 구조물에 대한 한 쌍의 의료 영상을 형성하는 것인, 정합 단계를 추가로 포함한다.
따라서, 병변을 기준으로 한 절제 부위의 위치 분석을 수행할 수 있다.
"수술전 의료 영상"은 절제 치료 전에 획득한 의료 영상을 의미하고, "수술후 의료 영상"은 절제 치료 후에 획득한 의료 영상을 의미한다.
본 발명의 일부 특정 구현에서, 치료후 평가 방법은, 절제 부위와 병변 간의 상대적 특성, 절제 부위와 관심 해부학적 구조물 간의 상대적 특성, 또는 병변과 관심 해부학적 구조물 간의 상대적 특성에 따라, 재발 위험도를 평가하는 단계를 추가로 포함한다.
따라서, 본 발명에 따른 치료후 평가 방법은, 재발 위험도가 드러난 경우에 의료진이 추가 치료의 필요성을 평가할 수 있게 함으로써, 개체에게 적용된 절제 치료에 대해 더 나은 소견을 의료진에게 제공한다.
일반적으로 재발 위험도는 예를 들어, 0 또는 1일 수 있는 이진값 형태를 취한다. 양성 수치(positive value)는 재발 위험이 드러나고 있는 것으로 이해하면 되고, 음성 수치(positive value)는 재발 위험이 낮은 것으로 이해하면 된다.
한편, 재발 위험도는 0 내지 1 사이의 확률 형태를 취할 수도 있다. 재발 위험도가 임계치(예를 들면, 0.5)를 초과하였을 때에는 재발 위험이 드러난 것으로 이해할 수 있다.
본 발명의 일부 특정 구현에서, 재발 위험이 드러난 경우, 치료후 평가 방법은, 절제 부위와 병변 간의 상대적 특성, 절제 부위와 관심 해부학적 구조물 간의 상대적 특성, 또는 병변과 관심 해부학적 구조물 간의 상대적 특성에 따라, 재발 위치를 구하는 단계를 추가로 포함한다.
본 발명의 일부 특정 구현에서, 재발 위험도는 절제 부위와 병변 사이의 절제연을 고려하여 평가된다.
예를 들어, 재발 위험도가 음성이 되기 위해서는 절제연이 5mm 이상이어야 한다.
절제연은 일반적으로 절제 부위와 병변 간의 최소 거리로 정의된다.
본 발명의 일부 특정 구현에서, 재발 위험도는 병변의 질량 중심과 절제 부위의 질량 중심 간의 거리를 고려하여 평가된다.
질량 중심의 기준치는 절제연에 따라 정해진다. 절제연이 10mm이고 절제연의 기준치가 5mm라면, 병변의 질량 중심과 절제 부위의 질량 중심 간의 거리는 5mm 이하이어야 한다.
본 발명의 일부 특정 구현에서, 재발 위험도는 주위의 건강한 조직과 관련하여 구별되는 절제 부위 가장자리들의 균일성 및 선명도를 고려하여 평가된다.
"주위의 건강한 조직"은 크롭핑된 의료 영상의 프레임 내측에 위치한 관심 해부학적 구조물의 건강한 조직을 의미한다.
본 발명의 일부 특정 구현에서, 재발 위험도는 병변의 용적 대 절제 부위의 용적의 비율을 고려하여 평가된다.
본 발명의 일부 특정 구현에서, 재발 위험도는 관심 해부학적 구조물의 중심에 대한 병변의 위치를 고려하여 평가된다.
본 발명의 일부 특정 구현에서, 치료후 평가 방법은 개체의 관심 해부학적 구조물의 수술전 의료 영상에서 병변을 분할하는 단계를 추가로 포함한다.
본 발명의 일부 특정 구현에서, 치료후 평가 방법은 개체의 관심 해부학적 구조물의 수술전 의료 영상에서 병변을 검출하는 단계를 추가로 포함한다.
본 발명의 일부 특정 구현에서, 데이터베이스 내 의료 영상들의 전부 또는 일부는 하나 이상의 병변을 포함하는 절제 부위의 주변을 따라 크롭핑되되, 영상들의 크롭핑 작업은 기설정된 크기의 공통 프레임을 사용하여 수행되며, 상기 공통 프레임 내부에는, 데이터베이스 내 크롭핑된 의료 영상들의 절제 부위 중심 세트에 의해 개별 지점들(distinct points)의 무리가 형성된다.
따라서, 절제 부위의 위치를 공통 프레임 내에 분산시킴으로써, 머신 러닝 방법의 예측 오차를 줄일 수 있다. 모든 절제 부위가 공통 프레임 내의 동일한 위치에 있는 경우 머신 러닝 방법은 주로 이러한 특정 위치에 절제 부위가 놓인 수술후 영상들을 고려하게 되므로, 절제 부위가 다른 위치에 있는 경우에는 예측 오류가 발생한다.
본 발명의 일부 특정 구현에서, 데이터베이스 내 의료 영상 세트에 있어서, 상기 영상에 포함된 개체 신체 부분을 단일 크기의 여러 기본 단위들로 분할하되, 이러한 기본 단위들의 개수를, 절제 부위에 의해 범위가 획정된 인체 부분과 상기 영상에 포함된 개체 신체 부분의 나머지 간에, 거의 똑같이 두 부분으로 나눈다.
절제 부위에 해당하는 기본 단위들과 비절제 부위에 해당하는 기본 단위들 간의 등가 분포를 한 영상 수준에서 분석할 수 있거나 또는 모든 영상에 걸쳐 전체적으로 분석할 수 있다는 점에 유의해야 한다.
기본 단위는 일반적으로 2차원 영상의 경우에는 픽셀로 지칭되고 3차원 영상의 경우에는 복셀로 지칭된다.
"거의 똑같이 두 부분으로 나눈다"란 의미는, 두 기본 단위 세트들이 동일한 개수의 기본 단위들로 구성된 경우, 또는 이러한 두 세트들 각각의 기본 단위 개수의 차이가 예를 들어 상기 두 세트들의 기본 단위 개수의 5% 미만인 경우를 의미하는 것으로 이해하면 된다.
본 발명의 일부 특정 구현에서, 수술후 의료 영상 데이터베이스는 하나 이상의 절제되지 않은 부위를 갖는 적어도 하나의 수술전 의료 영상을 포함한다.
따라서 머신 러닝 방법이 더 잘 훈련된다.
본 발명의 일부 특정 구현에서, 치료후 평가 방법은, 재발 위험도가 드러난 경우, 추가 절제 마스크를 정하는 단계를 추가로 포함한다.
따라서, 치료후 평가 방법을 통해 재발 위험을 없애기 위한 치료 제안이 추정된다. 이러한 치료 제안은 비강제적이므로 의료진이 따르거나 따르지 않을 수 있다는 점에 유의해야 한다.
본 발명의 일부 특정 실시예에서, 치료 후 평가 방법은 추가 절제 마스크에 의해 정의되는 절제 부위의 표적 지점까지 의료 기구가 따라가야 할 경로를 계획하는 단계를 추가로 포함한다.
이러한 계획 단계는 추가 치료 이전에 수행된다는 점에 유의해야 한다.
본 발명의 일부 특정 구현에서, 치료후 평가 방법은 집도의가 의료 기구의 계획된 궤적을 따르도록 보조하는 단계를 추가로 포함한다.
본 발명의 일부 특정 구현에서, 계획된 궤적 및/또는 가이드 표식을 증강 현실 장치의 화면에 실시간으로 표시한다.
본 발명의 일부 특정 구현에서, 의료 영상은 3차원 영상이다.
3차원 영상은, 예를 들어, 기설정된 축을 따라 대체로 일정한 간격으로 촬영된 2차원 의료 영상들의 집합에 해당할 수 있다는 점에 유의해야 한다.
본 발명의 일부 특정 구현에서, 각각의 수술후 영상은 동일한 영상 획득 기법을 이용하여 획득된다.
다시 말해, 수술후 의료 영상을 획득하는데 이용된 기법은 머신 러닝 방법을 위한 훈련 데이터베이스 내 수술후 의료 영상들을 획득하는데 이용된 기법과 동일하다.
또한 본 발명은, 전술한 구현들 중 어느 하나에 따른 방법을 위한 명령어들을 저장하는 컴퓨터 메모리 및 프로세서를 포함하는, 전자 장치에 관한 것이다.
이러한 전자 장치는 예를 들어 제어 장치, 내비게이션 시스템, 로봇 장치 또는 증강 현실 장치일 수 있다. 상기 제어 장치는 특히 수술실에 배치되어 있는 컴퓨터일 수 있거나, 또는 원격 서버일 수 있다.
본 발명의 다른 이점, 목적 및 구체적인 특징들은, 첨부된 도면을 참조하여, 본 발명의 주제인 장치 및 방법의 하나 이상의 특정 실시예에 대한 하기의 비제한적인 설명으로부터 명백해질 것이다.
도 1은 의료 중재술의 개략도이다.
도 2는 도 1에 나타낸 의료 중재술의 치료후 평가 방법의 블록도이다.
도 3은 절제 부위를 강조 표시한 3차원 의료 영상들의 한 예로서, 해당 영상은 도 2를 참조로 설명되는 방법에 이용된다.
도 4는 4개의 의료 영상들의 한 예로서, 각각은 집도의가 수동으로 범위를 획정한 절제 마스크 및 도 2를 참조로 설명되는 방법에 따라 인공신경망이 예측한 절제 마스크를 포함한다.
도 5는 의료 영상의 한 예로서, 도 2를 참조로 설명되는 방법의 한 단계에서 병변 및 절제 부위의 자동 분할이 수행된 상태이다.
도 6은 도 2를 참조로 설명되는 방법에서 선택사항으로 제시된, 추가적 절제의 한 예를 나타낸다.
본 설명을 제한 없이 제공하고자 하며, 일 실시예의 각 특징은 유리한 방식으로 임의의 다른 실시예의 임의의 다른 특징과 조합될 수 있다.
이하, 도면들이 실제 크기에 비례하여 도시된 것이 아니라는 점에 유의해야 한다.
특정 구현 예
도 1은 수술대(115)에 누워 있는 개체(110)를 의료 기구(120)를 사용하여 치료하고 있는 의료 중재술의 개략도이다. 본 발명의 비제한적 예로서, 본 의료 중재술은 의료 기구(120)(이 경우, 반강성 니들)를 사용하여 관심 해부학적 구조물(130)(이 경우, 개체(110)의 간) 내 병변(165)을 절제하는 시술에 해당한다. 이 경우, 의료 중재술은 개체(110)의 신체를 개방하지 않은 상태로 행해지는 경피적 시술이다.
집도의(140)가 의료 기구(120)를 조작하는 일을 유리하게는 가이드 장치를 통해 안내해 줄 수 있으며, 본 발명의 비제한적 예에 의하면, 이러한 가이드 장치는 집도의(140)가 착용하는 헤드셋과 같은 증강 현실 장치다. 의료 기구(120)는 또한 의료용 로봇 장치(125)와도 합체(associate)될 수 있다.
헤드셋(150)은 반투명한 스크린(155)을 포함함으로써 집도의가 정상적으로 볼 수 있도록 한다. 관심 해부학적 구조물(130) 내 식별된 병변(165) 주위의 부위(160)(절제 부위로 지칭) 절제하여 치료할 목적으로, 집도의(140)의 의료 기구(120) 조작을 가이드할 수 있게 하는 마커들을 표시하도록 영상을 오버레이된 형태로 화면(155) 상에 표시한다. 상기 마커들에는 특히 수술 전에 획득된 관심 해부학적 구조물(130)의 의료 영상(170)에서 미리 추정한 절제 마스크가 포함될 수 있다. 이하, 의료 영상(170)을 수술전 의료 영상(170)으로 지칭하기로 한다.
수술이 끝나면, 이러한 수술적 치료는 도 2에 블록도 형태로 나타낸 바와 같이 절제의 치료후 평가 방법(200)을 이용하여 평가되며, 상기 평가 방법의 명령어들은 케이블이나 무선 기술에 의해 헤드셋(155)에 연결된 전자 제어 장치(181)의 컴퓨터 메모리(180)에 저장되어 있다. 전자 제어 장치(181)의 컴퓨터 프로세서(182)에 의해 명령어들을 처리하는 치료후 평가 방법(200)에 의해 특히 절제 부위 및 연관된 재발 위험도를 파악할 수 있으므로, 수술 시 수행된 외과적 치료가 충분했는지 또는 예를 들어 추가 절제술을 수행하는 식으로 치료를 지속하는 것이 바람직한지 확인하게 된다.
전자 제어 장치(181)가 유리하게는 헤드셋(150)에 통합될 수 있다는 점에 유의해야 한다.
치료후 평가 방법(200)은 관심 해부학적 구조물(130)의 수술후 의료 영상을 획득하는 제1 단계(210)를 포함한다.
수술전 의료 영상과 수술후 의료 영상을 바람직하게는 컴퓨터 단층 촬영을 통해 획득한다는 점에 유의해야 한다. 대안으로는, 이들 의료 영상을 자기공명영상 장치를 사용하여 획득할 수 있다.
바람직하게는, 수술전 의료 영상을 획득하는 데 이용하는 기법과 수술후 의료 영상을 획득하는 데 이용하는 기법이 유사하거나 심지어 동일하다.
한편, 수술후 의료 영상을 획득하는 데 이용하는 기법이 수술전 의료 영상을 획득하는 데 이용하는 기법과 별개일 수 있다.
본 발명의 비제한적인 실시예에서, 수술전과 수술후의 의료 영상들은 유리하게는 3차원 형태로 획득한 영상들이다. 실제로, 3차원 형태로 획득한 각각의 의료 영상은 일반적으로 2차원 의료 영상들의 집합에 해당하며, 각 2차원 의료 영상은 기설정된 축을 따라 일정한 간격으로 촬영된, 관심 해부학적 구조물(130)을 관통하는 한 단면에 해당한다. 관심 해부학적 구조물의 3차원 표현은 이러한 2차원 의료 영상들을 모아서 재구성될 수 있다. 따라서 "3차원 영상"이란 용어는 의료 영상들의 집합과 3차원 표현 둘 다를 의미하는 것으로 이해하면 된다. "복셀"이란 용어는 3차원 영상의 해상도와 관련된 기본 단위를 의미하는 것으로 이해하면 된다.
대안으로, 수술전과 수술후의 의료 영상들을 각각 2차원 형태로 획득한다. 이 경우 2차원 영상의 해상도와 관련된 기본 단위는 보통 픽셀로 지칭된다.
수술전과 수술후의 의료 영상들은 전체 관심 해부학적 구조물을 포함하고 있는 영상들이거나, 또는 기설정된 프레임 내에서 절제 부위 주변을 크롭핑한 영상들이다. 3차원 영상에서는 절제 부위를 둘러싸는 프레임이 입방체(cube)이다. 한편 2차원 영상에서의 프레임은 정사각형이다.
"바운딩 박스(bounding box)"로도 알려진, 절제 부위를 둘러싸는 프레임은, 집도의의 동작을 따라, 절제 부위 주변에 자동으로 생성될 수 있다. 이러한 동작의 예는 집도의가 절제 부위에 속하는 수술후 의료 영상 내의 한 지점을 가리키는 것일 수 있고, 그러면 그 지점 주변으로 프레임이 생성된다. 예를 들어, 크기가 작은 병변들, 즉, 예를 들어, 최대 직경이 대략 5cm ± 10%, 또는 더욱 바람직하게는 최대 직경이 대략 3cm ± 10%인 병변들에 대한 최소 침습적 절제 치료와 관련하여, 입방체의 각 모서리 혹은 정사각형의 각 변은 크기가 5 내지 10 cm이다.
도 3은 절제 부위(310)가 프레임(320)에 둘러싸인 3차원 의료 영상(300)의 예시도이다. 프레임(320)은 입방체이며, 각각의 시상 단면도(340), 수평 단면도(350) 및 관상 단면도(360)에서의 정사각형들(330)에 상응한다.
그런 다음 제2 단계(220)에서는 상기 관심 해부학적 구조물(130)에 대한 수술후 의료 영상을 머신 러닝 방법인 인공신경망으로 분석하여, 개체(110)의 관심 해부학적 구조물(130)의 수술후 의료 영상 내 절제 부위를 자동으로 분할한다.
이를 위해, 인공신경망은, 예비(preliminary) 훈련 단계(290)에서, 환자군의 동일한 관심 해부학적 구조물(이 경우, 간)의 의료 영상들이 저장된 데이터베이스로 사전에 훈련되었다. 데이터베이스 내 각각의 의료 영상은 관심 해부학적 구조물(130)의 것과 동일한 기능을 갖는 관심 해부학적 구조물을 포함한다.
유리하게는, 개체(110)의 관심 해부학적 구조물(130)의 수술후 의료 영상은 인공신경망의 훈련 데이터베이스 내 의료 영상들에 대한 방식과 동일한 방식을 이용하여 획득한다.
개체(110)의 관심 해부학적 구조물(130)의 수술후 의료 영상을 크롭핑할 때, 상기 수술후 의료 영상의 입방체 또는 정사각형의 치수와 인공신경망 훈련에 이용되는 입방체 또는 정사각형의 치수가 동일한 것이 유리하다. 다시 말해, 데이터베이스 내 의료 영상의 치수는 크롭핑된 수술후 의료 영상의 치수가 동일하다.
인공신경망을 훈련시키기 위해, 병변이 절제된, 데이터베이스 내 각 수술후 영상의 절제 부위를 2명 이상의 집도의가 사전에 분할함으로써, 인공신경망에 의한 학습의, 그리고 이에 따라 얻은 분석 결과들의 관련성을 높인다. 구체적으로, 도 4의 4개의 사전 분할된 수술후 의료 영상들(400)에서 볼 수 있는 것처럼, 특히 영상의 콘트라스트가 낮은 경우에는 집도의가 절제 부위의 범위를 획정하기가 어려울 수 있다. 그러므로 여러 명의 집도의로 하여금 의료 영상에 어노테이션을 표시하도록 함으로써, 절제 부위의 식별을 향상시킬 수 있다. 따라서, 본 발명의 비제한적 예로, 정합된 수술후 영상과 연관된 절제 부위는 집도의들이 제시한 절제 부위들의 조합에 해당한다. 대안적 예로, 정합된 수술후 의료 영상과 연관된 절제 부위는 집도의들이 제시한 절제 부위들의 교차영역, 의견 일치가 된 부분, 또는 판정된 부분에 해당할 수 있다. 더 나아가, 의료 영상의 복셀들을 절제 부위-포함 영역(a region with ablation)또는 절제 부위-미포함 영역(a region without ablation)로 분류하도록 인공신경망을 훈련시킨다.
대안으로, 의료 영상 내 절제 부위들을 상세하게 묘사하는 데 있어서 단 한 명의 어노테이션 작업 전문가의 도움으로 학습이 수행될 수도 있다. 그러므로 집도의의 경험은 인공신경망이 절제 부위들의 범위를 잘 획정할 수 있도록 하는 데 중요하다.
또한, 데이터베이스 내 영상 세트가 절제 부위-미포함 영역에 속하는 복셀 개수 만큼의 복셀들을 절제 부위-포함 영역에 포함하는 것이 바람직할 수 있다. 이 비율은 집도의들이 수동으로 정한 복셀 분류를 토대로 하여 산출된다.
다시 말해, 데이터베이스 내의 각 영상에 포함된 개체 신체 부분을 단일 크기의 여러 기본 단위들로 분할하고, 이러한 기본 단위들의 개수를, 절제 부위에 의해 범위가 획정된 인체 부분과 상기 영상에 포함된 개체 신체 부분의 나머지 간에, 거의 똑같이 두 부분으로 나눈다.
더욱이, 훈련 데이터베이스 내 모든 의료 영상에서 절제 부위가 해당 영상의 프레임의 중앙에 항상 위치하는 것이 바람직한 것은 아니다. 절제 부위가 주로 프레임의 중앙에 있는 경우에는 인공신경망으로 바이어스가 유입될 수 있어, 반드시 그런 것이 아님에도, 인공신경망은 주로 프레임의 중앙에 있는 영역을 절제 부위인 것으로 학습하게 될 수 있는데, 특히 집도의에 의한 프레임 위치 지정에 오류가 있는 경우에 그러하다. 따라서, 병변의 위치를 프레임의 중앙에 지정하는 것에 관한 이러한 바이어스를 제한하기 위해 유리하게는 유계(bounded) 랜덤 변수를 프레임들의 위치에 추가한다.
따라서 공통 프레임 내부에는 데이터베이스 내 크롭핑된 의료 영상들에서의 절제 부위 중심들의 세트로 된 개별 지점들의 무리가 형성된다.
인공신경망에 의한 거짓 양성 발생을 제한하기 위해, 적어도 하나의 절제되지 않은 병변을 포함하는 의료 영상이 데이터베이스에 포함되는 것이 더 바람직하다.
인공신경망 훈련 단계(290)는 보통 여러 단계로 수행된다:
- 훈련 단계(291);
- 유효성 확인(validation) 단계(292);
- 테스트 단계(293).
따라서, 의료 영상 데이터베이스는 서로 다른 의료 영상들을 포함하는 3개의 데이터베이스로 나뉜다. 이들 3개의 데이터베이스는 각각 훈련 데이터베이스, 유효성 확인 데이터베이스 및 테스트 데이터베이스로 지칭된다. 본 발명의 비제한적 예에서, 의료 영상 데이터베이스 내 의료 영상들의 60 내지 98%는 훈련 데이터베이스에, 1 내지 20%는 유효성 확인 데이터베이스에, 1 내지 20%는 테스트 데이터베이스에 함께 그룹화된다. 이들 퍼센트는 표시로 주어지는 것으로서, 의료 영상 데이터베이스 내 영상들의 개수에 따라 정해진다.
인공신경망 훈련 단계(290)의 처음 두 단계(291, 292)는 여러 번 반복될 수 있는 주요 단계들이다. 세 번째 테스트 단계는 선택 사항이다.
훈련 단계(290)의 제1 단계(291)에서는, 훈련 데이터베이스 내 의료 영상들을 기반으로 인공신경망의 각 뉴런에 대한 가중치(W) 및 바이어스(b)를 정한다.
훈련 데이터베이스는 유리하게는 하나 이상의 비절제된 병변을 포함한 의료 영상들을 포함할 수 있다는 점에 유의해야 한다.
훈련 단계(290)의 제2 단계(292)는, 유효성 확인 데이터베이스 내 의료 영상들을 기반으로 인공신경망의 각 뉴런에 대해 사전에 정해진 가중치(W)와 바이어스(b)의 유효성을 확인함으로써, 인공신경망의 결과(구체적으로는, 예측 오류)를 검증할 수 있도록, 즉, 유효성 확인 데이터베이스 내 각각의 의료 영상에 대해, 획득된 절제 부위를 훈련 데이터베이스로부터 추출된 의료 영상에서의 분할된 절제 부위와 비교함으로써, 검증할 수 있도록 한다.
이러한 제2 단계가 끝났을 때 예측 오차가 너무 큰 경우에는 동일한 의료 영상들을 재사용하여 인공신경망을 재훈련시키기 위해 전술한 두 단계, 즉 훈련 단계(291)와 유효성 확인 단계(292)를 다시 구현함으로써, 각 뉴런에 대한 가중치(W) 및 바이어스(b)의 값을 더 정확하게 수정하도록 한다.
대안으로는, 인공신경망의 재훈련 시, 제1 단계(291)는, 훈련을 위해, 훈련 데이터베이스 내 의료 영상들과, 유효성 확인 데이터베이스 내 의료 영상들 중 일부를 고려하여, 의료 영상들을 재샘플링(resampling)하는 방식을 이용한다. 그런 후 유효성 확인데이터베이스 내의 나머지 의료 영상들을 사용하여, 제1 재훈련 단계가 끝났을 때 얻은 가중치(W) 및 바이어스(b)의 유효성을 확인한다.
인공신경망의 재훈련은 예측 오류가 허용 수준이 될 때까지, 즉, 기설정된 값보다 낮아질 때까지, 필요한 대로 여러 번 수행될 수 있다는 점에 유의해야 한다.
훈련 단계(290)의 두 단계(291, 292)가 적어도 한 번 구현된 후에는, 테스트 데이터베이스 내 의료 영상들을 이용하여, 실행 가능한 제3 테스트 단계(293)에서 인공신경망의 최종 성능을 테스트할 수 있다. 훈련 데이터베이스 및 유효성 확인 데이터베이스 내 의료 영상들과 별개인 상기 의료 영상들은 각 뉴런에 대한 매개변수들(W 및 b)로 구성된 인공신경망이 직면하게 될 수 있는 모든 상황에서 인공신경망이 높은 정확도로 절제 부위를 분할할 수 있는지 검증할 수 있도록 한다. 하지만, 유효성 확인 단계(292)와는 달리, 이러한 실행 가능한 제3 테스트 단계(293)로 인해 인공신경망을 위한 새로운 훈련 주기가 발생하지는 않는다.
테스트 단계(293)에서 사용되는 영상들은, 인공신경망의 예측 능력을 최적으로 테스트하기 위해, 관심 해부학적 구조물 내 다양한 위치 및 크기의 절제 부위를 수용하도록 전반적으로 신중하게 선택된다는 점에 유의해야 한다.
관심 해부학적 구조물(130)의 수술후 의료 영상을 기반으로, 인공신경망은 각 복셀을 절제 부위-포함 영역 또는 절제 부위-미포함 영역으로 분류한다. 이러한 예측은 관심 해부학적 구조물(130)의 수술후 의료 영상에 오버레이되는 절제 마스크 형태를 취할 수 있다. 절제 마스크는 일반적으로 인공신경망이 예측한 절제 부위에 속하는 복셀들 상으로 정합된다. 절제 마스크의 범위는 대개 2차원 영상의 맥락에서 한 표면 또는 윤곽에 의해 획정된다는 점에 유의해야 한다.
유리하게는, 인공신경망은, 소위 사전-훈련 단계(295)로 지칭되는, 훈련 단계(290) 이전에, 개체(110)의 그것과 동일한 유형의 관심 해부학적 구조물의 병변을 보여주는 의료 영상들이 포함되어 있는 제2 의료 영상 데이터베이스로 사전에 훈련되었을 수 있다. 이러한 사전-훈련 단계(295)는, 병변의 형상과 절제 부위의 형상의 유사성 또는 심지어 관심 해부학적 구조물 내부에서의 위치의 유사성을 독창적으로 이용하여, 개체(110)의 수술후 의료 영상 내 절제 부위의 분할 작업을 더 잘 수행할 수 있도록 한다.
제2 데이터베이스 내 의료 영상들을 유리하게는 한 명 이상의 집도의가 사전에 분할할 수 있다는 점에 유의해야 한다. 단계(295)에서 이루어지는 학습은 단계(290)에서 이루어지는 학습과 유사하다.
도 2를 참조로 설명되는 방법(200)의 제3 단계(230)에서는 수술후 의료 영상을 수술전 의료 영상(170)과 정합한다. 이들 두 의료 영상 내 해부학적 구조물 지점들 간의 대응일치를 알아낼 수 있도록 하는 정합 단계는 당업자가 숙지하고 있는 방법을 이용하여 수행하면 된다. 상기 정합 단계는 강체적으로(rigidly), 즉 영상들 내의 모든 지점을 동일한 방식으로 변환시키는 등으로 수행될 수 있거나, 또는 비강체적으로, 즉 영상의 각 지점을 특정 변환시키는 등으로 수행될 수 있다.
그런 다음, 4개의 하위 단계들(241, 242, 243, 244)로 이루어진 제4 단계(240)에서 재발 위험도 평가를 수행한다.
실행 가능한 하위 단계(241)에서는, 개체(110)의 관심 해부학적 구조물(130)의 수술전 의료 영상에서 병변(165)을 검출한다. 이러한 검출 단계는 자동으로 수행되거나 집도의에 의해 수동으로 수행될 수 있다.
하위 단계(242)에서는, 개체(110)의 관심 해부학적 구조물(130)의 수술전 의료 영상 상에 자동으로 병변(165) 분할이 수행된다. 대안으로, 이러한 분할 단계는 집도의에 의해 수동으로 수행된다.
병변의 자동 분할은 당업자가 숙지하고 있는 방법들을 이용하여 수행하면 된다. 예를 들어, 분할 단계는 영상의 히스토그램에 기초한 방법(이를테면, 오츠(Otsu) 방법)을 이용하거나 딥러닝 방법을 이용하여 수행된다.
이러한 하위 분할 단계(242)를, 수술전 의료 영상(500)을 나타내는 도 5에 예시하였다. 여기서는 병변(510)의 3차원 위치와 절제 부위(520)의 3차원 위치를 구하기 위해 딥러닝 방법을 기반으로 자동 분할이 수행된 예이다. 단계(230)에서 사용된 인공신경망과 상이한 인공신경망을 사용하여 동등한 결과를 얻을 수 있다.
그런 후, 하위 단계(243)에서는, 이전에 설정된 절제 마스크와 분할된 병변 사이를 절제연으로 정한다. 상기 절제연은 최소 마진, 즉 분할된 병변과 절제 마스크 사이의 최소 거리에 해당한다. 다시 말해, 절제연은 병변의 한 지점과 절제 부위의 한 지점 사이에서 산출된 최소 거리에 해당하며, 병변의 모든 지점에 대해 산출된다.
절제연을 구함으로써, 병변이 적절히 절제 부위에 수용(또는 포함)되도록 보장할 수 있다.
하위 단계(243)에서 구한 절제연 값을 기반으로, 하위 단계(244)에서는, 산출된 절제연을 데이터베이스에 저장되어 있는, 재발 상태와 연관된 절제연들의 기준치와 비교함으로써, 재발 위험도 예측 또는 재발 위치 결정을 평가할 수 있다. 상기 재발 상태는 수술 후 재발이 관찰되었는지 여부를 나타내며 가능하게는 재발 날짜와 연계되어 저장된다. 예를 들어, 절제연이 5mm 이상이면 재발 위험도가 제로(0)인 것으로 간주된다.
병변의 재발 위험도 예측은 대개 이진값 형태, 예를 들어, 0(제로 또는 음성 위험) 또는 1(위험이 드러난 상태 또는 양성 위험)을 취한다는 점에 유의해야 한다.
추가로 또는 대안으로, 절제연 외에 재발 위험도 예측인자들을 이용할 수 있다. 이들 다양한 예측인자 중 모두 또는 일부에 가중치를 부여하는 식으로 재발 위험도 및 재발 위치를 예측할 수 있다. 예를 들어, 재발 위험도 예측인자들은 다음과 같을 수 있다:
- 절제연;
- 병변의 표면 또는 병변의 표면 일부와 절제 부위 간의 거리;
- 병변의 질량 중심과 절제 부위의 질량 중심 간의 거리;
- 특히 피막하 병변의 경우에는 관심 해부학적 구조물에의 피막(capsule) 근접성을 감안한, 병변의 표면 또는 병변의 표면 일부와 절제 부위 간의 거리, 및 병변의 질량 중심과 절제 부위의 질량 중심 간의 거리;
- 주위의 건강한 조직과 관련하여 구별되는 절제 부위 가장자리들의 균일성;
- 주위의 건강한 조직과 관련하여 구별되는 절제 부위 가장자리들의 선명도;
- 절제 부위의 용적 대 병변의 용적의 비율;
- 관심 해부학적 구조물 내 병변의 위치.
질량 중심의 기준치는 절제연에 따라 정해진다. 절제연이 10mm이고 절제연의 기준치가 5mm라면, 병변의 질량 중심과 절제 부위의 질량 중심 간의 거리는 5mm 이하이어야 한다.
재발 위험도의 수치가 유리하게는 이진값이 아닌 0과 1 사이에서 연속적이도록 함으로써 다수의 위험도 예측인자들을 고려할 수 있다는 점에 유의해야 한다. 따라서 0과 1 사이의 값을 얻도록 다양한 위험도 예측인자들에 가중치를 부여할 수 있다. 재발 위험도가 임계치(예를 들면, 0.5)를 초과하였을 때에는 재발 위험이 드러난 것으로 이해할 수 있다.
위험이 드러난 경우, 치료후 평가 방법(200)의 제5 단계(250)에서는 재발 위치를 정하여 추가 절제 마스크를 추정할 수 있다. 추가 절제 마스크는, 예를 들어 절제연이 소정의 값(예를 들어, 5mm) 미만인 경우, 해당 영역 내에 추가 절제를 수행하는 것으로 간주하면 된다.
이러한 제5 단계(250)에서는 절제연이 임계치 미만(예를 들어, 5mm 미만)인 영역을 자동 식별하는 단계를 수행할 수 있다.
도 6은 재발 위험이 있는 병변(600)에 대한 절제 치료후 추가 절제의 예를 나타낸다. 평가 방법(200)을 통해, 병변(600)과 절제 부위(610) 사이의 절제연(605)이 충분하지 못했던 영역들을 식별한 후, 추가 절제 마스크(620)를 생성하였다. 절제 부위를 가능한 한 제한하려고 노력하면서 추가 절제 마스크(620)를 생성한다는 점에 유의해야 한다. 또한, 절제용 니들이 도달해야 하는 표적 지점들(630)의 범위를 상기 마스크(620) 내에서 추가로 획정할 수 있다.
본 방법(200)은 또한 절제 마스크 또는 추가 절제 마스크와 합체된 의료 기구(120)가 따라가야 할 경로를 계획하는 단계(260)를 포함함으로써, 의료 기구(120) 가이드 단계(270)에서, 의료 기구(120)를 다룰 때 계획된 경로를 따르도록 집도의를 가이드할 수 있다.
계획 방법의 한 예가"Method for automatically planning a trajectory for a medical intervention(의료 중재술을 위한 궤적을 자동으로 계획하는 방법)"이란 발명의 명칭으로 프랑스 특허출원 제1914780호에 기재되어 있다.
본 발명의 비제한적 예에서, 상기 가이드 단계는, 헤드셋(150)의 화면(155) 상에, 계획된 경로 및/또는 가이드 지시자를 표시하는 것을 포함하는 시각적 단계라는 점에 유의해야 한다.
대안으로는, 의료 기구(120)의 위치 및 방향에 관한 정보를 제공하는 내비게이션 시스템을 통해 의료 기구(120)를 가이드할 수 있다. 이는 이러한 내비게이션 시스템에 연결된(coupled) 로봇 장치를 통한 기계적 가이드일 수 있다.
재발 위험도가 제로나 거의 제로가 될 때까지, 또는 절제연들이 충분할 때까지, 단계 230 내지 단계 260이 반복될 수 있다는 점에 유의해야 한다.

Claims (21)

  1. 개체(110)의 관심 해부학적 구조물(130)의 임의의 부분의 절제에 관한 치료후 평가 방법(200)에 있어서, 상기 관심 해부학적 구조물에 하나 이상의 병변(165, 510, 600)이 포함되어 있으며, 상기 관심 해부학적 구조물의 부분의 절제는 절제 부위(160)에 의해 제한되되, 상기 평가 방법은:
    - 개체의 관심 해부학적 구조물의 수술후 의료 영상을 획득하는 단계(210);
    - 인공신경망 유형의 머신 러닝 방법을 통해, 절제 부위의 윤곽을 자동으로 정하여 개체의 관심 해부학적 구조물의 수술후 의료 영상을 분석하는 단계로서, 상기 머신 러닝 방법은 환자군의 동일한 관심 해부학적 구조물의 다수 의료 영상들이 저장되어 있는 데이터베이스로 소위 훈련 단계(training phase)(290)에서 사전에 훈련되는 것으로, 데이터베이스 내 각각의 의료 영상은 해당 환자의 관심 해부학적 구조물에 대한 절제 부위와 연계되어 저장되는 것인, 단계
    를 포함하는 것을 특징으로 하는 치료후 평가 방법.
  2. 제1항에 있어서,
    훈련 단계는 절제되지 않은 병변을 포함하는 동일한 관심 해부학적 구조물의 의료 영상들을 사용하는 사전 훈련 단계를 포함하는 것인, 치료후 평가 방법.
  3. 제1항 또는 제2항에 있어서,
    수술후 의료 영상을, 수술전 의료 영상으로 지칭되는, 외과적 치료 이전에 획득한 개체의 관심 해부학적 구조물의 의료 영상(170, 500)과 정합하는 단계(220)를 추가로 포함하는, 치료후 평가 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    절제 부위와 병변 간의 상대적 특성, 절제 부위와 관심 해부학적 구조물 간의 상대적 특성, 또는 병변과 관심 해부학적 구조물 간의 상대적 특성에 따라, 재발 위험도를 평가하는 단계를 추가로 포함하는, 치료후 평가 방법.
  5. 제4항에 있어서,
    재발 위험이 드러난 경우, 절제 부위와 병변 간의 상대적 특성, 절제 부위와 관심 해부학적 구조물 간의 상대적 특성, 또는 병변과 관심 해부학적 구조물 간의 상대적 특성에 따라, 재발 위치를 구하는 단계를 추가로 포함하는, 치료후 평가 방법.
  6. 제4항 또는 제5항에 있어서,
    상대적 특성은 절제 부위와 병변 사이의 절제연인, 치료후 평가 방법.
  7. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상대적 특성은 병변의 질량 중심 및 절제 부위의 질량 중심인, 치료후 평가 방법.
  8. 제4항 내지 제7항 중 어느 한 항에 있어서,
    상대적 특성은 주위의 건강한 조직과 관련하여 구별되는 절제 부위 가장자리들의 균일성 및 선명도인, 치료후 평가 방법.
  9. 제4항 내지 제8항 중 어느 한 항에 있어서,
    상대적 특성은 병변의 용적 대 절제 부위의 용적의 비율인, 치료후 평가 방법.
  10. 제4항 내지 제9항 중 어느 한 항에 있어서,
    상대적 특성은 관심 해부학적 구조물의 중심에 대한 병변의 위치인, 치료후 평가 방법.
  11. 제3항 내지 제10항 중 어느 한 항에 있어서,
    개체의 관심 해부학적 구조물의 수술전 의료 영상에서 병변을 분할하는 단계를 추가로 포함하는, 치료후 평가 방법.
  12. 제3항 내지 제11항 중 어느 한 항에 있어서,
    개체의 관심 해부학적 구조물의 수술전 의료 영상에서 병변을 검출하는 단계를 추가로 포함하는, 치료후 평가 방법.
  13. 제3항 내지 제12항 중 어느 한 항에 있어서,
    데이터베이스 내 의료 영상들의 전부 또는 일부는 하나 이상의 병변을 포함하는 절제 부위의 주변을 따라 크롭핑되되, 영상들의 크롭핑 작업은 기설정된 크기의 공통 프레임을 사용하여 수행되며, 상기 공통 프레임 내부에는, 크롭핑된 의료 영상들의 절제 부위 중심 세트에 의해 개별 지점들(distinct points)의 무리가 형성되는 것인, 치료후 평가 방법.
  14. 제3항 내지 제13항 중 어느 한 항에 있어서,
    데이터베이스 내 수술전 의료 영상 세트에 있어서, 영상에 포함된 개체 신체 부분을 단일 크기의 여러 기본 단위들로 분할하되, 이러한 기본 단위들의 개수를, 절제 부위에 의해 범위가 획정된 인체 부분과 영상에 포함된 개체 신체 부분의 나머지 간에, 거의 똑같이 두 부분으로 나누는 것인, 치료후 평가 방법.
  15. 제3항 내지 제14항 중 어느 한 항에 있어서,
    수술후 의료 영상 데이터베이스는 하나 이상의 절제되지 않은 부위를 갖는 적어도 하나의 수술전 의료 영상을 포함하는 것인, 치료후 평가 방법.
  16. 제4항 내지 제15항 중 어느 한 항에 있어서,
    재발 위험도가 드러난 경우, 추가 절제 마스크를 정하는 단계를 추가로 포함하는, 치료후 평가 방법.
  17. 제16항에 있어서,
    추가 절제 마스크에 의해 정의되는 절제 부위의 표적 지점까지 의료 기구가 따라가야 할 경로를 제시하는 단계를 추가로 포함하는, 치료후 평가 방법.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    의료 영상은 3차원 영상인, 치료후 평가 방법.
  19. 제3항 내지 제18항 중 어느 한 항에 있어서,
    각각의 수술후 영상은 동일한 영상 획득 기법을 이용하여 획득되는 것인, 치료후 평가 방법.
  20. 제1항 내지 제19항 중 어느 한 항에 따른 치료후 평가 방법을 위한 명령어들을 저장하는 컴퓨터 메모리 및 프로세서를 포함하는, 전자 장치(150).
  21. 제20항에 있어서,
    상기 장치는 제어 장치, 내비게이션 시스템, 로봇 장치 또는 증강 현실 장치일 수 있는, 전자 장치.
KR1020227042538A 2020-05-20 2021-05-20 딥러닝을 기반으로 절제 부위를 정하는 방법 KR20230013041A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FRFR2005340 2020-05-20
FR2005340A FR3110763B1 (fr) 2020-05-20 2020-05-20 Méthode de détermination d’une région d’ablation basée sur l’apprentissage profond
PCT/FR2021/050907 WO2021234305A1 (fr) 2020-05-20 2021-05-20 Méthode de détermination d'une région d'ablation basée sur l'apprentissage profond

Publications (1)

Publication Number Publication Date
KR20230013041A true KR20230013041A (ko) 2023-01-26

Family

ID=72801556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227042538A KR20230013041A (ko) 2020-05-20 2021-05-20 딥러닝을 기반으로 절제 부위를 정하는 방법

Country Status (9)

Country Link
US (1) US20230177681A1 (ko)
EP (1) EP4154263A1 (ko)
JP (1) JP2023526909A (ko)
KR (1) KR20230013041A (ko)
CN (1) CN113994380A (ko)
CA (1) CA3176333A1 (ko)
FR (1) FR3110763B1 (ko)
IL (1) IL298313A (ko)
WO (1) WO2021234305A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115486935B (zh) * 2022-11-02 2023-06-13 天津市鹰泰利安康医疗科技有限责任公司 一种消融确定方法及系统
CN115966309A (zh) * 2023-03-17 2023-04-14 杭州堃博生物科技有限公司 复发位置预测方法、装置、非易失性存储介质及电子设备

Also Published As

Publication number Publication date
EP4154263A1 (fr) 2023-03-29
CA3176333A1 (fr) 2021-11-25
WO2021234305A1 (fr) 2021-11-25
CN113994380A (zh) 2022-01-28
FR3110763B1 (fr) 2023-11-17
IL298313A (en) 2023-01-01
JP2023526909A (ja) 2023-06-26
US20230177681A1 (en) 2023-06-08
FR3110763A1 (fr) 2021-11-26

Similar Documents

Publication Publication Date Title
JP6671432B2 (ja) 患者装着式の針ガイドの位置合わせおよび動き補償
US11864835B2 (en) Puncture support device for determining safe linear puncture routes by puncture region classification and superimposing of images
US11986252B2 (en) ENT image registration
JP6568478B2 (ja) 低侵襲治療のための計画、誘導およびシミュレーションシステムおよび方法
US10123841B2 (en) Method for generating insertion trajectory of surgical needle
US20070049861A1 (en) Device and method for automated planning of an access path for a percutaneous, minimally invasive intervention
US10524823B2 (en) Surgery assistance apparatus, method and program
EP3788596B1 (en) Lower to higher resolution image fusion
KR20180017005A (ko) 스파이널 네비게이션 방법, 스파이널 네비게이션 시스템 및 컴퓨터 프로그램 제품
US20130303900A1 (en) Method and apparatus for processing of stroke ct scans
KR20230013041A (ko) 딥러닝을 기반으로 절제 부위를 정하는 방법
KR20220117209A (ko) 의료 개입을 위한 궤도를 자동으로 설계하기 위한 방법
CN115590623B (zh) 穿刺路径规划系统
CN111311536A (zh) 医学图像数据
CN112043378A (zh) 对人进行导航支持以关于切除部分进行导航的方法和系统
JP4970201B2 (ja) 医用画像診断装置
EP3292835B1 (en) Ent image registration
US20210174523A1 (en) Method for registration of image data and for provision of corresponding trained facilities, apparatus for doing so and corresponding computer program product
US20230172535A1 (en) Method for predicting the recurrence of a lesion by image analysis
WO2016126934A1 (en) Methods and systems for navigating surgical pathway
JP5192751B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
Alpers et al. CT-Based Navigation Guidance for Liver Tumor Ablation.
KR20180115122A (ko) 이미지 처리 장치 및 이에 의한 가상의 엑스선 이미지 생성 방법
CN112515762A (zh) 在切除中支持医务人员的方法和系统以及计算机程序产品
CN116236280B (zh) 一种基于多模态图像融合的介入治疗引导方法及系统

Legal Events

Date Code Title Description
A201 Request for examination