KR102193723B1 - 수술 계획 및 목표 설정 최적화 시스템 및 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따르면, 하나 이상의 메모리 및 프로세서를 포함하는 수술 목표 부위 설정 및 수술 계획 최적화 시스템에 있어서, 상기 프로세서는, 딥러닝 알고리즘을 사용하여 해부학적 구조의 시맨틱 세그멘테이션 및 이미지 선택을 수행하고, 상기 시맨틱 세그멘테이션 결과로부터 수술 목표 부위인 자동 타겟을 선택하여 타겟팅하고, 적합성 평가에 의해 상기 자동 타겟과 양호한 예후 타겟에 대한 거리 등 치료 관련된 요소를 계산하고, 상기 계산된 거리 등 요소를를 상기 시맨틱 세그맨테이션 알고리즘 및 상기 타겟팅 알고리즘을 수술 후 예후 최적화를 기준으로 알고리즘을 훈련하기 위해 사용하는, 수술 목표 부위 설정 및 수술 계획 최적화 시스템이 제공된다.

Description

수술 계획 및 목표 설정 최적화 시스템 및 방법{METHOD AND SYSTEM FOR OPTIMIZING SURGERY PLANNING AND CLINICAL APPLICATION}

본 발명은 수술 계획 및 목표 설정 최적화 시스템 및 방법에 관한 것으로, 보다 상세하게는 인공 지능에 의해 설정된 계획에 대한 임상 적용 권한을 설정하고, 수술 예후에 기반하여 목표 설정을 최적화시키는 수술 계획 및 목표 설정 최적화 시스템 및 방법에 관한 것이다.

기계학습알고리즘은 학습방법에 따라 지도학습(supervised learning)과 자율학습(unsupervised learning)으로 나뉠 수 있다. 지도학습은 데이터의 최적화를 위해서 라벨링된 데이터(labeled data)가 사용되고, 자율학습은 라벨링이 되지 않은 데이터가 사용되는 점에서 양 자는 구분된다.

기존의 영상분석, 뇌파분석 등 전기생리학적 신호의 자동분석, 기타 생체 유래 데이터의 분석을 위해 기계학습알고리즘을 활용할 때에 있어서, 지도학습의 경우, 라벨링된 전기생리학적 데이터를 그 분야의 전문가가 판단한 결과를 기초로 하여 필요한 결과를 도출해왔기에, 데이터의 양이 방대해지면 방대해질수록 전문가의 판단을 기초로 하는 방법은 시간과 비용이 많이 소모될 뿐만 아니라, 전문가의 역량에 따라 정확도가 일정하지 못한 문제점이 존재했다. 기존의 방법에 따르면, 전문가가 뇌파 등에서 병적 활동과 병적이지 않은 활동들을 직접 표지함으로서 기계 학습(machine learning)을 지도학습시키기 위한 데이터를 제공해 왔다.

기존에는 수술 후 예후와 관련된 수술결과데이터가 수집되면, 분석방법(또는 진단방법)과 그 분석방법에서 적용할 탐지역치(detection threshold) 혹은 판단 기준을 의학전문가가 직접 지정하여, 그 지정된 분석방법 및 탐지역치에 따라 수술결과데이터를 분석했으므로, 전문가의 판단에 지나치게 의존적이었다. 특히, 위와 같은 방법에 의하면, 전적으로 전문가의 소견에 의해서만 데이터를 분석하기 위한 진단방법이 결정되기 때문에 전문가의 소견보다 더 정확성이 높은 방법의 개발이 원천적으로 불가능하다는 점도 문제점으로 지적되어 왔다.

수술결과 또는 치료결과에 대한 데이터가 전문가에 의해 라벨링된 데이터(expert labeled data)가 된 이후에 기계학습알고리즘 등을 적용하여 분석하는 것이 아닌, 순수임상결과에 기반한 지도학습(outcome-based supervised learning without human intervention)을 통한 데이터 분석 및 이를 통한 수술 등 치료 계획을 결정하는 개발된다면, 전문가의 오판에 의한 잘못된 진단을 방지할 수 있을 뿐만 아니라, 관련 데이터가 축적되면 축적될수록 더 정확도가 높은 이론적으로 전문가에 의한 판단보다 높은 정확도의 분석방법의 개발이 가능하게 될 것이다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2014-0082385호(2014.07.02. 공개, 발명의 명칭: 영상 군집화 기반의 의료 영상 검색 방법)에 개시되어 있다.

본 발명은 딥러닝에 기반하여 수술 목표 부위를 설정하는 것을 일 목적으로 한다.

본 발명은 환자들의 예후에 기반하여 수술 계획을 최적화하는 것을 다른 목적으로 한다.

본 발명의 일 실시예에 따르면, 하나 이상의 메모리 및 프로세서를 포함하는 수술 목표 부위 설정 및 수술 계획 최적화 시스템에 있어서, 상기 프로세서는, 딥러닝 알고리즘을 사용하여 해부학적 구조의 시맨틱 세그멘테이션 및 이미지 선택을 수행하고, 상기 시맨틱 세그멘테이션 결과로부터 수술 목표 부위인 자동 타겟을 선택하여 타겟팅하고, 적합성 평가에 의해 상기 자동 타겟과 양호한 예후 타겟에 대한 거리를 계산하고, 상기 계산된 거리를 상기 시맨틱 세그맨테이션 알고리즘 및 상기 타겟팅 알고리즘을 훈련하기 위해 사용하는 수술 목표 부위 설정 및 수술 계획 최적화 시스템이 제공된다.

본 발명에 있어서, 상기 훈련은, 상기 딥러닝 알고리즘에 기반한 자동 타겟과 상기 양호한 예후 타겟 간의 거리를 최소화하는 훈련일 수 있다.

본 발명에 있어서, 상기 훈련된 결과를 상이한 환자들의 예후 데이터 세트에서 사용 또는 검증할 수 있다.

본 발명에 있어서, 상기 양호한 예후를 구분하는 임계치는 각 질환별로 상이할 수 있다.

본 발명의 일 실시예에 따르면, 수술 목표 부위인 타겟이 속한 이미지 슬라이스(slice)를 선택하는 딥 셀렉터; 딥러닝 알고리즘을 이용하여 해부학적 구조의 시맨틱 세그먼테이션(semantic segmentation)에 기반하여 상기 수술 목표 부위인 자동 타겟을 타겟팅하는 딥 타겟터; 상기 해부학적 구조에서 시맨틱 세그멘테이션(semantic segmentation) 정보에 기초하여 수술에 안전한 궤도를 탐색하는 딥 트라젝터; 상기 타겟팅 결과를 사용자 입력에 의해 검증한 후, 수술 계획을 설립하는 적용부; 를 포함하고, 상기 적용부는, 적합성 평가에 의해 상기 자동 타겟과 양호한 예후 타겟에 대한 거리를 계산하고, 상기 계산된 거리를 상기 시맨틱 세그맨테이션 알고리즘 및 상기 타겟팅 알고리즘을 훈련하기 위해 사용하여 상기 수술 계획을 최적화하는, 수술 목표 부위 설정 및 수술 계획 최적화 시스템이 제공된다.

본 발명에 있어서, 상기 딥 타겟터는 완전 콘볼루션 신경 네트워크(fully convolutional neural network)를 통한 해부학적 구조물의 시맨틱 세그먼테이션을 통해서 시상 하부핵(subthalmic nucleus)과 적색 핵(red nucleus)의 경계를 파악하고, 상기 수술 목표 부위를 타겟팅할 수 있다.

본 발명에 있어서, 상기 딥 트라젝터는 뇌이랑(sulci)와 뇌회(gyrus), 뇌실(ventricle등 해부학적 구조물을 시맨틱 세그먼테이션(semantic segmentation)하여 상기 안전한 궤도를 탐색할 수 있다.

본 발명의 일 실시예에 따르면 딥러닝 알고리즘을 사용하여 해부학적 구조의 시맨틱 세그멘테이션 및 이미지 선택을 수행하는 단계; 상기 시맨틱 세그멘테이션 결과로부터 수술 목표 부위인 자동 타겟을 선택하여 타겟팅하는 단계; 적합성 평가에 의해 상기 자동 타겟과 양호한 예후 타겟에 대한 거리를 계산하는 단계; 상기 계산된 거리를 상기 시맨틱 세그맨테이션 알고리즘 및 상기 타겟팅 알고리즘을 훈련하기 위해 사용하는 단계; 를 포함하는 수술 목표 부위 설정 및 수술 계획 최적화 방법이 제공된다.

본 발명에 있어서, 상기 훈련은, 상기 딥러닝 알고리즘에 기반한 자동 타겟과 상기 양호한 예후 타겟 간의 거리를 최소화하는 훈련일 수 있다.

본 발명에 있어서, 상기 훈련된 결과를 상이한 환자들의 예후 데이터 세트에서 사용 또는 검증할 수 있다.

본 발명에 있어서, 상기 양호한 예후를 구분하는 임계치는 각 질환별로 상이할 수 있다.

본 발명의 일 실시예에 따르면, 수술 목표 부위인 타겟이 속한 이미지 슬라이스(slice)를 선택하는 단계; 딥러닝 알고리즘을 이용하여 해부학적 구조의 시맨틱 세그먼테이션(semantic segmentation)에 기반하여 상기 수술 목표 부위인 자동 타겟을 타겟팅하는 단계; 상기 해부학적 구조에서 시맨틱 세그멘테이션(semantic segmentation) 정보에 기초하여 수술에 안전한 궤도를 탐색하는 단계; 상기 타겟팅 결과를 사용자 입력에 의해 검증한 후, 수술 계획을 설립하는 단계; 를 포함하고, 상기 수술 계획을 설립하는 단계는, 적합성 평가에 의해 상기 자동 타겟과 양호한 예후 타겟에 대한 거리를 계산하고, 상기 계산된 거리를 상기 시맨틱 세그맨테이션 알고리즘 및 상기 타겟팅 알고리즘을 훈련하기 위해 사용하여 상기 수술 계획을 최적화하는, 수술 목표 부위 설정 및 수술 계획 최적화 방법이 제공된다.

본 발명에 있어서, 상기 딥 타겟터는 완전 콘볼루션 신경 네트워크(fully convolutional neural network) 혹은 콘볼루션 오토인코더 (convolutional autoencoder)를 통한 해부학적 구조물의 시맨틱 세그먼테이션을 통해서 시상 하부핵(subthalmic nucleus)과 적색 핵(red nucleus)의 경계를 파악하고, 상기 수술 목표 부위를 타겟팅할 수 있다.

본 발명에 있어서, 상기 딥 트라젝터는 뇌이랑(sulci)와 뇌회(gyrus), 뇌실(ventricle등 해부학적 구조물을 시맨틱 세그먼테이션(semantic segmentation)하여 상기 안전한 궤도를 탐색할 수 있다.

본 발명에 있어서, 상기 훈련은, 상기 딥러닝 알고리즘에 기반한 자동 타겟과 상기 양호한 예후 타겟 간의 거리를 최소화하거나 치료 목표의 길이, 방향, 면적, 부피 범위의 설정 및 치료 방침, 순서, 외력의 크기, 방향, 토크을 치료 후 예후에 따라서 최적화 하는 훈련일 수 있다.

본 발명에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체이 제공된다.

본 발명에 의하면, 딥러닝에 기반하여 수술 목표 부위를 설정하고, 환자들의 예후에 기반하여 수술 계획을 최적화할 수 있다.

도 1 은 본 발명의 일 실시예에 따른 수술 목표 부위 설정 시스템을 간략히 나타낸 것이다.
도 2 는 본 발명의 일 실시예에 따른 서버 내부 프로세서의 구성을 나타낸 도면이다.
도 3 은 본 발명의 일 실시예에 따른 수술 목표 부위 설정 및 수술 계획 최적화 방법을 시계열적으로 나타낸 것이다.
도 4 는 본 발명의 일 실시예에 따른 이미지 슬라이스를 나타낸 도면이다.
도 5 는 본 발명의 일 실시예에 따라 적핵 및 시상 하부핵의 타겟을 검출해내는 방법을 예시한 것이다.
도 6 은 본 발명의 일 실시예에 따라 검출된 타겟을 나타낸 것이다.
도 7 은 본 발명의 예후 기반 수술 계획 최적화 방법과 기존의 방법을 비교한 것이다.
도 8 은 본 발명의 일 실시예에 따른 예후 기반 수술 계획 최적화 방법을 보다 상세히 나타낸 것이다.
도 9 는 본 발명의 일 실시예에 따른 자동 타겟을 도시한 것이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1 은 본 발명의 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다.

도 1의 네트워크 환경은 복수의 사용자 단말들(110, 120, 130, 140), 서버(150) 및 네트워크(160)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 사용자 단말의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.

복수의 사용자 단말들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 사용자 단말들(110, 120, 130, 140)은 서버(150)를 제어하는 관리자의 단말일 수 있다. 복수의 사용자 단말들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 사용자 단말 1(110)은 무선 또는 유선 통신 방식을 이용하여 네트워크(160)를 통해 다른 사용자 단말들(120, 130, 140) 및/또는 서버(150)와 통신할 수 있다.

통신 방식은 제한되지 않으며, 네트워크(160)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(160)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(160)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.

서버(150)는 복수의 사용자 단말들(110, 120, 130, 140)과 네트워크(160)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다.

일례로, 서버(150)는 네트워크(160)를 통해 접속한 사용자 단말 1(110)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 사용자 단말 1(110)은 서버(150)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한 사용자 단말 1(110)이 포함하는 운영체제(Operating System, OS) 및 적어도 하나의 프로그램(일례로 브라우저나 설치된 어플리케이션)의 제어에 따라 서버(150)에 접속하여 서버(150)가 제공하는 서비스나 컨텐츠를 제공받을 수 있다. 다른 예로, 서버(150)는 데이터 송수신을 위한 통신 세션을 설정하고, 설정된 통신 세션을 통해 복수의 사용자 단말들(110, 120, 130, 140)간의 데이터 송수신을 라우팅할 수도 있다.

본 발명의 일 실시예에 따르면, 서버(150)는 딥러닝에 기반하여 자동으로 수술 목표 부위를 설정하고, 환자들의 예후에 기반하여 수술 계획을 최적화할 수 있다. 관리자 단말은 서버(150)를 제어하는 명령을 입력할 수 있는 단말로서, 딥러닝 알고리즘 및 수술 예후 데이터를 서버(150)로 전송할 수 있다.

본 발명의 서버(150)를 이용하여 수술 목표 부위 설정 및 수술 계획 최적화 시스템 및 방법은, MRI 및 CT, 뇌수술현미경, 내시경 영상, 수술 시야 영상 등 영상 정보를 분석하여 딥러닝 기반으로 영상 유도 수술의 목표 설정을 시행하는 것을 특징으로 한다. 예를 들어, 본 발명의 수술 목표 부위 설정 및 수술 계획 최적화 방법은 뇌심부 자극 수술에 적용될 수 있고, 특히 뇌심부 자극 수술에서는 베자니 표적(Bejjani target)이라는 시상 하부핵(subthalamic nucleus)과 적색 핵(red nucleus)을 기반으로 한 수술 목표 혹은 posterior subthalamic area, zona incerta혹은 globus pallidus interna 등등의 기존의 혹은 새로운 목표가 사용될 수 있다.

도 2 는 본 발명의 일 실시예에 있어서, 서버의 내부 구성을 설명하기 위한 블록도이다.

도 2에서는 서버(150)의 내부 구성을 설명한다. 서버(150)는 메모리(221), 프로세서(222), 통신 모듈(223) 그리고 입출력 인터페이스(224)를 포함할 수 있다. 메모리(221)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(221)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 사용자 단말 1(110)에 설치되어 구동되는 브라우저나 상술한 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism)을 이용하여 메모리(221)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(223)을 통해 메모리(221)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로 상술한 서버(150))이 네트워크(160)를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(221)에 로딩될 수 있다.

프로세서(222)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(221) 또는 통신 모듈(223)에 의해 프로세서(222)로 제공될 수 있다. 예를 들어 프로세서(222)는 메모리(221)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 프로세서(222)는 는 딥 셀럭터(111), 딥 타겟터(112), 딥 트라젝터(113) 및 적용부(114)를 포함할 수 있다.

통신 모듈(223)은 네트워크(160)를 통해 사용자 단말 1(110)과 서버(150)가 서로 통신하기 위한 기능을 제공할 수 있으며, 다른 사용자 단말(일례로 사용자 단말 2(120)) 또는 다른 서버(일례로 서버(150))와 통신하기 위한 기능을 제공할 수 있다. 일례로, 사용자 단말 1(110)의 프로세서가 메모리와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈의 제어에 따라 네트워크(160)를 통해 서버(150)로 전달될 수 있다. 역으로, 서버(150)의 프로세서(222)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(223)과 네트워크(160)를 거쳐 사용자 단말 1(110)의 통신 모듈을 통해 사용자 단말 1(110)로 수신될 수 있다. 예를 들어 통신 모듈을 통해 수신된 서버(150)의 제어 신호나 명령 등은 프로세서나 메모리로 전달될 수 있다.

입출력 인터페이스(224)는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(224)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 서버(150)의 프로세서(222)는 메모리(221)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 사용자 단말 2(120)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(224)를 통해 디스플레이에 표시될 수 있다.

또한, 다른 실시예들에서 서버(150)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 사용자 단말 1(110)은 상술한 입출력 장치(215) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.

도 3 은 본 발명의 일 실시예에 따른 수술 목표 부위 설정 및 수술 계획 최적화 방법을 시계열적으로 나타낸 것이다.

본 발명의 일 실시예에 따른 수술 목표 부위 설정 및 수술 계획 최적화 방법은 하기와 같은 프로세스를 따를 수 있다. 이하의 발명의 명세서에서, 수술 목표 부위는 타겟(target)으로 지칭될 수 있으며, 수술 목표 부위 설정은 타겟팅(targeting)으로 지칭될 수 있다.

먼저, 본 발명의 일 실시예에 따르면 딥 셀렉터(Deep selector, 111)는 수술 목표 부위인 타겟이 속한 이미지 슬라이스(slice)를 선택한다(S1).

다음으로, 딥 타겟터(deep targetor, 112)는 딥 러닝 알고리즘을 이용하여 해부학적 구조의 시맨틱 세그먼테이션(semantic segmentation)에 기반하여 수술 목표 부위를 설정하여 타겟팅한다(S2).

다음으로, 딥 트라젝터(Deep trajector, 113, 딥러닝기반 경로설정 시스템)는 해부학적 구조에서 시맨틱 세그멘테이션(semantic segmentation) 정보에 기초하여 안전한 궤도를 탐색한다(S3). 보다 구체적으로, 딥 트라젝터(113)는 두개골 상에서 뇌심부자극수술에 일반적으로 사용되는 전두엽 등의 entry point와 뇌의 이랑 (sulci)와 gyrus구조 및 뇌혈관, 뇌실 구조에 대한 segmentation결과를 함께 고려하여 뇌혈관과 뇌실을 통과하지 않도록 경로 결정을 한다. Anterior thalamic nucleus등 특수한 경우에는 뇌실을 통과하도록 경로 설정을 할 수 있다. 이러한 딥 타겟터(112)와 딥 트라젝터(113)는 딥 셀렉터에서 탐지한 단일 혹은 다수의 영상 슬라이스에 적용될 수 있으며 이러한 다수의 영상 slice에서의 정보를 통합하여 딥 트라젝터(113)에서 경로 설정을 수행할 수 있다. 혹은 3 차원 영상 정보상에서 3D semantic segmentation을 하여서 상기 정보를 통하여 3차원 공간 상에서 경로 설정을 할 수 있다.

마지막으로, 적용부(114)는 타겟팅 결과를 장치 혹은 소프트웨어 등을 통해 사용자에 의한 검증한 후, 수술 계획을 설립한다(S4).

이하에서는, 상기 S1 내지 S4 의 단계 및 각 구성에 대해 보다 상세히 살펴보기로 한다.

상술한 바와 같이, 딥 셀렉터(111)는 타겟의 이미지 셀라이스를 선택한다. 보다 상세히, 딥 셀럭터는 MRI 영상 중 목표 설정을 위한 슬라이스(slice)와 영역(area)을 딥러닝 알고리즘 중 콘볼루션 신경 네트워크(convolutional neural network) 혹은 콘볼루션 오토인코더 (convolutional autoencoder)등 semantic segmentation이 가능한 알고리즘에 의해 분류한다.

도 4 는 본 발명의 일 실시예에 따른 이미지 슬라이스를 나타낸 도면이다.

도 4 는, 타게팅을 위해 딥 셀렉터(111)가 이미지 슬라이스를 판별하는(깊이 및 영역에 대하여) 예시이다. 도 4 의 실시예에서는 컨볼루션 신경망을 이용하여 이미지를 분류하고 선택하는 예시가 표현되었다. 도 4 의 세번째 사진은, 타게팅을 위한 이미지 깊이 및 영역을 판별한 결과이다.

다음으로, 딥 타겟터(112)는 타겟팅을 수행한다. 예를 들어, 딥 타겟터는 완전 콘볼루션 신경 네트워크(fully convolutional neural network)를 통한 해부학적 구조물의 시맨틱 세그먼테이션을 통해서 시상 하부핵(subthalmic nucleus)과 적색 핵(red nucleus)의 경계를 파악하고, 자동 타겟팅을 수행할 수 있다. 탐지하는 해부학적 구조물은 시상 하부핵 및 적색 핵에 국한되지 않으며 수술 목표에 따라서 globus pallidus interna, optic tract, anterior thalamic nucleus등 다양한 종류의 해부학적 구조물이 활용될 수 있다.

도 5 는 본 발명의 일 실시예에 따라 적핵 및 시상 하부핵의 타겟을 검출해내는 방법을 예시한 것이다.

먼저, 도 5 에서 알 수 있는 바와 같이, 딥 타겟터(112)는 적핵 및 시상 하부핵의 시맨틱 세그멘테이션을 추출한다(S21).

다음으로, 딥 타겟터(112)는 시상 하부핵의 내측 마진(Medial margin) 및 적핵의 전연(Anterior margin)을 검출한다(S22). 여기에 추가적으로 떨림증 등 질병 관련된 dentato-rubro-thalamic tract등 확산텐서영상이 있는 경우 알고리즘에서 추가적으로 segmentation하여 뇌신경 경로에 따라서 목표 부위 설정을 수정할 수 있다.

다음으로, 딥 타겟터(112)는 상술한 시맨틱 세그멘테이션, 내측 마진 및 전연 정보에 기초하여 타겟을 산정한다(S23).

도 6 은 본 발명의 일 실시예에 따라 검출된 타겟을 나타낸 것이다.

도 6 의 중간 사진을 보면, 적핵 및 시상 하부핵이 검출된 예시를 나타내고 있다. 도 6 에서 볼 수 있는 바와 같이, 이미지에서 사용자의 식별이 용이하도록 타겟 또는 미타겟을 구분하는 색상이 추가될 수 있다. 도 6 에서 보여진 목표 부위는 후시상밑핵 (posterior subthalamic area, zona incerta)이며 이 이외에도 시상밑핵 (subthalamic nucleus), 전시상핵 (anterior thalamic nucleus). 내측 담창구 (globus pallidus interna), 복측시상핵 (ventral intermediate nucleus)등 다양한 목표 부위에 적용될 수 있다.

다음으로, 딥 트라젝터(Deep trajector)는 해부학적 구조에서 시맨틱 세그멘테이션(semantic segmentation) 정보에 기초하여 안전한 궤도 및 타겟을 탐색한다(S3). 예를 들어, 뇌이랑(sulci)와 뇌회(gyrus), 뇌실(ventricle), 뇌혈관등 해부학적 구조물을 시맨틱 세그먼테이션(semantic segmentation)하여 적절한 안전 경로 설정을 할 수 있다.

다음으로, 적용부(114)는 상술한 바와 같이 탐색된 안전한 궤도 및 타겟이 탐색되면, 결정된 타겟의 위치를 딥 러닝에 기반한 목표 부위 설정 방법에 의해 수술 계획을 설립하도록 사용할 수 있다. 예를 들어, 대상 MRI 를 촬영하여, MRI 이미지에 본 발명의 딥러닝 기반 자동 타겟팅을 적용하고, 타겟팅 결과를 장치 혹은 소프트웨어 버튼 혹은 소프트웨어 단말 명령을 통해 사용자가 검증한 후, 수술에 적용할 수 있도록 수술 계획을 수립한다.

또한, 적용부(114)는 적합성 평가에 의해 자동 타겟과 양호한 예후 타겟에 대한 거리를 계산하고, 계산된 거리를 상기 시맨틱 세그맨테이션 수행 및 상기 타겟팅 알고리즘을 훈련하기 위해 사용하여 수술 계획을 최적화할 수 있다.

상술한 본 발명의 일 실시예에 따른 수술 목표 부위 설정 방법에 의해 설정된 수술 목표 부위(자동 타겟)는, 사용 가능 여부를 묻는 장치의 물리적 버튼, 소프트웨어의 선택 창, 소프트웨어 상의 명령어 등을 통해서 사용자에게 실제 수술 사용 가능한 목표 부위인지 검증(verification)을 요구할 수 있다. 본 발명의 일 실시예에 따르면, 검증 결과 딥러닝에 의한 수술 목표 설정이 실제 진료 의료 행위자의 수작업 혹은 자동화된 로봇 등을 이용하여 적용되기 때문에 사용자는 해당 국가의 의료 면허 소지자인 것을 조건으로 할 수 있다. 본 발명은 실제 사용자의 수동 검증(manual verification)을 통해 실제 수술에 사용 가능한 타겟인지 검증을 거칠 수 있다. 또한, 검증이 완료된 수술 목표 부위는 그 이후 딥러닝에 의에 수립된 수술 계획에 대해 사용 권한 분여 후 실제 수술에 적용되도록 수술 계획이 수립될 수 있다.

보다 상세히, 사용자의 검증 후에는 수술 계획 수립용 소프트웨어 혹은 장비 등에서 검증된 타겟을 검증되었다는 표지와 함께 출력 후 정위수술 장비, 기타 수술 도구, 방사선 수술 장비 등에 의한 수동 어플리케이션(manual application) 혹은 수술 로봇 등 관련 장비에서 장치 내부에서 계획 수립 결과를 전달하여 직접 수술에의 적용이 가능하다.

한편, 수동 검증(Manual verification)에 의한 권한 부여 과정에서 예외율이 매우 낮거나 적용 예외에 대한 의학적, 통계적 근거가 부족한 경우 혹은 알고리즘의 발달에 따라 수동 예외 설정이 필요한 경우가 매우 적거나 없는 경우 수동 검증 없이 치료 진행이 가능하며 이에 대한 판단은 각 분야의 전문가 혹은 다른 종류의 알고리즘에 의해서 이루어지고, 이 과정에 대한 별도의 버튼, 단말 입력 명령, 물리적 버튼 등이 포함될 수 있다.

한편, 본 발명의 딥러닝 기반 자동화된 목표 부위 설정 방법은 전문가의 의견 혹은 해부학적 구조물의 위치 모델링 등 기존의 방법을 통하지 않고 직접 예후 기반으로 수술 계획의 최적화가 이루어질 수 있다. 즉, 본 발명의 수술 목표 부위 설정 및 수술 계획 최적화 방법은, 기존의 훈련 방법과 달리 수술 계획을 수립할 때 예후 기반 러닝(outcome-guided learning)을 사용할 수 있다. 보다 상세히, 본 발명의 일 실시예에 따르면 설정된 목표 부위(타겟)을 예후 기반 학습 기법과 결합하여 수술 계획을 최적화 할 수 있으며, 이를 기존의 예후 기반 학습과 구별하기 위하여 예후 기반 수술 계획 최적화(outcome-guided surgical planning optimization)라 명명하기로 한다.

예후 기반 수술 계획 학습(outcome-guided surgical planning learning)이란 결과 기반 학습(outcome-guided learning)과 유사하지만 차이가 있는 개념으로서 예후 기반 학습은 영상, 뇌파 등 생체 신호 분석에 예후 기반 최적화 개념을 사용한다. 예후 기반 최적화 개념은 뇌파 등 분석 신호의 피처(feature) 선택에 좀 더 연관성이 높은 개념으로서, 예후 기반 수술 계획 학습 (outcome-guided surgical planning learning)은 수술 목표 부위 설정 최적화에 좀 더 직접적으로 관련될 수 있다.

도 7 은 본 발명의 예후 기반 수술 계획 최적화 방법과 기존의 방법을 비교한 것이다.

도 7 의 (a)는 기존의 방법을 나타낸 블록도로서, 예후(outcome)가 존재하면, 피드백 훈련(feedback training)을 수행하고, 이에 대해 전문가(expert)가 직접 수동 표시(manual marking)한 것을 이용하여 훈련을 수행하여 기계 학습을 진행하였다.

이에 반하여, 도 7 의 (b) 는 본 발명의 예후 기반 수술 계획 최적화 방법 나타낸 블록도로서, 본 발명은 전문가에 의한 수동 표시 없이도, 예후 기반 러닝을 통해 기계 학습을 진행할 수 있다.

도 8 은 본 발명의 일 실시예에 따른 예후 기반 수술 계획 최적화 방법을 보다 상세히 나타낸 것이다. 하기 도 8 의 단계들은 서버(150)의 프로세서(222)에 의해 수행될 수 있다.

도 8 을 참조하면, 먼저 딥러닝을 사용하여 해부학적 구조의 시맨틱 세그멘테이션 및 이미지 선택을 수행한다(S81).

다음으로, 1. 해부학적 구조와 상대적 혹은 절대적 거리, 2. 인공지능 신경망 혹은 3. 다른 머신 러닝 알고리즘을 이용하여 시맨틱 세그멘테이션 결과로부터 수술 목표 부위인 자동 타겟을 선택하여 타겟팅한다(S82). 상기 알고리즘들은 수술 후 예후 결과를 통해서 최적화 된다.

다음으로, 해부학적 구조와의 거리를 최적화에 사용하는 경우 양호한 예후 타겟에 대한 거리를 계산하여, 계산된 거리를 아래에 서술된 적합성 함수로 평가하여 시맨틱 세그맨테이션 알고리즘 또는 타겟팅 알고리즘을 훈련하기 위해 사용한다(S83). 이때, S83 단계의 결과는 S81 및 S82 단계를 훈련하기 위해 사용될 수 있다.

다음으로, 훈련 후에 훈련된 결과가 상이한 환자들의 예후 데이터 세트에서 확인된다(S84). 이때, 성능 향상이 더 이상 일어나지 않으면 훈련은 중단될 수 있다.

목표 부위와의 거리를 사용하지 않고도 본 발명의 예후 기반 수술 계획 최적화에 있어서, 인공 신경망 혹은 기타 머신 러닝 알고리즘은 딥러닝에 기반한 자동 타겟과 양호한 예후 환자의 타겟 간의 거리를 최소화하도록 최적화될 수 있다.

도 9 는 본 발명의 일 실시예에 따른 자동 타겟을 도시한 것이다.

도 9 를 참조하면, 이미지 분석에 의해 세그멘테이션 결과(a~d) 및 자동 타겟(e), 수술 후 전극 아티팩트(artifact)(f)가 도시되어 있다. 더불어, g 는 자동 타겟으로부터 양호한 예후 환자의 수술 후 전극 아티팩트 위치까지의 거리를 나타낸다. 이때, 양호한 예후 환자의 수술 후 전극 아티팩트 위치는 양호한 예후 환자의 타겟으로 설정될 수 잇다. 예후 기반 수술 계획 최적화는 양호한 예후 환자 그룹의 D_GO 를 최소화할 수 있다. 이때, 적합성 함수 D_GO 는 하기의 [수학식 1] 과 같이 나타낼 수 있다.

[수학식 1]

이때, D_GO 는 양호한 예후 환자 그룹의 자동 타겟으로부터 수술 후 전극 아티팩트 사이의 평균 거리이고, N_GO 는 양호한 예후 환자 그룹의 환자 수이며, D_i 는 양호한 예후 환자 그룹의 i 번째 환자의 자동 타겟으로부터 수술 후 전극 아티팩트 사이의 거리이다.

본 발명의 일 실시예에 따르면 수술 계획 최적화는 D_GO 를 최소화하는 것이며, 다양한 방법의 머신 러닝이 수술 계획 최적화를 위해 사용될 수 있다. 본 실시 례에서는 수술 목표 부위가 하나의 좌표로 특정되기 때문에 이러한 최적화 방법이 사용되나 다른 경우에는 치료 방침 (policy), 치료 방법, 점이 아닌 선이나 면, 부피 형태의 치료 목표 부위, 수술 술기의 순서 및 치료용 장치 및 로봇 등의 물리적으로 가해지는 외력의 강도 (force), 방향 (direction), 토크 (torque) 등등이 최적화의 대상이 될 수 있다.

상술한 바와 같이, 본 발명은 인공지능 신경망(artificial neural network) 혹은 딥러닝 등 다양한 기계 학습 알고리즘을 도입하여 수술 목표 부위를 설정할 수 있다. 또한, 상대적/절대적 거리 요소 혹은 기계 학습 알고리즘을 최적화 함에 있어서 적합성 함수(fitness function)를 통해서 수술 후 좋은 예후를 보인 환자들의 수술 후 전극 위치와 자동 타겟(automatic target)과의 거리를 최소화 하도록 최적화하는 것이 가능하다. 본 발명의 적합성 함수(fitness function)는 다양한 기계 학습 알고리즘의 최적화에 이용될 수 있다.

보다 구체적인 예에 있어서, 수술 후 예후 그룹은 파킨슨 병의 경우 UPDRS scale 를 이용하여 기설정된 향상 비율을 임계치로 하여 결정할 수 있다. 다른 실시예에서, 수술 후 예후 그룹을 결정하기 위해, 떨림(Tremor) 혹은 근육 긴장 이상(dystonia) 환자의 경우 TETRAS scale 혹은 The Burke-Fahn-Marsden dystonia rating scale 등이 사용될 수도 있고 patient's global impression of outcome (PGI) 혹은 clinician's global impression of outcome (CGI) 및 수술 후 각종 검사 결과 등 수술 후 치료를 평가하는 다양한 지표가 사용될 수 있다. 또한, 간질(Epilepsy)의 경우 ILAE 혹은 Engel seizure outcome scale, depression, obsessive-compulsive diorder의 경우 각각 질병에 해당되는 scale이 사용 가능하다.

본 발명의 일 실시예에 따르면 예후 지표의 종류에 따라서 전체 결과 점수(outcome score)가 아닌 하부 점수(subscore) 별로 구분하여서도 기계 학습의 훈련(training)이 가능하다. 일 실시예에서, 파킨슨 병에서도 떨림증, 보행장애, 경직, 통증 등의 증상 별로 점수를 구분하여 그 중에 중요하거나 효과 분석에 관심이 있는 위치를 예후 기반 학습(outcome-guided learning)으로 파악하여 각 환자별로 중요한 개인화된 목표 부위 설정을 위해 활용할 수 있다.

본 발명의 일 실시예에서, 양호한 예후를 구분하는 임계치는 각 질환별로 적절한 수준의 예후로 판단되는 임의의 지점이 선택될 수 있다. 즉, 예후를 구분하는 임계치는 각 질환 별로 상이할 수 있다. 또한, 질환에 따라서 적합성 함수를 변형하여 예후가 좋지 않은 그룹의 수술 후 전극 위치와의 거리도 추가적인 요소로 고려할 수 있다.

추가적으로, 본 발명의 수술 목표 부위 설정 방법 훈련(training)한 이후에는 검증을 위해서 훈련에 포함되지 않은 환자군에서 타겟 알고리즘(targeting algorithm)을 재계산 하여 실제로 양호한 예후(good outcome)를 보였던 타겟과의 평균 거리인 D_GO 을 재계산 하여 검증할 수 있다. 즉, 최적화 이후에도 훈련에 포함되지 않은 환자군에 대해서 알고리즘을 재시행 하여 양호한 예후 데이터과의 거리를 측정하여 최적화된 알고리즘의 유효성을 검증할 수 있다.

또한, 최종적으로 신규 환자에게 최적화된 수술 목표 부위 설정 방법으로 수술을 시행하여 기존의 수술 방법과 예후를 비교하여 검증한다.

이하에서는 본원 발명의 장점에 대해 설명하고자 한다.

기존의 아틀라스(atlas) 기반 자동 수술 목표 부위 설정(자동 타겟팅)은 사람마다 해부학적 구조물의 형태가 다양하기 때문에 개인별 적용이 힘든 문제점이 있었다. 또한, 코레지스트레이션(Coregistration)기반 자동 타겟팅 역시 개인별 해부학적 구조물의 차이가 크기 때문에 대인간 코레지스트레이션(interpersonal coregistration) 결과가 실제 수술에 적용할 만큼 적절하지 않은 문제점이 존재하였다. 더불어, 세그멘테이션(segmentation) 기반 혹은 아틀라스 및 세그멘테이션을 복합적으로 이용하는 알고리즘 역시 픽셀의 색깔이나 밝기, 클러스터링(clustering) 특성 등 저레벨 피처(low level feature)에 의존하기 때문에 좀더 고레벨의 추상적 피처(abstractive feature)에 기반한 해부학적 구조물의 안정적인 세그멘테이션에 도달하지는 못하였고 실제 수술에 적용되는 경우가 없었다.

또한, 딥러닝에 의한 시맨틱 세그멘테이션(semantic segmentation)의 경우 해부학적 구조물의 고레벨 피처의 연결성 등에 의한 세그멘테이션을 시행하기 때문에 다양한 개인별 해부학적 변화(anatomic variation)에 적응이 가능하였고 실제 집도 의사가 시행하는 수준으로 해부학적 구조물의 마진(margin) 판별이 가능하여 실제 수술에 적용 가능한 수준으로 판단된다. 다만, 딥러닝 등 머신러닝 혹은 다른 종류의 인공지능 알고리즘에 의한 수술 계획 수립의 경우 이러한 알고리즘의 종합적인 판단력의 결여로 인해서 인간에 의한 검증이 중요할 수 있다. 즉, 기존의 딥러닝에 의한 수술 목표 부위 설정은, 인간에 의한 수동 검증 과정을 통해 의학적, 사회적인 판단에 의해 적절한 경우에만 수술 계획 수립을 위해 적용이 가능하였다. 본 발명은 이러한 수동 검증 과정을 자동화된 수술 계획 수립 장치, 로봇 혹은 소프트웨어로 대체하는 것을 일 목표로 한다.

딥러닝 알고리즘의 경우 다양한 경우의 해부학적 구조에 적용이 가능하고 조직화(regularization) 특성에 의한 연속적인 해부학적 마진(margin)의 탐지가 가능하여, 수동 검증 이후 적용이 가능해졌다.

목표 설정 위치의 최적화는 기존의 자동 타겟팅 방식에서는 전문가 의견 및 해부학적 모델 등에 의존하였음. 예를 들면 시상밑행(subthalamic nucleus)의 내측 마진(medial margin)에서 1mm 측면 위치 혹은 적핵(red nucleus)의 측면 마진(lateral margin)에서 3mm 측면 위치 등이 적절하다는 의견 등에 기반하여 자동 타겟팅 위치가 설정되었다. 또한, 이러한 자동 타겟팅 결과는 항상 전문가 의견에 비추어 적용 가능/불가능 비율을 판정하였다. 그러나 이러한 전문가 판단의 적절성은 전문가와 별로 margin평가가 상이하고 머신 러닝으로는 해부학적 다양성에 적응성이 떨어져 margin평가가 힘든 경우가 많기 때문에 기존의 머신러닝 알고리즘으로는 증명이 힘들다.

이에, 본 발명의 일 실시예에 따르면 예후 기반 수술 계획 최적화(outcome guided-surgical planning optimization) 기법을 뇌심부 자극 수술 목표 설정 부위에 도입함으로서 좀 더 객관적인 수술 후 예후 자료와 전극 위치를 기반으로 딥러닝 기반 자동화된 뇌심부 자극 수술 목표 설정 부위를 최적화할 수 있다. 또한, 목표 설정 프로그램의 최적화 과정에서 전문가의 의견에 따른 데이터 라벨링(data labeling)과 결과 판정 과정이 생략되어 좀 더 저렴한 비용과 단순한 과정을 거쳐서 프로그램 개발 및 향상이 가능한 장점이 존재한다.

또한, 기존의 전문가 의견에 의존할 경우 최종적인 자동 타겟팅(automatic targeting) 부위는 전문가 의견과 동일해 지며 전문가 의견 이상으로 향상될 가능성이 없다. 그러나 전문가 의견을 거치지 않고 예후와 수술 위치 데이터 만으로 직접 최적화를 하는 경우 잠재적으로 전문가에 의한 목표 설정보다 수술 후 예후에 있어서 더 우수해 질 가능성이 있으며 전문가의 목표 설정 부위와 다른 목표 부위를 데이터 기반으로 설정 가능한 장점이 존재한다.

자동 타겟팅 이후 기존의 양호한 예후 타겟(good outcome target)과의 거리를 측정하는 방법으로 자동 타켓팅(automatic targeting)을 검증함으로써, 수술 계획을 최적화할 수 있다. 기존의 방법에서는 주로 전문가 의견이 적절한가 여부를 판정하였고, 본 발명의 수술 목표 부위 설정방법의 검증 방법에서는 자동 타겟과 양호한 예후 타겟 간의 오차를 거리 값으로 측정하고, 이를 통해 알고리즘과 데이터의 퀄리티에 따른 검증 결과를 수치상으로 측정 가능하다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (16)

1. 하나 이상의 메모리 및 프로세서를 포함하는 수술 목표 부위 설정 및 수술 계획 최적화 시스템에 있어서,
   상기 프로세서는,
   딥러닝 알고리즘을 사용하여 해부학적 구조의 시맨틱 세그멘테이션 및 이미지 선택을 수행하고,
   상기 시맨틱 세그멘테이션 결과로부터 수술 목표 부위인 자동 타겟을 선택하여 타겟팅하고,
   적합성 평가에 의해 상기 자동 타겟과 양호한 예후 타겟에 대한 거리를 계산하고,
   상기 계산된 거리를 상기 시맨틱 세그멘테이션의 알고리즘 및 상기 타겟팅의 알고리즘을 훈련하기 위해 사용하는, 수술 목표 부위 설정 및 수술 계획 최적화 시스템.
2. 제 1 항에 있어서,
   상기 훈련은,
   상기 딥러닝 알고리즘에 기반한 자동 타겟과 상기 양호한 예후 타겟 간의 거리를 최소화하는 훈련인, 수술 목표 부위 설정 및 수술 계획 최적화 시스템.
3. 제 1 항에 있어서,
   상기 훈련된 결과를 상이한 환자들의 예후 데이터 세트에서 사용 또는 검증하는, 수술 목표 부위 설정 및 수술 계획 최적화 시스템.
4. 제 1 항에 있어서,
   상기 양호한 예후를 구분하는 임계치는 각 질환별로 상이한, 수술 목표 부위 설정 및 수술 계획 최적화 시스템.
5. 수술 목표 부위인 타겟이 속한 이미지 슬라이스(slice)를 선택하는 딥 셀렉터;
   딥러닝 알고리즘을 이용하여 해부학적 구조의 시맨틱 세그멘테이션(semantic segmentation)에 기반하여 상기 수술 목표 부위인 자동 타겟을 타겟팅하는 딥 타겟터;
   상기 해부학적 구조에서 시맨틱 세그멘테이션(semantic segmentation) 정보에 기초하여 수술에 안전한 궤도를 탐색하는 딥 트라젝터;
   상기 타겟팅 결과를 사용자 입력에 의해 검증한 후, 수술 계획을 설립하는 적용부;
   를 포함하고,
   상기 적용부는, 적합성 평가에 의해 상기 자동 타겟과 양호한 예후 타겟에 대한 거리를 계산하고, 상기 계산된 거리를 상기 시맨틱 세그멘테이션의 알고리즘 및 상기 타겟팅의 알고리즘을 훈련하기 위해 사용하여 상기 수술 계획을 최적화하는, 수술 목표 부위 설정 및 수술 계획 최적화 시스템.
6. 제 5 항에 있어서,
   상기 딥 타겟터는 완전 콘볼루션 신경 네트워크(fully convolutional neural network)를 통한 해부학적 구조물의 시맨틱 세그멘테이션을 통해서 시상 하부핵(subthalmic nucleus)과 적색 핵(red nucleus)의 경계를 파악하고, 상기 수술 목표 부위를 타겟팅하는, 수술 목표 부위 설정 및 수술 계획 최적화 시스템.
7. 제 5 항에 있어서,
   상기 딥 트라젝터는 뇌이랑(sulci)와 뇌회(gyrus), 뇌실(ventricle등 해부학적 구조물을 시맨틱 세그멘테이션(semantic segmentation)하여 상기 안전한 궤도를 탐색하는, 수술 목표 부위 설정 및 수술 계획 최적화 시스템.
8. 딥러닝 알고리즘을 사용하여 해부학적 구조의 시맨틱 세그멘테이션 및 이미지 선택을 수행하는 단계;
   상기 시맨틱 세그멘테이션 결과로부터 수술 목표 부위인 자동 타겟을 선택하여 타겟팅하는 단계;
   적합성 평가에 의해 상기 자동 타겟과 양호한 예후 타겟에 대한 거리를 계산하는 단계;
   상기 계산된 거리를 상기 시맨틱 세그멘테이션의 알고리즘 및 상기 타겟팅의 알고리즘을 훈련하기 위해 사용하는 단계; 를 포함하는 수술 목표 부위 설정 및 수술 계획 최적화 방법.
9. 제 8 항에 있어서,
   상기 훈련은,
   상기 딥러닝 알고리즘에 기반한 자동 타겟과 상기 양호한 예후 타겟 간의 거리를 최소화하는 훈련인, 수술 목표 부위 설정 및 수술 계획 최적화 방법.
10. 제 8 항에 있어서,
    상기 훈련된 결과를 상이한 환자들의 예후 데이터 세트에서 사용 또는 검증하는, 수술 목표 부위 설정 및 수술 계획 최적화 방법.
11. 제 8 항에 있어서,
    상기 양호한 예후를 구분하는 임계치는 각 질환별로 상이한, 수술 목표 부위 설정 및 수술 계획 최적화 방법.
12. 수술 목표 부위인 타겟이 속한 이미지 슬라이스(slice)를 선택하는 단계;
    딥러닝 알고리즘을 이용하여 해부학적 구조의 시맨틱 세그멘테이션(semantic segmentation)에 기반하여 상기 수술 목표 부위인 자동 타겟을 타겟팅하는 단계;
    상기 해부학적 구조에서 시맨틱 세그멘테이션(semantic segmentation) 정보에 기초하여 수술에 안전한 궤도를 탐색하는 단계;
    상기 타겟팅 결과를 사용자 입력에 의해 검증한 후, 수술 계획을 설립하는 단계;
    를 포함하고,
    상기 수술 계획을 설립하는 단계는, 적합성 평가에 의해 상기 자동 타겟과 양호한 예후 타겟에 대한 거리를 계산하고, 상기 계산된 거리를 상기 시맨틱 세그멘테이션의 알고리즘 및 상기 타겟팅의 알고리즘을 훈련하기 위해 사용하여 상기 수술 계획을 최적화하는, 수술 목표 부위 설정 및 수술 계획 최적화 방법.
13. 제 12 항에 있어서,
    상기 타겟팅하는 단계는, 완전 콘볼루션 신경 네트워크(fully convolutional neural network) 혹은 콘볼루션 오토인코더 (convolutional autoencoder)를 통한 해부학적 구조물의 시맨틱 세그멘테이션을 통해서 시상 하부핵(subthalmic nucleus)과 적색 핵(red nucleus)의 경계를 파악하고, 상기 수술 목표 부위를 타겟팅하는, 수술 목표 부위 설정 및 수술 계획 최적화 방법.
14. 제 12 항에 있어서,
    상기 안전한 궤도를 탐색하는 단계는, 뇌이랑(sulci)와 뇌회(gyrus), 뇌실(ventricle등 해부학적 구조물을 시맨틱 세그멘테이션(semantic segmentation)하여 상기 안전한 궤도를 탐색하는, 수술 목표 부위 설정 및 수술 계획 최적화 방법.
15. 제 12 항에 있어서,
    상기 훈련은,
    상기 딥러닝 알고리즘에 기반한 자동 타겟과 상기 양호한 예후 타겟 간의 거리를 최소화하거나 치료 목표의 길이, 방향, 면적, 부피 범위의 설정 및 치료 방침, 순서, 외력의 크기, 방향, 토크을 치료 후 예후에 따라서 최적화 하는 훈련인, 수술 목표 부위 설정 및 수술 계획 최적화 방법.
16. 제8항 내지 제15항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.

Images