KR102442090B1 - 수술용 내비게이션 시스템에서의 점정합 방법 - Google Patents

Abstract

본 발명은 수술용 내비게이션 시스템에서의 점정합 방법에 관한 것으로 본 발명에 따른 수술용 내비게이션 시스템에서의 점정합 방법은, 의료 영상 장치로부터 검사 대상의 의료 영상 데이터를 취득하는 단계; 의료 영상 데이터를 3D 의료 영상 데이터로 복원하여 복원된 3D 의료 영상을 획득하는 단계; 상기 복원된 3D 의료 영상으로부터 최적 표식자 마커 위치를 산출하는 단계; 상기 복원된 3D 의료 영상으로부터 인공지능을 이용하여 해부학적 특징점을 산출하는 단계; 및 상기 산출된 최적 표식자 마커 위치 및 해부학적 특징점을 의료 영상 좌표계 상에서의 제1 페어 포인트로서 획득하고, 내비게이션 카메라와 프로브를 이용하여 환자 좌표계 상에서 제2 페어 포인트를 획득하는 단계 - 여기서 환자 좌표계 상에서 제2 페어 포인트는 의료 영상 좌표계 상의 제1 페어 포인트에 대응함 - ; 및 환자 좌표계 상의 제2 페어 포인트를 의료 영상 좌표계 상의 제1 페어 포인트에 대해 점정합을 수행하는 단계를 포함한다.

Description

수술용 내비게이션 시스템에서의 점정합 방법{POINT REGISTRATION METHOD IN SURGICAL NAVIGATION SYSTEM}

본 발명은 수술용 내비게이션 시스템에서의 점정합 자동화 방법에 관한 것으로 보다 구체적으로는 본 발명은 수술용 내비게이션 시스템에서의 점정합 과정 자동화를 위한 정합 포인트 선정에 관한 것이다.

뉴로내비게이션 시스템(Neuronavigation system) 또는 수술용 내비게이션 시스템은 수술 도구의 3차원적 위치를 수술 전에 촬영한 환자의 영상위에 실시간으로 가시화하여 정확한 수술을 수행할 수 있도록 지원하는 의료장비로서, 수술 전 CT 또는 MRI를 이용하여 획득된 의료영상 데이터와 광학 카메라 또는 전자기 발생기를 통해 수술실에서 획득한 환자 데이터를 동일한 위치로 정렬하여 수술 도구의 위치를 실시간으로 추적 가능하게 하는 장치이다.

이러한 수술용 내비게이션 시스템의 임상적 유용성을 검증하는 연구는 지속적으로 수행되고 있으며, 최근에는 정확한 수술의 계획과 수행을 위해 필수적인 장비로 인식되고 있어 그 사용이 지속적으로 증가하고 있다. 수술용 내비게이션 시스템의 정확도를 결정하는 핵심은 수술 중에 획득한 환자의 해부학적 신체정보와 수술 전에 획득한 의료영상정보를 일치시키는 정합하는 것에 있으며, 통상적으로 이를 환자-의료영상 간 정합(Patient-to-image registration)이라고도 한다.

정합 방식은 크게 점정합(Paired-point registration)과 표면정합(Contour-based registration)으로 분류될 수 있는데, 얼굴 표면에서 획득된 점군집을 이용한 표면 정합 방법은 추가적인 의료영상촬영이 필요 없고 편리하다라는 이점이 있지만 얼굴 표면 점군집을 사용함에 따라 표면에서의 작은 정합 오차가 거리에 비례하여 증가하는 레버암 효과로 인해 정밀 수술 적용이 제한되는 문제점이 존재한다. 구체적으로 수술용 내비게이션 시스템은 의료영상 공간과 환자 공간의 정합을 통해 인체 내부 병변과 수술도구의 상대적 위치를 추적한다. 정합을 위한 입력으로 사용되는 환자 데이터(내비게이션 시스템 기준 3차원 정보)와 의료영상 데이터(의료영상 장비 기준 3차원 정보)는 3차원 공간상에 분포한 점들의 집합인 점군집 형태로 획득된다.

도 1은 점정합 방식에서의 정합 과정을 나타내는 흐름도이다. 도 1에 도시된 바와 같이 점정합은 표식자 마커(Fiducial marker)를 환자의 머리에 부착한 후 수술 직전에 영상데이터를 획득하고 수술중에는 추적장치를 이용해 대응되는 표지자 마커의 위치를 획득하여 의료영상공간과 실제 환자공간 상의 변환을 계산하는 방법이다. 점정합은 정확하고 안정된 결과를 제시하기 때문에 현재 임상에서 가장 많이 활용되고 있지만, 수술 직전에 추가적인 의료영상 촬영이 필요하여 방사선 노출 또는 의료비용 증가가 발생하며, 영상 획득 후 수술실로 이동하여 정합이 완료될 때까지 표식자 마커들이 고정되어 있어야만 정확도를 보장할 수 있다는 단점이 있다.

또한 두 개의 서로 다른 장비로부터 획득된 데이터를 동일한 위치로 정렬시키는 정합 과정에서 점정합은 두 데이터 공간 사이 동일하게 존재하는 대응점을 이용하여 정합을 수행 하지만 점정합에 사용되는 표식자 마커와 해부학적 특징점 위치 선정에 대한 정량적 가이드라인 부재로 임상의의 판단에 의존하는 한계가 존재한다.

점정합에서 병변 정합 오차(target registration error, TRE)는 표식자 마커 배치에 따라 달라지며 동일한 병변에 대해 같은 개수의 표식자 마커가 사용되어도 마커의 부착 위치에 따라 병변에서의 정합 정확도가 달라진다. 따라서 수술이 수행되는 병변을 고려한 표식자 마커 배치가 선정되어야 한다. 일반적으로 4개 이상의 마커를 사용하여 병변 영역을 중심으로 넓은 영역에 입체적으로 부착하도록 권고되고 있으나 이와 같은 종래의 가이드라인은 정성적이며 포괄적으로 제시되기 때문에 시술자의 주관적 판단에 기반한 시행착오 방법(trial and error method)이 수행되어 정확도가 떨어지고 수술준비 과정에 장시간이 소요되는 문제점이 존재한다.

위와 같은 문제점은 정합 정확도에 의존하여 진행되는 실제 수술환경에서 인체 내부에 삽입된 수술도구의 부정확한 위치 제공 및 사용자 신뢰도 감소를 유발하며, 이는 의료 사고, 수술 후유증, 수술 범위 제한과 같은 추가 문제로 이어질 수 있다.

대한민국 특허공개공보 2017-0012077(2017.02.02)

본 발명은 기존 수술용 내비게이션 시스템의 점정합 과정에서 발생하는 정합 점 선택 문제를 자동화한 프로토콜 제안으로 사용자 편의성 및 정합 정확도를 향상시키는데 목적이 있다.

전술한 과제를 해결하기 위해 본 발명의 일양태에 따르면, 수술용 내비게이션 시스템에서의 점정합 방법이 제공되고, 이 방법은, 의료 영상 장치로부터 검사 대상의 의료 영상 데이터를 취득하는 단계; 의료 영상 데이터를 3D 의료 영상 데이터로 복원하여 복원된 3D 의료 영상을 획득하는 단계; 상기 복원된 3D 의료 영상으로부터 최적 표식자 마커 위치를 산출하는 단계; 상기 복원된 3D 의료 영상으로부터 인공지능을 이용하여 해부학적 특징점을 산출하는 단계; 및 상기 산출된 최적 표식자 마커 위치 및 해부학적 특징점을 의료 영상 좌표계 상에서의 제1 페어 포인트로서 획득하고, 내비게이션 카메라와 프로브를 이용하여 환자 좌표계 상에서 제2 페어 포인트를 획득하는 단계 - 여기서 환자 좌표계 상에서 제2 페어 포인트는 의료 영상 좌표계 상의 제1 페어 포인트에 대응함 - ; 및 환자 좌표계 상의 제2 페어 포인트를 의료 영상 좌표계 상의 제1 페어 포인트에 대해 점정합을 수행하는 단계를 포함한다.

전술한 양태에서, 상기 복원된 3D 의료 영상으로부터 최적 표식자 마커 위치를 산출하는 단계는, 전체 탐색영역에서 최적의 단일 배치를 선정하기 위한 전역 최적화가 수행된다.

또한 전술한 어느 하나의 양태에서, 복원된 3D 의료 영상으로부터 최적 표식자 마커 위치를 산출하는 단계에 이용되는 최적화 모델은 예측 병변 정합 오차를 최소화하도록 구성된다.

또한 전술한 어느 하나의 양태에서, 예측 병변 정합 오차는 식 (1)에 의해 정의되고,

여기서, TRE는 병변 정합 오차이고, FLE는 표식자 정위 오차이고, N은 표식자 마커의 개수이고, k는 좌표 공간의 차원(3차원 공간에서 k=3), f _k 는 표식자 마커 위치와 주축 간의 거리, d _k 는 타겟 위치와 주축 간의 거리를 나타낸다.

또한 전술한 어느 하나의 양태에서, 전역 최적화 수행은 유전자 알고리즘에 의해 수행되고, 유전자 알고리즘은 선택(selection), 교차(crossover), 변이(mutation) 연산자를 이용하여 세대를 거칠수록 병변 정합 오차가 최소화되는 개체(마커 배치)가 도출되도록 설계된다.

또한 전술한 어느 하나의 양태에서, 복원된 3D 의료 영상으로부터 인공지능을 이용하여 해부학적 특징점을 산출하는 단계는, 인물 얼굴 사진 데이터베이스를 이용하여 네트워크 가중치를 반복하여 학습되었고, 학습 완료된 가중치가 저장된 학습 모델을 이용하여 새로운 이미지 입력에 대한 특징점을 예측하도록 구성된다.

또한 전술한 어느 하나의 양태에서, 인물 얼굴 사진 데이터베이스는 얼굴의 특징점을 포함한 이미지로 구성되어 있으며, 예측된 특징점 중 선택적으로 점정합 포인트로 사용된다.

본 발명에 따르면 병변의 위치에 따른 최적 점정합 포인트 획득이 가능하게 된다. 또한 본 발명에 따르면 사용자의 주관적 판단과 개입 없이 정합 점 선정이 수행되어 정합 소요시간 단축과 향상된 정확도 확보가 가능하고, 두 개의 독립적인 정합 점 선정 과정을 통해 상호보완적인 하이브리드 점정합 수행이 가능하다. 또한 본 발명에 따르면 임상 적용시 점정합을 위한 마커 배치 가이드라인으로 사용 가능하다.

도 1은 종래 수술용 내비게이션 시스템에서의 문제점을 설명하기 위한 설명도.
도 2는 본 발명에 따른 수술용 내비게이션 시스템의 일례를 나타내는 도면.
도 3은 본 발명에 따른 수술용 내비게이션에서의 점정합 장치의 구조를 나타내는 도면.
도 4는 본 발명에 따른 수술용 내비게이션에서의 점정합 방법의 흐름을 나타내는 흐름도.
도 5는 표식자 마커 후보 범위를 설명하기 위한 도면.
도 6은 본 발명의 본 발명에 따른 수술용 내비게이션에서의 점정합 방법에 이용되는 유전자 알고리즘 연산의 일례를 나타내는 도면.
도 7은 본 발명의 본 발명에 따른 수술용 내비게이션에서 해부학적 특징점 추출을 위한 네트워크 구조를 나타내는 도면.
도 8은 본 발명의 본 발명에 따른 수술용 내비게이션에서 인공지능 모델 특징점 예측 결과를 나타내는 도면.
도 9는 본 발명의 본 발명에 따른 수술용 내비게이션에서 인공지능 학습 모델을 설명하기 위한 도면.
도 10은 의료 영상의 3D 복원을 예시적으로 나타내는 도면.
도 11은 임의의 내부 병변과 최적 점정합 포인트의 예시를 나타내는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다. 본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예들에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.

본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

도 2는 본 발명의 일 실시 예에 따른 수술용 내비게이션 시스템의 구성을 설명하기 위한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 수술용 내비게이션 시스템(100)은 카메라 영상 장치(110), 의료영상 장치(120) 및 점정합 장치(130)를 포함한다.

카메라 영상 장치(110)는 수술 직전 수술공간에 제공되는 내비게이션용 카메라, 프로브, 광학 카메라, 3차원 스캐너, 내시경 장치, 씨암(C-arm) 장치 및 광간섭 단층 촬영장치(optical coherence tomography) 중 어느 하나일 수 있다. 카메라 영상 장치(110)는 카메라 영상 데이터를 획득하여 환자 데이터로서 점정합 장치(130)로 전달한다. 여기서, 환자 데이터 또는 카메라 영상 데이터는, 내비게이션용 카메라, 프로브, 광학 카메라, 3차원 스캐너, 내시경 장치, 씨암(C-arm) 장치 및 광간섭 단층 촬영장치(optical coherence tomography) 중 어느 하나로부터 촬영되는 카메라 영상 데이터일 수 있다.

의료영상 장치(120)는 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나일 수 있다. 의료영상 장치(120)는 의료영상 데이터를 획득하여 점정합 장치(130)로 전달한다. 여기서, 의료영상 데이터는, 컴퓨터 단층촬영(computed tomography: CT) 장치, 자기공명영상(magnetic resonance imaging, MRI) 장치 및 양전자 단층 촬영(positron emission tomography, PET) 장치 중 어느 하나로부터 촬영되는 의료영상 데이터일 수 있으며, 표면과 내부 기관에 대한 3차원 복원이 가능하도록 구성된다.

점정합 장치(130)는 카메라 영상 데이터와 의료영상 데이터에 기반하여 병변 위치를 정확하게 산출하도록 구성된다. 구체적으로 점정합 장치(130)는 도 3에 도시된 바와 같이 데이터 추출부(210), 마커위치 선정부(215), 특징점 생성부(220) 및 정합부(230)를 포함한다.

데이터 추출부(210)는 의료영상 데이터에 대한 점군집 데이터(의료영상 점군집 데이터를 추출한다. 구체적으로 데이터 추출부(210)는 환자의 의료영상 데이터를 3차원 형태로 복원하고, 점군집 형태로서 데이터를 추출한다. 또한 데이터 추출부(210)는 환자 표면에 점군집 데이터를 추출한다.

마커위치 선정부(215)는 추출된 의료영상 점군집 데이터를 후보군으로 최적화된 마커(표식자) 부착 위치를 선정하도록 동작한다. 이에 대해서는 이하에 보다 구체적으로 설명하도록 한다.

특징점 추출부(220)는 데이터베이스 기반으로 학습된 인공지능 모델을 이용하여 입력되는 환자의 복원된 3차원 영상에서 해부학적 포인트를 특징점으로서 추출하도록 동작한다. 복원된 3차원 영상은 CT 의료 장비에서 촬영된 복수의 2D 슬라이스 이미지를 순차적으로 적층한 영상을 의미한다. 이에 대해서는 이하에 보다 구체적으로 설명하도록 한다.

정합부(230)는 전술한 바와 같은 마커위치 선정부와 특징점 추출부의 두 개의 독립적인 알고리즘에서 선정된 정합점 이용하여 의료영상 데이터로부터 복원된 의료영상 공간과 환자 공간을 정합시키도록 구성된다. 즉 정합부는 의료영상 공간에서 추출된 점정합 포인트의 동일한 짝을 환자공간에서 내비게이션 시스템 카메라와 프로브를 이용하여 3차원 좌표값으로 획득한 후 페어-포인트(paired-point) 정합을 수행하도록 구성된다.

도 4는 전술한 바와 같은 마커위치 선정부(215)와 특징점 추출부(220)를 포함하는 수술용 내비게이션 시스템에서의 점정합 과정을 나타내는 흐름도이다. 도 4에 도시된 바와 같이 단계 S110에서는 먼저 데이터 추출부(210)에서 의료 영상 데이터를 수신하여 의료영상 데이터를 3차원 복원을 수행한다.

3차원 복원된 의료 영상은 마커 위치 산정부(215)를 통해 단계 S120에서 최적 표식자 마커 위치를 산정하는 단계가 수행되는 한편 그에 더하여 3차원 복원된 의료 영상은 특징점 추출부(220)를 통해 단계 S125에서 인공지능 알고리즘을 이용하여 얼굴의 특징점을 추출하도록 동작된다.

보다 구체적으로 마커 위치를 산정하는 S120 단계는 다음과 같이 구성된다.

가. 전체 탐색영역에서 최적의 단일 배치를 선정하기 위한 전역 최적화가 수행되며, 본 실시예는 전역 최적화 알고리즘 중 하나인 유전자 알고리즘(genetic algorithm, GA)이 사용된다.

나. 표식자 마커 개수와 위치는 최적화를 위한 설계 변수(design variables)로 사용되며, 예측 병변 정합 오차는 최적화 모델의 목적 함수(objective function)로 오차가 줄어드는 방향으로 설정된다.

다. 점정합 배치에 따른 병변 정합 오차는 식 (1)의 예측식이 사용된다. 여기서, TRE는 병변 정합 오차이고, FLE는 표식자 정위 오차이다. 또한 여기서 N은 표식자 마커의 개수이고, k는 좌표 공간의 차원으로 3차원 공간에서 k=3 이다. 또한 f _k 는 표식자 마커 위치와 주축 간의 거리이고, d _k 는 타겟 위치와 주축 간의 거리이다.

라. 본 발명에서 표식자 마커 후보 범위는 피부와 같은 연조직의 밀림과 변형에 의한 정합 오차 증가를 최소화하기 위해 도 5에서와 같이 뼈와 피부가 최대한 맞닿아 있는 이마와 머리 부위로 한정된다.

마. 전술한 유전자 알고리즘인 GA는 도 6에 예시된 바와 같이 선택(selection), 교차(crossover), 변이(mutation) 연산자를 이용하여 세대를 거칠수록 병변 정합 오차가 최소화되는 개체(마커 배치)가 도출하는 구조를 갖도록 설계되었다.

바. 유전자 알고리즘의 선택(selection), 교차(crossover), 변이(mutation)의 3가지 연산자에 대해, 교차는 두 개체를 대응하여 고려하였을 때 임의의 한 위치에서 발생될 수 있도록 설정되었고, 교차 확률은 0.9로 설정하였다. 또한 변이확률은 임의의 위치에서 발생할 수 있도록 0.01로 설정되었다.

다음으로 인공지능 모델을 이용하여 특징점을 추출하는 S125 단계에 대해 설명한다.

가. 본 발명의 실시예에서 인공지능 모델은 도 7에 도시된 바와 같이 얼굴 이미지를 잘 설명할 수 있는 낮은 차원의 잠재벡터(latent vector)로 압축하는 엔코더(encoder) 네트워크와 압축된 특징(features)을 원래의 차원으로 복원시키는 디코더(decoder) 네트워크가 연결된 오토엔코더(autoencoder) 구조로 구성된다.

나. 본 발명에서 네트워크를 구성하는 주요 레이어로서 인공지능 모델 중 영상 특징점 추출에 특화된 합성곱신경망(convolution neural network, CNN)이 사용되었으며, 도 8은 인공지능 모델을 이용한 특징점 예측 결과를 나타낸다. 그러나 본 발명은 이에 한정되는 것은 아니고, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron)와 같은 방식의 네트워크 모델들을 포함할 수도 있다.

신경망은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(layer) 구조의 형태로 연결된 정보처리 시스템이다. 인공신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 용어 신경망 또는 인공신경망은 용어 뉴럴 네트워크(Neural Network)와 혼용되어 사용될 수 있으며, 인공신경망은 복수의 레이어(layer)를 포함할 수 있고, 레이어들 각각은 복수의 뉴런(neuron)을 포함할 수 있다. 또한 인공신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다.

다. 본 발명에서는 특징점 생성부는, 인물 얼굴 사진 데이터베이스를 이용하여 네트워크 가중치를 반복하여 학습되었고, 학습 완료된 가중치가 저장된 모델을 이용하여 새로운 이미지 입력에 대한 특징점 예측이 수행되도록 구성되었다.

라. 본 발명에서 학습용 데이터베이스는 얼굴의 68개 특징점을 포함한 이미지로 구성되어 있으며, 예측된 특징점 중 선택적으로 점정합 포인트로 사용 가능하다.

다음으로 도 9를 참조하여 인공지능 학습 모듈(500)에 대해 설명한다. 도 9는 특징점 생성부(220)를 훈련하기 위한 인공지능 학습 모듈의 일례를 나타낸다. 인공지능 학습 모듈(500)은 훈련 데이터를 이용하여 기계 학습을 수행할 수 있는 장치로서, 인공 신경망으로 구성된 모델을 이용하여 학습하는 장치를 포함할 수 있다. 즉, 신경망 훈련 장치는 데이터 마이닝, 데이터 분석, 지능형 의사 결정 및 기계 학습 알고리즘을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성될 수 있다. 여기서, 기계 학습 알고리즘은 딥 러닝 알고리즘을 포함할 수 있다.

학습 모듈(500)은 적어도 하나의 외부 장치 또는 단말기와 통신할 수 있고, 외부 장치를 대신하여 혹은 외부장치를 도와 데이터를 분석하거나 학습하여 결과를 도출할 수 있다. 여기서, 다른 장치를 도운다는 의미는 분산 처리를 통한 연산력의 분배를 의미할 수 있다. 학습 모듈(500)은 통상적으로 서버를 의미할 수도 있고, 신경망 학습 서버 등으로 지칭될 수 있다.

신경망 학습 장치(100)는 통신부(Communication Unit, 510), 입력부(Input Unit, 520), 메모리(Memory, 530), 러닝 프로세서(Learning Processor, 540), 및 프로세서(Processor, 560) 등을 포함할 수 있다.

통신부(510)는 무선 통신부(미도시) 및 인터페이스부(미도시)를 포함하는 구성을 의미할 수 있다. 즉, 통신부(510)는 유무선 통신이나 인터페이스를 통하여 표면 정합 장치로 데이터를 송수신할 수 있다.

입력부(520)는 모델 학습을 위한 훈련 데이터 또는 학습된 모델(a trained model)을 이용하여 출력을 획득하기 위한 입력 데이터 등을 획득할 수 있다. 입력부(520)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 러닝 프로세서(540) 또는 프로세서(560)는 획득한 데이터를 전처리하여 모델 학습에 입력이 가능한 훈련 데이터 또는 전처리된 입력 데이터를 생성할 수 있다.

메모리(530)는 러닝 프로세서(540) 또는 신경망 학습 장치(500)에서 학습된 모델을 저장할 수 있다. 이때, 메모리(530)는 필요에 따라 학습된 모델을 학습 시점 또는 학습 진척도 등에 따라 복수의 버전으로 구분하여 저장할 수 있다. 이때, 메모리(530)는 입력부(520)에서 획득한 입력 데이터, 모델 학습을 위하여 이용되는 학습 데이터(또는 훈련 데이터), 모델의 학습 히스토리 등을 저장할 수 있다. 이때, 메모리(530)에 저장된 입력 데이터는 모델 학습에 적합하게 가공된 데이터뿐만 아니라, 가공되지 않은 입력 데이터 그 자체일 수 있다.

메모리(530)는 모델 저장부(531) 및 데이터베이스(532) 등을 포함할 수 있다. 모델 저장부(531)는 러닝 프로세서(540)을 통하여 학습 중인 또는 학습된 신경망 모델을 저장하며, 학습을 통하여 모델이 업데이트되면 업데이트 된 모델을 저장한다. 이때, 모델 저장부(531)는 필요에 따라 학습된 모델을 학습 시점 또는 학습 진척도 등에 따라 복수의 버전으로 구분하여 저장할 수 있다.

데이터베이스(532)는 입력부(520)에서 획득한 입력 데이터, 모델 학습을 위하여 이용되는 학습 데이터(또는 훈련 데이터), 모델의 학습 히스토리 등을 저장할 수 있다. 데이터베이스(532)에 저장된 입력 데이터는 모델 학습에 적합하게 가공된 데이터뿐만 아니라, 가공되지 않은 입력 데이터 그 자체일 수 있다.

러닝 프로세서(540)는 훈련 데이터 또는 트레이닝 셋(training set)을 이용하여 인공 신경망을 훈련(training, 또는 학습)시킬 수 있다. 러닝 프로세서(540)는 프로세서(560)가 입력부(520)를 통해 획득한 입력 데이터를 전처리한 데이터를 바로 획득하여 인공 신경망을 학습하거나, 데이터베이스(532)에 저장된 전처리된 입력 데이터를 획득하여 인공 신경망을 학습할 수 있다.

구체적으로, 러닝 프로세서(540)는 앞서 설명한 다양한 학습 기법을 이용하여 인공 신경망을 반복적으로 학습시킴으로써, 인공 신경망의 최적화된 모델 파라미터들을 결정할 수 있다. 본 명세서에서는 훈련 데이터를 이용하여 학습됨으로써 파라미터가 결정된 인공 신경망을 학습 모델 또는 학습된 모델(a trained model)이라 칭할 수 있다.

러닝 프로세서(540)는 신경망 학습 장치(500)에 통합되거나 구현된 메모리를 포함할 수 있다. 일부 실시 예에서, 러닝 프로세서(540)는 메모리(530)를 사용하여 구현될 수 있다. 선택적으로 또는 부가적으로, 러닝 프로세서(540)는 단말기에 직접 결합된 외부 메모리 또는 단말기와 통신하는 서버에서 유지되는 메모리와 같이 단말기와 관련된 메모리를 사용하여 구현될 수 있다.

전술한 바와 같은 본 발명에서 학습 모듈은 인물 얼굴 사진 데이터베이스를 이용하여 네트워크 가중치를 반복하여 학습되었고, 학습 완료된 가중치가 저장된 모델을 이용하여 새로운 이미지 입력에 대한 특징점 예측이 수행되도록 구성되었다. 또한 학습용 데이터베이스는 얼굴의 68개 특징점을 포함한 이미지로 구성되어 있으며, 예측된 특징점 중 선택적으로 점정합 포인트로 사용 가능하도록 구성되었다.

다시 도 3을 참조하면, 전술한 바와 같이 단계 S120과 단계 S125 과정을 통해 도 11에 도시된 바와 같이 최적 표식자 마커 위치(초록색 점)과 해부학적 특징점 위치(파란색 점)이 선정되고 이들 점들은 의료영상 좌표계 상에서의 페어 포인트(paired points)로 기능한다. 이후 수술실에서 표식자 마커와 해부학적 특징점에 해당하는 점들을 내비게이션 카메라와 프로브를 이용하여 환자 좌표계 상에서의 페어 포인트(paired points)로서 획득하는 과정이 단계 S130에서 수행되고, 의료영상 좌표계 및 환자 좌표계, 즉 두 좌표계 사이에서의 페어 포인트 사이에서의 ICP를 통한 정합이 진행된다.

ICP 과정에서 두 좌표계의 페어 포인트 사이에서의 회전/이동 행렬을 계산하는 과정은 다음과 같다.

1) 의료영상 공간과 환자 공간에 존재하는 점정합 점들의 중심점을 산출하는 단계로 다음의 식(2-1; 2-2)이 이용될 수 있다.

2) 의료영상 공간과 환자 공간에서 산출된 중심점(

,

)과 점군집 내의 점(

,

)의 변위(

,

) 를 계산하고 계산된 변위값을 이용하여 공분산 행렬(H)을 획득하는 단계로 다음의 식(2-3: 2-4; 2-5)가 이용된다.

3) 획득된 공분산 행렬(H)에 대한 특이값 분해(singular value dicomposition, SVD)를 이용하여 직교행렬인 좌특이 벡터 U(left singular vector)와 우특이 백터 V(right singular vector)를 획득하는 단계로 다음의 식(2-6)이 이용된다.

여기서,

로, 특이 벡터 U와 V는 전치행렬 U^T와 V^T로 내적했을 때 단위행렬 I가 되는 직교 행렬(orthogonal matrix)이며, Λ는 0이 아닌 고유값(eigenvalue) λ들로 이루어진 대각행렬이다.

4) 공분산 행렬의 행렬요소들()을 이용하여 회전 행렬(R) 및 병진 행렬(t)를 획득하는 단계로 다음의 식(2-7,2-8)이 이용될 수 있다.

이와 같이 단계 S130에서 의료 영상 공간과 환자 공간 상에서의 점군집 점정합에 필요한 회전 행렬 및 병진 행이 구해지고 나면 단계 S140에서는 환자 점군집에 회전 및 이동(병진) 행렬을 적용하여 정합 동작을 수행하게 된다.

* 실험

본 발명에서는 전술한 바와 같은 점정합 방법의 검증을 위해 도 10에 도시도니 바와 같이 피부와 유사한 경도의 실리콘으로 겉을 감싼 연질의 두상 모형을 제작하여 CT 영상을 횡단면 기준으로 0.625mm 간격으로 촬영되었다. 해상도는 512 × 512 픽셀로 각 픽셀 간 간격은 0.4883mm로 설정하였다.

도 10에 도시된 바와 같이 3차원 복원된 CT 의료 영상을 표식자 마커 위치 선정 알고리즘과 특징점 추출 인공지능 모델에 각각 입력하여 병변 정합 오차를 최소화하는 점정합 포인트를 계산하였다.

3곳의 가상 병변 위치에 대해 점정합 표식자 마커 위치 최적화가 수행되었으며, 표식자 마커 6개와 얼굴 표면 특징점 4개에 대해 300번의 최적 배치 시뮬레이션과 300번의 랜덤 배치 시뮬레이션이 수행되었다.

각 병변 위치에 대해 예측 병변 정합 오차의 평균과 범위를 계산하고 유의수준 0.05의 독립표본 t-test를 통해 개선 여부를 판단하였다.

도 11은 임의의 내부 병변과 최적 점정합 포인트의 일례를 나타내는 도면이고, 표 1은 점정합 시뮬레이션 결과를 나타내는 표이다.

[표 1] 점정합 시뮬레이션 결과

병변 1에 대해 임의로 정합점을 선택한 경우 병변 정합 오차는 평균 0.8996mm에 표준편차 0.0744mm를 나타내었지만, 본 발명의 프로토콜을 따라 선정된 정합점을 이용한 경우의 병변 정합 오차는 평균 0.7112mm, 표준편차 0.0014mm로 평균 20.93%의 개선 효과를 보였다.

병변 2의 경우 랜덤 배치에서 병변 정합 오차 평균 0.9525mm, 표준편차 0.0789mm를 나타내었고, 본 발명의 프로토콜을 따라 선정된 정합점을 이용한 경우 병변 정합 오차는 평균 0.7119mm, 표준편차 0.0016mm로 평균 25.26%의 개선 효과를 나타내었다.

병변 3의 경우 랜덤 배치에서 병변 정합 오차 평균 0.8973mm, 표준편차 0.0723mm를 나타내었고, 본 발명의 프로토콜을 따라 선정된 정합점을 이용한 경우 병변 정합 오차는 평균 0.7106mm, 표준편차 0.0014mm로 평균 20.81%의 개선 효과를 나타내었다.

모든 병변 타겟 위치에 대해 최적화를 수행한 경우가 수행하지 않은 경우에 비해 통계적으로 유의하게(p<0.05) 병변 정합 오차가 감소하는 것을 확인되었다.

전술한 바와 같은 본 발명에 따르면 병변의 위치에 따른 최적 점정합 포인트 획득이 가능하게 된다. 또한 본 발명에 따르면 사용자의 주관적 판단과 개입 없이 정합 점 선정이 수행되어 정합 소요시간 단축과 향상된 정확도 확보가 가능하고, 두 개의 독립적인 정합 점 선정 과정을 통해 상호보완적인 하이브리드 점정합 수행이 가능하다. 또한 본 발명에 따르면 임상 적용시 점정합을 위한 마커 배치 가이드라인으로 사용 가능하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively)처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속하는 것으로 해석되어야만 한다.

100: 수술용 내비게이션 시스템 120: 의료 영상 장치
130: 점 정합 장치 210: 데이터 추출부
220: 내부 특징점 생성부
230: 표면 정합부 500: 학습 모듈

Claims (7)

1. 카메라 영상 장치, 의료영상 장치 및 점정합 장치를 포함하는 수술용 내비게이션 시스템에서의 점 정합 방법에 있어서,
   의료 영상 장치로부터 검사 대상의 의료 영상 데이터를 점정합 장치에서 취득하는 단계;
   점정합 장치에서 의료 영상 데이터를 3D 의료 영상 데이터로 복원하여 복원된 3D 의료 영상을 획득하는 단계;
   점정합 장치에서 상기 복원된 3D 의료 영상으로부터 최적 표식자 마커 위치를 산출하는 단계;
   점정합 장치에서 상기 복원된 3D 의료 영상으로부터 인공지능을 이용하여 해부학적 특징점을 산출하는 단계; 및
   점정합 장치에서 상기 산출된 최적 표식자 마커 위치 및 해부학적 특징점을 의료 영상 좌표계 상에서의 제1 페어 포인트로서 획득하고, 내비게이션 카메라와 프로브를 이용하여 환자 좌표계 상에서 제2 페어 포인트를 획득하는 단계 - 여기서 환자 좌표계 상에서 제2 페어 포인트는 의료 영상 좌표계 상의 제1 페어 포인트에 대응함 - ; 및
   점정합 장치에서 상기 환자 좌표계 상의 제2 페어 포인트를 의료 영상 좌표계 상의 제1 페어 포인트에 대해 점정합을 수행하는 단계를 포함하는 것을 특징으로 하는
   수술용 내비게이션 시스템에서의 점정합 방법.
   
2. 제1항에 있어서,
   점정합 장치에서 상기 복원된 3D 의료 영상으로부터 최적 표식자 마커 위치를 산출하는 단계는,
   전체 탐색영역에서 최적의 단일 배치를 선정하기 위한 전역 최적화가 수행되는 것을 특징으로 하는
   수술용 내비게이션 시스템에서의 점정합 방법.
   
3. 제2항에 있어서,
   점정합 장치에서 상기 복원된 3D 의료 영상으로부터 최적 표식자 마커 위치를 산출하는 단계에 이용되는 최적화 모델은 예측 병변 정합 오차를 최소화하도록 구성된 것을 특징으로 하는
   수술용 내비게이션 시스템에서의 점정합 방법.
   
4. 제3항에 있어서,
   예측 병변 정합 오차는 식 (1)에 의해 정의되고,
   

   

   
   여기서, TRE는 병변 정합 오차이고, FLE는 표식자 정위 오차이고, N은 표식자 마커의 개수이고, k는 좌표 공간의 차원(3차원 공간에서 k=3), f _k 는 표식자 마커 위치와 주축 간의 거리, d _k 는 타겟 위치와 주축 간의 거리를 나타내는 것을 특징으로 하는
   수술용 내비게이션 시스템에서의 점정합 방법.
   
5. 제2항에 있어서,
   전역 최적화 유전자 수행을 위해 유전자 알고리즘이 수행되고, 유전자 알고리즘은 선택(selection), 교차(crossover), 변이(mutation) 연산자를 이용하여 세대를 거칠수록 병변 정합 오차가 최소화되는 개체(마커 배치)가 도출되도록 설계된 것을 특징으로 하는
   수술용 내비게이션 시스템에서의 점정합 방법.
   
6. 제1항에 있어서,
   점정합 장치에서 상기 복원된 3D 의료 영상으로부터 인공지능을 이용하여 해부학적 특징점을 산출하는 단계는, 인물 얼굴 사진 데이터베이스를 이용하여 네트워크 가중치를 반복하여 학습되었고, 학습 완료된 가중치가 저장된 학습 모델을 이용하여 새로운 이미지 입력에 대한 특징점을 예측하도록 구성된 것을 특징으로 하는
   수술용 내비게이션 시스템에서의 점정합 방법.
   
7. 제6항에 있어서,
   상기 인물 얼굴 사진 데이터베이스는 얼굴의 특징점을 포함한 이미지로 구성되어 있으며, 예측된 특징점 중 선택적으로 점정합 포인트로 사용되는 것을 특징으로 하는
   수술용 내비게이션 시스템에서의 점정합 방법.

Images