KR101693808B1 - 3ｄ기반의 비강 수술 시뮬레이션 방법 및 그 장치 - Google Patents

Abstract

본 발명에 따른 3D 기반의 비강 수술 시뮬레이션 장치는, 의료 영상 데이터를 영역 분할하여 2D 기반의 비강 볼륨을 생성하는 2D 비강 영역 분할 및 볼륨 생성부와, 생성된 상기 2D 기반의 비강 볼륨을 재구성하여 3D 기반의 비강 볼륨을 생성하는 3D 비강 볼륨 생성부와, 생성된 상기 3D 기반의 비강 볼륨을 스무싱 처리하는 3D 비강 볼륨 후처리부와, 스무싱 처리된 상기 3D 기반의 비강 볼륨을 3D 비강 모델로 변환시키는 3D 비강 모델 생성부와, 변환된 상기 3D 비강 모델에 대한 수치 해석을 통해 비강 내 유동 흐름을 분석하고, 그 분석 결과를 모니터에 표출시키는 유동 흐름 분석부와, 상기 유동 흐름의 분석 결과에 의거하여 햅틱 피드백(Haptic Feedback) 기반으로 상기 3D 비강 모델을 변형시키는 3D 비강 모델 변형부를 포함할 수 있다.

Description

3Ｄ기반의 비강 수술 시뮬레이션 방법 및 그 장치{METHOD AND APPARATUS 3D SURGERY SIMULATION OF NASAL CAVITY}

본 발명은 비강 수술 시뮬레이션에 기법에 관한 것으로, 더욱 상세하게는 실제의 비강 수술 이전에 의료 영상을 기반으로 생성된 3차원 비강 모델을 이용하여 수술 시뮬레이션을 미리 수행하여 그 효과를 예측하는데 적합한 3D 기반의 비강 수술 시뮬레이션 방법 및 그 장치에 관한 것이다.

잘 알려진 바와 같이, 코로 호흡하면서 겪게 되는 불편함의 원인이 코 내부의 해부학적 구조에 문제가 있는 경우, 비강 수술을 통해 문제 요인을 제거하는 것이 일반적이다.

현재 대부분의 비강 수술 시뮬레이션은 2차원 CT 영상 단면을 수정하여 3차원 모델을 재구성하는 절차로 진행되어 고도의 전문 지식 및 많은 노력과 시간이 요구되고 있다.

즉, 호흡 시 느끼는 불편함의 원인을 파악하기 위하여 인체 내부를 표현하는 의료 영상을 획득하여 진료에 이용하고 있는데, 불편함의 원인이 코 내부의 해부학적인 구조 때문이라고 판단되면 비강 구조를 변형하는 수술을 통해 불편을 주는 요소를 제거하고 있다.

최근 들어, 비강 수술 이전에 호흡을 방해하는 원인을 분석하고 예측하기 위해 컴퓨터를 이용하여 수치 해석 및 분석하는 연구가 진행되고 있으며, 더 나아가 분석된 결과를 통해 분석된 문제로 유추되는 영역의 2차원 영상을 2차원 평면으로 수정하여 3차원 비강 모델을 만드는 방식으로 수술 시뮬레이션을 수행하는 연구도 시도되고 있다.

그러나, 2차원 단면 기반의 수술 시뮬레이션은 고도의 해부학적 전문 지식과 많은 노동력 및 시간이 요구되기 때문에 3차원 모델에 대한 3차원 직접 변형을 기반으로 하는 새로운 비강 수술 시뮬레이션 기법이 필요한데, 현재로서는 이러한 새로운 비강 수술 시뮬레이션 기법에 대한 어떠한 제안도 제시도 없는 실정이다.

대한민국 공개특허 제2010-0099507호(공개일: 2010. 09. 13) 대한민국 공개특허 제2013-0109794호(공개일: 2013. 10. 08) 일본 공개특허 제2010-131047호(공개일: 2010. 06. 17)

본 발명은, 3차원(3D) 기반의 비강 수술 시뮬레이션 시스템을 개발함으로써, 원활하고 편리한 비강 모델 변형을 위한 3차원 기반의 사용자 인터페이스 모델을 제공하고자 한다.

또한, 3차원(3D) 인터페이스의 타당성 검증을 위해 3차원 인터페이스를 가지고 3차원 방식으로 직접 변형된 비강 모델을, 비강 내부 기능을 객관적 데이터로 분석하는 수치 해석 연구를 위한 데이터 형식으로 변환함으로써, 수술 전후 비강 내 유동 흐름을 시뮬레이션할 수 있으며, 그 시뮬레이션 결과를 가시화하여 개발된 사용자 인터페이스의 성능을 입증할 수 있는 시뮬레이션 모델을 제공하고자 한다.

본 발명이 해결하고자 하는 과제는 상기에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재들로부터 본 발명이 속하는 통상의 지식을 가진 자에 의해 명확하게 이해될 수 있을 것이다.

본 발명은, 일 관점에 따라, 의료 영상 데이터를 영역 분할하여 2D 기반의 비강 볼륨을 생성하는 2D 비강 영역 분할 및 볼륨 생성부와, 생성된 상기 2D 기반의 비강 볼륨을 재구성하여 3D 기반의 비강 볼륨을 생성하는 3D 비강 볼륨 생성부와, 생성된 상기 3D 기반의 비강 볼륨을 스무싱 처리하는 3D 비강 볼륨 후처리부와, 스무싱 처리된 상기 3D 기반의 비강 볼륨을 3D 비강 모델로 변환시키는 3D 비강 모델 생성부와, 변환된 상기 3D 비강 모델에 대한 수치 해석을 통해 비강 내 유동 흐름을 분석하고, 그 분석 결과를 모니터에 표출시키는 유동 흐름 분석부와, 상기 유동 흐름의 분석 결과에 의거하여 햅틱 피드백(Haptic Feedback) 기반으로 상기 3D 비강 모델을 변형시키는 3D 비강 모델 변형부를 포함하는 3D 기반의 비강 수술 시뮬레이션 장치를 제공한다.

본 발명의 상기 3D 비강 볼륨 생성부는, 상기 의료 영상 데이터의 복셀 크기 정보를 토대로 매칭 큐브(Marching-cube) 알고리즘을 적용한 렌더링을 통해 상기 3D 기반의 비강 볼륨을 생성할 수 있다.

본 발명의 상기 3D 비강 볼륨 후처리부는, HC-라플라시안 알고리즘을 이용하여 상기 스무싱 처리를 수행할 수 있다.

본 발명의 상기 3D 비강 볼륨 후처리부는, 상기 스무싱 처리를 기 설정된 N회만큼 반복 수행할 수 있다.

본 발명의 상기 유동 흐름 분석부는, 상기 비강 내의 호흡 경로 내에서 일어나는 압력의 변화와 벽면에서의 압력의 정도를 측정하여 상기 유동 흐름을 분석할 수 있다.

본 발명의 상기 유동 흐름 분석부는, 나비아-스톡스 방정식(Navier-Stokes Equation)을 이용하여 상기 유동 흐름을 분석할 수 있다.

본 발명은, 다른 관점에 따라, 의료 영상 데이터를 영역 분할하여 2D 기반의 비강 볼륨을 생성하는 과정과, 생성된 상기 2D 기반의 비강 볼륨을 재구성하여 3D 기반의 비강 볼륨을 생성하는 과정과, 생성된 상기 3D 기반의 비강 볼륨을 후처리하는 과정과, 후처리된 상기 3D 기반의 비강 볼륨을 3D 비강 모델로 변환시키는 과정과, 변환된 상기 3D 비강 모델에 대한 수치 해석을 통해 비강 내 유동 흐름을 분석하는 과정과, 상기 유동 흐름의 분석 결과에 의거하여 상기 3D 비강 모델을 변형시키는 과정을 포함하는 3D 기반의 비강 수술 시뮬레이션 방법을 제공한다.

본 발명의 상기 후처리하는 과정은, 상기 3D 기반의 비강 볼륨을 스무싱 처리할 수 있다.

본 발명의 상기 스무싱 처리는, HC-라플라시안 알고리즘을 이용해 수행될 수 있다.

본 발명의 상기 스무싱 처리는, 기 설정된 N회만큼 반복 수행될 수 있다.

본 발명의 상기 3D 기반의 비강 볼륨은, 상기 의료 영상 데이터의 복셀 크기 정보를 토대로 매칭 큐브(Marching-cube) 알고리즘을 적용한 렌더링을 통해 생성될 수 있다.

본 발명의 상기 유동 흐름은, 상기 비강 내의 호흡 경로 내에서 일어나는 압력의 변화와 벽면에서의 압력의 정도 측정을 통해 분석될 수 있다.

본 발명의 상기 유동 흐름의 분석은, 나비아-스톡스 방정식(Navier-Stokes Equation)을 이용할 수 있다.

본 발명은 3차원(3D) 의료 영상 기반 모델을 통해 비강 내 유동 흐름을 분석할 수 있다.

또한, 본 발명은 3차원(3D) 기반의 수술 시뮬레이션을 위한 인터페이스를 통해 진단과 예후 판단의 원활한 프로세스를 완성할 수 있다.

또한, 종래 방식의 적용을 위한 2차원(2D) 기반의 수술 시뮬레이션 모델을 제작하는데 대략 1주일 정도의 시간이 필요한데 반해, 본 발명의 3차원 햅틱 장치 기반 수술 시뮬레이션은 대략 1일 정도의 시간이 소요되기 때문에, 환자 맞춤형 진단과 예후를 판단하기 위한 실험 및 시뮬레이션에 유용하게 사용될 수 있다.

도 1은 본 발명의 실시 예에 따른 3D 기반의 비강 수술 시뮬레이션 장치에 대한 블록구성도이다.
도 2는 본 발명에 따라 3D 기반의 비강 볼륨을 생성하는 과정을 설명하기 위한 의료 영상 시각화의 화면 예시도이다.
도 3은 본 발명에 따라 3D 프린팅을 위해 제공되는 STL(Stereo Lithography) 형태의 데이터에 대한 예시도이다.
도 4a 및 4b는 서피스 렌더링을 통해 고해상도 3D모델을 구현한 일예를 보여주는 화면 예시도이다.
도 5는 HC-라플라시안 알로리즘의 개념을 설명하기 위한 모식도이다.
도 6은 본 발명에 따라 표면 렌더링으로서 HC-라플라시안 스무싱을 4회까지 수행한 결과를 보여주는 화면 예시도이다.
도 7은 기존 방식과 본 발명에 따른 비강 내 유동 흐름에 따른 스트레스 정도의 성능 평가를 비교 분석한 결과를 각각 보여주는 화면 예시도이다.
도 8은 기존 방식과 본 발명에 따른 비강 내 유동 흐름에 따른 압력 분포에 대한 성능 평가를 비교 분석한 결과를 각각 보여주는 화면 예시도이다.
도 9는 기존 방식과 본 발명에 따라 각 4명에 대해 비강 내 유동 흐름(압력 분포)을 분석한 결과를 각각 보여주는 화면 예시도이다.
도 10은 도 9의 실험 대상 4명의 분석 결과 중 S2의 코막힘 불편을 호소하는 경우의 분석 결과를 확대한 화면 예시도이다.
도 11은 3D 비강 모델의 변형 작업을 위해 3D 공간에서 형태를 변형하고자 하는 관심 영역으로 이동하여 비강 모델을 바라보는 내용을 나타내는 화면 예시도이다.
도 12는 비강 모델을 3D 공간에서 변형 작업하는 내용을 표현하는 화면 예시도이다.
도 13은 비강 모델에 대한 변형 작업을 위해 햅틱 인터페이스를 이용하는 일례의 예시도이다.
도 14a 및 14b는 햅틱 장치를 이용하여 비강 모델의 형태를 3D 공간에서 직접 변형하는 작업을 표현하는 다른 화면 예시도이다.
도 15a는 충돌 검사에 대한 예시도이고, 15b는 x축 모델 변형을 위한 방향 화살표 표현의 예시도이며, 15c는 z축 모델 변형을 위한 방향 화살표 표현의 예시도이고, 15d는 y축 모델 변형을 위한 방향 화살표 표현의 예시도이다.
도 16은 비강 모델의 볼륨 크기를 조절한 것을 보여주는 단면 표현의 화면 예시도이다.
도 17a 내지 17c는 수술 시뮬레이션 전후의 코 모델들에 대한 예시도이고, 17d는 수술 시뮬레이션에 대한 분석결과를 보여주는 그래프이다.
도 18a는 비강 모델 3차원 변형시 사용자에게 보이는 뷰(View)의 예시도이고, 18b는 코로나뷰(Coronal View)의 화면 예시도이다.
도 19a는 CT 슬라이스(Slice)가 적용되지 않은 화면 예시도이고, 19b는 CT 슬라이스가 적용된 화면 예시도이다.
도 20은 좌측으로부터 라이노스테이션(Rhinostation)의 뷰모드(View Mode), 동영상, 뷰모드(View Mode)를 각각 나타내는 화면 예시도이다.
도 21은 좌측으로부터 라이노스테이션(Rhinostation)의 변형모드(Deform Mode), 동영상, 변형모드(Deform Mode)를 각각 나타내는 화면 예시도이다.
도 22는 가우시안 분포에 대한 그래프이다.
도 23은 좌측으로부터 비강 CT 슬라이스의 외부, 중앙, 내부(코로나 기준)에 대한 화면 예시도이다.
도 24는 마우스를 이용하여 좌측 비도를 수정한 결과를 보여주는 화면 예시도이다.
도 25는 시뮬레이터 장치를 실행시키는데 필요한 인터페이스에 적용되는 키보드 및 마우스의 동작 버튼에 대한 예시표이다.

먼저, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예들을 참조하면 명확해질 것이다. 여기에서, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 발명의 범주를 명확하게 이해할 수 있도록 하기 위해 예시적으로 제공되는 것이므로, 본 발명의 기술적 범위는 청구항들에 의해 정의되어야 할 것이다.

아울러, 아래의 본 발명을 설명함에 있어서 공지 기능 또는 구성 등에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들인 것으로, 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있음은 물론이다. 그러므로, 그 정의는 본 명세서의 전반에 걸쳐 기술되는 기술사상을 토대로 이루어져야 할 것이다.

먼저, 본 발명은 2D 기반으로 생성된 비강 볼륨의 재구성을 통해 생성한 3D 기반의 비강 볼륨을 3D 비강 모델로 변환(컨버팅)하고, 변환된 3D 비강 모델에 대한 수치 해석을 통해 비강 내 유동 흐름을 분석한 분석 결과를 보면서 햅틱 피드백 인터렉션(3D 사용자 인터페이스)에 기반하여 3D 비강 모델을 변형(변형 가능한 영역의 볼륨 크기 변형 등)시키는 방식으로 비강 수술 시뮬레이션을 구현할 수 있으며, 이를 통해 시뮬레이션을 위한 고도의 전문 지석을 필요로 하지 않으면서 상대적으로 절감된 시간과 노력으로 실현 가능한 비강 수술 시뮬레이션을 제공할 수 있다.

그리고, 본 발명은 의료 영상을 기반으로 생성된 모델은 비음값(Nasal Valve) 부분과 비갑계 전면의 비중격 만곡증을 완화하기 위해 2D CT 영상을 사용할 수 있는데, 비도가 좀 더 넓게 되도록 변형하여 3D 기반의 수술 시뮬레이션을 실시한 후, 변형된 3D 비강 모델을 생성할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따른 3D 기반의 비강 수술 시뮬레이션 장치에 대한 블록구성도로서, 의료 영상 입력부(102), 2D 비강 영역 분할 및 볼륨 생성부(104), 3D 비강 볼륨 생성부(106), 3D 비강 볼륨 후처리부(108), 3D 비강 모델 생성부(110), 유동 흐름 분석부(112) 및 3D 비강 모델 변형부(114) 등을 포함할 수 있다.

도 1을 참조하면, 의료 영상 입력부(102)는 CT DICOM(digital image communication in medicine) 데이터셋(dataset) 등과 같은 비강 관련의 의료 영상을 입력받아 로드하는 등의 기능을 제공할 수 있다.

먼저, 2D 비강 영역 분할 및 볼륨 생성부(104)는 의료 영상 입력부(102)로부터 제공되는 의료 영상 데이터를 영역 분할하여 2D 기반으로 비강 볼륨을 생성하는 등의 기능을 제공할 수 있다.

그리고, 3D 비강 볼륨 생성부(106)는 2D 비강 영역 분할 및 볼륨 생성부(104)를 통해 생성된 2D 기반의 비강 볼륨을 재구성하여 3D 기반의 비강 볼륨을 생성하는 등의 기능을 제공할 수 있다.

즉, 호흡 경로 영역인 비강은 인체 내의 공기가 지나다니는 빈 공간이다. 이러한 영역의 특성으로 실제 분할 작업의 결과는 내부를 포함하지 않는 표면 렌더링 방법으로 표현하는 것이 적합한데, 이를 위해 본 발명에서는 의료 영상 데이터의 복셀(x, y, z) 크기 정보를 토대로 매칭 큐브(Marching-cube) 알고리즘을 적용한 렌더링을 수행한다. 또한, 필요에 따라 인체영역 내의 다른 장기와 비도의 연관성을 파악하기 위하여 볼륨 렌더링을 수행한다.

도 2는 본 발명에 따라 3D 기반의 비강 볼륨을 생성하는 과정을 설명하기 위한 의료 영상 시각화의 화면 예시도로서, (a)는 축(axial)방향의 단면을, (b)는 새쥐털(sagittal)의 단면을, (c)는 코로나(coronal) 단면을, (d) 및 (e)는 볼륨 렌더링뷰(volume rendering view)를 각각 나타낸다.

여기에서, 3D 비강 볼륨 생성부(106)를 통해 생성된 3D 비강 모델은 비강내의 유동 흐름 분석 실험에 이용될 수 있는 데이터이다. 따라서, 생성된 데이터는, 일례로서 도 3에 도시된 바와 같이, 분석 실험을 위해 3D 프린터인 레피드 프로토타이핑(Rapid Prototyping)을 지원하는 형태의 데이터로 제공될 필요가 있다.

즉, 도 3은 본 발명에 따라 3D 프린팅을 위해 제공되는 STL(Stereo Lithography) 형태의 데이터에 대한 예시도이다.

다음에, 3D 비강 볼륨 후처리부(108)는 3D 비강 볼륨 생성부(106)를 통해 생성된 3D 기반의 비강 볼륨을 스무싱 처리(예컨대, 각진 모서리 부분을 부드럽게(완곡하게) 후처리)하는 등의 기능을 제공할 수 있다.

잘 알려진 바와 같이, 2D 영상에서 3D 공간으로 재구성하여 표현된 데이터는, 일례로서 도 4에 도시된 바와 같이, 조밀한 메쉬를 가진 고해상도 모델로 표현될 수 있다.

즉, 도 4a 및 4b는 서피스 렌더링을 통해 고해상도 3D모델을 구현한 일예를 보여주는 화면 예시도이다.

이때, 2D 데이터에서 3D 재구성된 모델은 한 지점의 크기를 나타내는 복셀(x, y, z) 정보를 토대로 생성된 것이므로 계단 현상을 갖게 된다.

따라서, 본 발명에서는 도 4a에서 보여주는 모델의 계단 문제를 해결하고자 라플라시안 스무싱의 단점인 원 메쉬에 노이즈를 준 뒤, 다시 스무싱을 시도, 즉 본래의 메쉬의 모양이 유지되지 않는다는 단점을 보완한 아래 수학식 1의 HC-라플라시안 알고리즘을 적용하여 원 모델의 형태학적인 변형을 최소화시켜주는 스무싱 처리를 수행하는데, 이러한 스무싱 처리는 기 설정된 N회만큼 반복 수행될 수 있다.

[수학식 1]

여기에서, HC-라플라시안 알고리즘은 라플라시안 알고리즘의 단점을 보완하고자 중심점을 포함하여 표면을 처리하는 확장된 개념이다. 수학식 1은, 일례로서 도 5에 도시된 바와 같이, 라플라시안 처리를 거쳐 새로이 생성된 포지션 Pi를 이전의 포지션 q _j 과 기점인 Oi에 대하여 이들의 차이의 평균값(di )만큼 되돌리는 것이다. b _i 는 각 지점에 대한 차이 값을 나타낸다.

도 6은 본 발명에 따라 표면 렌더링으로서 HC-라플라시안 스무싱을 4회까지 수행한 결과를 보여주는 화면 예시도로서, (a)는 계단 현상을 가지고 있는 모습을 보여주는 원 모델을, (b)는 HC-라플라시안 스무싱을 1회 수행한 결과를, (c)는 HC-라플라시안 스무싱을 2회 수행한 결과를, (d)는 HC-라플라시안 스무싱을 3회 수행한 결과를, (e)는 HC-라플라시안 스무싱을 4회 수행한 결과를 각각 보여준다.

즉, 메쉬(Mesh)를 잘 형성하는 것은 수치 해석의 결과에 매우 중요한 영향을 미친다. 특히, 비강 내부 벽면에서는 속도의 변화가 크므로, 벽면의 메쉬는 더욱 조밀하게 구성되어야 할 필요가 있다.

따라서, 본 발명에 따라 N회의 스무싱 처리를 거친 3D 비강 모델은 부피의 변화를 최소화한 고해상도 모델로 분석 실험의 수행 시간을 줄여줄 뿐만 아니라 유동 해석 결과의 정확성을 향상시킬 수 있다.

다음에, 3D 비강 모델 생성부(110)는 3D 비강 볼륨 후처리부(108)를 통해 스무싱 처리된 3D 기반의 비강 볼륨을 3D 비강 모델로 변환시키는 등의 기능을 제공할 수 있다. 예컨대, 의료 영상을 이용한 비강 내 유동해석을 위하여, 상대적으로 정밀한 CT 영상(0.35*0.35* 0.6 mm)으로부터 3차원 수치 해석용의 비강 모델을 생성할 수 있다.

한편, 유동 흐름 분석부(112)는 3D 비강 모델 생성부(110)를 통해 생성된 3D 비강 모델에 대한 수치 해석을 통해 비강 내 유동 흐름을 분석하고, 그 분석 결과를 모니터에 표출시키는 등의 기능을 제공할 수 있다.

먼저, 분할 처리 과정을 통하여 생성된 모델은 조밀한 메쉬를 가진 고 해상도의 솔리드 모델로 생성되는데, 이와 같이 생성되는 솔리드 모델은 유동 분석 실험을 위한 재료로 이용될 수 있다. 여기에서, 유동 분석 실험이란 호흡 경로 내에서 일어나는 압력의 변화와 벽면에서의 압력의 정도를 측정하여 분석하는 작업을 의미하는 것으로, 일례로서 아래의 수학식 2에서와 같이 나비아-스톡스 방정식(Navier-Stokes Equation)을 이용하여 유동 흐름에 대한 분석을 수행할 수 있다.

[수학식 2]

상기한 수학식 2에 있어서, 그 시각 및 지점에서의 u 는 f 는 단위체적당 걸리는 외력을, ρ는 p는 ν는 를 각각 의미한다.

위 수학식 1을 벡터를 이용하여, 아래의 수학식 3과 같이 표현할 수 있다.

[수학식 3]

상기한 수학식 3에 있어서, 도 있다. ▽는 △는 를 각각 나타낸다.

여기에서, 나비에-스톡스 방정식을 이용하여 비강 내 유동 흐름을 분석하기 위해서는 3D 비강 모델을 작은 단위인 그리드로 나누는 작업이 필요하다. 즉, 호흡 경로내의 솔리드 영역을 작게 그리드로 나누어 계산 영역을 분할하는데, 이와 같이 그리드로 나누는 작업에서 모델의 품질이 향상될수록 유동 해석 실험을 위해 더욱 조밀한 그리드가 생성되고, 이를 통해 생성된 그리드 내에서의 압력의 변화와 유동장을 정확하게 분석할 수 있다.

도 7은 기존 방식과 본 발명에 따른 비강 내 유동 흐름에 따른 스트레스 정도의 성능 평가를 비교 분석한 결과를 각각 보여주는 화면 예시도이다.

도 7을 참조하면, (a)와 (b)는 기존의 방법으로 비강 내 유동 흐름에 따른 벽면의 스트레스 정도를 분석한 결과를, (c)와 (d)는 본 발명의 방법으로 벽면의 스트레스 정도를 분석한 결과를 각각 표현한 것으로서, 두 분석 결과를 비교할 때 매끄럽지 못한 표면 메쉬로 인해 정교하지 못한 수치 해석용 그리드가 생성되고 그로 인해 수치해석 결과에도 영향을 미친다는 것을 분명하게 알 수 있다. 코의 입구 부문에 쉬어 스트레스가 높게 나오고 전체적인 유동 흐름의 진행이 단절 없이 잘 해석되고 있음을 알 수 있다.

도 8은 기존 방식과 본 발명에 따른 비강 내 유동 흐름에 따른 압력 분포에 대한 성능 평가를 비교 분석한 결과를 각각 보여주는 화면 예시도이다.

도 8을 참조하면, (a)와 (b)는 기존 방법에 따른 비강 내 압력의 분포 결과를, (c)와 (d)는 본 발명에 따른 비강 내 압력의 분포 결과를 각각 표현한 것으로서, 여기에서 압력을 많이 받는다는 것은 그 부위의 통증이나 불편함의 원인이 될 수 있는 영역이라는 의미를 포함할 수 있다.

도 9는 기존 방식(a)과 본 발명(b)에 따라 각 4명에 대해 비강 내 유동 흐름(압력 분포)을 분석한 결과를 각각 보여주는 화면 예시도이다.

도 9를 참조하면, 분할 처리로 생성한 4명의 비강 관련 질환을 호소하는 의료 데이터를 선정하여 유동 흐름을 분석하는 수치 해석 결과를 보여주는데, N1 및 N2는 비강 내 좁은 쪽의 코막힘을 호소하는 그룹이며, S1 및 S2는 비강 형태로 보았을 경우 불편한 증상이 있을 것 같으나 실제로 환자가 불편함을 느끼지 않는 그룹으로 구분하여 실험을 진행한 결과이다.

도 10은 도 9의 실험 대상 4명의 분석 결과 중 S2의 코막힘 불편을 호소하는 경우의 분석 결과를 확대한 화면 예시도이다.

도 10을 참조하면, (a)의 기존 방법에 비해 (b)의 본 발명에 의한 3D 비강 모델 생성 후 유동 분석을 실험한 결과가 보다 정확한 불편함의 원인이 되는 부위를 표현하고 있음을 알 수 있다. 이러한 정확한 불편 부위 분석은 향후 수술해야 할 정확한 부위를 찾는데도 중요한 자료가 될 수 있다.

다음에, 3D 비강 모델 변형부(114)는 유동 흐름 분석부(112)에 의해 분석되어 모니터를 통해 표출되는 유동 흐름의 분석 결과를 보면서 햅틱 피드백(Haptic Feedback) 기반으로 3D 비강 모델을 변형시키는 등의 기능을 제공할 수 있다.

통상적으로, 호흡과 관련된 질환의 원인을 분석하고 치료를 하는 과정에서 불편함의 근원이 되는 비강 영역 부분의 수술을 진행하는 경우, 수술 전 계획을 세우고, 계획한 치료 방법이 해당 환자에게 적합한지를 검토하는 과정을 통해 치료가 진행되고 있다. 이러한 수술 전 방법을 계획하는 과정에서 해당 환자의 해부학적 비강 형태에 기반한 수술 방법을 계획하는데 가상 수술 방법이 유용하게 활용될 수 있다.

본 발명에서 비강 수술 계획을 위해 가상 수술을 이용한다는 것은 비강의 해부학적인 형태를 변형하는 작업을 의미한다. 즉, 2D 의료 영상을 기반으로 재구성하여 생성된 3D 비강 모델의 메쉬 좌표를 수정하는 3D 비강 모델의 변형 작업이다. 이러한 비강 모델의 수정 작업을 3D 공간에서 수행하고자 할 때 변형하고자 하는 비강의 관심영역으로 찾아가서 원하는 부위의 해부학적 형태를 변형하는 순서로 진행될 수 있다.

도 11은 3D 비강 모델의 변형 작업을 위해 3D 공간에서 형태를 변형하고자 하는 관심 영역으로 이동하여 비강 모델을 바라보는 내용을 나타내는 화면 예시도로서, 이러한 관심 영역 지정은 모델의 표면 정보와 내부 단면을 살펴보며 원하는 영역으로 이동 할 수 있다.

여기에서, 3D 비강 모델의 형태를 변형한다는 의미는 코 내부의 공기 통로인 비도를 늘리거나 줄이는 작업을 의미한다. 늘리기(줄이기) 작업은 모델을 수정하는 작업 중 에서도 기존에 존재하는 영역을 없애는 것이 아니라 메쉬의 좌표를 수정하여 호흡에 불편함이 있는 영역의 경로를 넓혀주는(또는 좁혀주는) 해부학적인 구조 변형 기능을 수행하는 작업이다.

도 12는 비강 모델을 3D 공간에서 변형 작업하는 내용을 표현하는 화면 예시도로서, (a)는 의료 영상으로부터 분리된 3차원 비강 모델로서 (b)에서 (d)의 순서로 변형 작업을 진행함으로써 원하는 영역의 비강 형태를 변형하는 모습을 시각적으로 보여준다.

그리고, 비강 모델의 형태를 변형하는 작업은 3D 공간상에서 이루어지므로 X, Y, Z축 좌표 개념을 가지고 진행되는데, 보다 현실감 있는 가상 수술을 위하여 모델의 특성에 맞는 재질 속성을 적용하여 피드백을 느끼며 조작 할 수 있는 인터페이스, 일례로서 도 13에 도시된 바와 같은 햅틱 인터페이스를 이용함으로써 비강 모델에 대한 변형 작업의 몰입감을 더욱 증진시킬 수 있다.

도 14a 및 14b는 햅틱 장치를 이용하여 비강 모델의 형태를 3D 공간에서 직접 변형하는 작업을 표현하는 다른 화면 예시도이다.

도 14a 및 14b를 참조하면, 햅틱 장치를 이용하여 직접 3D 동작으로 변형할 수 있으며, 3D 비강 모델의 비도가 상대적으로 좁게 되도록 3D 수술 시뮬레이션을 실시하여 변형된 비강 모델을 생성할 수 있다.

비강의 내부 구조를 파악하기 위한 내시경 방식의 3D 내비게이션 수행을 자연스럽게 수행하기 위하여 3D 비강 모델과 햅틱 장치의 커서 사이에 3D 충돌검사가 필요하다.

보다 효율적이고 직접적인 이동을 위하여, 이동하고자 하는 위치의 좌표 값을 직접 입력하여 이용하는 내비게이션 방식을 제공할 수 있다.

도 15a는 충돌 검사에 대한 예시도이고, 15b는 x축 모델 변형을 위한 방향 화살표 표현의 예시도이며, 15c는 z축 모델 변형을 위한 방향 화살표 표현의 예시도이고, 15d는 y축 모델 변형을 위한 방향 화살표 표현의 예시도이다.

도 15a 내지 15d를 참조하면, 비강 모델을 정확하게 변형하기 위하여 3축(x,y 및 z)을 따라서 3D 비강 모델을 늘리거나 줄이는 변형을 수행할 수 있는 3차원 햅틱 인터페이스를 제공할 수 있다.

또한, 3D에서 미세한 조절을 위하여 변형 가능한 영역의 볼륨 크기를 자유롭게 변형할 수 있으며, 3D 기반의 모델 볼륨을 2D 단면처럼 표현하여 작업할 수도 있다.

그리고, 도 16은 비강 모델의 볼륨 크기를 조절한 것을 보여주는 단면 표현의 화면 예시도이다.

도 17a 내지 17c는 수술 시뮬레이션 전후의 코 모델들에 대한 예시도이고, 17d는 수술 시뮬레이션에 대한 분석 결과를 보여주는 그래프이다.

도 17a 내지 17d를 참조하면, 속도장의 변화 측면에서 1열 좌측은 수술 전의 코 모델을, 1열 우측은 2D 기반의 수술 시뮬레이션 이후의 모델을, 2열 좌측은 3D 수술 시뮬레이션 이후의 모델을, 2열 우측은 압력 강화 측면에서 수술 전 코 모델을 각각 의미한다.

그리고, 도 17d에 있어서, v1은 2D 기반의 수술 시뮬레이션 이후의 모델에 대한 결과를, v2는 3D 수술 시뮬레이션 이후의 모델에 대한 결과를 각각 나타낸다.

즉, 도 17a 내지 17d를 참조하면, 2D 기반의 수술 시뮬레이션 및 3D 수술 시뮬레이션 이후의 모델에 대해 속도장의 변화를 4개의 단면에 대해 조사한 결과로서, 비강 내 가장 좁고 빠른 유속을 갖는 부분을 P1, 비갑개가 시작하는 단면부터 P2, P3, P4로 정의하였다.

수술 전, 수술 v2 그리고 수술 v1의 모델 순서로 국부적으로 높은 속도 분포 지역이 적어지는 것을 알 수 있으며, 수술 전, 수술 이후(vS_v1과 vS_v2)에 압력 강하가 발생함을 예측할 수 있다.

한편, 비강 수술을 위한 햅틱 수술 시뮬레이터로 보다 유용하고 실제 적용이 가능한 시뮬레이터를 개발하기 위해서는 다음과 같은 인터페이스(수술 시뮬레이션을 위한 인터페이스) 요구사항이 필요할 수 있다.

첫째, 내시경의 시야와 같이 한정된 부분만 볼 수 있는 것 보다는 코로나뷰(Coronal View)와 같은 형태로 사용자가 비강의 전체를 볼 수 있어야 하며, CT 이미지와 같이 일정 영역의 단면을 볼 수 있어야 한다.

둘째, 비도의 수정을 진행할 시에는 2D 평면으로 시점이 고정된 상태에서 수정하고, 수정 이후 전체 3D 비강 모델을 볼 때에는 3D 뷰를 통해 보는 것이 작업에 용이하다.

셋째, 2D 평면으로 시점이 고정된 상태에서 비도의 수정을 진행하더라도 수정된 비도는 코로나뷰 CT 슬라이스(Coronal View CT Slice) 기준으로 한 면만 적용되는 것이 아니라 최소 5면 이상으로 적용되어야 한다.

넷째, 햅틱 장치의 사용자 장비 숙련도에 따라 능숙하게 다룰 수 있는 사용자가 있는 반면 그렇지 않은 사용자도 있기 때문에 모든 작업을 햅틱 장치로 하기보다는 키보드와 마우스를 병행할 수 있도록 설계할 필요가 있다.

도 18a는 3D 비강 모델 3차원 변형시 사용자에게 보이는 뷰의 화면 예시도이고, 18b는 코로나뷰의 화면 예시도이다.

도 19a는 CT 슬라이스가 적용되지 않은 화면 예시도이고, 19b는 CT 슬라이스가 적용된 화면 예시도이다.

내시경의 시야와 같이 한정된 부분만 볼 수 있을 경우에는 현재 작업이 진행 중인 부분이 전체 비도에서 어떤 부분을 수정하고 있는지 사용자가 알 수 없다는 문제가 있는데, 이러한 문제를 개선하기 위해 시뮬레이터에서 전체적으로 코로나뷰를 지원할 수 있다.

도 18a 및 18b를 참조하면, 코로나뷰를 통해 비강을 볼 때 일정 영역의 단면을 볼 수 있으며, 이러한 기능(이하, CT 슬라이스 기능이라 함)을 사용할 것인지, 아닌지는, 예컨대 사용자가 키보드의'3'번 버튼을 토글(Toggle)하여 결정할 수 있다.

도 19a 및 19b를 참조하면, 키보드를 이용하여 CT 슬라이스 기능을 동작하면 도 9b의 그림과 같은 형태로 일정 영역만 슬라이스된 화면을 제공하여 사용자가 수정 할 부위에 보다 집중할 수 있는 환경을 제공할 수 있다.

한편, 본 발명의 시뮬레이터 장치는 2가지의 모드를 지원, 즉 뷰모드(View Mode)와 변형모드(Deform Mode)를 지원하는데, 뷰모드는 수정된 비도를 3D 환경에서 볼 수 있는 모드를 의미하고, 변형모드는 2D 환경에서 비도를 수정하기 위한 모드를 의미한다.

도 20은 좌측으로부터 라이노스테이션의 뷰모드, 동영상, 뷰모드를 각각 나타내는 화면 예시도이다.

뷰/변형모드의 토글은, 예컨대 키보드의 숫자'0'을 눌러 작동된다.

뷰모드는 수정된 비도를 3D 환경에서 마우스를 이용해 관찰할 수 있는 모드로 마우스 왼쪽 버튼을 누른 상태로 드래그 하게 되면, 상, 하, 좌, 우 방향 전환을 마우스 오른쪽 버튼을 누른 상태로 전, 후 방향 이동을 수행할 수 있다.

도 21은 좌측으로부터 라이노스테이션의 변형모드, 동영상, 변형모드를 각각 나타내는 화면 예시도이다.

변형모드는 비도를 수정하기 위한 모드로 2D 환경을 지원하며, 팬텀옴니(Phantom Omni)를 활용하여 비도를 수정하고, 수정하는 중에 햅틱 커서(Haptic Cursor)가 벽면에 닿거나 수정하는 동작이 발생할 때 포스 피드백(Force Feedback)을 사용자에게 제공할 수 있다.

여기에서, 비도의 수정은 2D 평면에서 X축이나 Y축으로 고정된 상태에서 수정할 수 있으며, X축은, 예컨대 키보드의'7', Y축은, 예컨대 키보드의'8'을 누르면 수정 가능하다.

한편, 변형모드에서 수정된 비도는, 일례로서 도 22에 도시된 바와 같은 가우시안(Gaussian) 분포를 이용하여 전/후 5슬라이드가 동시에 수정될 수 있다.

기존의 경우에는 작업된 내용은 1슬라이드만 적용되었던 것에 비해 본 발명의 시뮬레이터 장치는 5슬라이드를 동시에 수정할 수 있으므로, 사용자가 반복 작업을 해야만 하는 수고를 덜어줄 수 있다.

가우시안 분포의 σ는, 예컨대 키보드의'5'와'6'으로 사용자가 제어할 수 있도록 하여 비도가 변형되는 크기를 직접 변경할 수 있다.

도 23은 좌측으로부터 비강 CT Slice의 외부, 중앙, 내부(코로나 기준)에 대한 화면 예시도이다.

변형모드에서, 예컨대 키보드의'+'와 '-'를 이용하여 2D 환경에서 CT 슬라이스를 탐색할 수 있다. 비도를 수정하는 작업에서만 CT 슬라이스 탐색이 필요하기 때문에 뷰모드에서는 CT 슬라이스의 탐색 기능을 지원할 필요가 없다. 즉, 뷰모드에서는 마우스 오른쪽 버튼으로 대신할 수 있다.

팬텀옴니(Phantom Omni)만을 이용하여 모든 작업을 처리할 수도 있으나, 사용자의 편의성 및 적용 환경의 확정성 등을 고려할 때 마우스를 이용하여 작업할 수 있는 시뮬레이터 환경을 제공할 수 있다.

도 24는 마우스를 이용하여 좌측 비도를 수정한 결과를 보여주는 화면 예시도이다.

즉, 비도의 수정 작업을 진행하는 변형모드 이외에는 마우스를 이용하여 조작할 수 있다. 예컨대, 뷰모드에서 마우스를 이용하여 모델을 관찰할 수 있다.

마우스 버전의 시뮬레이터에서는 기존 시뮬레이터와 같이 뷰/변형모드를 지원할 수 있으며 모든 동작 방법은 같고, 변형모드에서 비도 수정 작업을 진행할 때 팬텀옴니 대신 마우스를 사용하는 것만 다르다.

예컨대, 수정을 원하는 비도 근처에 마우스를 위치시킨 후 수정을 원하는 위치로 마우스를 클릭하게 되면 클릭된 위치만큼 비도가 수정된다. 수정 원리는 도 22에 도시된 가우시안 분포를 따른다.

그리고, 본 발명의 시뮬레이터 장치를 실행시키는데 필요한 인터페이스를 위해 키보드 및 마우스의 동작 버튼은, 일례로서 도 25에 도시된 표에서와 같이 정의될 수 있다.

이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 등이 가능함을 쉽게 알 수 있을 것이다. 즉, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것으로서, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.

따라서, 본 발명의 보호 범위는 후술되는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

1. 의료 영상 데이터를 영역 분할하여 2D 기반의 비강 볼륨을 생성하는 2D 비강 영역 분할 및 볼륨 생성부와,
   생성된 상기 2D 기반의 비강 볼륨을 재구성하여 3D 기반의 비강 볼륨을 생성하는 3D 비강 볼륨 생성부와,
   생성된 상기 3D 기반의 비강 볼륨을 스무싱 처리하는 3D 비강 볼륨 후처리부와,
   스무싱 처리된 상기 3D 기반의 비강 볼륨을 3D 비강 모델로 변환시키는 3D 비강 모델 생성부와,
   변환된 상기 3D 비강 모델에 대한 수치 해석을 통해 비강 내 유동 흐름을 분석하고, 그 분석 결과를 모니터에 표출시키는 유동 흐름 분석부와,
   상기 유동 흐름의 분석 결과에 의거하여 햅틱 피드백(Haptic Feedback) 기반으로 상기 3D 비강 모델을 변형시키는 3D 비강 모델 변형부
   를 포함하는 3D 기반의 비강 수술 시뮬레이션 장치.
   
2. 제 1 항에 있어서,
   상기 3D 비강 볼륨 생성부는,
   상기 의료 영상 데이터의 복셀 크기 정보를 토대로 매칭 큐브(Marching-cube) 알고리즘을 적용한 렌더링을 통해 상기 3D 기반의 비강 볼륨을 생성하는
   3D 기반의 비강 수술 시뮬레이션 장치.
   
3. 제 1 항에 있어서,
   상기 3D 비강 볼륨 후처리부는,
   HC-라플라시안 알고리즘을 이용하여 상기 스무싱 처리를 수행하는
   3D 기반의 비강 수술 시뮬레이션 장치.
   
4. 제 3 항에 있어서,
   상기 3D 비강 볼륨 후처리부는,
   상기 스무싱 처리를 기 설정된 N회만큼 반복 수행하는
   3D 기반의 비강 수술 시뮬레이션 장치.
   
5. 제 1 항에 있어서,
   상기 유동 흐름 분석부는,
   상기 비강 내의 호흡 경로 내에서 일어나는 압력의 변화와 벽면에서의 압력의 정도를 측정하여 상기 유동 흐름을 분석하는
   3D 기반의 비강 수술 시뮬레이션 장치.
   
6. 제 5 항에 있어서,
   상기 유동 흐름 분석부는,
   나비아-스톡스 방정식(Navier-Stokes Equation)을 이용하여 상기 유동 흐름을 분석하는
   3D 기반의 비강 수술 시뮬레이션 장치.
   
7. 비강 수술 시뮬레이션 장치에 의해 수행되는 비강 수술 시뮬레이션 방법으로서,
   2D 비강 영역 분할 및 볼륨 생성부가 의료 영상 데이터를 영역 분할하여 2D 기반의 비강 볼륨을 생성하는 과정과,
   3D 비강 볼륨 생성부가 생성된 상기 2D 기반의 비강 볼륨을 재구성하여 3D 기반의 비강 볼륨을 생성하는 과정과,
   3D 비강 볼륨 후처리부가 생성된 상기 3D 기반의 비강 볼륨을 후처리하는 과정과,
   3D 비강 모델 생성부가 후처리된 상기 3D 기반의 비강 볼륨을 3D 비강 모델로 변환시키는 과정과,
   유동 흐름 분석부가 변환된 상기 3D 비강 모델에 대한 수치 해석을 통해 비강 내 유동 흐름을 분석하는 과정과,
   3D 비강 모델 변형부가 상기 유동 흐름의 분석 결과에 의거하여 상기 3D 비강 모델을 변형시키는 과정
   을 포함하는 3D 기반의 비강 수술 시뮬레이션 방법.
   
8. 제 7 항에 있어서,
   상기 후처리하는 과정은,
   상기 3D 기반의 비강 볼륨을 스무싱 처리하는
   3D 기반의 비강 수술 시뮬레이션 방법.
   
9. 제 8 항에 있어서,
   상기 스무싱 처리는,
   HC-라플라시안 알고리즘을 이용해 수행되는
   3D 기반의 비강 수술 시뮬레이션 방법.
   
10. 제 9 항에 있어서,
    상기 스무싱 처리는,
    기 설정된 N회만큼 반복 수행되는
    3D 기반의 비강 수술 시뮬레이션 방법.
    
11. 제 7 항에 있어서,
    상기 3D 기반의 비강 볼륨은,
    상기 의료 영상 데이터의 복셀 크기 정보를 토대로 매칭 큐브(Marching-cube) 알고리즘을 적용한 렌더링을 통해 생성되는
    3D 기반의 비강 수술 시뮬레이션 방법.
    
12. 제 7 항에 있어서,
    상기 유동 흐름은,
    상기 비강 내의 호흡 경로 내에서 일어나는 압력의 변화와 벽면에서의 압력의 정도 측정을 통해 분석되는
    3D 기반의 비강 수술 시뮬레이션 방법.
    
13. 제 12 항에 있어서,
    상기 유동 흐름의 분석은,
    나비아-스톡스 방정식(Navier-Stokes Equation)을 이용하는
    3D 기반의 비강 수술 시뮬레이션 방법.

Images