KR20240015415A - 영상 가이드 수술 방법 및 장치 - Google Patents

Abstract

영상 가이드 수술 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 영상 가이드 수술 방법은, 카메라를 통해 수술 대상 환자를 촬영하는 단계와, 카메라의 줌렌즈 배율 변경 여부를 인식하는 단계와, 카메라의 렌즈 전면에 프리즘이 부착된 프리즘 환경에서, 프리즘을 통과하는 카메라의 광축에 수직으로 배치된 체스보드에 대한 체스보드 이미지를 획득하는 단계와, 저배율에서 산출된 저배율 카메라 파라미터의 적어도 일부를 기반으로 기 학습된 카메라 파라미터 산출 알고리즘을 통해, 프리즘 환경에서의 체스보드 이미지에 따른 초점거리를 산출하고, 프리즘 환경에서의 초점거리에 대응하는 일반 환경에서의 고배율 카메라 파라미터를 산출하는 단계와, 산출한 일반 환경에서의 카메라 파라미터를 기반으로 수술 대상 환자를 촬영한 이미지에 증강현실을 시각화하는 단계를 포함할 수 있다.

Description

영상 가이드 수술 방법 및 장치{METHOD AND APPARATUS FOR IMAGE GUIDED SURGERY}

본 개시는 증강현실 기반 의료용 내비게이션 구현에 있어, 저배율에서의 줌렌즈 캘리브레이션 결과를 기반으로 고배율에서의 카메라 파라미터를 최적화할 수 있도록 하는 의료용 내비게이션 제어 방법 및 장치에 관한 것이다.

최근 컴퓨터 그래픽의 발달에 힘입어 의료분야에서 영상 가이드 수술(Image Guided Surgery, IGS)이 가능하게 되었다. 영상 가이드 수술은 외과의가 직접 또는 간접적으로 절차를 안내하기 위해 수술 전 또는 수술 중 영상과 함께 추적된 수술 도구를 사용하는 모든 수술 절차를 의미할 수 있다.

영상 가이드 수술 시스템은 카메라, 초음파, 전자기 또는 그 조합 또는 그 분야에서 환자와 관련된 환자의 해부학 및 외과 의사의 정확한 움직임을 캡쳐하고 수술실의 컴퓨터 모니터 또는 증강현실(Augmented Reality, AR) 헤드셋(증강현실 수술 내비게이션)에 전달할 수 있다.

이러한 영상 가이드 수술의 또 다른 주요 영역인 증강현실 내비게이션 기반 영상 가이드 수술 시스템은 의료 카메라의 이미지 평면에 관련 장기의 내부 구조를 오버레이하는 기능을 제공한다.

즉, 증강현실 내비게이션 기반 영상 가이드 수술 시스템에서는 MRI나 CT 촬영에 의해 구현된 가상 장기(virtual organ)가 실제 장기에 겹쳐져 증강현실 환경으로 디스플레이되는데, 이러한 증강현실은 다양한 방향에서 가상 장기의 관찰이 가능하도록 함으로써 수술 시 의사의 부담을 크게 덜어주고 있다.

또한, 증강현실 내비게이션 기반 영상 가이드 수술 시스템에서는, 의료용 카메라의 영상 위에 장기의 모델을 오버레이 함으로써 의사의 눈에 직접 보이지 않는 대상을 시각화하고 주요 장기를 보호하는 데 도움을 줄 수 있다.

특히, 신경외과 및 이비인후과(ear-nose-throat, ENT)에서는 작고 섬세한 장기를 다루며, 줌 렌즈가 부착된 수술 현미경을 사용하여 작은 장기를 고배율로 시각화한다. 즉, 증강현실은 작고 민감한 장기들이 많은 신경외과 및 이비인후과 수술에서 큰 도움이 된다.

하지만 복강경과 같이 배율이 고정된 일반적인 의료용 카메라와 다르게, 신경외과 및 이비인후과 수술에서는 배율의 조작 범위가 넓은 수술 현미경이 사용됨에 따라, 증강현실 구현을 위해서 카메라의 광학적 특성을 계산하는 캘리브레이션 과정이 필수이다.

고배율 줌렌즈인 수술 현미경은, 배율에 따라 카메라의 광학적 특성 또한 변하기 때문에 다양한 배율에서의 캘리브레이션이 필요하다. 캘리브레이션을 통해 투영과 관련된 카메라의 내부 파라미터(intrinsic parameter)와, 카메라에 부착된 마커와 카메라의 투영 중심 사이의 핸드-아이 파라미터(hand-eye parameter)를 산출할 수 있다.

한편, 일반적인 줌 렌즈 캘리브레이션 기술은 두 가지 접근 방식 중 하나를 따른다. 첫 번째 방법은 입체 영상의 특성을 이용한 셀프-캘리브레이션 기법이다. 기본 행렬은 스테레오 영상 사이의 일정한 수의 대응점 쌍을 이용하여 계산되며, 내부 파라미터는 기본 행렬로부터 유도된다. 셀프-캘리브레이션 기술은 별도의 캘리브레이션 태스크 없이 수술 중 내부 파라미터를 실시간으로 추정한다. 그러나 수술 중 입체 현미경 영상에서는 빛과 출혈로 인해 선명하게 보이는 20개의 대응점 쌍을 찾기 어렵다. 따라서, 이러한 방법은 다른 방법에 비해 낮은 반복성과 정확도가 보고되었으며, 모노 카메라 줌 렌즈에 적용할 수 없다는 한계가 있다.

두 번째 방법에서는 다양한 배율 수준에서 캘리브레이션 패턴을 사용하여 원근 기하학 기반 캘리브레이션을 수행한다. 캘리브레이션 결과에 따라 변하는 내부 파라미터의 수학적 모델은 다항식 보간법을 사용하여 파생되었다. 예를 들어, 적외선 발광 다이오드(IR-LED) 캘리브레이션 도구를 사용하여 수술 현미경을 캘리브레이션 할 수 있다. 원근 기하학 기반 캘리브레이션은 일정한 간격으로 가장 낮은 배율에서 가장 높은 배율 수준으로 수행될 수 있으며 캘리브레이션 되지 않은 배율의 파라미터는 이전에 캘리브레이션된 배율 수준의 파라미터를 사용하여 보간될 수 있다. 배율이 변경될 때마다 현미경에 부착된 인코더로 실시간 배율 값을 측정하고 그에 따라 내부 파라미터를 업데이트할 수 있다.

이러한 두 번째 방법은 특정 배율 범위에 대해 정확한 보정 결과를 제공하지만 고배율에서는 몇 가지 오류가 있다. 첫째, 촬영된 이미지의 원근 기하학적 특성은 카메라 캘리브레이션에 필수적이지만 줌 렌즈는 고배율에서 원근 속성보다 아핀(affine) 속성을 갖는다. 따라서 고배율로 촬영한 체스보드 이미지에 기존의 캘리브레이션 방법을 사용하면 내부 파라미터가 제대로 수렴되지 않는다. 또한 고배율에서는 초점거리가 매우 길고 초점심도가 매우 협소하기 때문에 기울어진 체스보드 이미지는 초점이 맞지 않을 수 있다. 마지막으로 인코더와 같은 추가 장치는 현재 배율 수준을 정확하게 측정해야 하지만 대부분의 외과용 현미경 및 줌 호환 내시경은 소수점 없이 대략적인 배율 수준만 제공하여, 정확한 배율의 재현성도 얻을 수 없다.

이에, 원근 기하학에 의존하지 않는 줌 렌즈 보정 기술이 연구되기도 하였으나, 이러한 연구들은 사전에 줌렌즈의 물성을 필요로 하며, 제조사의 설계 정보나 직접 측정을 위한 특수 장비가 필요하여, 임상 환경에서 실용적이지 않다는 한계가 있다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

선행기술 1: J. Garca, R. Thoranaghatte, G. Marti, G. Zheng, M. Caversaccio, and M. A. Gonzlez Ballester, Calibration of a surgical microscope with automated zoom lenses using an active optical tracker, Int. J. Med. Robot. Comput. Assist. Surg., vol. 4, no. 1, pp. 8793, Mar. 2008, doi: 10.1002/rcs.180. 선행기술 2: E. L. Wisotzky et al., Interactive and Multimodal-based Augmented Reality for Remote Assistance using a Digital Surgical Microscope, in 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Mar. 2019, pp. 14771484, doi: 10.1109/VR.2019.8797682.

본 개시의 실시 예의 일 과제는, 증강현실 기반 의료용 내비게이션 구현에 있어, 저배율에서의 줌렌즈 캘리브레이션 결과를 기반으로 고배율에서의 카메라 파라미터를 최적화할 수 있도록 하는데 있다.

본 개시의 실시 예의 일 과제는, 신경외과 및 이비인후과 분야의 증강현실 내비게이션 기반 영상 가이드 수술 시스템에서 줌 렌즈가 부착된 수술 현미경을 사용하여 작은 장기를 고배율로 시각화할 때, 인코더와 같은 별도의 장비 없이 정확한 카메라 파라미터 산출이 가능하도록 하는데 있다.

본 개시의 실시 예의 일 과제는, 카메라 렌즈 전면에 프리즘이 구비된 캘리브레이션 도구를 구비하여 수술 중 캘리브레이션을 위한 체스보드 촬영에 있어 환자 관찰 시야를 확보하도록 하는데 있다.

본 개시의 실시예의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.

본 개시의 일 실시 예에 따른 영상 가이드 수술 방법은, 카메라를 통해 수술 대상 환자를 촬영하는 단계와, 카메라의 줌렌즈 배율 변경 여부를 인식하는 단계와, 카메라의 렌즈 전면에 프리즘이 부착된 프리즘 환경에서, 프리즘을 통과하는 카메라의 광축에 수직으로 배치된 체스보드에 대한 체스보드 이미지를 획득하는 단계와, 저배율에서 산출된 저배율 카메라 파라미터의 적어도 일부를 기반으로 기 학습된 카메라 파라미터 산출 알고리즘을 통해, 프리즘 환경에서의 체스보드 이미지에 따른 초점거리를 산출하고, 프리즘 환경에서의 초점거리에 대응하는 일반 환경에서의 고배율 카메라 파라미터를 산출하는 단계와, 산출한 일반 환경에서의 카메라 파라미터를 기반으로 수술 대상 환자를 촬영한 이미지에 증강현실을 시각화하는 단계를 포함할 수 있다.

이 외에도, 본 발명의 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 개시의 실시 예에 의하면, 증강현실 기반 의료용 내비게이션 구현에 있어, 저배율에서의 줌렌즈 캘리브레이션 결과를 기반으로 고배율에서의 카메라 파라미터를 최적화할 수 있도록 함으로써, 고배율 줌렌즈의 원근감 및 피사계 심도와 관련된 문제를 효과적으로 극복할 수 있도록 하고, 증강현실 시각화의 정확도를 향상시킬 수 있다.

또한, 신경외과 및 이비인후과 분야의 증강현실 내비게이션 기반 영상 가이드 수술 시스템에서 줌 렌즈가 부착된 수술 현미경을 사용하여 작은 장기를 고배율로 시각화할 때, 인코더와 같은 별도의 장비 없이 정확한 카메라 파라미터 산출이 가능하도록 함으로써, 다양한 수술 현미경에 범용적으로 사용되도록 하여 편의성 및 효율성을 향상시킬 수 있다.

또한, 카메라 렌즈 전면에 프리즘이 구비된 캘리브레이션 도구를 구비하여 수술 중 캘리브레이션을 위한 체스보드 촬영에 있어 환자 관찰 시야를 확보하도록 함으로써, 카메라의 이동 없이 수술 중 언제나 체스보드 이미지를 쉽게 촬영할 수 있도록 한다.

또한, 고배율 수술 현미경으로 증강현실을 위한 수술 중 줌렌즈 캘리브레이션을 수행함에 있어, 핸드-아이 파라미터와 저배율에서 얻은 초점거리의 관계를 이용하여 원근 정보에 의존하지 않고 줌 렌즈를 보정함으로써, 캘리브레이션의 재현성을 보장하고 가장 낮은 배율에서 가장 높은 배율까지 정확한 증강현실을 시각화할 수 있으며, 고배율 줌 호환 의료용 카메라를 이용한 다양한 수술의 확장이 가능하다.

본 개시의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시 예에 따른 영상 가이드 수술 시스템 환경을 개략적으로 나타낸 도면이다.
도 2는 일 실시 예에 따른 일반 환경 및 프리즘 환경을 나타낸 예시도이다.
도 3은 일 실시 예에 따른 영상 가이드 수술에 필요한 구성 요소를 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 영상 가이드 수술 장치(100)를 개략적으로 나타낸 블록도이다.
도 5는 일 실시 예에 따른 영상 가이드 수술을 위한 줌렌즈 캘리브레이션 전체 과정을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 배율의 변화에 따른 핀홀 카메라 중심의 이동을 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 캘리브레이션 환경을 설명하기 위한 예시도이다.
도 8은 일 실시 예에 따른 저배율에서의 초점거리와 핸드-아이 파라미터 간의 관계를 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 수술 전 일반 환경에서 각 초점거리와 주점 간의 페어링 과정을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 종래 원근법 기반의 캘리브레이션 방법과의 증강현실 정확도를 비교하기 위한 시각화 결과를 나타낸 도면이다.
도 11은 일 실시 예에 따른 영상 가이드 수술 방법을 설명하기 위한 흐름도이다.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다.

그러나 본 개시는 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 개시가 완전하도록 하며, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 개시를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 개시에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 일 실시 예에 따른 영상 가이드 수술 시스템 환경을 개략적으로 나타낸 도면이다.

도 1에 도시된 바와 같이, 영상 가이드 수술 시스템(1)은 증강현실을 기반으로 하는 수술 내비게이션을 사용하여, 의료용 카메라의 영상 위에 장기의 모델을 오버레이 함으로써 의사의 눈에 직접 보이지 않는 대상을 시각화하고 주요 장기를 보호하는 데 도움을 줄 수 있는 시스템이다.

특히, 영상 가이드 수술 시스템(1)은 신경외과 및 이비인후과 수술에 적용될 수 있는데, 신경외과 및 이비인후과 수술에서는 배율의 조작 범위가 넓은 수술 현미경이 사용되기 때문에, 증강현실 구현을 위해서 카메라의 광학적 특성을 계산하는 캘리브레이션 과정이 필수이다. 즉, 고배율 줌렌즈인 수술 현미경은 배율에 따라 카메라의 광학적 특성 또한 변하기 때문에 다양한 배율에서의 캘리브레이션이 필요하다.

이러한 캘리브레이션을 통해 카메라에 부착된 마커와 카메라 내부에 존재하는 초점과의 관계가 산출될 수 있으며, 렌즈의 왜곡을 교정할 수 있고, 카메라의 내부 파라미터를 구할 수 있다.

즉, 영상 가이드 수술 시스템(1)에서는, 캘리브레이션을 통해 투영과 관련된 카메라의 내부 파라미터와, 카메라에 부착된 마커와 카메라의 투영 중심 사이의 핸드-아이 파라미터를 산출할 수 있다.

따라서 영상 가이드 수술 시스템(1)은 계산된 내부 파라미터를 이용하여 카메라와 체스보드 간의 정확한 관계를 도출해낼 수 있으며, 광학식 위치 추적장치를 이용하여 체스보드와 카메라에 부착된 마커와의 관계를 찾아내어 카메라와 카메라 내부에 존재하는 초점과의 관계를 계산함으로써, 수술용 내비게이션을 위한 증강현실을 구현할 수 있다.

여기서, 체스보드는 캘리브레이션을 위한 체스판 패턴 형태의 판으로, 이하에서는 체스보드로 통칭하도록 한다.

한편, 종래에는 줌렌즈를 캘리브레이션 하기 위해, 여러 장의 기울인 체스보드 이미지를 각 배율에서 촬영하여, 주로 여러 단계의 배율에서 원근법(perspective-geometry) 기반의 캘리브레이션 방법을 수행하고, 배율에 대한 내부 파라미터의 수식을 세웠다. 하지만, 고배율에서 촬영된 체스보드 이미지는 원근감이 매우 작고, 피사계 심도가 좁아 충분히 기울여진 패턴의 체스보드 이미지를 촬영할 수 없었으며, 현재의 정확한 배율을 알기 위해서 인코더와 같은 외부 장치의 도움이 필요하여 다양한 수술 현미경에 범용적으로 사용될 수 없었다.

이에, 영상 가이드 수술 시스템(1)은 고배율 줌렌즈의 원근감 및 피사계 심도와 관련된 문제를 극복할 수 있는 캘리브레이션 방법을 수행한다.

즉, 영상 가이드 수술 시스템(1)은 고배율 줌 렌즈 시스템으로 증강현실 기반 수술 가이드를 실현하기 위해 가장 낮은 배율에서 가장 높은 배율까지 효과적인 캘리브레이션이 수행될 수 있도록 한다.

일 실시 예에서는, 줌 렌즈 시스템의 렌즈가 회전 없이 광축을 따라 움직인다는 가정 하에서 배율에 관계없이 초점거리와 핸드-아이 파라미터 사이의 관계가 일정함에 따라, 수술 중 배율이 임의로 변경되더라도 고유한 내부 파라미터와 핸드-아이 파라미터가 종래의 방법보다 더 높은 정확도로 산출될 수 있다.

즉, 일 실시 예의 영상 가이드 수술 시스템(1)에서 수행하는 방법은 배율 수준에 상관없이 일관되게 사용할 수 있으며, 원근감이 충분한 저배율에서의 줌렌즈 캘리브레이션 결과를 다른 배율, 특히 저배율 보다 높은 배율(고배율)에서 내부 및 핸드-아이 파라미터를 최적화하는 데 사용할 수 있다.

예를 들어, 카메라 배율이 전체 10단계인 경우, 7단계부터 배율과 초점거리의 역전 현상이 발견될 수 있으므로, 저배율은 대략 1단계부터 5단계까지, 즉 전체 배율 단계 중에서 절반 이하의 배율을 의미하는 것으로 볼 수 있다. 또한, 저배율보다 높은 배율은 배율과 초점거리의 역전 현상이 발견되지 않는 배율로, 고배율이라고 할 수 있다.

이와 같이 배율과 초점거리의 역전 현상이 발견되지 않는 배율을 결정하는 기준을 기준 배율로 설정하여, 기준 배율을 기준으로 저배율과 고배율을 구분할 수 있다. 다만 이에 한정되는 것은 아니며, 예를 들어 최저 배율과 다음 2단계를 저배율로 설정하고, 3단계부터는 고배율로 설정할 수도 있다.

특히, 일 실시 예의 영상 가이드 수술 시스템(1)에서는, 중·고 배율에서 파라미터를 최적화할 때 기울이지 않은 체스보드 이미지를 요구하기 때문에, 좁은 피사계 심도에 대응하기 유리하다.

도 2는 일 실시 예에 따른 일반 환경 및 프리즘 환경을 나타낸 예시도로, 도 2(a)는 일반 환경을 나타내고, 도 2(b)는 프리즘이 대물렌즈 전면에 부착된 프리즘 환경을 나타낸다. 즉, 일반 환경은 프리즘이 없는 기존 현미경 수술 환경을 의미할 수 있다.

영상 가이드 수술 시스템(1)은 수술 동안, 수술 시간에 큰 영향을 미치지 않으면서 하나 또는 두 개의 "기울어지지 않은" 체스보드 이미지만 필요로 한다. 영상 가이드 수술 시스템(1)에서는 예를 들어, 수술 전 필수적으로 저배율에서 6번 원근 캘리브레이션을 수행할 수 있다.

그리고 기존의 캘리브레이션 방법은 예를 들어, 모든 배율에서 10개 이상의 기울어진 체스보드 이미지를 필요로 할 수 있는데, 초점이 맞지 않는 체스보드 이미지로 인해 부정확한 파라미터를 산출할 수 있다. 이에 일 실시 예에서는, 낮은 원근법 기하학 및 좁은 초점 깊이와 같은 고배율의 한계를 극복할 수 있다.

이때, 일 실시 예에서, 영상 가이드 수술 시스템(1)은 수술 중 장애물을 제거하고 환자 관찰 시야를 확보하기 위해 줌 렌즈와, 쉽게 탈부착 할 수 있는 프리즘이 구비된 특수 캘리브레이션 도구를 사용할 수 있다.

종래에는 수술 중 체스보드 이미지를 촬영하기 위해 체스보드를 환자 가까이에 배치하거나 카메라를 환자에서 체스보드 방향으로 이동해야 했다. 즉, 수술 중 카메라의 초점 위치에는 환자가 위치하기 때문에 체스보드를 촬영하기 위해선 체스보드를 수술 부위 위에 두거나, 카메라를 움직여야 한다.

그러나 일 실시 예의 프리즘 캘리브레이션 도구를 사용하면 환자 관찰을 방해하지 않고 언제라도 초점이 잘 맞는 체스보드 이미지를 촬영할 수 있다.

즉, 도 2에 도시된 바와 같이, 일 실시 예의 영상 가이드 수술 시스템(1)에서는, 파라미터를 최적화할 때 대물렌즈 전면에 프리즘을 부착하여 카메라의 초점 위치를 변경(예를 들어, 90도 꺾음)함으로써, 카메라의 이동 없이 수술 중 언제나 체스보드 이미지를 쉽게 촬영할 수 있도록 할 수 있다.

예를 들어, 도 2(b)를 참조하면, 일 실시 예에서는, 프리즘 커넥터에 프리즘을 삽입하여 일반 환경을 프리즘 환경으로 전환할 수 있으며, 프리즘 커넥터 내부의 레일을 구비하여 몇 초 안에 프리즘을 삽입 및 제거할 수 있도록 구성할 수 있다. 이러한 프리즘은 카메라의 초점 위치가 직각이 되도록 부착될 수 있다. 또한, 실시 예에 따라서, 프리즘 커넥터 내부의 레일이 제어 신호에 의해 자동으로 구동되도록 구현하여, 프리즘이 자동 설치 및 제거되도록 구성될 수도 있다.

또한, 일 실시 예에서는, 패시브 암을 사용하여 프리즘 환경에서 초점이 맞춰진 위치에 체스보드를 고정할 수 있다. 일 실시 예에서는, 배율을 조절하기 위해 3가지 크기의 체스보드가 사용될 수 있으며, 이러한 체스보드의 각 패턴은 7X6 모서리를 가질 수 있다.

한편, 일 실시 예에서, 카메라의 렌즈는 예를 들어 수술용 현미경(M620-F20, Leica Microsystems, Germany)과 일반 매크로 줌 렌즈(MLH-19X, Computar, USA) 2개가 사용될 수 있다. 이 두 렌즈에 장착된 CMOS 카메라(DFK33UP1300, Imaging Source, Inc., Germany)를 사용하여 환자 이미지가 캡쳐될 수 있다. 렌즈의 working distance는 약 200mm로 고정될 수 있으며, 가시화 범위는 가장 낮은 배율(level 1)에서 약 70(V) X 57(H) mm, 가장 높은 배율(level 0)에서 약 20(V) X 16(H) mm일 수 있다.

도 3은 일 실시 예에 따른 영상 가이드 수술에 필요한 구성 요소를 설명하기 위한 도면이다.

영상 가이드 수술 시스템(1)은 카메라(10), 카메라 마커(20), 광학 위치 추적기(30) 및 환자 마커(40)로 구성되고, 카메라 마커(20)는 카메라(10)에 장착되며, 환자 마커(40)는 환자에 부착된다.

즉, 환자(환자 이미지)와 카메라(10)는 광학 위치 추적기(30)에 의해 실시간으로 추적되어야 하며, 수동 마커가 각 추적 대상 물체의 표면에 부착될 수 있다. 또한, 일 실시 예에서는, 좌표계 간의 관계, 즉 회전 및 변환은 4X4 동차변환행렬(homogeneous transformation matrix)로 표시되며, 동차변환행렬은 T로 표기할 수 있다.

증강현실 시각화를 위해서는 카메라와 환자 영상 간의 관계 가 필수적이며, 이는 아래 수학식 1과 같이 산출될 수 있다. 3차원(3D) 장기 모델은 및 내부 파라미터를 사용하여 2차원(2D) 카메라 이미지에 투영될 수 있다.

일 실시 예에서는, 변환의 시점을 위 첨자, 종점을 아래 첨자로 표기할 수 있다. 따라서 카메라 좌표계에서 환자 이미지 좌표계로 향한 변환은 로 표기할 수 있고, 반대로 카메라 좌표계에서 카메라 마커 좌표계로 향한 변환은 으로 표기할 수 있다.

도 3(a)에서 {O}은 광학 위치 추적기(Optical tracker), {I}는 의료 영상(Medical Image), {C}는 카메라의 투영 중심(Camera), {CM}은 카메라 부착 수동 마커, 그리고 {PM}은 환자 부착 수동 마커 각각의 로컬 좌표계를 나타낸다.

일 실시 예에서, 변환 함수 및 는 광학 위치 추적기(30)로부터 얻을 수 있는 행렬이다. 또한 변환 함수 은 ‘환자-이미지 정합(patient to image registration)'으로 알려진 소정의 절차를 통해 얻을 수 있는 행렬이다.

따라서, 핸드-아이 파라미터인 을 구하는 것이 카메라 캘리브레이션의 핵심이라고 할 수 있다. 그리고 일 실시 예에서는, 변환 함수 와 3차원에서 2차원으로의 투영을 가능하게 하는 내부 파라미터를 이용하여 증강현실을 구현할 수 있다.

환자-이미지 정합(이하 '정합'이라 한다)에 대해 간략히 설명하면, 정합의 목적은 실제 환경에 있는 환자의 지역 좌표계(local coordination)를 가상 공간에 디스플레이되는 환자의 의료 이미지의 지역 좌표계와 정렬시키는 것이다. 정합은 환자의 지역 좌표계와 가상 공간의 지역 좌표계의 관계인 4X4 동차변환행렬(정합 행렬)로 표시된다. 정합은 가상 장기를 수술 도구와 함께 디스플레이하는 경우 특히 중요한데, 정합 행렬에 의해 실제 환자와 수술 도구가 가상의 그래픽 상에 디스플레이될 수 있다.

정합 행렬은 공지의 '특징점 정합(PBR; Point Based Registration)' 소프트웨어를 사용함으로써 얻을 수 있다. 이러한 영상 정합 소프트웨어를 사용하기 위해서는 적어도 4 쌍의 점들이 필요하며, 예를 들어 9 쌍의 점(인조 표지)들이 사용될 수 있다.

정합 행렬을 구하는 방법을 간단히 설명하면, 먼저 의료 이미지에서 마커의 위치를 명확하게 정의하기 위하여 MRI나 CT를 촬영하기 전에 환자에게 인조 표지를 부착한다. 다음으로, 광학 위치 추적기로부터의 지역 좌표계를 형성하기 위하여 환자의 피부에 마커가 부착되고, 추적 수단에 의해 각 인조 표지의 위치가 수집된다. 마지막으로, PPR 소프트웨어에 의하여 가상 공간에 위치한 각 마커의 대응 위치가 수집된 후, 이를 바탕으로 정합 행렬을 산출한다.

도 3(b)는 핸드-아이 파라미터를 계산하는 방법을 설명하기 위한 것으로, {B}는 체스보드(Calibration pattern)의 로컬 좌표계, {BM}은 체스보드에 부착된 수동 마커의 로컬 좌표계를 나타낸다.

이때, 변함 함수 는 체스보드의 3차원 설계 데이터에서 산출될 수 있다. 그리고 변환 함수 에는 카메라 캘리브레이션 중에 얻은 외부 파라미터가 포함될 수 있다.

일 실시 예에서, 핸드-아이 파라미터는 다음 수학식 2와 같이 산출될 수 있으며, 는 광학 위치 추적기로부터 얻을 수 있다

프로세서(140)는 상술한 수술 가이드에 필요한 구성 요소들을 얻기 위하여, 수술 전 계산 과정과 수술 중 추정 과정을 수행할 수 있다. 수술 전 계산 과정은 핸드-아이 파라미터와 초점거리 사이의 관계를 저배율 수준에서 찾고, 초점거리와 주점(principal point) 간의 관계를 대응시키는 것으로 구성될 수 있다. 그리고 수술 중 추정 과정은 프리즘 캘리브레이션 도구로 촬영한 체스보드 이미지에서 현재 배율의 내부 파라미터 및 핸드-아이 파라미터를 찾는 것으로 구성될 수 있다.

이때, 일 실시 예에서는, 초점거리와 주점 사이의 관계를 저배율 수준에서 찾는 것, 및 프리즘 캘리브레이션 도구로 촬영한 체스보드 이미지에서 현재 배율의 내부 파라미터 및 핸드-아이 파라미터를 찾는 것을 수행하기 위해, 예를 들어, 73개의 내부 파라미터 최적화 모델이 적용될 수 있다. 이에 대한 구체적인 설명은 후술하도록 한다.

한편, 일 실시 예의 증강현실 기반의 내비게이션(200)은 가상의 물체를 카메라 영상에 나타낼 수 있는 것으로, 자동차 내비게이션에서 지도가 기준이 되어 목적지와 현 위치를 표시하고 최적의 경로를 계산하여 안내해 주는 것과 같이, 육안으로는 확인할 수 없는 병변의 위치를 의료 영상에서 확인하고 현재 수술부위를 또한 표시함으로써 목표하는 병변에 도달하기 위해 진행해야 할 방향이나 거리 등을 안내한다. 이와 같은 방식으로 수술 내비게이션 기술은 목표하는 병변에 정확히 도달할 수 있도록, 또한 그 과정에서 노출되는 혈관이나 신경을 보호하는 목적으로 사용된다.

즉, 일 실시 예에서는, 내비게이션(200)을 통해 의료 영상에서 보이는 특정한 부위가 실제 환자 몸에서 어느 곳인지 알 수 있으며, 반대로 환자 몸에서 특정한 위치가 의료 영상에서 어떤 곳에 해당하는지 알 수 있다. 그리고 의료 영상에서만 보이는 특정 조직들을 환자 몸에서 찾을 수 있으며, 지금 수술도구로 치료하고 있는 조직이 CT나 MR 영상에서 어느 부위인지를 나타낼 수 있다.

내비게이션(200)은 수술 부위를 직접 보여주는 카메라 영상을 기본으로, 카메라 영상 위에 부가 정보를 표시하기 때문에 수술부위를 항상 관찰할 수 있는 장점이 있다. 특히 여러 내시경이나 수술현미경을 사용하는 수술의 경우 카메라 화면을 보면서 수술을 진행하므로, 증강현실을 이용한 내비게이션(200)의 장점을 살릴 수 있다. 내시경 화면, 또는 현미경 화면에 부가 정보로서 장기 안의 보이지 않는 혈관이나 신경을 3차원 그래픽으로 재구성하여 표시할 수 있다. 따라서 집도의가 수술 중에 내시경이나 현미경 화면에서 눈을 떼는 일 없이 기존 방식 그대로 수술을 계속할 수 있다.

일 실시 예에서, 내비게이션(200)은 모니터 등과 같은 디스플레이 장치로 구현될 수 있으며, 증강현실 구현 가능한 웨어러블 헤드 마운티드 디스플레이(Head Mounted Display; HMD) 형태로 구현된 안경 등의 디스플레이 장치일 수 있다.

내비게이션(200)은 또한 디스플레이 구현뿐만 아니라 통신 기능 및 데이터 프로세싱 기능을 구비한 단말일 수도 있다. 예를 들어, 사용자가 조작하는 데스크 탑 컴퓨터, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 이러한 단말은 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.

일 실시 예에서는, 도 1에 도시된 바와 같이, 내비게이션(200)이 영상 가이드 수술 장치(100)의 별도의 구성인 것으로 도시하고 있으나, 영상 가이드 수술 장치(100)에 포함된 구성일 수도 있다.

한편, 일 실시 예에서, 영상 가이드 수술 시스템(1)은 영상 가이드 수술 장치(100) 및/또는 서버(300)에 의해 구현될 수 있다.

다시 말하면, 일 실시 예에서, 영상 가이드 수술 장치(100)는 서버(300)에서 구현될 수 있는데, 이때 서버(300)는 영상 가이드 수술 장치(100)가 포함되는 영상 가이드 수술 시스템(1)을 운용하기 위한 서버이거나 영상 가이드 수술 장치(100)의 일부분 또는 전 부분을 구현하는 서버일 수 있다.

일 실시 예에서, 서버(300)는 카메라를 통해 수술 대상 환자를 촬영하고, 카메라의 줌렌즈 배율 변경 여부를 인식하면, 카메라의 렌즈 전면에 프리즘이 부착된 프리즘 환경에서, 프리즘을 통과하는 카메라의 광축에 수직으로 배치된 체스보드에 대한 체스보드 이미지를 획득하여, 저배율에서 산출된 저배율 카메라 파라미터의 적어도 일부를 기반으로 기 학습된 카메라 파라미터 산출 알고리즘을 통해, 프리즘 환경에서의 체스보드 이미지에 따른 초점거리를 산출하고 프리즘 환경에서의 초점거리에 대응하는 일반 환경에서의 카메라 파라미터를 산출하며, 산출한 일반 환경에서의 카메라 파라미터를 기반으로 수술 대상 환자를 촬영한 이미지에 증강현실을 시각화하는 전반의 프로세스에 대한 영상 가이드 수술 장치(100)의 동작을 제어하는 서버일 수 있다.

또한, 서버(300)는 영상 가이드 수술 장치(100)를 동작시키는 데이터를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 서버(300)는 웹 서버 또는 어플리케이션 서버 또는 딥러닝 네트워크 제공 서버를 포함할 수 있다.

그리고 서버(300)는 각종 인공 지능 알고리즘을 적용하는데 필요한 빅데이터 서버 및 AI 서버, 각종 알고리즘의 연산을 수행하는 연산 서버 등을 포함할 수 있다.

또한 본 실시 예에서, 서버(300)는 상술하는 서버들을 포함하거나 이러한 서버들과 네트워킹 할 수 있다. 즉, 본 실시 예에서, 서버(300)는 상기의 웹 서버 및 AI 서버를 포함하거나 이러한 서버들과 네트워킹 할 수 있다.

영상 가이드 수술 시스템(1)에서 영상 가이드 수술 장치(100) 및 서버(300)는 네트워크(400)에 의해 연결될 수 있다. 이러한 네트워크(400)는 예컨대 LANs(local area networks), WANs(Wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 개시의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(400)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다.

또한, 네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(400)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.

도 4는 일 실시 예에 따른 영상 가이드 수술 장치(100)를 개략적으로 나타낸 블록도이다.

도 4를 참조하면, 영상 가이드 수술 장치(100)는 통신부(110), 사용자 인터페이스(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다.

통신부(110)는 네트워크(400)와 연동하여 외부 장치 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 또한 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

즉, 프로세서(140)는 통신부(110)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.

일 실시 예에서, 사용자 인터페이스(120)는 영상 가이드 수술 장치(100)의 동작(예를 들어, 설정사항 변경, 파라미터 입력 및 변경, 학습 데이터 입력 등)을 제어하기 위한 사용자 요청 및 명령들이 입력되는 입력 인터페이스를 포함할 수 있다.

그리고 일 실시 예에서, 사용자 인터페이스(120)는 증강현실 기반의 영상이 출력되는 등의 출력 인터페이스를 포함할 수 있다. 즉, 사용자 인터페이스(120)는 사용자 요청 및 명령에 따른 결과를 출력할 수 있다. 이러한 사용자 인터페이스(120)의 입력 인터페이스와 출력 인터페이스는 동일한 인터페이스에서 구현될 수 있으며, 상술한 내비게이션(200)과 동일한 구성일 수도 있다.

메모리(130)는 영상 가이드 수술 장치(100)의 제어(연산)에 필요한 각종 정보들을 저장하고, 제어 소프트웨어를 저장할 수 있는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다.

예를 들어, 메모리(130)는 카메라 파라미터 산출 알고리즘, 초점거리에 대한 핸드-아이 파라미터 산출 모델, 핸드-아이 파라미터와 초점 거리 관계식, 최적화 모델 및 초점거리별 주점 도출 모델 등 프로세서(140)에서 필요한 알고리즘 및 데이터를 저장할 수 있다.

한편, 일 실시 예에서, 카메라 파라미터 산출 알고리즘은, 초점거리에 대한 핸드-아이 파라미터 산출 모델, 핸드-아이 파라미터와 초점 거리 관계식, 최적화 모델 및 초점거리별 주점 도출 모델 등을 포함하여, 프로세서(140)에서 카메라 파라미터 산출을 위해 수행하는 전반의 과정에 대한 알고리즘을 의미할 수 있다.

메모리(130)는 하나 이상의 프로세서(140)와 전기적 또는 내부 통신 인터페이스로 연결되고, 프로세서(140)에 의해 실행될 때, 프로세서(140)로 하여금 영상 가이드 수술 장치(100)를 제어하도록 야기하는(cause) 코드들을 저장할 수 있다.

여기서, 메모리(130)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media) 등의 비 일시적 저장매체이거나 램(RAM) 등의 일시적 저장매체를 포함할 수 있으나, 본 개시의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(130)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.

그리고, 메모리(130)에는 상술한 바와 같이, 본 개시에 따른 학습을 수행하기 위한 알고리즘에 관련된 정보가 저장될 수 있다. 그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(130)에 저장될 수 있으며, 메모리(130)에 저장된 정보는 서버 또는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.

프로세서(140)는 영상 가이드 수술 장치(100)의 전반적인 동작을 제어할 수 있다. 구체적으로, 프로세서(140)는 메모리(130)를 포함하는 영상 가이드 수술 장치(100)의 구성과 연결되며, 메모리(130)에 저장된 적어도 하나의 명령을 실행하여 영상 가이드 수술 장치(100)의 동작을 전반적으로 제어할 수 있다.

프로세서(140)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(140)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(Hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다.

프로세서(140)는 일종의 중앙처리장치로서 메모리(130)에 탑재된 제어 소프트웨어를 구동하여 영상 가이드 수술 장치(100)의 동작을 제어할 수 있다. 프로세서(140)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다.

도 5는 일 실시 예에 따른 영상 가이드 수술을 위한 줌렌즈 캘리브레이션 전체 과정을 설명하기 위한 도면이다.

도 5에 도시된 바와 같이, 프로세서(140)는 상술한 증강현실 기반의 수술 가이드에 필요한 구성 요소를 획득하기 위하여 수술 전 계산 과정과 수술 중 추정 과정을 수행할 수 있다.

수술 전 계산 과정은 핸드-아이 파라미터와 초점 거리 사이의 관계를 저배율 수준에서 찾는 과정과, 초점거리와 주점 간의 대응 연결하는 과정으로 구성될 수 있다.

그리고 수술 중 추정 과정에서는, 내부 파라미터 최적화 모델을 기반으로 프리즘 캘리브레이션 도구로 촬영한 체스보드 이미지에서 현재 배율의 내부 파라미터 및 핸드-아이 파라미터를 산출할 수 있다.

이하에서는 이러한 프로세서(140)의 전반적인 과정에 대해 설명하도록 한다.

도 6은 일 실시 예에 따른 배율의 변화에 따른 핀홀 카메라 중심의 이동을 설명하기 위한 도면이다.

먼저 도 6을 참조하면, 일 실시 예에서 대상으로 하는 카메라 모델은 핀홀 카메라 모델(Pin-Hole Camera Model)일 수 있으며, 이는 복잡한 카메라 시스템을 매우 단순하게 표현할 수 있는 모델이다. 핀홀 카메라 모델은 카메라 좌표계, 이미지 평면 및 촬영 대상 물체로 구성될 수 있다.

핀홀 카메라의 홀은 투영 중심이자 카메라의 중심으로서 C로 표기하고, 투영 중심을 지나 이미지 평면에 수직인 선(주축)을 z축으로 표기한다. 초점거리 f는 카메라 내부 파라미터(intrinsic parameter) 중 가장 중요한 것으로 투영 중심과 이미지 평면 간의 거리로 정의된다.

특히, 도 6은 배율의 변화에 따른 카메라 중심의 이동을 도시한 것으로, 카메라 중심(C)이 이미지 평면(I)에 가까울 때는 촬영 대상 물체의 좌표 XW가 주점(p)에 가까운 점 x에 투영되므로 저배율(zoom out)이 되고, 카메라 중심(C)이 이미지 평면(I)에 멀어질수록 촬영 대상 물체의 좌표 XW가 주점에서 멀어진 점 x'에 투영되므로 고배율(zoom in)이 됨을 알 수 있다. 여기서 알 수 있는 사실은 카메라 배율의 변경은 곧 카메라 중심(C)의 변경을 의미하고, 따라서 카메라 좌표계와 마커 좌표계의 변환 관계에 해당하는 핸드-아이 행렬은 카메라 배율이 변함에 따라 추종 산출되어야 한다는 점이다.

도 7은 일 실시 예에 따른 캘리브레이션 환경을 설명하기 위한 예시도이고, 도 8은 일 실시 예에 따른 저배율에서의 초점거리와 핸드-아이 파라미터 간의 관계를 설명하기 위한 도면이다.

도 7(a)는 프리즘 캘리브레이션 도구가 없는 일반 환경을 나타내고, 도 7(b)는 프리즘 캘리브레이션 도구가 포함된 프리즘 환경을 나타낸다.

수술 중 카메라의 초점 위치에는 환자가 위치하기 때문에 체스보드를 촬영하기 위해선 체스보드를 수술 부위 위에 두거나, 카메라를 움직여야 한다.

이에 일 실시 예에서는, 도7(b)에 도시된 바와 같이, 파라미터를 최적화할 때 대물렌즈 전면에 프리즘을 부착하여 카메라의 초점 위치를 90도 꺾어서, 카메라의 이동 없이 수술 중 언제나 체스보드 이미지를 쉽게 촬영할 수 있도록 할 수 있다. 즉, 프리즘을 부착함으로써 카메라의 초점 위치가 바뀌도록 함으로써, 수술 중 배율이 변해 캘리브레이션을 진행해야 할 때, 일반 환경을 프리즘 환경으로 변경함으로써 체스보드 촬영을 위해 카메라를 따로 움직일 필요 없이 손쉽게 촬영을 진행할 수 있다.

수술 중 프리즘 환경을 사용하려면 수술 전에 캘리브레이션을 하는 과정이 필요하다. 즉, 일 실시 예서는, 프리즘 환경을 구현하여, 프리즘 캘리브레이션 도구를 통해 빛의 방향을 바꾸고 카메라의 초점 위치를 변경할 수 있다. 도 7(b)를 참조하면, 프리즘 환경에서 촬영한 체스보드 이미지에서 얻은 외부 파라미터는 패턴과 가상 줌 렌즈의 관계를 나타내며, 이는 프리즘에 의해 굴절된 실제 렌즈의 착시 현상이다. 따라서 프리즘 환경에서 핸드-아이 파라미터는 카메라에 부착된 수동 마커{CM}와 가상 줌 렌즈{VC}의 투영 중심 사이의 관계 를 나타낸다.

일 실시 예에서, 프로세서(140)는 도 8을 참조하여, 원근법 모델(Perspective Model) 기반의 종래 카메라 캘리브레이션을 적용할 수 있는 저배율 수준에서, 수술 전 핸드-아이 파라미터와 초점거리 간의 관계를 도출할 수 있다.

이러한 핸드-아이 파라미터와 초점거리 간의 관계는 도 7에 도시된 바와 같이, 프리즘 캘리브레이션 도구가 있는 프리즘 환경과 프리즘 캘리브레이션 도구가 없는 일반 환경의 두 가지 다른 환경에서 도출될 수 있다. 이때 도출된 관계는 다른 배율 수준의 내부 파라미터를 최적화하기 위한 제약 조건으로 사용될 수 있다.

일 실시 예에서, 줌 렌즈의 배율은 가시화 범위에 따라 10단계로 나뉠 수 있다. 예를 들어, 프로세서(140)는 가장 낮은 세 배율 수준에서 내부 파라미터 및 핸드-아이 파라미터를 산출할 수 있으며, 각 캘리브레이션에서 다양한 각도로 기울어진 30개의 패턴 이미지를 사용할 수 있고, 각 배율에 대해 캘리브레이션을 10회 반복할 수 있다.

이때, 프로세서(140)는 일반 환경 및 프리즘 환경 각각에 대해, 캘리브레이션을 위한 체스판 형태의 패턴을 인쇄하여 평평한 표면에 부착해 만든 체스보드(또는 카메라를 움직일 수도 있음)를 움직여서 다른 방향에서 체스보드의 이미지를 찍은 다음, 체스보드 이미지에서 특징점을 감지할 수 있다. 그리고 프로세서(140)는 원근법 모델 기반의 카메라 캘리브레이션 솔루션을 사용하여, 내부 파라미터와 모든 외부 파라미터를 추정할 수 있다.

도 8(a)는 상기 저배율의 3 단계에서의 캘리브레이션 결과에 대한 회전 부분, 도 8(b)는 평행 이동 부분을 나타낸 것으로, x-방향 초점거리 에 대한 일반 환경 및 프리즘 환경 각각에서의 핸드-아이 파라미터를 나타낸다.

카메라 배율에 따라 초점거리와 주점은 비선형적으로 변화하는데, 이때 초점거리의 변화와 핸드-아이 파라미터의 변화의 관계는 위치 관계만 고려하더라도 충분하다. 왜냐하면, 카메라 배율이 바뀌어 카메라 중심이 변경되더라도 카메라 중심 좌표계에 대한 마커 좌표계의 회전과 관련된 사항은 불변이기 때문이다.

즉, 핸드-아이 파라미터(Pitch, Roll 및 Yaw, 3X3 회전 행렬에서 오일러 각도로 변환)의 회전 부분은 거의 일정하며, 최대값과 최소값의 차이는 1도 미만이다. 배율 변경은 회전 구성 요소에 영향을 주지 않으며, 광학 위치 추적기와 카메라 캘리브레이션의 한계로 인해 약간의 편차만 발생할 수 있다.

대조적으로 평행 이동 부분 은 초점거리에 비례하여 변경될 수 있다. 일 실시 예에서는, 이러한 결과를 기반으로, 핸드-아이 파라미터와 초점거리 사이의 발견된 관계를 전체 배율 수준에서 사용할 수 있다.

즉, 중 평행 이동에 관한 성분인 가 카메라 배율 변경 시 고려되어야 할 성분이다. 초점거리 변화와 의 변화량 간에는 일정한 비율 관계가 성립되고, 이러한 비율()을 기반으로 설정된 임의의 카메라 배율에서 핸드-아이 행렬을 도출할 수 있다.

다시 말하면, 일 실시 예에서는, 일반 환경에서의 초점거리에 대한 핸드-아이 파라미터 산출 모델과, 프리즘 환경에서의 초점거리에 대한 핸드-아이 파라미터 산출 모델을 각각 학습할 수 있으며, 이는 아래 수학식 3(와 )과 같이 표현할 수 있다.

상술한 관계는 일반적인 줌 렌즈의 특성과 일치하며, 단순화된 줌 렌즈 구조에서 배율은 렌즈와 상면 사이의 거리를 조정하여 결정된다. 렌즈는 광축에 대해 평행하게 움직이기 때문에 핸드-아이 파라미터의 회전 부분은 변경되지 않고, 평행 이동 부분은 이동된 렌즈의 거리에 따라 결정되며 초점 거리에 비례한다.

한편, 일반 환경 및 프리즘 환경에서 배율이 변경되면, 추가적으로 체스보드 이미지를 촬영하고, 내부 파라미터 및 핸드-아이 파라미터가 다시 계산된다. 이때, 핸드-아이 파라미터의 회전 부분(r11~r33)은 가장 낮은 배율 값으로 고정되고, 평행 이동 부분()은 아래 수학식 3에 따라 업데이트될 수 있다. 즉, 이하의 수학식 3 내지 수학식 11을 통해 내부 파라미터와 핸드-아이 파라미터의 최적화 모델을 설명할 수 있다.

수학식 3은 저배율 수준에서의 캘리브레이션 결과에 기반하여 생성된 것이다(도 8의 (b) 참조). 여기서, 는 mm/pixel 스케일을 가지는 비례 계수이고, 는 mm 차원의 절편이다. 고유 값인 초점거리 및 은 로컬 좌표계에서 체스보드의 패턴 모서리의 3차원 위치를 2차원 체스보드 이미지의 패턴에 투영하는 것을 최적화하여 결정될 수 있다. 먼저, 투영에 대한 수식은 다음 수학식 4와 같다.

여기서 는 체스보드의 패턴 모서리의 3차원 위치로, 가상의 패턴 점(virtual pattern points)이며, 최적화를 위해 실제 2차원 패턴 이미지 위로 투영될 수 있다. 그리고 은 의 곱으로 계산되며, 는 내부 파라미터이고, 는 투영된 점을 나타낼 수 있다.

에서 , 는 주점을 나타내며, 는 핸드-아이 파라미터의 고정된 회전 부분을 나타낸다. , , 는 상술하는 수학식 3에 의해 업데이트될 수 있다. 그리고 저배율에서 y 방향 초점거리 는 에 비례하므로 도 상기 수학식 6에 의해 업데이트될 수 있다. 결국 일 실시 예에서, 추정할 성분은 주점 , 와, 초점거리 이다.

이때, , 및 가 정확하면 실제 체스보드 이미지의 패턴의 점 와 투영된 점 의 꼭지점 사이의 차이가 최소화될 수 있다. 즉, 일 실시 예에서는, 내부 파라미터와 핸드-아이 파라미터가 정확하게 구해진다면 실제 체스보드 이미지의 패턴의 점 와 투영된 점 의 위치가 같아지게 된다.

일 실시 예에서는, 레벤버그-마쿼드 알고리즘(LMA; Levenberg-Marquardt Algorithm)을 기반으로, , 및 을 독립적으로 업데이트하기 위한 최적화를 수행할 수 있다. LMA의 첫 번째 단계는, 다음 수학식 8과 같이, 두 개의 대응하는 점 집합 및 사이의 잔차 오차 를 계산하는 것이다.

여기서 m은 꼭지점의 수이고, 는 , 및 로 계산된 투영점이다. 일 실시 예에서는, 가장 낮은 배율의 , 및 를 초기값으로 사용할 수 있다.

두 번째로, 는 의 기울기로 계산될 수 있다. 그리고 야코비안 행렬(Jacobian matrix) 는 의 일반화된 기울기를 나타내며 다음 수학식 9와 같다.

즉, 는 다음 수학식 10과 같이, 야코비안 행렬과 두 점 세트의 편차, 즉 각 파라미터의 분산으로 구성될 수 있다.

여기서, 는 감쇠비로 잔류 오차(residual error)의 감소 속도를 제어할 수 있으며, 학습률(learning late)라고 나타낼 수 있다.

그리고 일 실시 예에서, , 및 는 다음 수학식 11과 같이, 각 파라미터에 를 추가하여 업데이트될 수 있다.

일 실시 예에서, 잔류 오차는 수정된 성분으로 재계산되어 로 표현될 수 있다.

일 실시 예에서는, 두 개의 잔류 오차 와 를 비교하여 잔류 오차가 줄어들면 모든 구성 요소를 업데이트하고 감쇠비를 10배 줄일 수 있다. 그리고 잔류 오차가 증가하면 구성 요소 업데이트 없이 감쇠비를 10배 늘릴 수 있다. 예를 들어, 최적의 내부 파라미터 및 핸드-아이 파라미터는 이러한 과정을 40회 반복 후에 결정될 수 있다.

다시 말하면, 프로세서(140)는 배율이 변했을 때 기울이지 않은 체스보드 이미지를 이용하여 현재의 내부 파라미터를 최적화하기 위해, 가상의 패턴 점 을 실제 2차원 체스보드 이미지의 패턴 위로 투영할 수 있다. 내부 파라미터와 핸드-아이 파라미터가 정확하게 구해진다면 투영된 점 와 실제 체스보드 이미지 패턴의 점 의 위치가 같아진다.

상술한 바와 같이 핸드-아이 파라미터의 회전과 관련된 부분(r11~r33)은 고정되고, 평행 이동과 관련된 부분은 초점거리에 대한 일차식으로 치환되므로, 최적화가 필요한 수치는 내부 파라미터의 초점거리와 영상 주점(, )의 3가지 값이 된다.

프로세서(140)는 투영된 점과 실제 이미지의 점 사이의 위치 차이 크기인 잔류 오차를 줄이는 방향으로 최적화를 수행할 수 있다. 이때 프로세서(140)는 최적화를 위해 각 파라미터를 독립적으로 업데이트할 수 있는 LMA를 사용할 수 있다. 이때 수식에서 학습률 의 초기값은 0.1일 수 있다.

프로세서(140)는 한 번 를 계산하고 각 수치를 업데이트한 뒤 다시 잔류 오차를 계산할 수 있다. 프로세서(140)는, 만약 잔류 오차가 줄었다면 각 파라미터의 업데이트를 확정하고 학습률을 10배 줄일 수 있으며, 잔류 오차가 커졌다면, 각 파라미터의 업데이트를 취소하고 학습률을 10배 늘릴 수 있으며, 이 과정은 잔류 오차가 충분히 작아질 때까지 자동으로 반복될 수 있다.

도 9는 일 실시 예에 따른 수술 전 일반 환경에서 각 초점거리와 주점 간의 페어링 과정을 설명하기 위한 도면이다.

수술 중 내부 파라미터 계산을 위한 체스보드 이미지를 촬영하려면 캘리브레이션 패턴의 체스보드를 환자 가까이에 배치하거나 카메라를 환자에게서 움직여 체스보드를 향하도록 해야 한다. 그러나 이러한 과정은 초점 심도가 좁은 고배율에서는 불편함이 극대화된다.

이에, 일 실시 예에서는, 프리즘 환경을 구현하여, 환자 관찰에 방해가 되지 않고 수술 중 체스보드 이미지를 쉽게 찍을 수 있도록 한다.

프리즘 환경에서는 이미지의 좌우가 일반 환경과 달리 반전된다. 결과적으로 초점거리는 두 환경에서 거의 동일하지만 주점은 크게 다르며 두 환경 간에 명확한 연관성이 없다. 증강현실은 일반 환경에서 시각화되며 주점은 증강현실 정확도에 큰 부분을 차지한다.

따라서, 일 실시 예에서는, 일반 환경에서 초점거리와 주점 사이의 해당 쌍을 사전에 정의할 수 있다. 즉, 일 실시 예에서는, 이러한 초점거리별 주점 도출 모델을 사전에 생성 및/또는 학습할 수 있다.

즉, 프로세서(140)는 수술 중 상술한 최적화 모델로 프리즘 환경에서 초점거리를 최적화한 후 수술 전에 정의된 쌍에서 주점을 선택할 수 있다.

일 실시 예에서는, 도 9에 도시된 바와 같이, 일반 환경에서 초점거리와 주점을 대응시키기 위해 카메라의 초점이 맞춰진 위치에 체스보드를 고정하고, 가장 낮은 배율에서 가장 높은 배율로 배율을 연속적으로 변경하여 최적화 모델로 내부 파라미터를 산출할 수 있다.

마지막으로, 프로세서(140)는 수술 중 파라미터를 추정할 수 있는데, 수술 중 배율이 변경되면 프리즘 환경에서 수동 마커 추적 데이터가 포함된 하나 또는 두 개의 기울어지지 않은 패턴 이미지(체스보드 이미지)를 촬영하고, 상술한 최적화 모델에 기반하여 초점거리를 산출할 수 있다.

일반 환경에서의 주점은 수술 전 일반 환경에서 각 초점거리와 주점 간의 페어링(도 9 참조)에 기반하여 결정될 수 있다. 핸드-아이 파라미터는 수술 전에 추정한 저배율에서의 초점거리와 핸드-아이 파라미터 간의 관계(도 8 참조)를 기반으로 산출될 수 있다. 즉, 일 실시 예에서는, 현재 배율 레벨의 증강현실 시각화를 위해 내부 파라미터 및 핸드-아이 파라미터가 결정될 수 있다.

도 10은 일 실시 예에 따른 종래 원근법 기반의 캘리브레이션 방법과의 증강현실 정확도를 비교하기 위한 시각화 결과를 나타낸 도면이다.

일 실시 예의 영상 가이드 수술 장치(100)를 평가하기 위해 실험이 수행될 수 있다. 두 가지 고배율 줌렌즈(Surgical microscope, Macro Zoom lens)에 대해 실험이 수행될 수 있으며, 각 줌렌즈의 배율은 10단계로 나누어질 수 있다. 예를 들어, 배율 4에서 10까지의 종래 캘리브레이션 방법(Conventional)과 영상 가이드 수술 장치(100, Proposed)의 캘리브레이션 방법 간의 투영 오차를 비교할 수 있다.

종래 캘리브레이션 방법은 IGS 분야에서 카메라 캘리브레이션에 가장 일반적으로 사용되는 방법이 적용될 수 있다. 이러한 종래 캘리브레이션 방법의 경우 다양한 각도로 기울어진 30개의 체스보드 이미지가 사용될 수 있다.

영상 가이드 수술 장치(100)의 캘리브레이션을 위해 핸드-아이 파라미터와 저배율 초점거리 간의 관계를 정의할 수 있다. 종래 캘리브레이션 방법과 달리 영상 가이드 수술 장치(100)의 캘리브레이션은 각 배율 및 환경에 대해 한 번만 수행되었습니다. 예를 들어, 프리즘 환경에서 기울이지 않은 체스보드 이미지 2장이 사용될 수 있다.

예를 들어, 일 실시 예에서는, 수술 전 계산 과정을 마치는 데 약 30분이 소요될 수 있다. 일 실시 예의 방법의 정확도는 저배율에서 캘리브레이션 결과에 직접적인 영향을 받는다. 따라서 충분한 시간을 두고 수술 전 계산을 해야 한다. 수술 전 계산의 결과는 카메라에서 마커를 제거하지 않는 한 매 수술마다 다시 진행하지 않고 반복적으로 사용될 수 있다. 수술 중 배율이 변경되면 수술 중 추정을 완료하는 데 20초가 걸릴 수 있다. 배율이 다시 변경될 때까지 실시간 증강현실이 유지될 수 있다.

일 실시 예에서는, 도 10에 도시된 바와 같이, 3차원 프린팅된 팬텀으로 증강현실 정확도가 평가될 수 있다. 변환 함수 은 팬텀의 설계 과정에서 결정될 수 있어, 제조 오류를 무시하면 정합으로 인한 증강현실 오류를 배제할 수 있을 것이다. 따라서 증강현실 정확도에 대한 내부 파라미터 및 핸드-아이 파라미터의 영향만 평가될 수 있다.

도 10에서 흰색 부분은 증강현실 평가용으로 설계된 팬텀의 원통형 범프(cylindrical bump)이다. 예를 들어, 원통형 범프의 직경은 7mm이며 경계는 흰색 선으로 강조된다. 각 경계 내부의 작은 빨간색과 흰색 점은 경계의 중심을 나타낸다. 도 10에 기재된 값은 원통형 범프의 중심과 3차원 모델의 해당 중심 사이의 거리를 mm 치수로 나타낸다.

도 10을 참조하면, 배율 4에서는 두 가지 방법 모두 수술현미경 영상의 중앙에서 유사한 증강현실 정확도를 보이고, 좌측에서 종래 방법의 정확도가 일 실시 예의 방법보다 0.2~0.4mm 높게 나타남을 확인할 수 있다. 배율 7에서 두 방법은 이미지의 우측에서 유사한 증강현실 정확도를 보이고, 다른 부분에서는 일 실시 예의 방법의 정확도가 종래 방법보다 0.3~0.5mm 더 높게 나타남을 확인할 수 있다. 배율 10에서는 일 실시 예의 방법이 전체 영상에서 종래 방법보다 더 나은 증강현실 시각화 결과를 보임을 확인할 수 있다. 두 방법의 차이는 매크로 줌 렌즈의 결과에서 특히 두드러졌다.

즉, 증강현실 오류는 고배율에서 더 두드러지기 때문에 높은 정확도의 증강현실을 유지하는 것이 중요하다. 도 10에 도시된 바와 같이, 일 실시 예의 방법은 전체 배율에서 1mm 이하의 증강현실 오차를 보장한다. 배율 4에서는 종래 방법이 영상의 경계에서 더 나은 증강현실을 보여주지만 시각적으로 큰 차이는 없다. 배율 10에서는 일 실시 예의 방법이 종래 방법보다 훨씬 나은 증강현실을 보였다.

결과적으로, 4단계 이하에선 두 방법 모두 비슷한 정확도를 보이고, 배율이 올라갈수록 일 실시 예의 방법은 일정한 수준의 증강현실 정확도를 유지하는 반면, 종래 방법은 정확도가 점차 낮아짐을 확인할 수 있다.

즉, 줌 렌즈 시스템에서 저배율의 경우, 종래의 캘리브레이션 방법을 사용하기에 충분한 원근감과 초점 심도를 가지고 있다. 그러나 고배율의 경우 원근감이 낮고 초점 심도는 매우 좁기 때문에, 원근 투영과 보정 패턴의 다양한 틸팅 각도가 필요한 캘리브레이션 방법을 사용하기 어렵다.

고배율 카메라는 일반적으로 아핀 속성과 직교 투영으로 모델링될 수 있으나, 줌 렌즈는 저배율과 고배율의 경계가 불분명하기 때문에 이러한 모델은 줌 렌즈 시스템에서 사용하기 어렵다. 따라서 일 실시 예에서는 가장 낮은 배율에서 가장 높은 배율까지 효과적인 캘리브레이션 방법을 수행할 수 있다.

다시 말하면, 일 실시 예에서는, 고배율 수술현미경으로 증강현실을 위한 수술 중 줌렌즈 캘리브레이션을 수행함에 있어, 핸드-아이 파라미터와 저배율에서 얻은 초점거리의 관계를 이용하여 원근 정보에 의존하지 않고 줌 렌즈를 보정할 수 있다. 또한 일 실시 예에서는, 수술 중 환자 관찰을 용이하게 하기 위해 프리즘 환경을 도입할 수 있다. 이러한 수술 영상 가이드 장치(100)는 캘리브레이션의 재현성을 보장하고 가장 낮은 배율에서 가장 높은 배율까지 정확한 증강현실을 시각화할 수 있으며, 고배율 줌 호환 의료용 카메라를 이용한 다양한 수술의 확장이 가능하다.

도 11은 일 실시 예에 따른 영상 가이드 수술 방법을 설명하기 위한 흐름도이다.

도 11에 도시된 바와 같이, S100단계에서, 프로세서(140)는 카메라를 통해 수술 대상 환자를 촬영한다.

즉, 프로세서(140)는 카메라를 통해 증강현실 기반의 내비게이션으로 출력되는 환자 영상을 촬영할 수 있다. 이러한 증강현실 기반의 내비게이션은 육안으로는 확인할 수 없는 병변의 위치를 의료 영상에서 확인하고 현재 수술부위를 또한 표시함으로써 목표하는 병변에 도달하기 위해 진행해야 할 방향이나 거리 등을 안내할 수 있다.

S200단계에서, 프로세서(140)는 카메라의 줌렌즈 배율 변경 여부를 인식하면, S300단계에서, 카메라의 렌즈 전면에 프리즘이 부착된 프리즘 환경에서, 프리즘을 통과하는 카메라의 광축에 수직으로 배치된 체스보드에 대한 체스보드 이미지를 획득한다(S200단계의 예).

이때, 카메라는 고배율 줌렌즈인 수술 현미경에 구비되는 것일 수 있다. 즉, 일 실시 예에서, 고배율 줌렌즈인 수술 현미경은 배율에 따라 카메라의 광학적 특성 또한 변하기 때문에 다양한 배율에서의 캘리브레이션이 필요하다. 이러한 캘리브레이션을 통해 카메라에 부착된 마커와 카메라 내부에 존재하는 초점과의 관계가 산출될 수 있으며, 렌즈의 왜곡을 교정할 수 있고, 카메라의 내부 파라미터를 구할 수 있다.

또한, 카메라에는 수술 중 장애물을 제거하고 환자 관찰 시야를 확보하기 위해 줌 렌즈와, 쉽게 탈부착 할 수 있는 프리즘이 구비된 특수 캘리브레이션 도구가 구비될 수 있다.

즉, 프로세서(140)는 수술 중 배율 변경이 인식되면 파라미터 최적화를 위해, 카메라의 대물렌즈 전면에 프리즘을 부착하여 카메라의 초점 위치를 변경(예를 들어, 90도 꺾음)함으로써, 카메라의 이동 없이 수술 중 언제나 체스보드 이미지를 쉽게 촬영할 수 있도록 할 수 있다.

예를 들어, 프리즘 커넥터에 프리즘을 삽입하여 일반 환경을 프리즘 환경으로 전환할 수 있으며, 프리즘 커넥터 내부의 레일을 구비하여 몇 초 안에 프리즘을 삽입 및 제거할 수 있도록 구성할 수 있다. 또한, 일 실시 예에서는, 패시브 암을 사용하여 프리즘 환경에서 초점이 맞춰진 위치에 체스보드를 고정할 수 있다.

S400단계에서, 프로세서(140)는 저배율에서 산출된 저배율 카메라 파라미터의 적어도 일부를 기반으로 기 학습된 카메라 파라미터 산출 알고리즘을 통해, 프리즘 환경에서의 체스보드 이미지에 따른 초점거리를 산출하고, 프리즘 환경에서의 초점거리에 대응하는 일반 환경에서의 고배율 카메라 파라미터를 산출한다.

이때, 기 학습된 카메라 파라미터 산출 알고리즘은, 훈련 페이즈(training phase)를 거쳐 훈련되고, 훈련 페이즈는, 일반 환경 및 프리즘 환경 각각에서의 캘리브레이션을 수행하여, 일반 환경에서의 초점거리에 대한 핸드-아이 파라미터 산출 모델 및 프리즘 환경에서의 초점거리에 대한 핸드-아이 파라미터 산출 모델을 학습하는 단계와, 일반 환경에서의 배율별 원형(原型) 체스보드 이미지를 수집하고, 카메라의 내부 파라미터를 최적화하도록 기 학습된 최적화 모델을 기반으로, 일반 환경에서의 배율별 원형 체스보드 이미지에 따른 초점거리별 주점을 도출하는 초점거리별 주점 도출 모델을 학습하는 단계를 포함할 수 있다.

여기서, 기 학습된 카메라 파라미터 산출 알고리즘의 훈련 페이즈 중 초점거리에 대한 핸드-아이 파라미터 산출 모델을 학습하는 단계는, 저배율의 복수의 단계에서, 일반 환경 및 프리즘 환경 각각에서의 캘리브레이션을 수행하는 단계와, 각각의 캘리브레이션 결과를 기반으로, 일반 환경에서의 핸드-아이 파라미터의 평행 이동에 대한 핸드-아이 파라미터와 초점거리 관계식, 및 프리즘 환경에서의 핸드-아이 파라미터의 평행 이동에 대한 핸드-아이 파라미터와 초점거리 관계식을 정의하는 단계를 포함할 수 있다. 그리고 초점거리에 대한 핸드-아이 파라미터 산출 모델을 학습하는 단계는, 일반 환경 및 프리즘 환경 각각에 대해, 저배율의 복수의 단계 중 제1 단계 배율에서의 초점거리와 z축 방향 위치 변환 값, 및 저배율의 복수의 단계 중 제1 단계 배율과 다른 제2 단계 배율에서의 초점거리와 z축 방향 위치 변환값에 기반하여, 핸드-아이 파라미터와 초점거리 관계식을 정의하는 단계를 포함할 수 있다(수학식 3 및 도 8 참조).

또한, 일 실시 예의 기 학습된 카메라 파라미터 산출 알고리즘의 훈련 페이즈 중 초점거리별 주점 도출 모델을 학습하는 단계는, 일반 환경에서의 가장 낮은 배율에서부터 가장 높은 배율까지의 원형 체스보드 이미지를 수집하는 단계와, 기 학습된 최적화 모델을 기반으로, 수집한 각 배율별 원형 체스보드 이미지 각각에 대한 카메라의 내부 파라미터를 최적화하는 단계와, 각 배율별 원형 체스보드 이미지 각각에 대한 카메라의 최적화한 초점거리에 대응하는 주점을 도출하는 단계를 포함할 수 있다(도 9 참조).

또한, 일 실시 예의 기 학습된 카메라 파라미터 산출 알고리즘의 훈련 페이즈 중 일반 환경에서의 카메라 파라미터를 산출하는 단계는, 기 학습된 최적화 모델을 기반으로, 현재 프리즘 환경에서 획득된 체스보드 이미지에 따른 최적화된 프리즘 환경에서의 초점거리를 산출하는 단계와, 일반 환경에서의 초점거리에 대한 핸드-아이 파라미터 산출 모델을 기반으로, 최적화된 프리즘 환경에서의 초점거리에 대응하는 일반 환경에서의 초점거리에 따른 일반 환경에서의 핸드-아이 파라미터를 산출하는 단계와, 초점거리별 주점 도출 모델을 기반으로, 최적화된 프리즘 환경에서의 초점거리에 대응하는 일반 환경에서의 초점거리에 따른 일반 환경에서의 주점을 도출하는 단계를 포함할 수 있다.

한편, 상술한 기 학습된 최적화 모델(수학식 3 내지 수학식 11 참조)은, 다음과 같은 훈련 페이즈를 거쳐 훈련된다. 기 학습된 최적화 모델의 훈련 페이즈는, 원형 체스보드 이미지가 획득되면, 원형 체스보드 이미지의 실제 이미지에 가상의 패턴 점을 투영하는 단계와, 투영된 가상의 패턴 점과 실제 이미지의 점 사이의 위치 차이 크기를 줄이는 방향으로 최적화하는 단계를 포함할 수 있다.

이때, 기 학습된 최적화 모델은, 레벤버그-마쿼드 알고리즘(LMA; Levenberg-Marquardt Algorithm)을 기반으로 구성될 수 있다. 레벤버그-마쿼드 알고리즘은 카메라의 내부 파라미터 각각을 독립적으로 업데이트하면서 최적화하도록 구성된 것이다.

일 실시 예에서, 기 학습된 최적화 모델의 훈련 페이즈 중 최적화하는 단계는, 레벤버그-마쿼드 알고리즘을 기반으로, 투영된 가상의 패턴 점과 실제 이미지의 점 사이의 위치 차이 크기가 감소하면 카메라의 내부 파라미터 각각의 업데이트를 확정하고 학습률(learning rate)을 감소시키는 단계와, 투영된 가상의 패턴 점과 실제 이미지의 점 사이의 위치 차이 크기가 증가하면 카메라의 내부 파라미터 각각의 업데이트를 취소하고 학습률을 증가시키는 단계를 포함할 수 있다.

이때, 학습률을 감소시키는 단계 및 학습률을 증가시키는 단계는, 투영된 가상의 패턴 점과 실제 이미지의 점 사이의 위치 차이 크기가 설정 값까지 감소될 때까지 반복될 수 있다.

S500단계에서, 프로세서(140)는 산출한 일반 환경에서의 카메라 파라미터를 기반으로 수술 대상 환자를 촬영한 이미지에 증강현실을 시각화한다.

즉, 프로세서(140)는 내비게이션을 통해 수술 대상 환자를 촬영한 이미지에 증강현실을 시각화하여 출력할 수 있다. 이와 같은 방식으로 수술 내비게이션 기술은 목표하는 병변에 정확히 도달할 수 있도록, 또한 그 과정에서 노출되는 혈관이나 신경을 보호하는 목적으로 사용된다.

즉, 일 실시 예에서는, 내비게이션을 통해 의료 영상에서 보이는 특정한 부위가 실제 환자 몸에서 어느 곳인지 알 수 있으며, 반대로 환자 몸에서 특정한 위치가 의료 영상에서 어떤 곳에 해당하는지 알 수 있다. 그리고 의료 영상에서만 보이는 특정 조직들을 환자 몸에서 찾을 수 있으며, 지금 수술도구로 치료하고 있는 조직이 CT나 MR 영상에서 어느 부위인지를 나타낼 수 있다.

이상 설명된 본 개시에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.

1 : 영상 가이드 수술 시스템
100 : 영상 가이드 수술 장치
110 : 통신부
120 : 사용자인터페이스
130 : 메모리
140 : 프로세서
200 : 내비게이션
300 : 서버
400 : 네트워크

Claims (18)

1. 각 단계의 적어도 일부가 프로세서에 의해 수행되는, 저배율에서의 줌렌즈 캘리브레이션 결과를 기반으로 다른 배율에서의 카메라 파라미터를 최적화하는 영상 가이드 수술 방법으로서,
   카메라를 통해 수술 대상 환자를 촬영하는 단계;
   상기 카메라의 줌렌즈 배율 변경 여부를 인식하는 단계;
   상기 카메라의 렌즈 전면에 프리즘이 부착된 프리즘 환경에서, 상기 프리즘을 통과하는 상기 카메라의 광축에 수직으로 배치된 체스보드에 대한 체스보드 이미지를 획득하는 단계;
   저배율에서 산출된 저배율 카메라 파라미터의 적어도 일부를 기반으로 기 학습된 카메라 파라미터 산출 알고리즘을 통해, 상기 프리즘 환경에서의 상기 체스보드 이미지에 따른 초점거리를 산출하고, 상기 프리즘 환경에서의 초점거리에 대응하는 일반 환경에서의 고배율 카메라 파라미터를 산출하는 단계 ― 상기 고배율은 상기 저배율 보다 높은 배율인; 및
   상기 산출한 상기 고배율 카메라 파라미터를 기반으로 상기 수술 대상 환자를 촬영한 이미지에 증강현실을 시각화하는 단계를 포함하는,
   영상 가이드 수술 방법.
2. 제 1 항에 있어서,
   상기 기 학습된 카메라 파라미터 산출 알고리즘은, 훈련 페이즈(training phase)를 거쳐 훈련되고,
   상기 훈련 페이즈는,
   상기 일반 환경 및 상기 프리즘 환경 각각에서의 캘리브레이션을 수행하여, 상기 일반 환경에서의 초점거리에 대한 핸드-아이 파라미터 산출 모델 및 상기 프리즘 환경에서의 초점거리에 대한 핸드-아이 파라미터 산출 모델을 학습하는 단계; 및
   상기 일반 환경에서의 배율별 원형(原型) 체스보드 이미지를 수집하고, 상기 카메라의 내부 파라미터를 최적화하도록 기 학습된 최적화 모델을 기반으로, 상기 일반 환경에서의 배율별 원형 체스보드 이미지에 따른 초점거리별 주점(principal point)을 도출하는 초점거리별 주점 도출 모델을 학습하는 단계를 포함하는,
   영상 가이드 수술 방법.
3. 제 2 항에 있어서,
   상기 초점거리에 대한 핸드-아이 파라미터 산출 모델을 학습하는 단계는,
   상기 저배율의 복수의 단계에서, 상기 일반 환경 및 상기 프리즘 환경 각각에서의 캘리브레이션을 수행하는 단계; 및
   상기 각각의 캘리브레이션 결과를 기반으로, 상기 일반 환경에서의 핸드-아이 파라미터의 평행 이동에 대한 핸드-아이 파라미터와 초점거리 관계식, 및 상기 프리즘 환경에서의 핸드-아이 파라미터의 평행 이동에 대한 핸드-아이 파라미터와 초점거리 관계식을 정의하는 단계를 포함하는,
   영상 가이드 수술 방법.
4. 제 3 항에 있어서,
   상기 초점거리에 대한 핸드-아이 파라미터 산출 모델을 학습하는 단계는,
   상기 일반 환경 및 상기 프리즘 환경 각각에 대해, 상기 저배율의 복수의 단계 중 제1 단계 배율에서의 초점거리와 z축 방향 위치 변환 값, 및 상기 저배율의 복수의 단계 중 상기 제1 단계 배율과 다른 제2 단계 배율에서의 초점거리와 z축 방향 위치 변환값에 기반하여, 핸드-아이 파라미터와 초점거리 관계식을 정의하는 단계를 포함하는,
   영상 가이드 수술 방법.
5. 제 2 항에 있어서,
   상기 기 학습된 최적화 모델은, 훈련 페이즈(training phase)를 거쳐 훈련되고,
   상기 훈련 페이즈는,
   상기 원형 체스보드 이미지가 획득되면, 상기 원형 체스보드 이미지의 실제 이미지에 가상의 패턴 점을 투영하는 단계; 및
   상기 투영된 가상의 패턴 점과 상기 실제 이미지의 점 사이의 위치 차이 크기를 줄이는 방향으로 최적화하는 단계를 포함하는,
   영상 가이드 수술 방법.
6. 제 5 항에 있어서,
   상기 기 학습된 최적화 모델은,
   레벤버그-마쿼드 알고리즘(LMA; Levenberg-Marquardt Algorithm)을 기반으로 구성되며,
   상기 레벤버그-마쿼드 알고리즘은 상기 카메라의 내부 파라미터 각각을 독립적으로 업데이트하면서 최적화하도록 구성된 것인,
   영상 가이드 수술 방법.
7. 제 6 항에 있어서,
   상기 기 학습된 최적화 모델의 훈련 페이즈 중 최적화하는 단계는,
   상기 레벤버그-마쿼드 알고리즘을 기반으로, 상기 투영된 가상의 패턴 점과 상기 실제 이미지의 점 사이의 위치 차이 크기가 감소하면 상기 카메라의 내부 파라미터 각각의 업데이트를 확정하고 학습률(learning rate)을 감소시키는 단계;
   상기 투영된 가상의 패턴 점과 상기 실제 이미지의 점 사이의 위치 차이 크기가 증가하면 상기 카메라의 내부 파라미터 각각의 업데이트를 취소하고 학습률을 증가시키는 단계를 포함하되,
   상기 학습률을 감소시키는 단계 및 상기 학습률을 증가시키는 단계는, 상기 투영된 가상의 패턴 점과 상기 실제 이미지의 점 사이의 위치 차이 크기가 설정 값까지 감소될 때까지 반복되는,
   영상 가이드 수술 방법.
8. 제 2 항에 있어서,
   상기 초점거리별 주점 도출 모델을 학습하는 단계는,
   상기 일반 환경에서의 가장 낮은 배율에서부터 가장 높은 배율까지의 원형 체스보드 이미지를 수집하는 단계;
   상기 기 학습된 최적화 모델을 기반으로, 상기 수집한 각 배율별 원형 체스보드 이미지 각각에 대한 상기 카메라의 내부 파라미터를 최적화하는 단계; 및
   상기 각 배율별 원형 체스보드 이미지 각각에 대한 상기 카메라의 최적화한 초점거리에 대응하는 주점을 도출하는 단계를 포함하는,
   영상 가이드 수술 방법.
9. 제 2 항에 있어서,
   상기 일반 환경에서의 카메라 파라미터를 산출하는 단계는,
   상기 기 학습된 최적화 모델을 기반으로, 현재 프리즘 환경에서 획득된 체스보드 이미지에 따른 최적화된 프리즘 환경에서의 초점거리를 산출하는 단계;
   상기 일반 환경에서의 초점거리에 대한 핸드-아이 파라미터 산출 모델을 기반으로, 상기 최적화된 프리즘 환경에서의 초점거리에 대응하는 일반 환경에서의 초점거리에 따른 일반 환경에서의 핸드-아이 파라미터를 산출하는 단계; 및
   상기 초점거리별 주점 도출 모델을 기반으로, 상기 최적화된 프리즘 환경에서의 초점거리에 대응하는 일반 환경에서의 초점거리에 따른 일반 환경에서의 주점을 도출하는 단계를 포함하는,
   영상 가이드 수술 방법.
10. 저배율에서의 줌렌즈 캘리브레이션 결과를 기반으로 다른 배율에서의 카메라 파라미터를 최적화하는 영상 가이드 수술 장치로서,
    렌즈 전면에 프리즘이 탈부착 가능하도록 구성된 카메라;
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 카메라를 통해 수술 대상 환자를 촬영하는 동작,
    상기 카메라의 줌렌즈 배율 변경 여부를 인식하는 동작,
    상기 프리즘이 부착된 프리즘 환경에서, 상기 프리즘을 통과하는 상기 카메라의 광축에 수직으로 배치된 체스보드에 대한 체스보드 이미지를 획득하는 동작,
    저배율에서 산출된 저배율 카메라 파라미터의 적어도 일부를 기반으로 기 학습된 카메라 파라미터 산출 알고리즘을 통해, 상기 프리즘 환경에서의 상기 체스보드 이미지에 따른 초점거리를 산출하고, 상기 프리즘 환경에서의 초점거리에 대응하는 일반 환경에서의 고배율 카메라 파라미터를 산출하는 동작 ― 상기 고배율은 상기 저배율 보다 높은 배율인, 및
    상기 산출한 상기 고배율 카메라 파라미터를 기반으로 상기 수술 대상 환자를 촬영한 이미지에 증강현실을 시각화하는 동작을 수행하도록 설정된,
    영상 가이드 수술 장치.
11. 제 10 항에 있어서,
    상기 기 학습된 카메라 파라미터 산출 알고리즘은, 훈련 페이즈(training phase)를 거쳐 훈련되고,
    상기 훈련 페이즈는,
    상기 일반 환경 및 상기 프리즘 환경 각각에서의 캘리브레이션을 수행하여, 상기 일반 환경에서의 초점거리에 대한 핸드-아이 파라미터 산출 모델 및 상기 프리즘 환경에서의 초점거리에 대한 핸드-아이 파라미터 산출 모델을 학습하는 단계; 및
    상기 일반 환경에서의 배율별 원형(原型) 체스보드 이미지를 수집하고, 상기 카메라의 내부 파라미터를 최적화하도록 기 학습된 최적화 모델을 기반으로, 상기 일반 환경에서의 배율별 원형 체스보드 이미지에 따른 초점거리별 주점(principal point)을 도출하는 초점거리별 주점 도출 모델을 학습하는 단계를 포함하는,
    영상 가이드 수술 장치.
12. 제 11 항에 있어서,
    상기 초점거리에 대한 핸드-아이 파라미터 산출 모델을 학습하는 단계는,
    상기 저배율의 복수의 단계에서, 상기 일반 환경 및 상기 프리즘 환경 각각에서의 캘리브레이션을 수행하는 단계; 및
    상기 각각의 캘리브레이션 결과를 기반으로, 상기 일반 환경에서의 핸드-아이 파라미터의 평행 이동에 대한 핸드-아이 파라미터와 초점거리 관계식, 및 상기 프리즘 환경에서의 핸드-아이 파라미터의 평행 이동에 대한 핸드-아이 파라미터와 초점거리 관계식을 정의하는 단계를 포함하는,
    영상 가이드 수술 장치.
13. 제 12 항에 있어서,
    상기 초점거리에 대한 핸드-아이 파라미터 산출 모델을 학습하는 단계는,
    상기 일반 환경 및 상기 프리즘 환경 각각에 대해, 상기 저배율의 복수의 단계 중 제1 단계 배율에서의 초점거리와 z축 방향 위치 변환 값, 및 상기 저배율의 복수의 단계 중 상기 제1 단계 배율과 다른 제2 단계 배율에서의 초점거리와 z축 방향 위치 변환값에 기반하여, 핸드-아이 파라미터와 초점거리 관계식을 정의하는 단계를 포함하는,
    영상 가이드 수술 장치.
14. 제 11 항에 있어서,
    상기 기 학습된 최적화 모델은, 훈련 페이즈(training phase)를 거쳐 훈련되고,
    상기 훈련 페이즈는,
    상기 원형 체스보드 이미지가 획득되면, 상기 원형 체스보드 이미지의 실제 이미지에 가상의 패턴 점을 투영하는 단계; 및
    상기 투영된 가상의 패턴 점과 상기 실제 이미지의 점 사이의 위치 차이 크기를 줄이는 방향으로 최적화하는 단계를 포함하는,
    영상 가이드 수술 장치.
15. 제 14 항에 있어서,
    상기 기 학습된 최적화 모델은,
    레벤버그-마쿼드 알고리즘(LMA; Levenberg-Marquardt Algorithm)을 기반으로 구성되며,
    상기 레벤버그-마쿼드 알고리즘은 상기 카메라의 내부 파라미터 각각을 독립적으로 업데이트하면서 최적화하도록 구성된 것인,
    영상 가이드 수술 장치.
16. 제 15 항에 있어서,
    상기 기 학습된 최적화 모델의 훈련 페이즈 중 최적화하는 단계는,
    상기 레벤버그-마쿼드 알고리즘을 기반으로, 상기 투영된 가상의 패턴 점과 상기 실제 이미지의 점 사이의 위치 차이 크기가 감소하면 상기 카메라의 내부 파라미터 각각의 업데이트를 확정하고 학습률(learning rate)을 감소시키는 단계;
    상기 투영된 가상의 패턴 점과 상기 실제 이미지의 점 사이의 위치 차이 크기가 증가하면 상기 카메라의 내부 파라미터 각각의 업데이트를 취소하고 학습률을 증가시키는 단계를 포함하되,
    상기 학습률을 감소시키는 단계 및 상기 학습률을 증가시키는 단계는, 상기 투영된 가상의 패턴 점과 상기 실제 이미지의 점 사이의 위치 차이 크기가 설정 값까지 감소될 때까지 반복되는,
    영상 가이드 수술 장치.
17. 제 11 항에 있어서,
    상기 초점거리별 주점 도출 모델을 학습하는 단계는,
    상기 일반 환경에서의 가장 낮은 배율에서부터 가장 높은 배율까지의 원형 체스보드 이미지를 수집하는 단계;
    상기 기 학습된 최적화 모델을 기반으로, 상기 수집한 각 배율별 원형 체스보드 이미지 각각에 대한 상기 카메라의 내부 파라미터를 최적화하는 단계; 및
    상기 각 배율별 원형 체스보드 이미지 각각에 대한 상기 카메라의 최적화한 초점거리에 대응하는 주점을 도출하는 단계를 포함하는,
    영상 가이드 수술 장치.
18. 제 11 항에 있어서,
    상기 일반 환경에서의 카메라 파라미터를 산출하는 동작은,
    상기 기 학습된 최적화 모델을 기반으로, 현재 프리즘 환경에서 획득된 체스보드 이미지에 따른 최적화된 프리즘 환경에서의 초점거리를 산출하는 동작,
    상기 일반 환경에서의 초점거리에 대한 핸드-아이 파라미터 산출 모델을 기반으로, 상기 최적화된 프리즘 환경에서의 초점거리에 대응하는 일반 환경에서의 초점거리에 따른 일반 환경에서의 핸드-아이 파라미터를 산출하는 동작, 및
    상기 초점거리별 주점 도출 모델을 기반으로, 상기 최적화된 프리즘 환경에서의 초점거리에 대응하는 일반 환경에서의 초점거리에 따른 일반 환경에서의 주점을 도출하는 동작을 포함하는,
    영상 가이드 수술 장치.

Images