KR101667152B1

KR101667152B1 - 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법

Info

Publication number: KR101667152B1
Application number: KR1020150071967A
Authority: KR
Inventors: 김법민; 김현구; 김민지; 오유진
Original assignee: 고려대학교 산학협력단
Priority date: 2015-05-22
Filing date: 2015-05-22
Publication date: 2016-10-24

Abstract

본 발명은 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법에 관한 것이다. 본 발명에 따른 스마트 글라스 시스템은 영상 처리 모듈과, 영상이 표시되는 투명 디스플레이부와, 가시광 카메라와, 상기 가시광 카메라에 의해 촬영된 가시광 영상을 무선 통신을 통해 상기 영상 처리 모듈로 전송하는 글라스 통신부를 갖는 스마트 글라스와, 근적외선 카메라와, 상기 근적외선 카메라 모듈에 의해 촬영된 근적외선 형광 영상을 상기 영상 처리 모듈로 전송하는 모듈 통신부를 갖는 근적외선 촬영 모듈을 포함하고; 상기 영상 처리 모듈은 상기 가시광 영상에 기초하여 상기 근적외선 형광 영상을 상기 가시광 영상의 촬영 방향 및 사이즈 중 적어도 하나로 실시간으로 변환하여 실시간 변환 형광 영상을 생성하고, 상기 실시간 변환 형광 영상을 상기 스마트 글라스로 전송하며; 상기 스마트 글라스의 상기 투명 디스플레이부에는 상기 글라스 통신부를 통해 수신되는 상기 실시간 변환 형광 영상이 표시되어, 상기 스마트 글라스를 착용한 집도의의 시야에 상기 실시간 변환 형광 영상이 오버랩되는 것을 특징으로 한다. 이에 따라, 감시림프절을 포함하여 암세포가 전이된 절제 부위를 집도의가 실시간으로 시각적으로 화면하면서 수술을 진행할 수 있고, 근적외선 형광 영상이 환자의 실제 수술 부위에 표시되는 것과 같은 효과를 제공하여 집도의가 환자의 수술 부위에만 자신의 시야를 집중하여 수술 부위를 확인하면서 수술을 진행할 수 있게 된다.

Description

수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법{SMART GLASSES SYSTEM FOR SUPPLYING SURGERY ASSIST IMAGE AND METHOD FOR SUPPLYING SURGERY ASSIST IMAGE USING SMART GLASSES}

본 발명은 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법에 관한 것으로서, 보다 상세하게는 집도의가 수술 부위를 형광 영상을 통해 보다 정확하게 확인할 수 있는 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법에 관한 것이다.

감시림프절(Sentinel lymph node, SLN)은 원발 종양에서 암세포의 전이가 우선적으로 이루어지는 림프절로, 림프절로의 전이 여부를 판단할 수 있는 중요한 지표이다. 이에 감시림프절에 대한 조직검사를 통해 암세포가 발견되지 않는다면 다른 림프절에도 전이가 없다고 판단하고 더 이상의 수술을 진행하지 않는다.

이와 같이 암 전이 여부를 판단하는데 있어 중요한 지표로 작용하는 감시림프절의 정확한 탐색을 통하여 감시림프절 In-vivo 검사를 수행하면 림프부종과 같은 수술 후유증을 줄여주고 환자의 몸에 남는 흉터를 최소화 할 수 있다. 이로 인해 초기 유방암이나 흑색종 수술에서는 표적의약품을 이용한 감시림프절 탐색방법이 표준기법으로 활용되고 있다.

표적의약품을 이용하여 체내에 감시림프절을 탐색하는 방법으로는 청색염료(Blue dye)와 가시광 카메라를 이용하여 가시광 영상을 얻는 방법, 근적외선 형광염료(Fluorescent dye)와 근적외선 카메라를 이용하여 근적외선 형광 영상을 얻는 방법, 그리고 감시림프절에 집적된 방사성 의약품을 감마영상 장치로 촬영하여 방사선 영상을 얻는 방법등이 제안되고 있다.

근래에 근적외선 형광 염료 중 IOG(Indocyanine Green) FDA 승인을 받아 근적외선 형광 염료를 이용한 감시림프절의 탐색이 임상에서 사용될 수 있는 길이 마련된 상태이다.

한편, 상기와 같은 정확한 감시림프절의 탐색과 함께, 실제 종양을 제거하는 수술을 시행할 때, 집도의가 실제 환자의 수술 부위를 보며 수술할 때 상기와 같이 탐색된 감시림프절과 실제 환자의 수술 부위와 매칭시켜야 절제하여야할 범위를 결정할 수 있다.

이는, 암세포가 전이된 감시림프절까지 절제하지 않고 일부 남는 경우 수술 이후에 암세포의 전이가 발생하여 재수술을 시행하게 되는 문제가 있고, 필요 이상으로 넓은 범위의 절제가 이루어지는 경우 해당 장기의 기능 저하 등으로 인해 환자의 삶의 질을 저하시키는 문제가 있어, 감시림프절의 정확한 탐색 뿐만 아니라 수술시 정확한 절제가 이루어져야 한다.

이에, 수술시 근적외선 형광 염료(Fluorescent dye)를 암세포에 주입하고, 가시광 카메라와 근적외선 형광 카메라로 수술 부위를 촬영하고, 가시광 영상과 근적외선 영상을 정합하여 수술실에 설치된 모니터에 표시해주는 방법이 제안되고 있다.

그런데, 도 1에 도시된 바와 같이, 집도의는 수술실에 설치된 모니터에 나타난 형광 영상 부위를 눈으로 확인하고, 다시 수술대에 누워있는 환자의 수술 부위를 보면서 수술을 진행하게 되어, 두 곳을 번갈아 주시하며 수술하여야 하는 불편함이 있다. 특히, 환자의 실제 수술 부위를 주시할 때 형광 부분이 확인되지 않아 정확한 절제가 이루어질 수 없는 한계가 있다.

이와 같은 문제점을 해소하기 위해, 한국등록특허 제10-1355348호에서는 '수술 유도영상 시스템 및 그 방법'에서는 미리 촬영된 CT, MRI, X-ray로 촬영된 환자의 환부영상을 집도의가 착용하는 안경 형태의 투명 디스플레이에 표시하고, 집도의가 투명 디스플레이에 표시된 환부영상과 투명 디스플레이를 투과하여 오는 실제 환부를 함께 보면서 수술을 진행하는 기술을 개시하고 있다.

상기 한국등록특허에 개시된 방법은 미리 촬영된 환부영상과 집도의가 투명 디스플레이를 통해 보는 실제 환부를 일치시키기 위해 자이로센서를 이용하거나 환자의 특정 부위를 기준점으로 하여 환부영상을 변환하고 있다.

그런데, 자이로센서 등을 이용하여 집도의의 움직임을 감지하는 경우, 환자의 움직임을 반영할 수 없어 환부영상을 실제 영상에 정확히 일치시킬 수 없는 단점이 있다.

또한, 미리 촬영된 환부영상을 이용하는 경우, 환자의 수술 부위, 즉 환부에 위치적인 변화가 생기거나 수술 중 장기 등을 움직이게 되면 환부영상이 실제 환부와 정확히 일치하지 않게 되고, 이는 집도의가 환부를 정확하게 인식하는데 오히려 방해가 될 우려가 있다.

이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 감시림프절을 포함하여 암세포가 전이된 절제 부위를 집도의가 실시간으로 시각적으로 화면하면서 수술을 진행할 수 있는 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법을 제공하는데 그 목적이 있다.

또한, 근적외선 형광 영상이 환자의 실제 수술 부위에 표시되는 것과 같은 효과를 제공하여 집도의가 환자의 수술 부위에만 자신의 시야를 집중하여 수술 부위를 확인하면서 수술을 진행할 수 있는 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법을 제공하는데 또 다른 목적이 있다.

상기 목적은 본 발명에 따라, 수술 지원 영상을 제공하는 스마트 글라스 시스템에 있어서, 영상 처리 모듈과, 영상이 표시되는 투명 디스플레이부와, 가시광 카메라와, 상기 가시광 카메라에 의해 촬영된 가시광 영상을 무선 통신을 통해 상기 영상 처리 모듈로 전송하는 글라스 통신부를 갖는 스마트 글라스와, 근적외선 카메라와, 상기 근적외선 카메라 모듈에 의해 촬영된 근적외선 형광 영상을 상기 영상 처리 모듈로 전송하는 모듈 통신부를 갖는 근적외선 촬영 모듈을 포함하고; 상기 영상 처리 모듈은 상기 가시광 영상에 기초하여 상기 근적외선 형광 영상을 상기 가시광 영상의 촬영 방향 및 사이즈 중 적어도 하나로 실시간으로 변환하여 실시간 변환 형광 영상을 생성하고, 상기 실시간 변환 형광 영상을 상기 스마트 글라스로 전송하며; 상기 스마트 글라스의 상기 투명 디스플레이부에는 상기 글라스 통신부를 통해 수신되는 상기 실시간 변환 형광 영상이 표시되어, 상기 스마트 글라스를 착용한 집도의의 시야에 상기 실시간 변환 형광 영상이 오버랩되는 것을 특징으로 하는 수술 지원 영상을 제공하는 스마트 글라스 시스템에 의해서 달성된다.

여기서, 환자의 수술 부위 주변의 상기 근적외선 카메라 및 상기 가시광 카메라에 의해 촬영 가능한 위치에는 적어도 3개의 컬러 형광 마커가 기하학적 구조로 배치되고; 상기 영상 처리 모듈은 상기 가시광 영상 및 상기 근적외선 형광 영상으로부터 각각 상기 컬러 형광 마커를 추출하고; 상기 근적외선 형광 영상으로부터 추출된 상기 컬러 형광 마커의 위치가 상기 가시광 영상으로부터 추출된 상기 컬러 형광 마커의 위치에 겹쳐지도록 상기 근적외선 형광 영상을 변환하여 상기 실시간 변환 형광 영상을 생성할 수 있다.

또한, 상기 근적외선 촬영 모듈은 집도의가 머리에 착용 가능한 헤드 마운트 형태로 마련될 수 있다.

그리고, 상기 근적외선 촬영 모듈은 상기 근적외선 카메라에 의한 상기 근적외선 형광 영상의 촬영이 가능하게 근적외선을 조사하는 근적외선 광원을 더 포함할 수 있다.

그리고, 상기 가시광 카메라는 상기 스마트 글라스를 착용할 때 집도의의 시선에 대응하는 위치를 촬영 가능하게 상기 스마트 글라스에 설치될 수 있다.

한편, 상기 목적은 본 발명의 다른 실시 형태에 따라, 영상이 표시되는 투명 디스플레이부와, 가시광 카메라와, 글라스 통신부를 갖는 스마트 글라스를 이용한 수술 지원 영상 제공 방법에 있어서, (a) 상기 가시광 카메라에 의해 가시광 영상이 실시간으로 촬영되는 단계와; (b) 상기 가시광 영상이 상기 글라스 통신부를 통해 영상 처리 모듈로 전송되는 단계와; (c) 근적외선 카메라에 의해 근적외선 형광 영상이 촬영되는 단계와; (d) 상기 근적외산 형광 영상이 상기 영상 처리 모듈로 전송되는 단계와; (e) 상기 영상 처리 모듈에서 상기 가시광 영상에 기초하여 상기 근적외선 형광 영상이 상기 가시광 영상의 촬영 방향 및 사이즈 중 적어도 하나로 실시간으로 변환되어 실시간 변환 형광 영상이 생성되는 단계와; (f) 상기 실시간 변환 형광 영상이 상기 영상 처리 모듈로부터 상기 스마트 글라스로 전송되는 단계와; (g) 상기 스마트 글라스의 상기 투명 디스플레이부에는 상기 글라스 통신부를 통해 수신되는 상기 실시간 변환 형광 영상이 표시되는 단계를 포함하는 것을 특징으로 하는 스마트 글라스를 이용한 수술 지원 영상 제공 방법에 의해서도 달성된다.

여기서, 환자의 수술 부위 주변의 상기 근적외선 카메라 및 상기 가시광 카메라에 의해 촬영 가능한 위치에는 적어도 3개의 컬러 형광 마커가 기하학적 구조로 배치되고; 상기 (e) 단계는 (e1) 상기 가시광 영상 및 상기 근적외선 형광 영상으로부터 각각 상기 컬러 형광 마커를 추출하는 단계와; (e2) 상기 근적외선 형광 영상으로부터 추출된 상기 컬러 형광 마커의 위치가 상기 가시광 영상으로부터 추출된 상기 컬러 형광 마커의 위치에 겹쳐지도록 상기 근적외선 형광 영상을 변환하여 상기 실시간 변환 형광 영상을 생성하는 단계를 포함할 수 있다.

또한, 상기 근적외선 카메라는 집도의가 머리에 착용 가능한 헤드 마운트 형태로 마련될 수 있다.

상기와 같은 구성에 따라 본 발명에 따르면, 감시림프절을 포함하여 암세포가 전이된 절제 부위를 집도의가 실시간으로 시각적으로 화면하면서 수술을 진행할 수 있는 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법이 제공된다.

또한, 근적외선 형광 영상이 환자의 실제 수술 부위에 표시되는 것과 같은 효과를 제공하여 집도의가 환자의 수술 부위에만 자신의 시야를 집중하여 수술 부위를 확인하면서 수술을 진행할 수 있게 된다.

도 1은 종래의 수술실의 수술 환경의 예를 나타낸 도면이고,
도 2는 본 발명에 따른 수술 지원 영상을 제공하는 스마트 글라스 시스템의 구성을 나타낸 도면이고,
도 3은 본 발명에 따른 스마트 글라스의 구성의 예를 나타낸 도면이고,
도 4는 본 발명에 따른 영상 처리 모듈의 구성의 예를 나타낸 도면이고,
도 5 및 도 6은 스마트 글라스를 이용한 수술 지원 영상 제공 방법을 설명하기 위한 도면이고,
도 7은 본 발명에 따른 스마트 글라스를 이용한 수술 지원 영상 제공 방법에 의해 제공되는 실제 영상의 예를 나타낸 도며이다.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.

도 2는 본 발명에 따른 수술 지원 영상을 제공하는 스마트 글라스 시스템의 구성을 나타낸 도면이다. 도 2에 도시된 바와 같이, 본 발명에 따른 스마트 글라스 시스템은 스마트 글라스(100), 근적외선 촬영 모듈(200) 및 영상 처리 모듈(310)을 포함한다.

스마트 글라스(100)는, 도 1에 도시된 바와 같이, 집도의가 착용 가능한 안경 형태로 마련된다. 즉, 스마트 글라스(100)는 뼈대를 이루는 글라스 프레임(150)과, 글라스 프레임(150)의 착용시 사람의 눈 전방에 위치하도록 글라스 프레임(150)에 고정되는 렌즈(160)를 포함할 수 있다.

또한, 스마트 글라스(100)는, 도 3에 도시된 바와 같이, 투명 디스플레이부(110), 가시광 카메라(120) 및 글라스 통신부(140)를 포함한다. 또한, 스마트 글라스(100)는 투명 디스플레이부(110), 가시광 카메라(120) 및 글라스 통신부(140)의 재기능을 제어하는 글라스 제어부(130)를 포함할 수 있다.

투명 디스플레이부(110)는 투명한 재질로 마련되어 표면에 영상을 표시한다. 본 발명에서는 투명 디스플레이부(110)가 스마트 글라스(100)를 구성하는 렌즈(160) 전체로 구성되는 것을 예로 하나, 렌즈(160)의 일부 영역에만 투명 디스플레이부(110)가 마련될 수 있음은 물론이다.

투명 디스플레이부(110)의 구성에 따라 집도의가 스마트 글라스(100)를 착용한 상태나 투명 디스플레이부(110)에 영상이 표시된 상태에서도 투명 디스플레이부(110)를 투과하여 들어오는 실제 영상, 즉 집도의 눈으로 보는 실제 영상을 투명 디스플레이부(110)에 표시되는 영상과 함께 볼 수 있게 된다. 즉, 투명 디스플레이부(110)에 영상이 표시되는 경우, 투명 디스플레이부(110)에 표시된 영상이 실제 영상에 오버랩되어 표시되는 효과를 얻을 수 있게 된다.

가시광 카메라(120)는 스마트 글라스(100)에 설치되어 가시광 영상을 촬영한다. 본 발명에서는 도 2에 도시된 바와 같이, 가시광 카메라(120)가 스마트 글라스(100)의 글라스 프레임(150)에 설치되는 것을 예로 하는데, 스마트 글라스(100)의 착용시 집도의의 눈의 주시 방향과 동일한 주시 방향으로 가시광 영상을 촬영하도록 설치된다. 이를 통해, 가시광 카메라(120)에 의해 촬영된 가시광 영상의 경우 집도의가 바라보는 실제 영상과 일치하게 되는데, 이에 따른 효과에 대한 설명은 후술한다.

글라스 통신부(140)는 무선 통신을 통해 영상 처리 모듈(310)과 연결된다. 본 발명에서는 글라스 통신부(140)가 TCP/IP 기반의 Wi-fi 통신이나 블루투스 통신을 통해 영상 처리 모듈(310)과 통신하는 것을 예로 하며, 이외에 다른 방식의 무선 통신이 적용 가능함은 물론이다.

상기와 같은 구성에 따라, 글라스 제어부(130)는 가시광 카메라(120)를 통해 촬영된 가시광 영상을 실시간으로 글라스 통신부(140)를 통해 영상 처리 모듈(310)로 전송하고, 영상 처리 모듈(310)로부터 전송되어 글라스 통신부(140)를 통해 수신되는 실시간 변환 형광 영상을 투명 디스플레이부(110)에 표시하게 되는데, 이에 대한 상세한 설명은 후술한다.

한편, 근적외선 촬영 모듈(200)은, 도 3에 도시된 바와 같이, 근적외선 카메라(210)와, 모듈 통신부(230)를 포함할 수 있다.

근적외선 카메라(210)는 환자의 수술 부위의 근적외선 형광 영상을 촬영한다. 그리고, 모듈 통신부(230)는 근적외선 카메라(210)에 의해 촬영된 근적외선 형광 영상을 영상 처리 모듈(310)로 전송한다.

본 발명에서는 근적외선 촬영 모듈(200)이, 도 2에 도시된 바와 같이, 집도의가 머리에 착용 가능한 헤드 마운트 형태로 마련되는 것을 예로 한다. 이에 따라, 집도의는 스마트 글라스(100)를 안경 형태로 착용하고, 헤드 마운트 형태의 근적외선 촬영 모듈(200)을 머리에 착용한 상태에서 수술을 진행하게 된다.

또한, 도 2 및 도 3에 도시된 바와 같이, 근적외선 카메라(210)에 의해 근적외선 형광 영상의 촬영이 가능하게 근적외선을 조사하는 근적외선 광원(220)이 헤드 마운트 형태의 근적외선 촬영 모듈(200)에 설치되는 것을 예로 한다.

도 2 및 도 3에 도시된 실시예에서는 스마트 글라스(100)와 근적외선 촬영 모듈(200)이 각각 독립적인 디바이스로 구성되는 것을 예로 하고 있다. 이외에도, 헤드 마운트 형태의 근적외선 촬영 모듈(200)과 스마트 글라스(100)가 하나의 디바이스 형태로 마련될 수 있음은 물론이다. 이 때, 도 3에 도시된 바와 같이, 독립적으로 구성되었던 글라스 통신부(140)와 모듈 통신부(230)는 하나의 통신 모듈(400)로 통합되고, 근적외선 카메라(210)에 의해 촬영된 근적외선 형광 형상이 글라스 제어부(130)의 제어에 따라 하나의 통신 모듈(400)을 통해 영상 처리 모듈(310)로 전송되도록 마련될 수 있다. 또한, 근적외선 광원(220)의 온오프 또한 글라스 제어부(130)의 제어에 따라 동작하도록 마련될 수 있다.

한편, 영상 처리 모듈(310)은 스마트 글라스(100)로부터 전송되는 가시광 영상과, 근적외선 촬영 모듈(200)로부터 전송되는 근적외선 형광 영상을 처리하여 스마트 글라스(100)의 투명 디스플레이부(110)에 표시될 실시간 변환 형광 영상을 생성한다.

본 발명에서는 영상 처리 모듈(310)과 현장 디스플레이부(320)가, 도 2에 도시된 바와 같이, 컴퓨터와 같은 정보처리장치(300)로 구성되는 것을 예로 한다. 도 4는 본 발명에 따른 영상 처리 모듈(310)의 구성의 예를 나타낸 도면이다. 도 4에 도시된 바와 같이, 영상 처리 모듈(310)은 제1 통신부(311), 제2 통신부(312), 영상 정합부(314) 및 메인 제어부(313)를 포함할 수 있다.

제1 통신부(311)는 스마트 글라스(100)의 글라스 통신부(140)와 무선 통신을 통해 연결되어 스마트 글라스(100)로부터 전송되는 가시광 영상을 수신하고, 스마트 글라스(100)로 실시간 변환 형광 영상을 전송한다. 제2 통신부(312)는 근적외선 촬영 모듈(200)의 모듈 통신부(230)와 연결되어, 근적외선 촬영 모듈(200)로부터 전송되는 근적외선 형광 영상을 수신한다.

여기서, 전술한 바와 같이, 스마트 글라스(100)와 근적외선 촬영 모듈(200)이 독립적인 디바이스 형태로 마련되는 경우에는 제1 통신부(311) 및 제2 통신부(312)가 스마트 글라스(100)의 글라스 통신부(140)와 근적외선 촬영 모듈(200)의 모듈 통신부(230)의 통신 방식에 맞춰 각각 마련될 수 있다. 예를 들어, 제1 통신부(311)는 상술한 바와 같이 무선 통신을 통해 글라스 통신부(140)와 연결될 수 있고, 제2 통신부(312)는 유선 통신 또는 무선 통신을 통해 모듈 통신부(230)와 연결될 수 있다.

또한, 스마트 글라스(100)의 글라스 통신부(140)와 근적외선 촬영 모듈(200)의 모듈 통신부(230)가, 도 3에 도시된 바와 같이, 하나의 통신 모듈(400)로 마련되거나 독립적으로 마련되더라도 동일한 통신 방식을 사용하는 경우, 제1 통신부(311)와 제2 통신부(312)가 하나의 통신 모듈로 마련될 수 있다.

다시, 도 4를 참조하여 설명하면, 영상 정합부(314)는 제1 통신부(311)를 통해 수신되는 가시광 영상에 기초하여, 제2 통신부(312)를 통해 수신되는 근적외선 형광 영상을 가시광 영상의 촬영 방향 및 사이즈 중 적어도 하나로 실시간으로 변환하여 실시간 변환 형광 영상을 생성한다.

상술한 바와 같이, 가시광 카메라(120)는 집도의의 눈의 주시 방향과 동일한 주시 방향으로 가시광 영상을 촬영하도록 마련되어 가시광 카메라(120)에 의해 촬영된 가시광 영상은 집도의가 바라보는 실제 영상과 일치될 수 있다.

반면, 근적외선 카메라(210)의 경우 그 설치 위치가 상이하여 가시광 카메라(120)에 의해 촬영된 영상과 그 촬영 방향이나 크기, 즉 수술 부위와의 거리가 달라지게 된다. 따라서, 집도의의 시선에 근적외선 카메라(210)에 의해 촬영된 근적외선 형광 형상을 맞추기 위해, 집도의의 시선에 대응하는 가시광 영상에 맞춰 근적외선 형광 영상을 변환하게 된다.

본 발명에서는 환자의 수술 부위 주변의 근적외선 카메라(210) 및 가시광 카메라(120)에 의해 촬영 가능한 위치에 적어도 3개의 컬러 형광 마커가 기하학적 구조로 배치되고, 이를 이용하여 영상 처리 모듈(310)의 영상 정합부(314)가 근적외선 형광 영상을 변환하여 실시간 변환 형광 영상을 생성하는 것을 예로 하는데, 이하에서, 도 5 내지 도 7을 참조하여 보다 구체적으로 설명한다.

먼저, 수술이 진행될 때, 상술한 바와 같이, 가시광 카메라(120)에 의해 가시광 영상이 촬영되고(S10), 근적외선 카메라(210)에 의해 근적외선 형광 영상이 촬영된다(S30). 가시광 카메라(120)에 의해 촬영된 가시광 영상과, 근적외선 카메라(210)에 의해 촬영된 근적외선 형광 영상은 영상 처리 모듈(310)로 전송된다(S11,S31).

영상 처리 모듈(310)의 영상 정합부(314)는 가시광 영상과 근적외선 형광 영상으로부터 컬러 형광 마커를 추출한다(S20). 컬러 형광 마커는 컬러 형광 물질로 이루어져, 가시광 영상에서는 형광 컬러 마커의 컬러에 기초하여 컬러 형광 마커의 위치를 추출하게 되고, 근적외선 형광 영상에서는 형광 컬러 마커의 형광 물질에 기초하여 컬러 형광 마커의 위치를 추출하게 된다.

본 발명에서는 도 6에 도시된 바와 같이, 3개의 컬러 형광 마커가 환자의 수술 주변에 삼각형의 기하학적 구조로 배치되는 것을 예로 하고 있으며, 도 6의 (a)는 가시광 영상에서 추출된 컬러 형광 마커(M1)의 위치를 나타낸 것이고, 도 6의 (b)는 근적외선 형광 영상에서 추출된 컬러 형광 마커(M2)의 위치를 나타낸 것이다.

도 6에 도시된 바와 같이, 가시광 카메라(120)와 근적외선 형광 카메라의 위치가 상이함에 따라 가시광 영상과 근적외선 형광 영상에서의 컬러 형광 마커(M1,M2)가 일치하지 않게 되는데, 이 때, 근적외선 형광 영상으로부터 추출된 컬러 형광 마커(M2)의 위치가 가시광 영상으로부터 추출된 컬러 형광 마커(M1)의 위치에 겹쳐지도록 근적외선 형광 영상을 변환하게 된다.

예를 들어, 도 6의 (b)에 도시된 근적외선 형광 영상을 반시계 방향으로 일정 각도 회전시키는 경우, 근적외선 형광 영상으로부터 추출된 컬러 형광 마커(M2)가 가시광 영상으로부터 추출된 컬러 형광 마커(M1)에 일치하게 된다.

여기서, 근적외선 형광 영상의 변환는 3축을 중심으로 회전 변환되거나, 사이즈의 변환이 가능하며, 3축으로 이동하는 변환도 가능하게 된다. 이는 컬러 형광 마커 간의 기하학적 관계, 즉, 거리, 각도 등의 기하학적 관계를 통해 산출 가능하게 된다.

상기와 같이, 근적외선 형광 영상이 변환하게 되면, 집도의의 시선과 일치하는 실시간 변환 형광 영상이 생성된다(S22). 이 때, 실시간 변환 형광 영상은 원본 형태의 근적외선 형광 영상을 집도의가 시각적으로 쉽게 인식할 수 있도록 기 공지된 다양한 형태의 영상 처리 과정을 거칠 수 있다.

상기와 같이 생성 완료된 실시간 변환 형광 영상은 메인 제어부(313)가 제1 통신부(311)를 통해 스마트 글라스(100)로 전송하게 되고(S23), 스마트 글라스(100)의 글라스 제어부(130)는 글라스 통신부(140)를 통해 수신되는 실시간 변환 형광 영상을 투명 디스플레이부(110)에 표시(S12)하게 된다.

상기와 같이 실시간 변환 형광 영상의 투명 디스플레이부(110)에 표시되면, 집도의는 투명 디스플레이부(110)에 표시된 실시간 변환 형광 영상을 보면서 투명 디스플레이부(110) 너머의 실제 환자의 수술 부위를 보게 됨으로써, 환자의 실제 수술 부위에 투명 디스플레이부(110)에 표시된 실시간 변환 형광 영상이 오버랩된 것으로 시각적으로 인식하게 됨으로써, 환자의 실제 수술 부위에 컬러의 형광 물질이 표지된 것과 같은 동일한 효과를 얻을 수 있게 된다.

도 7의 (a)는 투명 디스플레이부(110)에 실시간 변환 형광 영상이 표시되지 않았을 때 집도의의 눈에 보이는 환자의 수술 부위이고, 도 7의 (b)는 투명 디스플레이부(110)에 표시되는 실시간 변환 형광 영상이고, 도 7의 (c)는 투명 디스플레이부(110)에 실시간 변환 형광 영상이 표시된 상태에서 집도의의 눈에 보이는 환자의 수술 부위이다. 도 7의 (c)에 도시된 바와 같이, 집도의는 환자의 수술 부위에 형광 물질이 실제 표시된 것과 같은 느낌으로 수술을 진행할 수 있게 되어, 수술실에 비치된 모니터의 화면을 보면서 수술을 진행하였던 기존의 방식에서 오는 불편함을 해소할 수 있게 된다.

또한, 수술 중에 집도의가 움직이더라도, 집도의의 움직임에 따라 변하는 집도의의 시선이 가시광 카메라(120)에 의해 촬영된 가시광 영상에 기초하여 근적외선 형광 영상이 보정됨으로써, 근적외선 형광 영상의 보다 정확한 표시가 가능하게 된다.

여기서, 메인 제어부(313)는 S22 단계에서 생성된 실시간 변환 형광 영상과, 가시광 영상은 서로 정합하여, 수술 현장에 설치된 현장 디스플레이부(320)에 표시함으로써, 수술 현장의 다른 인력이나 집도의가 부가적으로 이를 확인하도록 마련될 수 있다.

또한, 전술한 실시예들에서는 근적외선 광원(220)이, 도 2에 도시된 바와 같이 헤드 마운트 형태의 근적외선 촬영 모듈(200)에 설치되는 것을 예로 하고 있으나, 근적외선 촬영 모듈(200) 외부, 예를 들어, 수술실 내부에 특정 공간에 설치될 수도 있다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

100 : 스마트 글라스 110 : 투명 디스플레이부
120 : 가시광 카메라 130 : 글라스 제어부
140 : 글라스 통신부 150 : 글라스 프레임
160 : 렌즈 200 : 근적외선 촬영 모듈
210 : 근적외선 카메라 220 : 근적외선 광원
230 : 모듈 통신부 300 : 정보처리장치
310 : 영상 처리 모듈 311 : 제1 통신부
312 : 제2 통신부 313 : 메인 제어부
314 : 영상 정합부 320 : 현장 디스플레이부
400 : 통신 모듈

Claims

수술 지원 영상을 제공하는 스마트 글라스 시스템에 있어서,
영상 처리 모듈과,
영상이 표시되는 투명 디스플레이부와, 가시광 카메라와, 상기 가시광 카메라에 의해 촬영된 가시광 영상을 무선 통신을 통해 상기 영상 처리 모듈로 전송하는 글라스 통신부를 갖는 스마트 글라스와,
근적외선 카메라와, 상기 근적외선 카메라 모듈에 의해 촬영된 근적외선 형광 영상을 상기 영상 처리 모듈로 전송하는 모듈 통신부를 갖는 근적외선 촬영 모듈을 포함하고;
상기 영상 처리 모듈은
상기 스마트 글라스를 착용한 집도의의 움직임이 상기 근적외선 형광 영상에 반영되도록 상기 가시광 영상에 기초하여 상기 근적외선 형광 영상을 상기 가시광 영상의 촬영 방향 및 사이즈 중 적어도 하나로 실시간으로 변환하여 실시간 변환 형광 영상을 생성하고, 상기 실시간 변환 형광 영상을 상기 스마트 글라스로 전송하며;
상기 스마트 글라스의 상기 투명 디스플레이부에는 상기 글라스 통신부를 통해 수신되는 상기 실시간 변환 형광 영상이 표시되며;
상기 집도의의 시야에 상기 투명 디스플레이부에 표시된 상기 실시간 변환 형광 영상이 오버랩되어 상기 집도의가 주시하는 환자의 수술 부위에 형광 물질이 표시된 것 같은 시각적 효과가 제공되는 것을 특징으로 하는 수술 지원 영상을 제공하는 스마트 글라스 시스템.
제1항에 있어서,
환자의 수술 부위 주변의 상기 근적외선 카메라 및 상기 가시광 카메라에 의해 촬영 가능한 위치에는 적어도 3개의 컬러 형광 마커가 기하학적 구조로 배치되고;
상기 영상 처리 모듈은
상기 가시광 영상 및 상기 근적외선 형광 영상으로부터 각각 상기 컬러 형광 마커를 추출하고;
상기 근적외선 형광 영상으로부터 추출된 상기 컬러 형광 마커의 위치가 상기 가시광 영상으로부터 추출된 상기 컬러 형광 마커의 위치에 겹쳐지도록 상기 근적외선 형광 영상을 변환하여 상기 실시간 변환 형광 영상을 생성하는 것을 특징으로 하는 수술 지원 영상을 제공하는 스마트 글라스 시스템.
제2항에 있어서,
상기 근적외선 촬영 모듈은 집도의가 머리에 착용 가능한 헤드 마운트 형태로 마련되는 것을 특징으로 하는 수술 지원 영상을 제공하는 스마트 글라스 시스템.
제3항에 있어서,
상기 근적외선 촬영 모듈은 상기 근적외선 카메라에 의한 상기 근적외선 형광 영상의 촬영이 가능하게 근적외선을 조사하는 근적외선 광원을 더 포함하는 것을 특징으로 하는 수술 지원 영상을 제공하는 스마트 글라스 시스템.
제1항에 있어서,
상기 가시광 카메라는 상기 스마트 글라스를 착용할 때 집도의의 시선에 대응하는 위치를 촬영 가능하게 상기 스마트 글라스에 설치되는 것을 특징으로 하는 수술 지원 영상을 제공하는 스마트 글라스 시스템.
영상이 표시되는 투명 디스플레이부와, 가시광 카메라와, 글라스 통신부를 갖는 스마트 글라스를 이용한 수술 지원 영상 제공 방법에 있어서,
(a) 상기 가시광 카메라에 의해 가시광 영상이 실시간으로 촬영되는 단계와;
(b) 상기 가시광 영상이 상기 글라스 통신부를 통해 영상 처리 모듈로 전송되는 단계와;
(c) 근적외선 카메라에 의해 근적외선 형광 영상이 촬영되는 단계와;
(d) 상기 근적외선 형광 영상이 상기 영상 처리 모듈로 전송되는 단계와;
(e) 상기 스마트 글라스를 착용한 집도의의 움직임이 상기 근적외선 형광 영상에 반영되도록 상기 영상 처리 모듈에서 상기 가시광 영상에 기초하여 상기 근적외선 형광 영상이 상기 가시광 영상의 촬영 방향 및 사이즈 중 적어도 하나로 실시간으로 변환되어 실시간 변환 형광 영상이 생성되는 단계와;
(f) 상기 실시간 변환 형광 영상이 상기 영상 처리 모듈로부터 상기 스마트 글라스로 전송되는 단계와;
(g) 상기 스마트 글라스의 상기 투명 디스플레이부에는 상기 글라스 통신부를 통해 수신되는 상기 실시간 변환 형광 영상이 표시되는 단계를 포함하며,
상기 (g) 단계에서는 상기 집도의의 시야에 상기 투명 디스플레이부에 표시된 상기 실시간 변환 형광 영상이 오버랩되어 상기 집도의가 주시하는 환자의 수술 부위에 형광 물질이 표시된 것 같은 시각적 효과가 제공되는 것을 특징으로 하는 스마트 글라스를 이용한 수술 지원 영상 제공 방법.
제6항에 있어서,
환자의 수술 부위 주변의 상기 근적외선 카메라 및 상기 가시광 카메라에 의해 촬영 가능한 위치에는 적어도 3개의 컬러 형광 마커가 기하학적 구조로 배치되고;
상기 (e) 단계는
(e1) 상기 가시광 영상 및 상기 근적외선 형광 영상으로부터 각각 상기 컬러 형광 마커를 추출하는 단계와;
(e2) 상기 근적외선 형광 영상으로부터 추출된 상기 컬러 형광 마커의 위치가 상기 가시광 영상으로부터 추출된 상기 컬러 형광 마커의 위치에 겹쳐지도록 상기 근적외선 형광 영상을 변환하여 상기 실시간 변환 형광 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 스마트 글라스를 이용한 수술 지원 영상 제공 방법.
제7항에 있어서,
상기 근적외선 카메라는 집도의가 머리에 착용 가능한 헤드 마운트 형태로 마련되는 것을 특징으로 하는 스마트 글라스를 이용한 수술 지원 영상 제공 방법.
제6항에 있어서,
상기 가시광 카메라는 상기 스마트 글라스를 착용할 때 집도의의 시선에 대응하는 위치를 촬영 가능하게 상기 스마트 글라스에 설치되는 것을 특징으로 하는 스마트 글라스를 이용한 수술 지원 영상 제공 방법.