KR101513032B1

KR101513032B1 - 현미경 시스템 및 현미경 시스템의 증강 현실 이미지 제공 방법

Info

Publication number: KR101513032B1
Application number: KR1020130111636A
Authority: KR
Inventors: 김지현; 이창호; 한승훈; 김세희; 김철홍
Original assignee: 경북대학교 산학협력단; 포항공과대학교 산학협력단
Priority date: 2013-09-17
Filing date: 2013-09-17
Publication date: 2015-04-17
Also published as: KR20150031874A; WO2015041446A1

Abstract

현미경 시스템이 개시된다. 본 시스템은 피검체의 표면 이미지를 수집하는 광학현미경부, 피검체의 광간섭단층(Optical coherence tomography)이미지를 수집하기 위한 OCT부, 피검체의 광음향(Photoacoustic) 이미지를 수집하기 위한 PA부, 표면 이미지에 광간섭단층 이미지 및 광음향 이미지를 중첩시켜 증강 현실 이미지를 생성하는 이미지 처리부 및 증강 현실 이미지를 볼 수 있는 이미지 관찰부를 포함한다.

Description

현미경 시스템 및 현미경 시스템의 증강 현실 이미지 제공 방법{MICROSCOPE SYSTEM AND METHOD OF PROVIDING AUGMENTED REALITY IMAGE USING MICROSCOPE SYSTEM}

본 발명은 현미경 시스템 및 현미경 시스템의 증강 현실 이미지 제공 방법에 관한 것으로, 보다 상세하게는 중첩된 이미지를 제공하는 현미경 시스템 및 그의 제공 방법에 관한 것이다.

수술용 현미경은 환자의 환부를 고배율로 확대시켜주는 장치로서, 일반적으로 시술자는 확대된 환부의 표면 이미지를 수술용 현미경의 접안렌즈부를 통해 확인할 수 있다.

그런데 종래의 수술용 현미경으로 집도를 할 경우, 시술자는 접안렌즈를 통해 환부의 표면 이미지만을 보고 집도를 하게 되어, 생체 단층을 구분하는 것에는 어려움이 있었고, 또한, 생체의 여러 층에서 발생하는 명암 차이 때문에 생체 조직 간의 구분이 쉽지 않기 때문에, 일반적으로 환부를 절개한 후, 수술 도구를 넣어 이를 확인 하는 작업이 필요하였다. 이러한 경우 필연적으로 생체에 상처를 내야한다는 단점이 있었다.

상술한 문제점과 관련하여, 생체에 상처를 내지 않고도 생체 내의 단층 영상 및 횡단면 영상을 얻을 수 있는 광간섭단층(Optical coherence tomography;OCT) 이미지 장치 또는 조직의 광흡수 분포도를 통해 조직의 형태와 생리적인 변화를 알 수 있는 광음향(Photoacoustic;PA) 이미지 장치를 이용할 수 있었다.

하지만, 시술시, 위와 같은 OCT 이미지 및 PA 이미지 장치를 구비하고 있다 하더라도, 시술자는 시술 도중에 현미경의 접안 렌즈로부터 시선을 이동시켜야지만 OCT 이미지 또는 PA 이미지를 확인할 수 있다는 번거로움이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 광간섭단층 및 광음향 이미지가 중첩된 증강 현실 이미지를 제공하는 현미경 시스템 및 그 제공 방법을 제공함에 있다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 현미경 시스템은 피검체의 표면 이미지를 수집하는 광학현미경부, 상기 피검체의 광간섭단층(Optical coherence tomography)이미지를 수집하기 위한 OCT부, 상기 피검체의 광음향(Photoacoustic) 이미지를 수집하기 위한 PA부, 상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시켜 증강 현실 이미지를 생성하는 이미지 처리부 및 상기 증강 현실 이미지를 볼 수 있는 이미지 관찰부를 포함한다.

이 경우,상기 이미지 관찰부는 상기 피검체의 하측에 배치된 제1 광원으로부터 발산된 제1 광을 이용하여 상기 피검체의 표면이미지를 직접적으로 관찰할 수 있는 접안 렌즈를 포함하고, 상기 이미지 처리부는, 상기 광간섭단층 이미지 및 상기 광음향 이미지를 빔(beam)형태로 출력하는 빔 프로젝터(beam projector) 및 상기 광학현미경부의 접안렌즈와 대물렌즈 사이에 배치되어, 상기 빔 프로젝터로부터 출력된 상기 빔을 반사시켜 상기 접안렌즈로 유도하여 상기 표면 이미지에 중첩시키는 제1 빔 스플리터(beam splitter)를 포함할 수 있다.

한편, 상기 광학현미경부는 상기 표면이미지를 촬영하기 위한 CCD 카메라(Charge-coupled device camera)를 포함하며, 상기 이미지 처리부는 상기 CCD 카메라로 촬영된 상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시키며, 상기 이미지 관찰부는 평면 디스플레이 패널일 수 있다.

한편, 상기 현미경 시스템은 상기 광간섭단층 이미지를 수집하기 위한 제2 광 및 상기 광음향 이미지를 수집하기 위한 제3 광을 반사시켜 상기 피검체로 유도하는 제2 빔 스플리터 및 상기 광간섭단층 이미지 및 상기 광음향 이미지를 수집하기 위해, 상기 제2 빔 스플리터에서 반사된 상기 제2 광 및 상기 제3 광을 이용해 상기 피검체를 스캐닝(scanning)하는 스캐닝 부를 더 포함하며, 상기 제2 빔 스플리터는 상기 광학현미경부의 대물렌즈와 상기 피검체 사이에 배치되며, 가시광 영역의 빛은 통과시킬 수 있다.

이 경우, 상기 제3 광은 상기 광음향 이미지를 수집하기 위한 것이고, 상기 제3 광이 펄스 레이저, 광대역 파장 펄스 레이저, 연속파 레이저 또는 퍼스 마이크로파일 수 있다.

한편, 상기 제2 광과 상기 제3 광은 동일한 광원에서 발생 되는 것일 수 있다.

한편, 상기 스캐닝 부는, 광경로 변경장치로서, 갈바노메터 스캐너, 회전 다면경 스캐너 또는 MEMS(microelectro-mechanical system)스캐너 중 어느 하나를 포함할 수 있다.

한편, 상기 현미경 시스템은 서버 장치와 통신하기 위한 인터페이스부를 더 포함하고, 상기 OCT부 및 상기 PA부는 상기 스캐닝부의 스캐닝결과를 각각 처리하여 상기 인터페이스부를 통해 상기 서버 장치로 전송하여 상기 서버 장치에서 상기 광간섭단층 이미지 및 상기 광음향 이미지를 각각 생성하도록 할 수 있다.

한편, 상기 이미지 처리부는, 상기 피검체에서 스캐닝되는 위치와 대응되는 부분을 가리키는 표시선을 상기 표면 이미지에 추가로 중첩시킬 수 있다.

한편, 상기 현미경 시스템은 상기 이미지 관찰부에서 보여지는 증강 현실 이미지의 크기, 종류, 위치, 배율, 농도 및 시간별 영상 표시 개수 중 적어도 하나를 조정하기 위한 사용자 조작 신호를 입력받을 수 있는 사용자 인터페이스부를 더 포함할 수 있다.

한편, 상기 PA부는 광 음향 신호를 획득하기 위한 접촉식 트랜스듀서 또는 비접촉식 광학 방식인 간섭계를 포함할 수 있다.

한편, 이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 현미경 시스템의 증강 현실 이미지 제공 방법은, 피검체의 표면 이미지를 수집하는 단계, 상기 피검체의 광간섭단층(Optical coherence tomography)이미지를 수집하는 단계, 상기 피검체의 광음향(Photoacoustic)이미지를 수집하는 단계, 상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시키는 단계 및 중첩된 이미지를 제공하는 단계를 포함한다.

이 경우, 상기 현미경 시스템의 증강 현실 이미지 제공 방법은 상기 피검체의 하측에 배치된 제1 광원으로부터 발산된 제1 광을 이용하여 광학현미경부의 접안렌즈로 상기 표면 이미지를 출력하는 단계, 상기 광간섭단층 이미지 및 상기 광음향 이미지를 빔 프로젝터(beam projector)를 통해 빔(beam)형태로 출력하는 단계 및 빔 형태로 출력된 상기 광간섭단층 이미지 및 상기 광음향 이미지를 제1 빔 스플리터(beam splitter)를 이용해 반사시켜 상기 접안렌즈로 유도하여 상기 표면 이미지에 중첩시키는 단계를 더 포함할 수 있다.

한편, 상기 피검체의 표면 이미지를 수집하는 단계는, CCD 카메라(Charge-coupled device camera)로 상기 표면이미지를 촬영하는 단계이며, 상기 중첩된 이미지를 제공하는 단계는, 상기 CCD 카메라로 촬영된 상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지가 중첩된 이미지를 평면 디스플레이 패널로 제공하는 단계일 수 있다.

한편, 상기 현미경 시스템의 증강 현실 이미지 제공 방법은 제2 빔 스플리터로 상기 광간섭단층 이미지를 수집하기 위한 제2 광 및 상기 광음향 이미지를 수집하기 위한 제3 광을 반사시켜 상기 피검체로 유도하는 단계 및 상기 광간섭단층 이미지 및 상기 광음향 이미지를 수집하기 위해, 상기 제2 빔 스플리터에서 반사된 상기 제2 광 및 상기 제3 광을 이용해 상기 피검체를 스캐닝(scanning)하는 단계를 더 포함하며, 상기 제2 빔 스플리터는 상기 표면이미지를 수집하는 광학현미경부의 대물렌즈와 상기 피검체 사이에 배치되며, 가시광 영역의 빛은 통과시킬 수 있다.

한편, 상기 스캐닝하는 단계는, 갈바노메터 스캐너, 회전 다면경 스캐너 또는 MEMS(microelectro-mechanical system)스캐너 중 어느 하나를 이용하여 광경로 변경을 수행할 수 있다.

한편, 상기 현미경 시스템의 증강 현실 이미지 제공 방법은 서버 장치와 통신하는 단계 및 상기 스캐닝하는 단계에서 스캐닝된 스캐닝결과를 OCT부 및 PA부 에서 각각 처리하여 상기 서버 장치로 전송하여 상기 서버 장치에서 상기 광간섭단층 이미지 및 상기 광음향 이미지를 각각 생성하는 단계를 더 포함할 수 있다.

한편, 상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시키는 단계는, 상기 피검체에서 스캐닝되는 위치와 대응되는 부분을 가리키는 표시선을 상기 표면 이미지에 추가로 중첩시킬 수 있다.

한편, 상기 중첩된 이미지를 제공하는 단계는, 사용자 조작 신호에 의해 상기 중첩된 이미지의 크기, 종류, 위치, 배율, 농도 및 시간별 복수개 영상 표시를 제어하여 제공할 수 있다.

한편, 광음향(Photoacoustic)이미지를 수집하는 단계는, 접촉식 트랜스듀서 또는 비접촉식 광학 방식인 간섭계를 이용하여 광 음향 신호 획득을 수행할 수 있다.

이상과 같은 다양한 실시 예에 따르면, 사용자는 시선의 이동 없이도 표면이미지, 광간섭단층 이미지 및 광음향 이미지를 한번에 관찰할 수 있다. 이에 따라, 피검체 관찰과정에서의 사용자의 불편함을 해소할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 현미경 시스템의 구성을 나타내는 블럭도,
도 2는 현미경 시스템을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따라 제공된 증강현실이미지를 나타내는 도면,
도 4는 도 3의 광간섭 단층 이미지와 광음향 이미지를 나타내는 도면, 그리고
도 5는 현미경 시스템의 증강 현실 이미지 제공 방법의 흐름도를 나타낸 것이다.

이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.

도 1은 본 발명의 일 실시 예에 따른 현미경 시스템(100)의 구성을 나타내는 블럭도이다. 현미경 시스템(100)은 작은 물체나 물질을 확대해서 관찰하는 기구를 포함하는 시스템을 통칭하는 것으로서, 본 발명의 일 실시 예에 따른 현미경 시스템(100)은 광간섭단층 이미지 및 광음향 이미지를 제공하는 장치의 스캐닝 광을 기존의 현미경 장치의 샘플단과 동일한 위치로 조사시킴으로써, 피검체 표면을 고배율로 보여주는 표면이미지와 함께, 피검체 내부 광간섭단층 이미지 및 광음향 이미지를 동시에 실시간으로 모니터링 할 수 있는 장치이다.

도 1을 참고하면, 현미경 시스템(100)은 광학현미경부(110), OCT부(130), PA부(150), 이미지 처리부(170) 및 이미지 관찰부(190)를 포함한다.

광학현미경부(110)에서는, 피검체를 통과한 빛이 광학현미경부의 대물렌즈에 의해 확대된 실상을 맺게 되고, 이것이 접안렌즈를 통해 재확대된 상을 관찰할 수 있다. 따라서, 사용자는 피검체를 통과한 빛을 광학현미경부의 접안렌즈를 통해 직접적으로 보는 방식으로 확대된 피검체의 표면 관찰할 수 있거나, 중간의 CCD 카메라 등을 이용하여 디스플레이 장치를 관찰할 수도 있다.

본 발명의 일 실시 예에 따른 광학현미경부(110)에선, 피검체의 표면 이미지를 수집할 수 있는데, 구체적으로 광학현미경부(110)는 접안렌즈, 대물렌즈 및 피검체 하측에 배치되어, 피검체로 제1 광을 발산하는 제1광원을 포함한다. 그리고 광학현미경부(110)는, 접안렌즈뿐만 아니라 평면 디스플레이 패널을 통해 수집된 표면 이미지를 보기 위한 구성인, 표면 이미지를 촬영하기 위한 CCD카메라(Charge-coupled device camera)를 더 포함할 수도 있다.

OCT부(130)에서는 피검체의 광간섭단층(Optical coherence tomography)이미지를 수집할 수 있다.

광간섭단층 이미지란, 광의 간섭 현상과 공초점 현미경 원리를 조합하여 생체조직 내부의 미세 구조를 영상화한 것으로서, Fourier-Domain OCT원리를 이용하면 실시간 영상 이미지 수집도 가능하다.

OCT부(130)는, 종래에 알려진 광간섭단층 촬영장치의 기본 구성과 동일하게 구성될 수 있으며, 광 산란 콘트라스트를 이용한 생체 영상 기법을 이용한다. 그리고, 주로 근적외선대의 광원을 사용함으로써 피검체 내부의 마이크로 스케일의 단층 구조정보를 제공할 수 있다.

그리고 본 발명의 일 실시 예에 따른 OCT부(130)는 상술한 광학현미경부(110)와 유기적으로 연결될 수 있다. OCT부(130)와 광학현미경부(110)가 유기적으로 연결됨으로써, OCT부(130)에서 수집된 광간섭단층 이미지는 광학현미경부(110)에서 수집된 표면이미지와 중첩될 수 있다. 각각 이미지들의 중첩에 관해선 후술하는 부분에서 설명한다.

PA부(150)는 피검체의 광음향(Photoacoustic)이미지를 수집할 수 있고, 종래의 PAT(Photoacoustic tomography) 또는 PAM(Photoacoustic microscopy)장치로 구현될 수 있다.

광음향 이미지란, 물질이 일정한 주파수로 단속하는 빛을 흡수하면 흡수된 광에너지가 열로 변함에 따라 주위의 기체에 동일한 주파수의 음파가 발생하는 현상(광음향 효과)을 이용하여, 방출된 음파가 이미지로 변환된 것이다. 따라서 빛의 흡수체들의 분포를 맵핑할 수 있어 미세혈관 이미징 및 혈중 산소 포화농도 등의 이미지의 획득이 가능하다.

PA부(150)는, 종래에 알려진 광음향 이미지 장치의 기본 구성과 동일하게 구현될 수 있는데, 구체적으로, 펄스레이져(Pulsed Laser)를 포함하며, 펄스 레이져에서 발생된 광을 피검체에 입사시키고, 피검체 내 흡수체가 흡수한 흡수 에너지가 열로 변화되고, 나중에 압력으로 변환되면서 발생되는 광 음향 신호를 획득하는 수단으로서, 트랜스듀서(transducer)를 포함하거나, 피검체로부터 산란/반사되어 나오는 빛을 검출하는 간섭계를 포함할 수 있다. 여기서 트랜스듀서는 접촉식 트랜스듀서일 수 있으며, 간섭계는 비접촉식으로서, 마이켈슨 간섭계 등일 수 있다.

그리고 PA부(150)는 광학현미경부(110) 및 OCT부(130)와 유기적으로 연결되어, PA부(150)에서 수집된 광음향 이미지와 OCT부(130)에서 수집된 광간섭단층 이미지가 함께 광학현미경부(110)에서 수집된 표면이미지에 중첩될 수 있다. 각각 이미지들의 중첩에 관해선 후술하는 부분에서 설명한다.

이미지 처리부(170)에선 상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시켜 증강 현실 이미지를 생성한다.

상기 증강 현실 이미지는, 표면 이미지의 일 영역에 상기 광간섭단층 이미지 및 상기 광음향 이미지가 겹쳐 있는 것으로서, 이를 통해, 사용자는 피검체의 표면을 보면서 상기 피검체의 내부 이미지인 광간섭단층 이미지 및 광음향 이미지에 대한 부가 정보 또한 얻을 수 있다.

본 발명의 다양한 실시 예에 따르면, 상기 증강 현실 이미지에는 광간섭단층 이미지 및 광음향 이미지뿐만 아니라, 피검체에 대한 각종 정보가 포함될 수 있다. 예를 들어, 확대 배율, 피검체의 크기, 혈중 산소 포화농도 등의 수치정보가 포함될 수 있다. 또 다른 실시 예에 따라 현미경 시스템(100)이 수술 집도용으로 사용되는 경우, 시술자가 들고 있는 메스와 자르려는 환부 사이의 거리 정보 등을 표시해줌으로써, 시술자에게 좀 더 정확한 공간감각을 제공해줄 수도 있다.

이미지 처리부(170)는, OCT부(130)와 PA부(150)에서 각각 수집된 광간섭단층 이미지 및 광음향 이미지를 빔(beam)형태로 출력하는 빔 프로젝터(beam projector)와, 상기 빔을 접안렌즈로 유도하여 표면이미지에 중첩시키는 제1 빔스플리터를 포함할 수 있다.

상기 빔 프로젝터에서 출력된 빔은 제1 빔 스플리터로 향하고, 제1 빔 스플리터에서 반사된 상기 빔은 이미지 관찰부(190)의 접안렌즈로 유도된다. 따라서 접안렌즈를 통해 사용자는 원래 보이던 표면 이미지뿐만 아니라, 빔 형태의 광간섭단층 이미지 및 광음향 이미지도 볼 수 있다.

접안렌즈가 두 개인 쌍안식 현미경일 경우, 상기 제1 빔 스플리터는, 상기 빔을 둘 중 하나의 렌즈로 유도할 수 있다.

또 다른 실시 예에서, 광학현미경부(110)는 표면이미지를 촬영하기 위한 CCD 카메라(Charge-coupled device camera)를 포함할 수 있고, 이 경우 이미지 처리부(170)는 광학현미경부(110)의 CCD 카메라, OCT부(130) 및 PA부(150)로부터 수신한 표면 이미지, 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시키는 별도의 서버장치를 더 포함할 수 있다. 서버장치에서 중첩되어 생성된 증강현실이미지는 디스플레이 장치를 포함하는 이미지 관찰부(190)를 통해 보여질 수 있다.

이미지 관찰부(190)는 사용자에게 상기 증강 현실 이미지를 디스플레이한다.

구체적으로, 이미지 관찰부(190)는 피검체의 하측에 배치된 제1 광원으로부터 발산된 제1 광을 이용하여 상기 피검체의 표면이미지를 직접적으로 관찰할 수 있는 접안 렌즈를 포함할 수 있다. 여기서 접안렌즈는 종래에 알려진 현미경 장치의 구성과 동일한 것일 수 있다.

또 다른 실시 예에서, 광학현미경부(110)가 표면이미지를 촬영하기 위한 CCD 카메라(Charge-coupled device camera)를 포함하는 경우, 상기 이미지 관찰부(190)는 CCD 카메라를 통해 전기신호로 변환된 영상을 디스플레이하는 디스플레이 패널로도 구현될 수도 있다.

도 2는 현미경 시스템(100)을 보다 구체적으로 도시한 도면이다.

도 2를 참고하면, 현미경 시스템(100)은 광학현미경부(110), OCT부(130), PA부(150), 이미지처리부(170) 및 이미지 관찰부(190)를 포함하며, 스캐닝부(210) 및 인터페이스부(230)를 더 포함할 수 있다.

광학현미경부(110)는 피검체(21)의 하측에 배치된 제1 광원(23)으로부터 발산된 제1 광을 이용하여 접안렌즈(25)로 표면 이미지를 출력한다.

이미지 처리부(170)는 빔 프로젝터(171) 및, 빔 프로젝터(171)에서 빔(beam)형태로 출력된 광간섭단층 이미지 및 광음향 이미지를 반사시켜 상기 접안렌즈로 유도하는 제1 빔 스플리터(173)를 포함할 수 있다. 유도된 빔 형태의 광간섭단층 이미지와 광음향 이미지는 상기 표면 이미지에 같이 중첩되어 접안렌즈(25)로 출력된다.

이미지 처리부(170)는 서버 장치(175)를 더 포함할 수 있는데, 서버 장치(175)는, OCT부(130) 및 PA부(150)에서 처리된 스캐닝 결과를 전송받아 광간섭단층 이미지 및 광음향 이미지를 각각 생성하고, 생성된 이미지는 빔 프로젝터(171)에서 빔 형태로 출력될 수 있다.

스캐닝부(210)는 광간섭단층 이미지를 수집하기 위한 제2 광 및 광음향 이미지를 수집하기 위한 제3 광을 피검체(21)로 보내주어 피검체(21)를 스캐닝할 수 있다. 제2 광 및 제3 광은 제2 빔 스플리터(211)에서 반사되어 피검체로 유도되고, 스캐닝부(210)의 광경로 변경장치에서 경로가 변경되면서 피검체(21)를 스캐닝할 수 있다.

도 2에선 스캐닝을 위한 광경로 변경장치로서 갈바노메터 스캐너(Galvanometer Scanner)를 도시하였으나, 그 외에도, 본 발명의 다양한 실시 예에 따르면, 회전다면경(Polygon) 또는 MEMS(microelectro-mechanical systems)스캐너 등도 광경로 변경장치로서 사용될 수 있다.

제 2광의 광원은 OCT부(130) 및 PA부(150) 중 적어도 하나에 위치할 수 있다. 도 2에선 OCT부(130)의 광역대 광원(Broadband Source)을 제2 광원으로, PA부(150)의 펄스레이져(Pulsed Laser)를 제3 광원으로 사용한 것을 도시하였으나, 또 다른 실시 예에 따르면 제2 광원 및 제3 광원은 하나의 동일한 광원(예를 들어, Supercontinuum source)일 수 있다.

또한, 제2 광원은 펄스레이져 뿐만 아니라 광대역 파장 펄스 레이저, 연속파 레이저 또는 퍼스 마이크로파 등일 수 있다.

제2 빔 스플리터(211)는 도 2에 도시된 것과 같이, 대물렌즈(25)와 피검체(21) 사이에 배치된다. 제2 빔 스플리터(211)에서는 파장에 따라 반사 여부가 달라지는데, 가시광선인 제1 광은 투과시키고, 사전에 설정된 파장의 제2 광 및 제3 광은 반사시킨다. 따라서 사용자는 제2 빔 스플리터에서 투과된 제1 광을 통해 기존의 방식과 동일하게 피검체(21)의 표면이미지를 볼 수 있게 된다.

도 2에 도시된 바와 같이, OCT부(130)는 제2 광의 광원인 광역대 광원(Broadband Source), 스펙트로미터(Sectrometer), 커플러(Coupler)등을 포함할 수 있으며, 그 구성은 기존의 OCT장치와 동일하다.

도 2에 도시된 바와 같이, PA부(150)는 제3 광의 광원인 펄스레이져(Pulsed Laser), 증폭기(Amplifier), 광 검출기(Photo Detector), 초음파 트랜스듀서(Ultrasonic Transducer)등을 포함하며, 역시 그 구성은 기존의 PA장치와 동일한 것이다.

도 2에 도시된 다이크로익미러(Dichroic mirror)는 특정 파장의 빛은 반사시키고 그 외의 파장은 통과시켜주는 광학 부품으로, 그 용도는 빔 스플리터와 같다.

상기 OCT부(130) 및 상기 PA부(150)는 상기 스캐닝부(210)의 스캐닝 결과를 각각 처리하여 인터페이스부(230)를 통해 서버장치(175)로 전송하여 상기 서버 장치(175)에서 광간섭단층 이미지 및 광음향 이미지를 각각 생성하도록 할 수 있다.

서버장치(175)에서 각각 생성된 이미지는 빔 프로젝터(171)를 통하여 빔 형태의 상으로 형성되어, 표면 이미지와 함께 접안렌즈에서 직접 사용자의 눈을 통해 확인될 수 있거나, 서버장치(175)와 연결된 디스플레이 장치의 화면을 통하여 출력될 수 있다. 디스플레이 장치의 화면으로 출력되는 경우, 광학 현미경부(110)의 CCD카메라로 촬영된 표면이미지가 상기 광간섭단층 이미지 및 광음향 이미지와 중첩되어 같이 출력될 수 있다.

상기 서버 장치(175)는 현미경 시스템(100)의 외부 장치로서 구현될 수도 있다.

도 3은 본 발명의 일 실시예에 따른 증강현실이미지의 예시를 나타내는 도면이다.

도 3은 피검체로 사람의 머리카락을 사용한 것을 나타낸 것으로서, 사람의 머리카락 4 가닥의 광간섭 단층 이미지, 광음향 이미지 및 고배율의 표면 이미지를 동시에 실시간으로 볼 수 있음을 나타낸다. 표면 이미지의 우측 상단에서 광음향 이미지(PA Image) 및 광간섭단층 이미지(OCT Image)를 확인할 수 있다.

도 3에는 도시되지 않았으나, 본 발명의 일 실시 예에 따른 이미지 처리부(170)는, 피검체에서 스캐닝되는 위치와 대응되는 부분을 가리키는 표시선을 상기 표면 이미지에 추가로 중첩시킬 수 있다. 즉, 예를 들어, 현재 사용자가 보고 있는 사람 머리카락의 표면 이미지에서 머리카락 어느 부분의 단층을 보고 있는지를 표시해주는 표시선을 추가로 중첩시킬 수 있다.

그리고, 도 3에선 광간섭단층 이미지 및 광음향 이미지가 우측 상부에 표시된 것을 도시하였으나, 본 발명의 다양한 실시 예에 따르면 사용자 인터페이스부를 통해 그 표시 위치를 사용자 편의에 맞게 조정할 수 있다.

예를 들어, 상기 사용자 인터페이스부를 통해 사용자는 광간섭단층 이미지 및 광음향 이미지가 표시되는 위치뿐만 아니라, 광간섭단층 이미지 및 광음향 이미지를 표시할지 여부를 선택할 수도 있고, 이미지가 표시되는 크기, 표시될 정보를 취사선택할 수도 있으며, 표시될 이미지의 종류, 배율, 농도 등도 조절할 수 있다. 그리고, 관찰하고자 하는 대상의 정보가 시간에 따라 변화하는 경우, 예를 들어 시간에 따른 혈중 산소 포화농도에 대한 시간별 복수 개의 영상을 표시할 것인지 여부를 결정할 수 있고 표시되는 이미지의 개수 또한 사용자 인터페이스부를 통해 조절할 수 있다.

도 4는 도 3의 광간섭 단층 이미지와 광음향 이미지만을 출력한 것을 보여주는 도면이다.

이미지 관찰부(190)가 평면 디스플레이 패널 등으로 구현되는 경우, 도 4에서 도시된 것과 같이, 표면 이미지는 제외시키고 광간섭 단층 이미지와 광음향 이미지만을 출력하도록 선택하는 것도 가능하다.

이상에선 현미경 시스템(100)의 구성을 중심으로 살펴보았다면, 아래에선 본 발명의 일 실시예에 따른 현미경 시스템의 증강 현실 이미지 제공 방법에 대해 설명한다.

현미경 시스템의 증강 현실 이미지 제공 방법에 있어서, 먼저 피검체의 표면이미지, 상기 피검체의 광간섭단층 이미지 및 상기 피검체의 광음향 이미지를 수집한다.

표면 이미지의 수집은 일반 광학 현미경을 통해 수행될 수 있으며 사용자는 광학현미경의 접안렌즈로 수집된 표면이미지를 관찰할 수 있다.

또는, 피검체를 통과한 가시광선을 CCD 카메라로 촬영하는 방식으로 피검체의 표면이미지를 수집하여 평면디스플레이 장치로 보여줄 수도 있다.

피검체의 광간섭단층 이미지의 수집은 종래에 있던 OCT 장치를 통해 이루어질 수 있는데 구체적으로, 광대역 밴드 소스에서 방출된 빛을 나누어 샘플단 및 기준 미러로 보내어, 피검체에서 반사되는 빛과 기준 미러에서 반사되는 빛의 간섭현상의 관찰을 통해, 광간섭 단층이미지를 수집할 수 있다.

피검체의 광음향 이미지의 수집은 종래의 PAM 또는 PAT 장치를 이용하여 수집할 수 있다. 구체적으로, 피검체로 전파를 보내주어, 전파 영향에 의한 열에너지 또는 압력을 검출하는 방식으로 생체의 미세혈관 또는 산소 포화농도 등에 대한 이미지를 수집할 수 있다.

그 다음으로, 수집된 표면 이미지에 광간섭단층 이미지 및 광음향 이미지를 중첩시킨다. 중첩은, 빔프로젝터 등을 이용해 접안렌즈로 광간섭단층 이미지 및 광음향 이미지를 입사시켜주는 방식으로 이루어질 수 있거나, 수집된 각각의 이미지를 서버장치 등에서 중첩시켜 평면디스플레이 장치 등으로 디스플레이하는 방식으로 이루어질 수 있다.

또 다른 실시 예에 의하면, 표면이미지는 피검체의 하측에 배치된 제1 광원으로부터 발산된 제1 광을 이용하여 광학현미경부의 접안렌즈로 상기 표면 이미지를 출력할 수 있고, 광간섭단층 이미지와 광음향 이미지는 빔 프로젝터를 통해 빔 형태로 출력하고, 상기 빔을 제1 빔 스플리터를 통해 접안렌즈로 유도시켜 표면이미지에 중첩시킬 수 있다.

광간섭단층 이미지 및 광음향 이미지를 수집하기 위하여 구체적으로 피검체를 스캐닝하는 단계를 더 포함할 수 있는데, 상기 스캐닝 단계는, 제2 빔 스플리터로 광간섭단층 이미지를 수집하기 위한 제2 광 및 광음향 이미지를 수집하기 위한 제3 광을 반사시켜 상기 피검체로 유도하고, 유도된 제2 광 및 제3 광으로 피검체를 스캐닝하는 단계로 이루어질 수 있다.

여기서 스캐닝이란 광원에서 나온 빛살로 피검체를 훑는 것을 의미하고, 그러기 위해선 피검체로 입사되는 빛을 이동시켜줄 수 있어야 하는데, 스캐닝을 위한 광경로 변경장치로서 갈바노메터 스캐너(Galvanometer Scanner), 회전다면경(Polygon) 또는 MEMS(microelectro-mechanical systems)스캐너 등을 사용할 수 있다.

상기 스캐닝하는 단계에서 스캐닝된 스캐닝 결과는 OCT 부 및 PA 부에서 각각 처리되어 서버 장치로 전송될 수 있는데, OCT부와 PA부와 서버 장치 간의 통신은 무선 또는 유선 통신 등 어떤 형태라도 가능하다. 그 후, 스캐닝 결과를 전송받은 서버 장치에선 광간섭단층 이미지 및 광음향 이미지를 각각 생성할 수 있다.

또 다른 실시 예에 의하면, 표면 이미지에 광간섭단층 이미지 및 광음향 이미지가 중첩될 시, 피검체의 어떤 부분이 스캐닝되어 생성된 광간섭단층 및 광음향 이미지 인지를 알려주는, 즉 스캐닝되는 위치와 대응되는 부분을 가리키는 표시선이 상기 표면이미지에 추가로 중첩될 수 있다. 이를 통해 사용자는 피검체의 어느 부분의 내부가 광간섭단층 이미지 또는 광음향 이미지로 보여지고 있는 것인지 용이하게 파악할 수 있다.

그리고 또 다른 실시 예에 의한 현미경 시스템의 증강현실 이미지 제공 방법에 의하면, 증강현실 이미지의 표시를 제어할 수 있다. 구체적으로 사용자 조작신호에 의해 중첩된 이미지의 크기, 종류, 위치, 배율, 농도 등을 제어할 수 있으며, 시간에 따른 복수개의 이미지 표시 여부 및 표시 개수 등도 제어할 수 있다.

즉, 본 발명의 일 실시 예에 따르면, 피검체의 고배율 표면이미지, 광단층이미지 및 광음향이미지를 동시에 실시간으로 제공받을 수 있게 되고, 뿐만 아니라, 그 밖의 각종 다른 정보들도 제공받을 수 있다. 따라서 사용자가 다양한 정보를 실시간으로 동시간대에 획득할 수 있다는 장점이 있다. 본 발명의 일 실시 예에 따라 현미경 시스템(100)이 수술용으로 사용되는 경우, 시술자는 수술 중에 시선의 이동 없이도 수술용 현미경의 접안렌즈를 통해 환부의 고해상도 표면이미지와 기존의 현미경의 접안렌즈에선 볼 수 없었던 광간섭단층 이미지, 광음향 이미지 및 수술에 필요한 정보들을 확인할 수 있게 된다. 또한, 피검체에 물리적 영향을 주지 않고도, 즉 비침습적 관찰을 가능하게 해준다는 장점도 존재한다. 이러한 점에서 본 발명은 의료계에서 진단용뿐만 아니라 수술용으로 적합할 수 있다.

도 5는 본 발명의 일 실시예에 따른 현미경 시스템의 증강 현실 이미지 제공 방법의 흐름도를 나타낸 것이다.

먼저, 피검체의 표면 이미지를 수집한다(S510).

그리고 피검체의 광간섭단층이미지를 수집하고(S530), 피검체의 광음향 이미지를 수집한다(S550). 흐름도에선 각각의 이미지를 순차적으로 수집하는 단계인 것으로 도시하였으나, 각각의 이미지는 동시에 수집될 수도 있으며, 순서에 상관없이 수집되어도 무방하다.

그 다음으로, 수집된 표면 이미지에 광간섭 단층 이미지 및 광음향 이미지를 중첩시키고(S570), 마지막으로 중첩된 이미지를 제공한다(S590).

도 5의 흐름도를 통해서 본 발명의 일 실시 예에 따른 현미경 시스템의 증강 현실 이미지 제공 방법에 대하여 설명하였고, 앞서 설명한 현미경 시스템 구성이 수행하는 다양한 단계들이 도 5에 나타난 단계에 추가되거나, 보충되어 다양한 실시 예로 구현될 수 있다. 이와 같은 다양한 실시 예에 대해선 상술하였으므로 반복 설명은 하지 않는다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 누구든지 본 발명의 기술적 사상 및 범위를 벗어나지 않는 범주 내에서 본 발명의 바람직한 실시 예를 다양하게 변경할 수 있음은 물론이다. 따라서 본 발명은 특허청구범위에서 청구하는 본 발명의 요지를 벗어나지 않는다면 다양한 변형 실시가 가능할 것이며, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 현미경 시스템 110: 광학 현미경부
130: OCT부 150: PA부
170: 이미지 처리부 190: 이미지 관찰부

Claims

현미경 시스템에 있어서,
피검체의 표면 이미지를 수집하는 광학현미경부;
상기 피검체의 광간섭단층(Optical coherence tomography)이미지를 수집하기 위한 OCT부;
상기 피검체의 광음향(Photoacoustic) 이미지를 수집하기 위한 PA부;
상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시켜 증강 현실 이미지를 생성하는 이미지 처리부; 및
상기 증강 현실 이미지를 볼 수 있는 이미지 관찰부;를 포함하며,
상기 이미지 관찰부는
상기 피검체의 하측에 배치된 제1 광원으로부터 발산된 제1 광을 이용하여 상기 피검체의 표면이미지를 직접적으로 관찰할 수 있는 접안 렌즈를 포함하고,
상기 이미지 처리부는,
상기 광간섭단층 이미지 및 상기 광음향 이미지를 빔(beam)형태로 출력하는 빔 프로젝터(beam projector); 및
상기 광학현미경부의 접안렌즈와 대물렌즈 사이에 배치되어, 상기 빔 프로젝터로부터 출력된 상기 빔을 반사시켜 상기 접안렌즈로 유도하여 상기 표면 이미지에 중첩시키는 제1 빔 스플리터(beam splitter);를 포함하는 것을 특징으로 하는 현미경 시스템.
삭제
현미경 시스템에 있어서,
피검체의 표면 이미지를 수집하는 광학현미경부;
상기 피검체의 광간섭단층(Optical coherence tomography)이미지를 수집하기 위한 OCT부;
상기 피검체의 광음향(Photoacoustic) 이미지를 수집하기 위한 PA부;
상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시켜 증강 현실 이미지를 생성하는 이미지 처리부; 및
상기 증강 현실 이미지를 볼 수 있는 이미지 관찰부;를 포함하며,
상기 광학현미경부는
상기 표면 이미지를 촬영하기 위한 CCD 카메라(Charge-coupled device camera)를 포함하며,
상기 이미지 처리부는 상기 CCD 카메라로 촬영된 상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시키며,
상기 이미지 관찰부는 평면 디스플레이 패널인 것을 특징으로 하는 현미경 시스템.
현미경 시스템에 있어서,
피검체의 표면 이미지를 수집하는 광학현미경부;
상기 피검체의 광간섭단층(Optical coherence tomography) 이미지를 수집하기 위한 OCT부;
상기 피검체의 광음향(Photoacoustic) 이미지를 수집하기 위한 PA부;
상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시켜 증강 현실 이미지를 생성하는 이미지 처리부;
상기 증강 현실 이미지를 볼 수 있는 이미지 관찰부;
상기 광간섭단층 이미지를 수집하기 위한 제2 광 및 상기 광음향 이미지를 수집하기 위한 제3 광을 반사시켜 상기 피검체로 유도하는 제2 빔 스플리터; 및
상기 광간섭단층 이미지 및 상기 광음향 이미지를 수집하기 위해, 상기 제2 빔 스플리터에서 반사된 상기 제2 광 및 상기 제3 광을 이용해 상기 피검체를 스캐닝(scanning)하는 스캐닝 부;를 포함하며,
상기 제2 빔 스플리터는 상기 광학현미경부의 대물렌즈와 상기 피검체 사이에 배치되며, 가시광 영역의 빛은 통과시키는 것을 특징으로 하는 현미경 시스템.
제4항에 있어서,
상기 제3 광은 상기 광음향 이미지를 수집하기 위한 것이고,
상기 제3 광이 펄스 레이저, 광대역 파장 펄스 레이저, 연속파 레이저 또는 퍼스 마이크로파인 것을 특징으로 하는 현미경 시스템.
제4항에 있어서,
상기 제2 광과 상기 제3 광은 동일한 광원에서 발생 되는 것을 특징으로 하는 현미경 시스템.
제4항에 있어서,
상기 스캐닝 부는,
광경로 변경장치로서, 갈바노메터 스캐너, 회전 다면경 스캐너 또는 MEMS(microelectro-mechanical system)스캐너 중 어느 하나를 포함하는 것을 특징으로 하는 현미경 시스템.
제4항에 있어서,
서버 장치와 통신하기 위한 인터페이스부를 더 포함하고,
상기 OCT부 및 상기 PA부는 상기 스캐닝 부의 스캐닝결과를 각각 처리하여 상기 인터페이스부를 통해 상기 서버 장치로 전송하여 상기 서버 장치에서 상기 광간섭단층 이미지 및 상기 광음향 이미지를 각각 생성하도록 하는 것을 특징으로 하는 현미경 시스템.
제4항에 있어서,
상기 이미지 처리부는,
상기 피검체에서 스캐닝되는 위치와 대응되는 부분을 가리키는 표시선을 상기 표면 이미지에 추가로 중첩시키는 것을 특징으로 하는 현미경 시스템.
제1항에 있어서,
상기 이미지 관찰부에서 보여지는 증강 현실 이미지의 크기, 종류, 위치, 배율, 농도 및 시간별 영상 표시 개수 중 적어도 하나를 조정하기 위한 사용자 조작 신호를 입력받을 수 있는 사용자 인터페이스부;를 더 포함하는 것을 특징으로 하는 현미경 시스템.
제1항에 있어서,
상기 PA부는 광 음향 신호를 획득하기 위한 접촉식 트랜스듀서 또는 비접촉식 광학 방식인 간섭계를 포함하는 것을 특징으로 하는 현미경 시스템.
현미경 시스템의 증강 현실 이미지 제공 방법에 있어서,
피검체의 표면 이미지를 수집하는 단계;
상기 피검체의 광간섭단층(Optical coherence tomography) 이미지를 수집하는 단계;
상기 피검체의 광음향(Photoacoustic) 이미지를 수집하는 단계;
상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시키는 단계;
중첩된 이미지를 제공하는 단계;
상기 피검체의 하측에 배치된 제1 광원으로부터 발산된 제1 광을 이용하여 광학현미경부의 접안렌즈로 상기 표면 이미지를 출력하는 단계;
상기 광간섭단층 이미지 및 상기 광음향 이미지를 빔 프로젝터(beam projector)를 통해 빔(beam)형태로 출력하는 단계; 및
빔 형태로 출력된 상기 광간섭단층 이미지 및 상기 광음향 이미지를 제1 빔 스플리터(beam splitter)를 이용해 반사시켜 상기 접안렌즈로 유도하여 상기 표면 이미지에 중첩시키는 단계;를 포함하는, 현미경 시스템의 증강현실 이미지 제공 방법.
삭제
현미경 시스템의 증강 현실 이미지 제공 방법에 있어서,
피검체의 표면 이미지를 수집하는 단계;
상기 피검체의 광간섭단층(Optical coherence tomography) 이미지를 수집하는 단계;
상기 피검체의 광음향(Photoacoustic) 이미지를 수집하는 단계;
상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시키는 단계; 및
중첩된 이미지를 제공하는 단계;를 포함하며,
상기 피검체의 표면 이미지를 수집하는 단계는,
CCD 카메라(Charge-coupled device camera)로 상기 표면 이미지를 촬영하는 단계이며,
상기 중첩된 이미지를 제공하는 단계는,
상기 CCD 카메라로 촬영된 상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지가 중첩된 이미지를 평면 디스플레이 패널로 제공하는 단계인 것을 특징으로 하는, 현미경 시스템의 증강현실 이미지 제공 방법.
현미경 시스템의 증강 현실 이미지 제공 방법에 있어서,
피검체의 표면 이미지를 수집하는 단계;
상기 피검체의 광간섭단층(Optical coherence tomography) 이미지를 수집하는 단계;
상기 피검체의 광음향(Photoacoustic) 이미지를 수집하는 단계;
상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시키는 단계;
중첩된 이미지를 제공하는 단계;
제2 빔 스플리터로 상기 광간섭단층 이미지를 수집하기 위한 제2 광 및 상기 광음향 이미지를 수집하기 위한 제3 광을 반사시켜 상기 피검체로 유도하는 단계; 및
상기 광간섭단층 이미지 및 상기 광음향 이미지를 수집하기 위해, 상기 제2 빔 스플리터에서 반사된 상기 제2 광 및 상기 제3 광을 이용해 상기 피검체를 스캐닝(scanning)하는 단계;를 포함하며,
상기 제2 빔 스플리터는 상기 표면 이미지를 수집하는 광학현미경부의 대물렌즈와 상기 피검체 사이에 배치되며, 가시광 영역의 빛은 통과시키는 것을 특징으로 하는, 현미경 시스템의 증강현실 이미지 제공 방법.
제15항에 있어서,
상기 제3 광은 상기 광음향 이미지를 수집하기 위한 것이고,
상기 제3 광이 펄스 레이저, 광대역 파장 펄스 레이저, 연속파 레이저 또는 퍼스 마이크로파인 것을 특징으로 하는, 현미경 시스템의 증강현실 이미지 제공 방법.
제15항에 있어서,
상기 제2 광과 상기 제3 광은 동일한 광원에서 발생 되는 것을 특징으로 하는 현미경 시스템의 증강현실 이미지 제공 방법.
제15항에 있어서,
상기 스캐닝하는 단계는,
갈바노메터 스캐너, 회전 다면경 스캐너 또는 MEMS(microelectro-mechanical system)스캐너 중 어느 하나를 이용하여 광경로 변경을 수행하는 것을 특징으로 하는 현미경 시스템의 증강현실 이미지 제공 방법.
제15항에 있어서,
서버 장치와 통신하는 단계; 및
상기 스캐닝하는 단계에서 스캐닝된 스캐닝결과를 OCT부 및 PA부 에서 각각 처리하여 상기 서버 장치로 전송하여 상기 서버 장치에서 상기 광간섭단층 이미지 및 상기 광음향 이미지를 각각 생성하는 단계;를 더 포함하는 것을 특징으로 하는 는 현미경 시스템의 증강현실 이미지 제공 방법.
제15항에 있어서,
상기 표면 이미지에 상기 광간섭단층 이미지 및 상기 광음향 이미지를 중첩시키는 단계는,
상기 피검체에서 스캐닝되는 위치와 대응되는 부분을 가리키는 표시선을 상기 표면 이미지에 추가로 중첩시키는 것을 특징으로 하는, 현미경 시스템의 증강현실 이미지 제공 방법.
제12항에 있어서,
상기 중첩된 이미지를 제공하는 단계는,
사용자 조작 신호에 의해 상기 중첩된 이미지의 크기, 종류, 위치, 배율, 농도 및 시간별 복수개 영상 표시를 제어하여 제공하는 것을 특징으로 하는 현미경 시스템의 증강현실 이미지 제공 방법.
제12항에 있어서,
광음향(Photoacoustic)이미지를 수집하는 단계는,
접촉식 트랜스듀서 또는 비접촉식 광학 방식인 간섭계를 이용하여 광 음향 신호 획득을 수행하는 것을 특징으로 하는 현미경 시스템의 증강현실 이미지 제공 방법.