KR102516406B1

KR102516406B1 - 내시현미경에 의해 획득되는 이미지를 스티칭하기 위해 위치 정보를 캘리브레이션하는 방법 및 장치

Info

Publication number: KR102516406B1
Application number: KR1020220132630A
Authority: KR
Inventors: 김영렬; 김규영; 황경민
Original assignee: (주) 브이픽스메디칼
Priority date: 2022-10-14
Filing date: 2022-10-14
Publication date: 2023-04-03

Abstract

본 개시의 일 실시 예에 따른 이미지 처리 장치는 상기 프로브에 포함되고 위치 정보를 획득하는 센서와 전기적으로 연결되는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 프로브를 이용하여 제1 시점에서 조직의 제1 영역(region)에 대한 제1 이미지를 획득하고, 상기 제1 시점에 대응하는 상기 센서의 제1 위치 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 위치 정보 및 미리 결정된 파라미터에 기반하여, 상기 제1 이미지의 위치 정보로써 제1 보정된 위치 정보(calibrated location information)를 획득할 수 있고, 상기 제1 보정된 위치 정보에 기반하여 상기 제1 이미지를 스티칭할 수 있다.

Description

내시현미경에 의해 획득되는 이미지를 스티칭하기 위해 위치 정보를 캘리브레이션하는 방법 및 장치{METHOD AND APPARATUS FOR CALIBRATING IMAGES OBTAINED BY CONFOCAL ENDOSCOPY}

본 개시는 공초점 내시현미경에 의해 획득되는 복수의 이미지들을 스티칭하기 위해, 공초점 내시현미경에 구비된 센서의 위치 정보를 캘리브레이션(calibration)하는 방법 및 장치에 관한(relate to) 것이다.

위, 기관지, 식도, 십이지장, 직장 등, 의료 전문가가 병변을 직접 볼 수 없는 인체 내부의 장기를 관찰하여 암 진단이나 수술 등의 치료에 활용할 목적으로 공초점 내시현미경이 사용되고 있다.

구체적으로, 의료 전문가가 공초점 내시현미경을 활용하여 인체 내부의 장기를 관찰하기 위해서 인체에 무해한 형광조영제를 모세혈관에 주입한다. 주입된 형광조형제가 모세혈관을 통해 세포 조직에 퍼지면, 의료 전문가가 공초점 내시현미경을 세포 조직(또는 병변 조직)에 접촉한 상태에서 공초점 내시현미경은 세포 조직에 빔을 조사(irradicate)하고, 상기 세포 조직으로부터 반사된 광을 수광한다. 공초점 내시현미경은 수광된 광을 이용하여 이미징 처리함으로써 의료 전문가는 세포 조직을 현미경 수준으로 확대하여 관찰할 수 있다.

한편 공초점 내시현미경의 화각(field of view, fov)는 수백 um이며, 의료 전문가가 병변에 대한 조직 이미지를 관찰하여 진단하기 위해서는 수 mm 단위의 대면적 이미지가 필요할 수 있다. 따라서, 수백 um의 조직 이미지들을 스티칭(stitching)하여 수 mm 단위의 대면적 이미지를 확보할 필요가 있다.

공초점 내시현미경을 통해 획득한 조직에 대한 복수의 이미지들을 통해, 의료 전문가가 진단을 하기 위해서 복수의 이미지들은 스티칭되어야 한다. 다만, 공초점 내시현미경에 연결되어, 복수의 이미지들을 처리하는 이미지 처리 장치는 복수의 이미지들 스티칭하기 위해 복수의 이미지들 각각의 위치 정보가 필요할 수 있다.

공초점 내시현미경의 프로브 바디(body)에 위치한 센서 모듈은 이미지 처리 장치가 복수의 이미지들을 획득할 때, 프로브 바디 및/또는 센서 모듈의 위치 정보를 획득할 수 있다. 한편, 이미지 처리 장치가 복수의 이미지들을 획득하는 동안, 공초점 내시현미경의 프로브 팁(tip)은 조직에 실질적으로 접촉된 상태로 이동하게 되며, 상기 복수의 이미지들의 위치 정보는 프로브 팁의 위치 정보와 실질적으로 동일할 수 있다. 또한 프로브 바디의 위치와 프로브 팁(또는 원위단)의 위치는 소정의 거리만큼 이격되어 차이가 있으므로, 프로브 바디에 위치한 센서 모듈의 위치 정보와 프로브 팁의 위치 정보는 상이할 수 있다. 따라서, 복수의 이미지들을 스티칭하기 위해 복수의 이미지들 각각의 위치 정보들을 이용해야하나, 복수의 이미지들의 위치로부터 소정 거리 이격된 위치에 배치된 센서 모듈의 위치 정보를 이용하여 복수의 이미지들을 스티칭함으로써 오차가 발생할 수 있다.

따라서, 이미지 처리 장치는 프로브 바디에 위치한 센서 모듈의 위치 정보를 프로브 팁의 위치 정보로 캘리브레이션(또는, 보정)하여 조직(tissue)과 인접한 프로브 팁(또는, 프로브의 원위단)의 보정된 위치 정보를 획득하고, 프로브 팁의 위치 정보에 기반하여 복수의 이미지들을 가상의 평면에 투영하여 스티칭하는 방법이 필요할 수 있다.

본 개시의 일 실시 예에 따른 in-vivo 환경에서 공초점 내시현미경(confocal endomicroscope)의 프로브(probe)를 통해 획득된 복수 개의 이미지들을 스티칭(stitching)하는 이미지 처리 장치는 상기 프로브에 포함되고 위치 정보를 획득하는 센서와 전기적으로 연결되는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 프로브를 이용하여 제1 시점에서 조직의 제1 영역(region)에 대한 제1 이미지를 획득하고, 상기 제1 시점에 대응하는 상기 센서의 제1 위치 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 위치 정보 및 미리 결정된 파라미터에 기반하여, 상기 제1 이미지의 위치 정보로서 제1 보정된 위치 정보(calibrated location information)를 획득하고, 상기 프로브를 이용하여 제2 시점에서 상기 조직의 제2 영역에 대한 제2 이미지를 획득할 수 있다. 상기 적어도 하나의 프로세서는 상기 제2 시점에 대응하는 상기 센서의 제2 위치 정보를 획득하고, 상기 제2 위치 정보 및 상기 미리 결정된 파라미터에 기반하여, 상기 제2 이미지의 위치 정보로서 제2 보정된 위치 정보를 획득하고, 상기 제1 보정된 위치 정보 및 상기 제2 보정된 위치 정보에 기반하여 상기 제1 이미지와 상기 제2 이미지를 스티칭할 수 있다.

본 개시의 일 실시 예에 따른 in-vivo 환경에서 공초점 내시현미경(confocal endomicroscope)의 프로브(probe)를 통해 복수 개의 이미지들을 획득하는 이미지 처리 장치는 상기 프로브에 포함된 위치 정보를 획득하는 센서와 전기적으로 연결되는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는 상기 프로브를 이용하여 제1 시점에서 조직의 제1 영역에 대한 제1 이미지를 획득할 수 있고, 상기 제1 시점에 대응하는 상기 센서의 제1 위치 정보를 획득할 수 있다. 적어도 하나의 프로세서는 상기 제1 위치 정보 및 미리 결정된 파라미터에 기반하여 제1 보정된 위치 정보(calibrated location information)를 획득할 수 있고, 상기 제1 보정된 위치 정보 및 상기 획득된 제1 이미지를 이미지 스티칭을 수행하는 외부 장치로 송신할 수 있다. 적어도 하나의 프로세서는 상기 프로브를 이용하여 제2 시점에서 상기 조직의 제2 영역에 대한 제2 이미지를 획득할 수 있고, 상기 제2 시점에 대응하는 상기 센서의 제2 위치 정보를 획득할 수 있다. 적어도 하나의 프로세서는 상기 제2 위치 정보 및 상기 미리 결정된 파라미터에 기반하여 제2 보정된 위치 정보를 획득하고, 상기 제2 보정된 위치 정보 및 상기 획득된 제2 이미지를 상기 외부 장치로 송신할 수 있다.

본 개시의 일 실시 예에 따르면, 센서 모듈과 프로브 팁 간의 위치 정보의 차이로 인해 이미지들의 스티칭시 발생될 수 있는 오차가 감소되거나 방지될 수 있다.

본 개시의 일 실시 예에 따르면, 공초점 내시현미경을 통해 획득한 이미지의 위치 정보를 보다 정밀하게 획득하여 이미지들의 스티칭을 정교하게 수행함으로써, 공초점 내시현미경의 사용자에게 고해상도로 스티칭된 이미지를 제공할 수 있다.

이 외에, 본 개시를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.

도 1은 일 실시 예에 따른 프로브를 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 센서 모듈의 위치와 프로브 팁의 위치 간 차이를 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 프로브를 통해 획득된 이미지들의 스티칭을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 보정된 위치 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 제1 이미지와 제2 이미지를 스티칭하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 3차원 이미지들을 스티칭하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 보정된 위치 정보를 이용하여 복수의 이미지들을 스티칭하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 이미지 처리 장치에 탑재된 프로그램들을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 서로 다른 장치에 탑재된 제1 프로그램과 제2 프로그램을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 도 8의 실시 예에서 디스플레이 파노라마식으로 표시되는 조직을 설명하기 위한 도면이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.

이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.

도 1은 일 실시 예에 따른 프로브를 설명하기 위한 도면이다.

도 1을 참고하면, 일 실시 예에 따른 공초점 내시현미경(또는, 광학 시스템)(100)은 프로브(101) 및/또는 프로브(101)와 연결된 이미지 처리 장치(102)를 포함할 수 있다.

일 실시 예에 따른 프로브(101)는 프로브 바디(body)(110), 벤딩부(bending portion)(120) 및/또는 프로브 튜브(130)를 포함할 수 있다. 일 실시 예에서, 이미지 처리 장치(102)는 적어도 하나의 프로세서(103)를 포함할 수 있고, 적어도 하나의 프로세서(103)는 이미지 처리 장치(102)가 수신한 이미지들을 처리(process)할 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 이미지 처리 장치(102)가 수신한 이미지들을 스티칭(stitching)할 수 있다.

일 실시 예에 따르면, 프로브 바디(110)는 프로브(101)의 사용자가 파지하는 부분으로 참조될 수 있다. 일 실시 예에서, 프로브 바디(110)는 프로브(101)의 근위단을 포함할 수 있다. 예를 들어, 프로브(101)의 근위단이란 프로브(101)의 단들(ends) 중 프로브 바디(110)에 포함된 단으로 참조될 수 있다.

일 실시 예에 따르면, 프로브 바디(110)는 프로브(101)와 연관된 다양한 모듈들 또는 회로들을 포함할 수 있다. 예를 들어, 프로브 바디(110)는 A 부분에 센서 모듈(111)을 포함할 수 있다. 센서 모듈(111)은 가속도 센서 및/또는 자이로 센서를 포함할 수 있다.

또 다른 예를 들어, 센서 모듈(111)은 IMU(inertial measurement unit) 센서, 제스처 센서, 자이로 센서, 기압 센서, 가속도 센서, 마그네틱 센서, 그립 센서, IR(infrared) 센서, 근접 센서, 컬러 센서, 습도 센서, 온도 센서, 생체 센서 및/또는 조도 센서를 포함할 수 있다.

일 실시 예에 따르면, 벤딩부(120)는 지정된 각도만큼 휘어질 수 있고, 벤딩부(120)를 통해 프로브 바디(110)와 프로브 튜브(130)는 연결될 수 있다. 일 실시 예에서, 프로브 바디(110)와 프로브 튜브(130)는 상기 지정된 각도를 이룰 수 있다.

일 실시 예에 따르면, 프로브 튜브(130)는 광섬유 스캐너(131) 및 렌즈(또는, 수광부)(132)를 포함할 수 있다. 일 실시 예에서, 광섬유 스캐너(131)는 신체의 조직에 조사광을 조사할 수 있다. 신체의 조직(예: 세포)에 조사된 조사광에 대응하여 조직으로부터 여기광(excitation light)이 방출될 수 있다. 렌즈(132) 또는 수광부는 방출된 여기광을 수광(receive)할 수 있다.

일 실시 예에 따르면, 센서 모듈(111)은 가속도 센서를 포함할 수 있고, 가속도 센서를 이용하여 프로브(101)의 가속도를 측정할 수 있다. 예를 들어, 가속도 센서는 프로브(101)를 기준으로 제1 축(예: x축), 제2 축(예: y축) 및 제3 축(예: z축)을 식별할 수 있고, 프로브(101) 또는 프로브 바디(110)가 이동하는 경우 식별된 3개의 축을 기준으로 각각의 축방향으로의 가속도 값을 측정, 획득 또는 식별할 수 있다.

일 실시 예에 따르면, 센서 모듈(111)과 전기적으로 연결된 이미지 처리 장치(102)의 적어도 하나의 프로세서(103)는 가속도 센서를 통해 측정한 가속도 값에 기반하여 프로브(101)의 위치 정보(예: 프로브(101)의 위치, 또는 프로브(101)의 움직임)를 식별할 수 있다. 예를 들어, 프로브(101)가 제1 방향 또는 제2 방향으로 이동하는 경우에 적어도 하나의 프로세서(103)는 센서 모듈(111)을 이용하여 프로브(101)의 이동을 식별할 수 있고, 프로브(101)의 위치를 식별할 수 있다.

일 실시 예에 따르면, 센서 모듈(111)은 자이로 센서를 포함할 수 있고, 자이로 센서를 이용하여 프로브(101)의 각속도를 측정할 수 있다. 예를 들어, 자이로 센서는 프로브(101)를 기준으로 제1 축(예: x축), 제2 축(예: y축) 및 제3 축(예: z축)을 식별할 수 있고, 프로브(101)가 회전하는 경우 식별된 3개의 축을 기준으로 각각의 축에서의 각속도 값을 측정할 수 있다.

일 실시 예에 따르면, 센서 모듈(111)과 전기적으로 연결된 적어도 하나의 프로세서(103)는 자이로 센서를 통해 측정한 각속도 값에 기반하여 프로브(101)의 회전을 식별할 수 있다.

일 실시 예에 따르면, 센서 모듈(111)은 프로브(101) 또는 프로브 바디(110)의 위치를 감지(detect), 식별(identify) 또는 결정(determine)하기 위한 하드웨어 구성(component)로 참조될 수 있다. 따라서, 센서 모듈(111)이라는 용어는 센서(sensor), 센서 회로(sensor circuit) 또는 센싱 회로(sensing circuit)로 대체될 수 있다.

본 개시의 도 1에서는 이미지 처리 장치(102)에 적어도 하나의 프로세서(103)가 포함되는 것으로 설명되었으나 이는 일 예시일 뿐이다. 예를 들어, 프로브 바디(110)의 위치 또는 회전을 식별하기 위한 프로세서는 프로브 바디(110) 내에 배치될 수 있다. 또 다른 예를 들어, 프로브 바디(110)의 위치를 식별하기 위한 프로세서는 프로브 바디(110) 내에 배치될 수 있고, 프로브 바디(110)의 회전은 적어도 하나의 프로세서(103)에 의해 식별될 수 있다. 즉, 프로브 바디(110)의 위치 및 회전을 식별하기 위한 적어도 하나의 프로세서는 프로브 바디(110) 및/또는 이미지 처리 장치(102)에 배치될 수 있다.

도 2는 일 실시 예에 따른 센서 모듈의 위치와 프로브 팁의 위치 간 차이를 설명하기 위한 도면이다.

도 2를 참고하면, 일 실시 예에 따른 프로브 바디(110) 내에 위치하는 센서 모듈(111)은 제1 위치 정보를 가질 수 있다. 예를 들어, 센서 모듈(111)은 제1 시점에서 센서 모듈(111)의 위치 정보를 획득 또는 측정할 수 있다. 획득된 센서 모듈(111)의 제1 위치 정보는 제1 축(예: x축), 제2 축(예: y축) 및 제3 축(예: z축)을 포함하는 3차원 좌표들(three dimensional coordinates)로 지시(indicated)될 수 있다. 예를 들어, 제1 위치 정보는 o = (

,

)로 지시될 수 있다.

일 실시 예에 따르면, 프로브(101)의 프로브 팁(210)은 제1 위치 정보와 구별되는 위치 정보를 가질 수 있다. 예를 들어, 프로브 팁(210)의 위치 정보는 p = (

,

)로 지시될 수 있다. 따라서, 센서 모듈(111)의 위치와 프로브 팁(210)의 위치는 차이가 있을 수 있다.

일 실시 예에 따르면, 센서 모듈(111)의 위치와 프로브 팁(210)의 위치 간의 차이는 미리 결정될 수 있다. 예를 들어, 센서 모듈(111)의 위치와 프로브 팁(210)의 위치 간의 차이는 프로브(101) 내 센서 모듈(111)과 프로브 팁(210) 간의 상대적인 위치 정보 및 프로브 팁(210)이 향하는 방향에 대한 정보를 포함할 수 있다.

예를 들어, 상대적인 위치 정보는 센서 모듈(111)이 포함된 프로브 바디(110)의 길이, 프로브 팁(210)이 포함된 프로브 튜브(130)의 길이 및/또는 프로브 바디(110)와 프로브 튜브(130)간의 각도 예:

)에 대한 정보를 포함할 수 있다. 일 예시에서, 프로브 바디(110)와 프로브 튜브(130) 간의 각도는 실질적으로 벤딩부(120)의 벤딩 각도에 해당할 수 있다.

예를 들어, 프로브 팁(210)이 향하는 방향에 대한 정보는 센서 모듈(111)의 자이로 센서로부터 획득될 수 있다. 예를 들어, 프로브 팁(210)이 향하는 방향에 대한 정보는 기준 축(예: x 축)으로부터의 각도(예:

)로 지시될 수 있다.

일 실시 예에 따르면, 센서 모듈(111)이 위치한 프로브 바디(110)의 제1 지점(o), 제1 벡터(v1) 및 제2 벡터(v2)를 이용하여 프로브 팁(210)의 위치인 제2 지점(p)의 좌표가 계산될 수 있다. 예를 들어, 제1 지점(o)에서 벤딩부(120)의 제3 지점(m)까지는 제1 벡터(v1)로 지시될 수 있고, 제3 지점(m)에서부터 제2 지점(p)까지는 제2 벡터(v2)로 지시될 수 있다. 결과적으로, 제1 지점(o)과 제1 벡터(v1) 및 제2 벡터(v2)의 벡터 합을 이용하면 제2 지점(p)의 좌표가 획득될 수 있다. 즉, 센서 모듈(111)의 위치 정보(예: 제1 지점(o)의 좌표)와 제1 벡터(v1) 및 제2 벡터(v2)만 식별되더라도 프로브 팁(210)의 위치 정보(예: 제2 지점(p)의 좌표)가 식별될 수 있다.

일 실시 예에 따르면, 제1 벡터(v1)는 실질적으로 센서 모듈(111)이 포함된 프로브 바디(110)의 길이, 및 프로브 바디(110)와 프로브 튜브(130)가 이루는 각도(예:

)를 통해 획득될 수 있다. 제2 벡터(v2)는 실질적으로 프로브 튜브(130)의 길이, 및 프로브 팁(210)이 향하는 방향에 대한 정보를 통해 획득될 수 있다.

일 실시 예에 따르면, 이미지 처리 장치(102)의 적어도 하나의 프로세서(103)는 프로브(101)가 획득한 복수의 이미지들을 가상의 평면에 투영(project) 또는 정사영함으로써 복수의 이미지들을 스티칭할 수 있다. 적어도 하나의 프로세서(103)가 복수의 이미지들을 스티칭하기 위해서는 복수의 이미지들 각각에 대응하는 위치 정보를 획득해야할 필요가 있다.

다만, 프로브(101) 내의 센서 모듈(111)은 프로브 바디(110)에 위치하기 때문에 적어도 하나의 프로세서(103)가 센서 모듈(111)이 획득한 위치 정보를 이용하여 복수의 이미지들을 투영하는 경우에는 오차가 발생할 수 있다.

따라서, 적어도 하나의 프로세서(103)는 오차의 발생을 최소화하거나 방지하기 위해 센서 모듈(111)의 위치 정보를 조직과 인접한 프로브 팁(210)의 위치 정보로 캘리브레이션(또는, 보정)할 필요가 있다.

결과적으로, 일 실시 예에 따른 적어도 하나의 프로세서(103)는 센서 모듈(111)의 위치 정보와 상술된 미리 결정된 파라미터에 기반하여 센서 모듈(111)의 위치 정보를 보정된 위치 정보(calibrated location information)로 변환할 수 있다. 적어도 하나의 프로세서(103)는 보정된 위치 정보를 이용하여 복수의 이미지들을 스티칭할 수 있다.

도 3은 일 실시 예에 따른 프로브를 통해 획득된 이미지들의 스티칭을 설명하기 위한 도면이다.

도 3을 참고하면, 일 실시 예에 따른 프로브(101)는 이동할 수 있고, 서로 다른 위치를 가지는 조직들의 이미지들이 획득될 수 있다. 예를 들어, 제1 시점(t1)에서 프로브(101)는 조직(301)의 제1 영역(311)의 이미지를 획득할 수 있다. 제2 시점(t2)에서 프로브(101)는 조직(301)의 제2 영역(312)의 이미지를 획득할 수 있다. 제3 시점(t3)에서 프로브(101)는 조직(301)의 제3 영역(313)의 이미지를 획득할 수 있고, 제4 시점(t4)에서 프로브(101)는 제4 영역(314)의 이미지를 획득할 수 있다.

한편, 조직(301)의 병변을 사용자가 관찰하여 진단하기 위해서는 조직(301)의 각 영역들이 스티칭되어야할 수 있다. 예를 들어, 프로브(101)는 제1 시점(t1)에서 제5 영역(325)의 제5 이미지를 획득할 수 있다. 프로브(101)는 제2 시점(t2)에서 제6 영역(326)의 제6 이미지를 획득할 수 있다. 일 예시에서, 제6 영역(326)은 제5 영역(325)의 적어도 일부를 포함할 수 있다. 즉, 제6 이미지는 제1 시점(t1)에 획득된 제5 이미지와 제2 시점(t3)에 획득된 단순 이미지가 스티칭된 이미지에 해당할 수 있다.

예를 들어, 프로브(101)는 제3 시점(t3)에서 제7 영역(327)의 제7 이미지를 획득할 수 있다. 일 예시에서, 제7 이미지는 제2 시점(t2)에 획득된 제6 이미지와 제3 시점(t3)에 획득된 단순 이미지가 스티칭된 이미지에 해당할 수 있다.

예를 들어, 프로브(101)는 제4 시점(t4)에서 제8 영역(328)의 제8 이미지를 획득할 수 있다. 일 예시에서, 제8 이미지는 제3 시점(t3)에 획득된 제7 이미지와 제4 시점(t4)에 획득된 단순 이미지가 스티칭된 이미지에 해당할 수 있다.

본 개시의 단순 이미지란 스티칭되지 않은 이미지로 참조될 수 있다. 예를 들어, 단순 이미지란 프로브(101)가 각 시점에 획득한 이미지로서 스티칭되지 않은 이미지로 참조될 수 있다. 즉, 단순 이미지는 스티칭 이미지와 구분하기 위해 지칭된 것으로 이해될 수 있다.

도 4는 일 실시 예에 따른 보정된 위치 정보를 획득하는 방법을 설명하기 위한 도면이다.

도 4를 참고하면, 일 실시 예에 따른 적어도 하나의 프로세서(103)는 동작 401에서 제1 시점일 때(또는, 제1 시점에 대응하는) 조직의 제1 영역에 대한 제1 이미지를 획득할 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 프로브(101)를 이용하여 제1 시점에서 신체 내 조직의 제1 영역에 대한 제1 이미지를 획득 또는 촬영(capturing)할 수 있다.

예를 들어, 프로브(101)는 제1 시점에서 사용자의 입력(예: 버튼에 대한 입력)을 수신할 수 있고, 프로브(101)는 수신된 사용자 입력에 기반하여 제1 시점에서 신체 내 조직의 제1 영역에 대한 제1 이미지를 획득할 수 있다. 일 예시에서, 프로브(101)의 사용자 입력 수신 및/또는 제1 이미지의 획득은 적어도 하나의 프로세서(103)의 제어에 의해 수행될 수 있다.

일 실시 예에 따르면, 제1 이미지는 프로브(101)의 광섬유 스캐너(131)가 조직에 조사광을 조사하고 프로브(101)의 렌즈(또는, 수광부)(132)가 조직으로부터 방출된 여기광(excitation light)을 수광하는 동안 획득될 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 동작 403에서 제1 시점에 대응하는 센서 모듈(111)의 제1 위치 정보를 획득할 수 있다.

일 실시 예에 따르면, 센서 모듈(111)은 가속도 센서를 포함할 수 있다. 센서 모듈(111)의 가속도 센서는 제1 시점에서 프로브(101)의 가속도 정보를 획득할 수 있다. 적어도 하나의 프로세서(103) 또는 가속도 센서는 프로브(101)의 가속도 정보에 기반하여 센서 모듈(111)의 제1 위치 정보를 획득할 수 있다.

예를 들어, 가속도 센서는 제1 시점에 대응하는 센서 모듈(111)의 가속도 값들(또는, 가속도 정보)을 획득할 수 있다. 적어도 하나의 프로세서(103)는 센서 모듈(111)의 가속도 값들을 적분하여 센서 모듈(111)의 위치 정보를 획득할 수 있다. 가속도 값들이 적분되어 획득된 위치 정보는 3차원 좌표계들에 따른 좌표들로 지시될 수 있다. 일 예시에서, 3차원 좌표계들은 제1 축(예; x축), 제2 축(예; y축) 및 제3 축(예; z축)을 포함할 수 있다.

일 실시 예에 따르면, 센서 모듈(111)의 제1 위치 정보는 기준 위치에 대한 상대적인 위치에 대한 정보일 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제1 시점 이전의 기준 시점(reference time point)에서 센서 모듈(111)의 기준 위치(reference location)를 획득할 수 있다. 일 예시에서, 센서 모듈(111)은 기준 시점의 기준 위치에 대한 상대적인 위치로서 센서 모듈(111)의 제1 위치를 획득할 수 있다. 일 예시에서, 제1 위치 정보는 제1 시점의 센서 모듈(111)의 제1 위치에 대한 정보를 포함할 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 제1 시점에서 센서 모듈(111)에서 측정된 제1 각속도 정보를 획득할 수 있다. 적어도 하나의 프로세서(103)는 제1 각속도 정보에 포함된 각속도 값들을 이용하여 프로브(101)의 기울기(inclination)를 획득할 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 동작 405에서 획득된 제1 위치 정보 및 미리 결정된 파라미터에 기반하여 제1 보정된 위치 정보를 획득할 수 있다. 예를 들어, 획득된 제1 위치 정보는 프로브 바디(110) 내 센서 모듈(111)의 위치에 해당할 수 있다. 제1 보정된 위치 정보는 프로브(101)의 프로브 팁(210)의 위치에 해당할 수 있다. 일 예시에서, 프로브 팁(210)은 조직과 인접한 프로브(101)의 부분이므로 프로브 팁(210)의 위치 정보는 실질적으로 조직의 위치 정보에 해당할 수 있다.

일 실시 예에 따르면, 제1 시점에서(또는, 제1 시점에 대응하는) 상기 프로브 팁(210)의 제1 보정된 위치 정보는 제1 축(예: x축), 제2 축(예: y축) 및 제3 축(예: z축)을 포함하는 3차원 좌표들로 지시될 수 있다.

일 실시 예에 따르면, 제1 보정된 위치 정보는 제1 이미지의 위치 정보에 해당할 수 있다. 예를 들어, 제1 보정된 위치 정보는 제1 이미지가 스티칭될 때 필요한 제1 이미지의 위치 정보에 해당할 수 있다.

일 실시 예에 따르면, 미리 결정된 파라미터는 프로브(101) 내 센서 모듈(111)과 프로브(101)의 프로브 팁(210) 간의 상대적인 위치 정보 및/또는 프로브 팁(210)이 향하는 방향에 대한 방향 정보를 포함할 수 있다. 일 실시 예에서, 센서 모듈(111)과 프로브 팁(210) 간의 상대적인 위치 정보는 센서 모듈(111)이 포함된 프로브 바디(110)의 길이, 프로브 팁(210)을 포함하는 프로브 튜브(130)의 길이, 및/또는 프로브 바디(110)와 프로브 튜브(130)의 각도에 대한 정보를 포함할 수 있다.

본 개시의 프로브 팁(210)은 실질적으로 프로브(101)의 원위단으로 참조될 수 있다. 따라서, 센서 모듈(111)과 프로브 팁(210) 간의 상대적인 위치 정보는 센서 모듈(111)과 프로브(101)의 원위단 간의 상대적인 위치 정보로 참조될 수 있다.

본 개시에서는 프로브(101)가 프로브 바디(110), 벤딩부(120) 및 프로브 튜브(130)를 포함하는 것으로 설명되었으나 이는 일 예시일 뿐이다. 예를 들어, 프로브(101)가 프로브 바디(110)에 해당하는 제1 부분, 벤딩부(120)에 해당하는 제2 부분 및 프로브 튜브(130)에 해당하는 제3 부분을 포함하는 개념으로도 설명될 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)가 획득된 제1 위치 정보 및 미리 결정된 파라미터를 이용하여 제1 보정된 위치 정보를 획득하는 과정은 다음과 같을 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제1 위치 정보로부터 센서 모듈(111)의 좌표(예: 도 2의 o = (

,

))를 획득할 수 있다. 일 예시에서, 적어도 하나의 프로세서(103)는 센서 모듈(111)이 포함된 프로브 바디(110)의 길이, 및 프로브 바디(110)와 프로브 튜브(130)의 각도에 대한 정보를 이용하여 제3 지점의 좌표(예: 도 2의 m = (

,

))를 획득할 수 있다. 일 예시에서, 적어도 하나의 프로세서(103)는 프로브 튜브(130)의 길이 및 프로브 팁(210)이 향하는 방향에 대한 방향 정보를 이용하여 프로브 팁(210)의 좌표(예: 도 2의 p = (

,

))를 획득할 수 있다. 결과적으로, 적어도 하나의 프로세서(103)는 제1 위치 정보 및 미리 결정된 파라미터를 통해 조직의 좌표와 실질적으로 동일한 프로브 팁(210)의 제1 좌표를 획득할 수 있다. 프로브 팁(210)의 제1 좌표는 제1 시점에 대응할 수 있고, 프로브 팁(210)의 제1 좌표는 실질적으로 조직의 제1 영역의 좌표에 해당할 수 있다.

도 5는 일 실시 예에 따른 제1 이미지와 제2 이미지를 스티칭하는 방법을 설명하기 위한 도면이다.

도 5를 참고하면, 일 실시 예에 따른 적어도 하나의 프로세서(103)는 동작 507에서 제2 시점일 때(또는, 제2 시점에 대응하는) 조직의 제2 영역에 대한 제2 이미지를 획득할 수 있다.

예를 들어, 적어도 하나의 프로세서(103)는 프로브(101)를 이용하여 제2 시점에서 신체 내 조직의 제2 영역에 대한 제2 이미지를 획득 또는 촬영(capturing)할 수 있다. 예를 들어, 프로브(101)는 제2 시점에서 사용자의 입력(예: 버튼에 대한 입력)을 수신할 수 있고, 프로브(101)는 수신된 사용자 입력에 기반하여 제2 시점에서 신체 내 조직의 제2 영역에 대한 제2 이미지를 획득할 수 있다. 일 예시에서, 프로브(101)의 사용자 입력 수신 및/또는 제2 이미지의 획득은 적어도 하나의 프로세서(103)의 제어에 의해 수행될 수 있다.

일 실시 예에 따르면, 제2 이미지는 프로브(101)의 광섬유 스캐너(131)가 조직에 조사광을 조사하고 프로브(101)의 렌즈(또는, 수광부)(132)가 조직으로부터 방출된 여기광(excitation light)을 수광하는 동안 획득될 수 있다.

일 실시 예에 따르면, 제2 시점은 제1 시점과 구분되는 시점으로 참조될 수 있다. 예를 들어, 제2 시점은 제1 시점 이후의 시점일 수 있다.

일 실시 예에 따르면, 제1 시점과 제2 시점의 간격은 조직에 대한 이미지를 촬영하는 속도를 나타내는 이미지 프레임 레이트(image frame rate)의 역수에 해당할 수 있다.

일 실시 예에 따르면, 제1 시점과 제2 시점의 간격은 실질적으로 동일할 수 있다. 예를 들어, 이미지 프레임 레이트가 제1 값(예: 30 fps)으로 설정된 경우에 제1 시점과 제2 시점의 간격은 1/30초일 수 있다. 일 예시에서, 제2 시점과 제2 시점 이후의 제3 시점의 간격은 1/30초일 수 있다. 즉, 프로브(101)가 조직의 이미지를 획득 또는 촬영하는 간격은 실질적으로 동일할 수 있다.

일 실시 예에 따르면, 따라서, 제1 시점과 제2 시점의 간격은 달라질 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 조직에 대한 이미지를 촬영하는 속도를 나타내는 이미지 프레임 레이트를 제1 값(예: 30 fps)으로 설정할 수 있다. 일 예시에서, 적어도 하나의 프로세서(103)는 조직에 대한 이미지를 촬영하는 동안 센서 모듈(111)을 통해 프로브(101)의 이동 속도를 감지할 수 있고, 감지된 이동 속도에 기반하여 이미지 프레임 레이트의 값을 유지하거나 변경할 수 있다.

일 예시에서, 적어도 하나의 프로세서(103)는 감지된 이동 속도가 기준 값 이상인 경우 이미지 프레임 레이트를 제1 값보다 큰 제2 값(에: 60 fps)으로 변경할 수 있다. 따라서, 제1 시점과 제2 시점 간의 간격은 1/60초일 수 있다

일 예시에서, 적어도 하나의 프로세서(103)는 감지된 이동 속도가 기준 값 미만인 경우 이미지 프레임 레이트를 제1 값(예: 30 fps)으로 유지할 수 있다. 따라서, 제1 시점과 제2 시점 간의 간격은 1/30초일 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 동작 509에서 제2 시점에 대응하는 센서 모듈(111)의 제2 위치 정보를 획득할 수 있다. 적어도 하나의 프로세서(103) 또는 가속도 센서는 프로브(101)의 가속도 정보에 기반하여 센서 모듈(111)의 제2 위치 정보를 획득할 수 있다.

일 실시 예에 따르면, 센서 모듈(111)의 제2 위치 정보는 기준 위치에 대한 상대적인 위치에 대한 정보일 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제1 시점 이전의 기준 시점(reference time point)에서 센서 모듈(111)의 기준 위치(reference location)를 획득할 수 있다. 일 예시에서, 센서 모듈(111)은 기준 시점의 기준 위치에 대한 상대적인 위치로서 센서 모듈(111)의 제2 위치를 획득할 수 있다. 제2 위치 정보는 제2 시점에 대응하는 센서 모듈(111)의 제2 위치에 대한 정보를 포함할 수 있다.

일 실시 예에 따르면, 가속도 센서는 제2 시점에 대응하는 센서 모듈(111)의 가속도 값들을 획득할 수 있다. 적어도 하나의 프로세서(103)는 센서 모듈(111)의 가속도 값들을 적분하여 센서 모듈(111)의 제2 위치 정보를 획득할 수 있다. 가속도 값들이 적분되어 획득된 제2 위치 정보는 3차원 좌표계들에 따른 좌표들로 지시될 수 있다. 일 예시에서, 3차원 좌표계들은 제1 축(예; x축), 제2 축(예; y축) 및 제3 축(예; z축)을 포함할 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 동작 511에서 획득된 제2 위치 정보 및 미리 결정된 파라미터에 기반하여 제2 보정된 위치 정보를 획득할 수 있다. 예를 들어, 획득된 제2 위치 정보는 프로브 바디(110) 내 센서 모듈(111)의 위치에 해당할 수 있다. 제2 보정된 위치 정보는 프로브(101)의 프로브 팁(210)의 위치에 해당할 수 있다. 일 예시에서, 프로브 팁(210)은 조직과 인접한 프로브(101)의 부분이므로 프로브 팁(210)의 위치 정보는 실질적으로 조직의 위치 정보에 해당할 수 있다.

일 실시 예에 따르면, 제2 시점에서(또는, 제2 시점에 대응하는) 상기 프로브 팁(210)의 제2 보정된 위치 정보는 제1 축(예: x축), 제2 축(예: y축) 및 제3 축(예: z축)을 포함하는 3차원 좌표들로 지시될 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)가 획득된 제2 위치 정보 및 미리 결정된 파라미터를 이용하여 제2 보정된 위치 정보를 획득하는 과정은 다음과 같을 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제2 위치 정보로부터 센서 모듈(111)의 좌표(예: 도 2의 o = (

,

))를 획득할 수 있다. 결과적으로, 적어도 하나의 프로세서(103)는 제2 위치 정보 및 미리 결정된 파라미터를 통해 조직의 좌표와 실질적으로 동일한 프로브 팁(210)의 제2 좌표를 획득할 수 있다. 프로브 팁(210)의 제2 좌표는 제2 시점에 대응할 수 있고, 프로브 팁(210)의 제2 좌표는 실질적으로 조직의 제2 영역의 좌표에 해당할 수 있다.

일 실시 예에 따르면, 제2 보정된 위치 정보는 제2 이미지의 위치 정보에 해당할 수 있다. 예를 들어, 제2 보정된 위치 정보는 제2 이미지가 스티칭될 때 필요한 제2 이미지의 위치 정보에 해당할 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 동작 513에서 제1 보정된 위치 정보 및 제2 보정된 위치 정보에 기반하여 제1 이미지와 제2 이미지를 스티칭할 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제1 이미지가 제1 보정된 위치 정보 중 제1 축의 좌표 정보(예: x 좌표) 및 제2 축의 좌표 정보(예; y 좌표)를 갖도록 제1 이미지를 가상의 평면 상에 투영 또는 정사영할 수 있다. 즉, 적어도 하나의 프로세서(103)는 제1 보정된 위치 정보 중 제3 축의 좌표 정보(예; z 좌표)를 제외함으로써 제1 이미지를 가상의 평면 상에 투영 또는 정사영할 수 있다. 일 예시에서. 가상의 평면은 제1 축(예: x축) 및 제2 축(예; y축)으로 이루어질 수 있다.

예를 들어, 적어도 하나의 프로세서(103)는 제2 이미지가 제2 보정된 위치 정보 중 제2 축의 좌표(예: x 좌표) 및 제2 축의 좌표 정보(예: y 좌표)를 갖도록 제2 이미지를 가상의 평면 상에 투영 또는 정사영할 수 있다. 즉, 적어도 하나의 프로세서(103)는 제2 보정된 위치 정보 중 제3 축의 좌표 정보(예: z 죄표)를 제외함으로써 제2 이미지를 가상의 평면 상에 투영 또는 정사영할 수 있다.

예를 들어, 제1 이미지는 (

,

)의 좌표 정보를 가지도록 가상의 평면 상에 투영(또는, 정사영)될 수 있고, 제2 이미지는 (

,

)의 좌표 정보를 가지도록 가상의 평면 상에 투영될 수 있다. 결과적으로, 적어도 하나의 프로세서(103)는 제1 이미지 및 제2 이미지가 스티칭된 이미지를 획득할 수 있고, 스티칭된 이미지에는 조직의 제1 영역 및 제2 영역이 포함될 수 있다.

본 개시의 도 1 내지 도 5에서는 2차원(two-dimensional) 이미지들을 스티칭하는 방법이 설명되었으나 이는 일 예시일 뿐이다. 도 1 내지 도 5의 설명은 3차원(three-dimensional) 이미지들을 스티칭하는 방법에도 동일하게 적용될 수 있다. 이하, 도 6에서는 보정된 위치 정보를 이용하여 3차원 이미지들을 스티칭하는 방법이 설명된다.

도 6은 일 실시 예에 따른 3차원 이미지들을 스티칭하는 방법을 설명하기 위한 도면이다.

도 6을 참고하면, 일 실시 예에 따른 적어도 하나의 프로세서(103)는 동작 601에서 제1 보정된 위치 정보의 제1 축(예: x축), 제2 축(예: y축), 및 제3 축(예: z축)의 제1 좌표 정보와 프로브(101)의 프로브 팁(210)이 향하는 제1 방향 정보에 기반하여 제1 영역에 대한 3차원 이미지를 획득할 수 있다. 일 실시 예에서, 제1 영역에 대한 3차원 이미지를 획득하기 위해서 제1 좌표 정보뿐만 아니라 프로브 튜브(130)의 제1 방향 정보가 필요할 수 있다. 예를 들어, 제1 좌표 정보가 동일한 경우에도 프로브 튜브(130)의 제1 방향 정보에 따라 3차원 이미지가 달라질 수 있다. 일 예시예서, 프로브 튜브(130)가 약 45도 기울어지고 제1 좌표 정보(예: (

,

)를 가지는 경우의 3차원 이미지는 프로브 튜브(130)가 약 -45도 기울어지고 제1 좌표 정보(예: (

,

)를 가지는 경우의 3차원 이미지와는 다를 수 있다. 결과적으로, 보다 정확한 3차원 이미지를 획득하기 위해서는 프로브 튜브(130)의 방향 정보가 필요할 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 동작 603에서 제2 보정된 위치 정보의 제1 축(예: x축), 제2 축(예: y축), 및 제3 축(예: z축)의 제2 좌표 정보와 프로브(101)의 프로브 팁(210)이 향하는 제2 방향 정보에 기반하여, 상기 제2 영역에 대한 3차원 이미지를 획득할 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 동작 605에서 제1 영역의 3차원 이미지와 제2 영역의 3차원 이미지를 스티칭할 수 있다.

도 7은 일 실시 예에 따른 보정된 위치 정보를 이용하여 복수의 이미지들을 스티칭하는 방법을 설명하기 위한 도면이다.

도 7을 참고하면, 프로브(101)는 조직의 표면을 따라 이동하면서 조직의 표면을 실시간으로 촬영할 수 있다. 일 실시 예에 따른 프로브(101)의 센서 모듈(111)은 기준 시점(

)에서 센서 모듈(111)에 대한 기준 위치(

)의 좌표들을 획득할 수 있다. 일 실시 예에서, 기준 위치(

)의 좌표들은 제1 축(예: x축), 제2 축(예: y축) 및 제3 축(예: z축) 각각의 좌표를 포함할 수 있다.

일 실시 예에서, 기준 시점(

) 및 기준 위치(

)라는 용어는 각각 개시 시점 및 개시 위치라는 용어로 대체될 수 있다. 예를 들어, 기준 시점(

)은 프로브(101)의 사용자가 프로브(101)를 이용한 이미지 획득을 개시한 시점 또는 프로브(101)의 사용자가 프로브(101)를 이용한 이미지 획득을 위한 버튼 또는 디스플레이 상의 UI(user interface)을 입력한 시점으로 참조될 수 있다. 예를 들어, 개시 위치는 기준 시점(

)에 대응하는 센서 모듈(111)의 위치로 참조될 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103) 또는 센서 모듈(111)은 기준 위치(

)를 기준으로 각 시점에 대응하는 센서 모듈(111)의 위치를 식별할 수 있다. 예를 들어, 센서 모듈(111)은 제1 시점(

)에 대응하는 센서 모듈(111)의 제1 위치(

)를 식별할 수 있다. 예를 들어, 센서 모듈(111)은 제2 시점(

)에 대응하는 센서 모듈(111)의 제2 위치(

)를 식별할 수 있다. 예를 들어, 센서 모듈(111)은 제3 시점(

)에 대응하는 센서 모듈(111)의 제3 위치(

)를 식별할 수 있다. 일 예시에서, 제1 위치(

), 제2 위치(

) 및 제3 위치(

)는 기준 위치(

)에 대한 상대적인 위치일 수 있다.

)를 기준으로 각 시점에 대응하는 프로브 팁(210)의 위치를 식별할 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제1 시점(

)에 대응하는 프로브 팁(210)의 제1 보정된 위치(

)를 식별할 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제2 시점(

)에 대응하는 프로브 팁(210)의 제2 보정된 위치(

)를 식별할 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제3 시점(

)에 대응하는 프로브 팁(210)의 제3 보정된 위치(

)를 식별할 수 있다. 일 예시에서, 제1 보정된 위치(

), 제2 보정된 위치(

) 및 제3 보정된 위치(

)는 기준 위치(

)에 대한 상대적인 위치일 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 센서 모듈(111)의 위치들에 기반하여 프로브 팁(210)의 보정된 위치들을 식별할 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제1 위치(

) 및 미리 결정된 파라미터에 기반하여 제1 보정된 위치(

)를 식별할 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제2 위치(

) 및 미리 결정된 파라미터에 기반하여 제2 보정된 위치(

)를 식별할 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제3 위치(

) 및 미리 결정된 파라미터에 기반하여 제3 보정된 위치(

)를 식별할 수 있다.

일 실시 예에 따르면, 미리 결정된 파라미터는 센서 모듈(111)로부터 프로브 팁(210)까지의 3차원 상대 위치 벡터 및 프로브 팁(210)이 향하는 방향에 대한 방향 정보를 포함할 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103) 또는 센서 모듈(111)은 프로브 팁(210)의 방향 정보를 식별할 수 있다. 예를 들어, 적어도 하나의 프로세서(103) 또는 센서 모듈(111)은 제1 시점(

)에 대응하는 제1 회전 각도(

)에 대응하는 제2 회전 각도(

)에 대응하는 제3 회전 각도(

)를 식별할 수 있다. 일 예시에서, 적어도 하나의 프로세서(103)는 제1 회전 각도(

), 제2 회전 각도(

) 및 제3 회전 각도(

)에 기반하여 프로브 팁(210)의 방향 정보(또는, 회전 정보)를 식별할 수 있다.

예를 들어, 프로브 팁(210)의 방향 정보(또는, 각도 정보)는 지정된 축(예: 제1 축, 제2 축, 제3 축)을 기준으로 프로브 팁(210)이 향하는 방향에 대한 정보 또는 지정된 축을 기준으로 프로브 팁(210)이 이루는 각도 정보로 참조될 수 있다.

일 실시 예에 따르면, 제1 회전 각도(

), 제2 회전 각도(

) 및 제3 회전 각도(

)는 각각 회전 쿼터니언(rotation quternion)에 해당할 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 회전 각도에 기반하여 획득된 프로브 팁(210)의 방향 정보를 이용하여 센서 모듈(111)의 위치 정보(예: 제1 위치 정보)를 프로브 팁(210)의 보정된 위치 정보(예: 제1 보정된 위치 정보)로 변환할 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 프로브 팁(210)의 방향 정보 및 센서 모듈(111)과 프로브 팁(210) 사이의 3차원 상대 위치 벡터에 대한 정보를 이용하여 센서 모듈(111)의 위치 정보를 프로브 팁(210)의 보정된 위치 정보로 변환할 수 있다.일 실시 예에 따르면, 적어도 하나의 프로세서(103) 또는 센서 모듈(111)은 제1 보정된 위치(

), 제2 보정된 위치(

) 및 제3 보정된 위치(

)에 기반하여 복수의 이미지들을 가상의 평면(710)에 투영 또는 정사영할 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제1 이미지가 제1 보정된 위치(

)의 좌표들(예: 제1 축의 좌표, 제2 축의 좌표, 제3 축의 좌표) 중 하나의 좌표 값(예: 제3 축의 좌표 값)이 제거되도록 제1 이미지를 가상의 평면(710)에 투영할 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제2 이미지가 제2 보정된 위치(

)의 좌표들(예: 제1 축의 좌표, 제2 축의 좌표, 제3 축의 좌표) 중 하나의 좌표 값(예: 제3 축의 좌표 값)이 제거되도록 제2 이미지를 가상의 평면(710)에 투영할 수 있다. 예를 들어, 적어도 하나의 프로세서(103)는 제3 이미지가 제3 보정된 위치(

)의 좌표들(예: 제1 축의 좌표, 제2 축의 좌표, 제3 축의 좌표) 중 하나의 좌표 값(예: 제3 축의 좌표 값)이 제거되도록 제3 이미지를 가상의 평면(710)에 투영할 수 있다. 즉, 적어도 하나의 프로세서(103)는 상기 제1 이미지, 상기 제2 이미지, 및 상기 제3 이미지 각각의 보정된 위치의 좌표들 중 하나의 좌표 값을 서로 일치시키도록, 상기 제1 이미지, 상기 제2 이미지, 및 상기 제3 이미지를 가상의 평면(710)에 투영할 수 있다. 예를 들어, 상기 제1 이미지, 상기 제2 이미지, 및 상기 제3 이미지의 보정된 위치의 좌표들 중 Z축 좌표 값은 모두 동일할 수 있다.

일 실시 예에 따르면, 가상의 평면(710)에 투영된 제1 이미지, 제2 이미지 및 제3 이미지는 하나의 평면(예: 가상의 평면(710))에 표시될 수 있다. 일 실시 예에서, 복수의 이미지들이 하나의 평면(예: 가상의 평면(710))에 투영됨에 따라 복수의 이미지들은 스티칭될 수 있다.

일 실시 예에 따르면, 복수의 이미지들을 가상의 평면(710)에 투영할 때 제1 보정된 위치(

), 제2 보정된 위치(

) 및 제3 보정된 위치(

)가 이용됨에 따라 투영된 복수의 이미지들의 정확도가 높아질 수 있다. 예를 들어, 적어도 하나의 프로세서(103)가 보정된 위치들이 아닌 제1 위치(

), 제2 위치(

) 및 제3 위치(

)를 이용하여 복수의 이미지들을 가상의 평면(710)에 투영하는 경우에는 투영된 이미지들의 위치에 대한 오차가 발생할 수 있다. 이는 제1 위치(

), 제2 위치(

) 및 제3 위치(

)는 조직과 상대적으로 이격된 센서 모듈(111)의 위치이기 때문일 수 있다.

반면에, 일 실시 예에 따른 적어도 하나의 프로세서(103)가 보정된 위치들(예: 제1 보정된 위치(

), 제2 보정된 위치(

) 및 제3 보정된 위치(

))을 이용하여 복수의 이미지를 가상의 평면(710)에 투영하는 경우에는 투영된 이미지들의 위치에 대한 오차가 감소하거나 방지될 수 있다. 제1 보정된 위치(

), 제2 보정된 위치(

) 및 제3 보정된 위치(

) 각각은 프로브 팁(210)의 위치이고, 프로브 팁(210)은 조직과 상대적으로 가까울 수 있다. 즉, 프로브 팁(210)의 위치는 실질적으로 조직의 위치에 해당할 수 있다. 결과적으로, 실제 조직의 위치에 해당하는 제1 보정된 위치(

), 제2 보정된 위치(

) 및 제3 보정된 위치(

)을 이용하는 경우에 적어도 하나의 프로세서(103)는 투영된 이미지들의 위치에 대한 오차를 줄일 수 있다.

이하, 상술된 위치(예: 제1 위치) 및 미리 결정된 파라미터(예: 프로브 팁(210)의 방향 정보)를 이용하여 보정된 위치(예: 제1 보정된 위치)를 결정 또는 식별하는 구체적인 방법을 설명한다. 다만. 이하 설명되는 구체적인 방법은 일 예시에 불과하며 본 개시를 한정하지 않는다.

도 8은 일 실시 예에 따른 이미지 처리 장치에 탑재된 프로그램들을 설명하기 위한 도면이다.

도 8을 참고하면, 일 실시 예에 따른 프로브(101)는 센서 모듈(111)을 포함할 수 있고, 프로브(101)는 광 전파 모듈(800)과 광섬유를 통해 연결될 수 있다. 일 실시 예에서, 광 전파 모듈(800)은 복수의 광학 부재들(예: 필터, 빔 스플리터, 레이저들)을 포함할 수 있으며 레이저들로부터 출력된 빔들의 전파 경로로 활용되거나, 조직에 반사된 여기광들의 전파 경로로 활용될 수 있다.

일 실시 예에 따르면, 이미지 처리 장치(102)는 광 전파 모듈(800) 및 프로브(101)와 전기적으로 연결될 수 있다. 일 실시 예에서, 이미지 처리 장치(102)는 광 전파 모듈(800) 및 프로브(101)를 이용하여 조직의 이미지들을 획득할 수 있다.

일 실시 예에 따르면, 이미지 처리 장치(102)는 디스플레이(810)를 포함할 수 있고, 이미지 처리 장치(102)에 탑재된 프로그램들을 이용하여 디스플레이(810)에 조직의 이미지를 표시할 수 있다.

일 실시 예에 따르면, 이미지 처리 장치(102)에는 제1 프로그램(801) 및 제2 프로그램(802)이 탑재될 수 있다. 일 실시 예에서, 제1 프로그램(801) 및 제2 프로그램(802)은 이미지 처리 장치(102)에 탑재되어 이미지 처리 장치(102) 내 하드웨어 구성(예: 적어도 하나의 프로세서(103))와 유기적으로 결합될 수 있다. 예를 들어, 제1 프로그램(801) 이미지 처리 장치(102) 내 적어도 하나의 프로세서(103)에 지정된 동작들(예: 디스플레이 표시 또는, 이미지 처리)을 수행하도록 인스트럭션(instruction)들을 전달할 수 있다. 적어도 하나의 프로세서(103)는 전달된 인스트럭션들에 기반하여 지정된 동작들을 수행할 수 있다.

일 실시 예에 따르면, 제1 프로그램(801)은 프로브(101) 및 광 전파 모듈(800)을 통해 획득 또는 촬영되고 있는 조직의 이미지를 실시간으로 디스플레이(810)에 표시하도록 적어도 하나의 프로세서(103)를 제어할 수 있다. 예를 들어, 제1 프로그램(801)은 적어도 하나의 프로세서(103)를 제어하여 디스플레이(810)의 제1 영역(811)에 실시간으로 획득 또는 촬영되고 있는 조직이 이미지를 표시할 수 있다.

일 실시 예에 따르면, 제2 프로그램(802)은 적어도 하나의 프로세서(103)가 수신한 복수의 이미지들을 스티칭하도록 제어할 수 있다. 제2 프로그램(802)은 적어도 하나의 프로세서(103)가 스티칭된 이미지를 디스플레이(810)의 제2 영역(812)에 표시하도록 제어할 수 있다.

본 개시의 도 8에서는 제1 영역(811)과 제2 영역(812)이 서로 가장자리의 적어도 일부를 공유하는 것으로 도시되었으나, 이는 일 예시일 뿐이다. 제1 영역(811)과 제2 영역(812)은 디스플레이(810) 상에서 서로 이격되게 표시될 수 있다. 또 다른 예로서, 제1 영역(811)과 제2 영역(812)은 서로 가장자리의 적어도 일부를 공유하다가 사용자 입력에 응답하여 서로 이격될 수 있다. 또 다른 예로서, 제1 영역(811)과 제2 영역(812)의 크기는 사용자 입력(예: 터치 입력)에 의해 각각 조절될 수 있다.

일 실시 예에 따르면, 프로브(101)를 통해 수신한 이미지를 처리하고 디스플레이(810)의 제1 영역(811)에 실시간으로 표시하는 제1 프로그램(801)과 프로브(101)를 통해 수신한 복수의 이미지들을 하나의 이미지로 스티칭하기 위한 제2 프로그램(802)은 하나의 장치(예: 이미지 처리 장치(102)에 탑재될 수 있다.

다만, 이는 일 예시일 뿐이고 제1 프로그램(801)과 제2 프로그램(802)은 서로 다른 장치에 탑재될 수 있다.

도 9는 일 실시 예에 따른 서로 다른 장치에 탑재된 제1 프로그램과 제2 프로그램을 설명하기 위한 도면이다.

도 9를 참고하면, 일 실시 예에 따른 제2 프로그램(902)은 추가 이미지 처리 장치(900)에 탑재될 수 있다. 일 실시 예에서, 제2 프로그램(902)은 추가 이미지 처리 장치(900)에 탑재되어 추가 이미지 처리 장치(900) 내 하드웨어 구성(예: 적어도 하나의 프로세서)와 유기적으로 결합될 수 있다. 예를 들어, 제2 프로그램(902)은 추가 이미지 처리 장치(900) 내 적어도 하나의 프로세서에 지정된 동작들(예: 디스플레이 표시 또는, 이미지 처리)을 수행하도록 인스트럭션들을 전달할 수 있다. 적어도 하나의 프로세서는 전달된 인스트럭션들에 기반하여 지정된 동작들을 수행할 수 있다.

일 실시 예에 따르면, 추가 이미지 처리 장치(900)는 이미지 처리 장치(102)와는 물리적으로 이격될 수 있다. 일 실시 예에서, 추가 이미지 처리 장치(900)는 이미지 처리 장치(102)와 통신 연결을 수립할 수 있다. 예를 들어, 추가 이미지 처리 장치(900)는 이미지 처리 장치(102)와 유선 또는 무선 통신 연결을 수립할 수 있다.

일 실시 예에 따르면, 추가 이미지 처리 장치(900)는 이미지 처리 장치(102)로부터 프로브(101)를 통해 획득된 복수의 이미지들을 수신할 수 있다. 일 실시 예에서, 이미지 처리 장치(102)의 적어도 하나의 프로세서(103)는 추가 이미지 처리 장치(900)와 제1 RAT(radio access technology)의 제1 통신 연결을 수립할 수 있다. 적어도 하나의 프로세서(103)는 송신할 이미지의 개수, 송신 이미지의 용량 및/또는 제1 RAT의 통신 상태를 고려하여 추가 이미지 처리 장치(900)와 제2 RAT의 제2 통신 연결을 수립할 수 있다. 적어도 하나의 프로세서(103)는 제2 RAT의 제2 통신 연결을 통해 복수의 이미지들을 송신할 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)가 제2 RAT의 제2 통신 연결을 추가 이미지 처리 장치(900)와 수립하더라도 제1 RAT의 제1 통신 연결은 유지될 수 있다. 적어도 하나의 프로세서(103)는 제2 RAT의 제2 통신 연결의 통신 상태가 열화되는 경우에 복수의 이미지들 중 적어도 일부를 제1 RAT의 제1 통신 연결을 통해 추가 이미지 처리 장치(900)로 전송할 수 있다. 즉, 복수의 이미지들 중 일부는 제1 RAT의 제1 통신 연결을 통해 추가 이미지 처리 장치(900)로 전송될 수 있고, 복수의 이미지들 중 나머지는 제2 RAT의 제2 통신 연결을 통해 추가 이미지 처리 장치(900)로 전송될 수 있다. 또 다른 예로서, 적어도 하나의 프로세서(103)가 제2 RAT의 제2 통신 연결을 추가 이미지 처리 장치(900)와 수립하는 경우에는 제1 통신 연결은 해제될 수 있다.

일 실시 예에 따르면, 추가 이미지 처리 장치(900)의 적어도 하나의 프로세서는 이미지 처리 장치(102)로부터 수신된 복수의 이미지들을 식별할 수 있다. 적어도 하나의 프로세서는 제2 프로그램(902)이 전달한 인스트럭션들에 의해 수신된 복수의 이미지들을 스티칭할 수 있다.

일 실시 예에 따르면, 추가 이미지 처리 장치(900)는 추가 디스플레이(910)를 포함할 수 있고, 추가 디스플레이(91))에 스티칭된 복수의 이미지들을 표시할 수 있다.

본 개시의 도 9의 실시 예는 도 8의 실시 예와 다르게 프로그램들이 서로 다른 장치에 탑재된다. 예를 들어, 도 8의 실시 예에서는 제1 프로그램(801) 및 제2 프로그램(802)이 하나의 장치(예: 이미지 처리 장치(102))에 탑재될 수 있다. 반면에 도 9의 실시 예에서는 제1 프로그램(801)은 이미지 처리 장치(102)에 탑재되고, 제2 프로그램(802)은 추가 이미지 처리 장치(900)에 탑재될 수 있다.

본 개시의 도 9의 이미지 처리 장치(102)에도 도 1 내지 도 8에서 설명되었던 보정된 위치 정보를 획득하는 동작에 대한 설명은 적용될 수 있다. 다만, 도 1 내지 도 8의 실시 예에서 설명된 스티칭하는 동작에 대한 설명은 추가 이미지 처리 장치(900)에 적용될 수 있다. 즉, 이미지 처리 장치(102)는 보정된 위치 정보와 이미지들을 추가 이미지 처리 장치(900)로 송신할 수 있고, 추가 이미지 처리 장치(900)가 보정된 위치 정보와 수신된 이미지들을 스티칭할 수 있다.

일 실시 예에 따르면, 이미지 처리 장치(102)의 상기 적어도 하나의 프로세서(103)는 프로브(101)를 이용하여 제1 시점에서 조직의 제1 영역에 대한 제1 이미지를 획득하고, 제1 시점에 대응하는 센서 모듈(111)의 제1 위치 정보를 획득할 수 있다. 이미지 처리 장치(102)의 적어도 하나의 프로세서(1030는 제1 위치 정보 및 미리 결정된 파라미터에 기반하여 제1 보정된 위치 정보(calibrated location information)를 획득할 수 있고, 제1 보정된 위치 정보 및 상기 획득된 제1 이미지를 이미지 스티칭을 수행하는 추가 이미지 처리 장치(900)로 송신할 수 있다.

일 실시 예에 따르면, 이미지 처리 장치(102)의 적어도 하나의 프로세서(103)는 상기 프로브(101)를 이용하여 제2 시점에서 상기 조직의 제2 영역에 대한 제2 이미지를 획득하고, 상기 제2 시점에 대응하는 상기 센서의 제2 위치 정보를 획득할 수 있다. 적어도 하나의 프로세서(103)는 제2 위치 정보 및 상기 미리 결정된 파라미터에 기반하여 제2 보정된 위치 정보를 획득하고, 상기 제2 보정된 위치 정보 및 상기 획득된 제2 이미지를 상기 추가 이미지 처리 장치(900)로 송신할 수 있다.

일 실시 예에 따르면, 추가 이미지 처리 장치(900)는 획득된 제1 이미지 및 제2 이미지를 각각 제1 보정된 위치 정보 및 제2 보정된 위치 정보에 기반하여 스티칭할 수 있다.

도 10은 일 실시 예에 따른 도 8의 실시 예에서 디스플레이 파노라마식으로 표시되는 조직을 설명하기 위한 도면이다.

도 10을 참고하면, 일 실시 예에 따른 적어도 하나의 프로세서(103)는 디스플레이(810)의 제1 영역(811)에 프로브(101)로부터 수신된 제1 이미지(1011)를 표시할 수 있다. 제1 영역(811)은 프로브(101)가 실시간으로 수신(촬영)하고 있는 이미지를 표시하는 영역으로 이해될 수 있다. 제2 영역(812)은 촬영 이미지들을 관리 및 설정하는 사용자 인터페이스를 표시하는 영역으로 이해될 수 있다. 다만, 제2 영역(812)은 상술한 기능의 영역으로 제한되지 않으며, 도 8에서 언급된 바와 같이 스티칭 이미지를 표시하는 영역으로서 기능할 수도 있다. 다른 예를 들어, 제2 영역(812)은 사용자의 입력에 따라 스티칭 이미지를 표시하는 화면과 촬영 이미지들을 관리 및 설정하는 사용자 인터페이스를 표시하는 화면이 전환될 수 있다. 제1 이미지(1011)는 제1 시점에 프로브(101)에서 획득 또는 촬영된 이미지에 해당할 수 있다. 제1 이미지(1011)는 스티칭이 수행되지 않은 이미지이며, 조직에 대한 실시간 촬영 이미지로 이해될 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 프로브(101)로부터 제1 이미지(1011)와 구별되는 제2 이미지가 수신됨을 식별할 수 있다. 적어도 하나의 프로세서(103)는 제2 이미지를 수신함에 따라 제2 스티칭 이미지(1012)를 생성할 수 있다. 도 10에 도시되지 않았으나, 적어도 하나의 프로세서(103)는 제2 스티칭 이미지(1012)를 제2 영역(812)에 표시할 수 있다. 제2 이미지는 제2 시점에 프로브(101)에서 획득 또는 촬영된 이미지에 해당하며 제2 스티칭 이미지(1012)의 일부를 구성할 수 있다.

결과적으로, 제2 스티칭 이미지(1012)는 제1 시점에 대응하는 제1 이미지(1011)와 제2 시점에 대응하는 제2 이미지를 스티칭함으로서 생성된 스티칭 이미지로 이해될 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 프로브(101)로부터 제2 이미지와 구별되는 제3 이미지가 수신됨을 식별할 수 있다. 적어도 하나의 프로세서(103)는 제3 이미지를 수신함에 따라 제3 스티칭 이미지(1013)를 생성할 수 있다. 도 10에 도시되지 않았으나, 적어도 하나의 프로세서(103)는 제3 스티칭 이미지(1013)를 제2 영역(812)에 표시할 수 있다. 제3 이미지는 제3 시점에 프로브(101)에서 획득 또는 촬영된 이미지에 해당하며 제3 스티칭 이미지(1013)의 일부를 구성할 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 프로브(101)로부터 제3 이미지와 구별되는 제4 이미지가 수신됨을 식별할 수 있다. 적어도 하나의 프로세서(103)는 제4 이미지를 수신함에 따라 제4 스티칭 이미지(1014)를 생성할 수 있다. 도 10에 도시되지 않았으나, 적어도 하나의 프로세서(103)는 제4 스티칭 이미지(1014)를 제2 영역(812)에 표시할 수 있다. 제4 이미지는 제4 시점에 프로브(101)에서 획득 또는 촬영된 이미지에 해당하며 제4 스티칭 이미지(1014)의 일부를 구성할 수 있다.

일 실시 예에 따르면, 적어도 하나의 프로세서(103)는 디스플레이(810)에 조직의 이미지들을 파노라마식으로 연속적으로 표시할 수 있다.

본 개시의 일 실시 예에 따른 in-vivo 환경에서 공초점 내시현미경(confocal endomicroscope)의 프로브(probe)를 통해 획득된 복수 개의 이미지들을 스티칭(stitching)하는 이미지 처리 장치는 상기 프로브에 포함되고 위치 정보를 획득하는 센서와 전기적으로 연결되는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 프로브를 이용하여 제1 시점에서 조직의 제1 영역(region)에 대한 제1 이미지를 획득하고, 상기 제1 시점에 대응하는 상기 센서의 제1 위치 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 위치 정보 및 미리 결정된 파라미터에 기반하여, 상기 제1 이미지의 위치 정보로써 제1 보정된 위치 정보(calibrated location information)를 획득하고, 상기 프로브를 이용하여 제2 시점에서 상기 조직의 제2 영역에 대한 제2 이미지를 획득할 수 있다. 상기 적어도 하나의 프로세서는 상기 제2 시점에 대응하는 상기 센서의 제2 위치 정보를 획득하고, 상기 제2 위치 정보 및 상기 미리 결정된 파라미터에 기반하여, 상기 제2 이미지의 위치 정보로써 제2 보정된 위치 정보를 획득하고, 상기 제1 보정된 위치 정보 및 상기 제2 보정된 위치 정보에 기반하여 상기 제1 이미지와 상기 제2 이미지를 스티칭할 수 있다.

일 실시 예에 따르면, 상기 제1 이미지 및 상기 제2 이미지는 상기 프로브의 광섬유 스캐너가 상기 조직에 조사광을 조사하고 상기 프로브의 수광부(light receiver)가 상기 조직으로부터 방출된 여기광(excitation light)을 수광(receive)하는 동안 획득될 수 있다.

일 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 제1 시점 이전의 기준 시점에서 상기 센서의 기준 위치를 획득하고, 상기 센서의 상기 기준 위치에 대한 상대적인 위치인 상기 센서의 제1 위치를 획득할 수 있다. 적어도 하나의 프로세서는 상기 제2 시점에서 상기 센서의 상기 기준 위치에 대한 상대적인 위치인 상기 센서의 제2 위치를 획득할 수 있다. 상기 센서의 상기 제1 위치는 상기 제1 시점에 대응하고, 상기 센서의 상기 제2 위치는 상기 제2 시점에 대응할 수 있다.

일 실시 예에 따르면, 상기 미리 결정된 파라미터는 상기 프로브 내 상기 센서와 상기 프로브의 프로브 팁(또는, 원위단) 간의 상대적인 위치 정보, 및 상기 프로브 팁이 향하는 방향에 대한 방향 정보를 포함할 수 있다. 상기 상대적인 위치 정보는 상기 센서가 포함된 프로브 바디의 길이, 상기 프로브 팁을 포함하는 프로브 튜브의 길이, 및 상기 프로브 바디와 상기 프로브 튜브 간의 각도에 대한 정보를 포함할 수 있다.

일 실시 예에 따르면, 상기 제1 보정된 위치 정보는 상기 제1 시점에서 상기 프로브의 프로브 팁의 제1 보정된 위치(calibrated location)를 포함할 수 있다. 상기 제2 보정된 위치 정보는 상기 제2 시점에서 상기 프로브의 상기 프로브 팁의 제2 보정된 위치를 포함할 수 있다.

일 실시 예에 따르면, 상기 제1 시점에서 상기 프로브 팁의 상기 제1 보정된 위치 정보 및 상기 제2 시점에서 상기 프로브 팁의 상기 제2 보정된 위치 정보는 각각 제1 축, 제2 축 및 제3 축을 포함하는 3차원 좌표들(three dimensional coordinates)로 지시될 수 있다.

일 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 제1 축 및 상기 제2 축으로 이루어진 가상의 평면 상에, 상기 제1 이미지가 상기 제1 보정된 위치 정보 중 상기 제1 축의 좌표 정보 및 상기 제2 축의 좌표 정보를 갖도록 상기 제1 이미지를 투영할 수 있다. 적어도 하나의 프로세서는 상기 가상의 평면 상에, 상기 제2 이미지가 상기 제2 보정된 위치 정보 중 상기 제1 축의 좌표 정보 및 상기 제2 축의 좌표 정보를 갖도록 제2 이미지를 투영하고, 상기 투영된 제1 이미지와 상기 투영된 제2 이미지를 스티칭할 수 있다.

일 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 제1 보정된 위치 정보의 상기 제1 축, 상기 제2 축, 및 상기 제3 축의 제1 좌표 정보와 상기 프로브 팁이 향하는 제1 방향 정보에 기반하여, 상기 제1 영역에 대한 3차원 이미지를 획득할 수 있다. 적어도 하나의 프로세서는 상기 제2 보정된 위치 정보의 상기 제1 축, 상기 제2 축, 및 상기 제3 축의 제2 좌표 정보와 상기 프로브 팁이 향하는 제2 방향 정보에 기반하여, 상기 제2 영역에 대한 3차원 이미지를 획득하고, 상기 제1 영역의 상기 3차원 이미지와 상기 제2 영역의 상기 3차원 이미지를 스티칭할 수 있다.

일 실시 예에 따르면, 상기 제1 보정된 위치는 상기 조직의 상기 제1 영역의 위치에 대응하고, 상기 제2 보정된 위치는 상기 조직의 상기 제2 영역의 위치에 대응할 수 있다.

일 실시 예에 따르면, 상기 센서는 IMU(inertial measurement unit) 센서, 가속도 센서 또는 자이로 센서 중 적어도 하나를 포함할 수 있다.

일 실시 예에 따른 이미지 처리 장치는 디스플레이를 더 포함할 수 있고, 상기 적어도 하나의 프로세서는 상기 제1 이미지, 상기 제2 이미지, 또는 상기 제1 이미지와 상기 제2 이미지에 기반하여 스티칭된 이미지 중 적어도 하나를 상기 디스플레이에 표시할 수 있다.

일 실시 예에 따르면, 상기 디스플레이는 상기 프로브가 획득한 이미지가 실시간으로 표시되는 제1 디스플레이 영역 및 상기 스티칭된 이미지가 표시되는 제2 디스플레이 영역을 포함할 수 있다.

일 실시 예에 따르면, 상기 제1 영역은 상기 제2 영역과 가장자리의 적어도 일부를 공유할 수 있다. 상기 적어도 하나의 프로세서는 상기 디스플레이에 대한 사용자 입력에 응답하여 상기 제1 디스플레이 영역과 상기 디스플레이 제2 영역을 상기 디스플레이 상에서 이격되게 표시할 수 있다.

일 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 조직에 대한 이미지를 촬영하는 속도를 나타내는 이미지 프레임 레이트(image frame rate)를 제1 값으로 설정하여, 상기 조직에 대한 이미지를 촬영하는 동안, 상기 센서를 통해 상기 프로브의 이동 속도를 감지할 수 있다. 적어도 하나의 프로세서는 상기 감지된 이동 속도가 기준 값 이상인 경우, 상기 이미지 프레임 레이트를 상기 제1 값보다 큰 제2 값으로 변경할 수 있다. 적어도 하나의 프로세서는 상기 감지된 이동 속도가 상기 기준 값 미만인 경우, 상기 이미지 프레임 레이트는 상기 제1 값을 유지할 수 있다.

일 실시 예에 따르면, 상기 적어도 하나의 프로세서는 제1 시점에서 센서에서 측정된 제1 가속도 정보 및 제1 각속도 정보를 획득할 수 있다. 상기 제1 가속도 정보에 포함된 상기 센서의 가속도 값들에 기반하여 상기 센서의 위치 정보를 획득하고, 상기 제1 각속도 정보에 포함된 상기 센서의 각속도 값들에 기반하여 상기 프로브의 기울기(inclination) 정보를 획득할 수 있다.

본 개시의 일 실시 예에 따른in-vivo 환경에서 공초점 내시현미경(confocal endomicroscope)의 프로브(probe)를 통해 복수 개의 이미지들을 획득하는 이미지 처리 장치는 상기 프로브에 포함된 위치 정보를 획득하는 센서와 전기적으로 연결되는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 프로브를 이용하여 제1 시점에서 조직의 제1 영역에 대한 제1 이미지를 획득하고, 상기 제1 시점에 대응하는 상기 센서의 제1 위치 정보를 획득하고, 상기 제1 위치 정보 및 미리 결정된 파라미터에 기반하여 제1 보정된 위치 정보(calibrated location information)를 획득할 수 있다. 적어도 하나의 프로세서는 상기 제1 보정된 위치 정보 및 상기 획득된 제1 이미지를 이미지 스티칭을 수행하는 외부 장치로 송신하고, 상기 프로브를 이용하여 제2 시점에서 상기 조직의 제2 영역에 대한 제2 이미지를 획득하고, 상기 제2 시점에 대응하는 상기 센서의 제2 위치 정보를 획득할 수 있다. 적어도 하나의 프로세서는 상기 제2 위치 정보 및 상기 미리 결정된 파라미터에 기반하여 제2 보정된 위치 정보를 획득하고, 상기 제2 보정된 위치 정보 및 상기 획득된 제2 이미지를 상기 외부 장치로 송신할 수 있다.

Claims

in-vivo 환경에서 공초점 내시현미경(confocal endomicroscope)의 프로브(probe)를 통해 획득된 복수 개의 이미지들을 스티칭(stitching)하는 이미지 처리 장치에 있어서,
상기 프로브에 포함되고 위치 정보를 획득하는 센서와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는:
상기 프로브를 이용하여 제1 시점에서 조직의 제1 영역(region)에 대한 제1 이미지를 획득하고,
상기 제1 시점에 대응하는 상기 센서의 제1 위치 정보를 획득하고,
상기 제1 위치 정보 및 미리 결정된 파라미터에 기반하여, 상기 제1 이미지의 위치 정보로써 제1 보정된 위치 정보(calibrated location information)를 획득하고,
상기 프로브를 이용하여 제2 시점에서 상기 조직의 제2 영역에 대한 제2 이미지를 획득하고,
상기 제2 시점에 대응하는 상기 센서의 제2 위치 정보를 획득하고,
상기 제2 위치 정보 및 상기 미리 결정된 파라미터에 기반하여, 상기 제2 이미지의 위치 정보로써 제2 보정된 위치 정보를 획득하고,
상기 제1 보정된 위치 정보 및 상기 제2 보정된 위치 정보에 기반하여 상기 제1 이미지와 상기 제2 이미지를 스티칭하는, 이미지 처리 장치.
청구항 1에 있어서,
상기 제1 이미지 및 상기 제2 이미지는 상기 프로브의 광섬유 스캐너가 상기 조직에 조사광을 조사하고 상기 프로브의 수광부(light receiver)가 상기 조직으로부터 방출된 여기광(excitation light)을 수광(receive)하는 동안 획득되는, 이미지 처리 장치.
청구항 1에 있어서,
상기 적어도 하나의 프로세서는:
상기 제1 시점 이전의 기준 시점에서 상기 센서의 기준 위치를 획득하고,
상기 센서의 상기 기준 위치에 대한 상대적인 위치인 상기 센서의 제1 위치를 획득하고,
상기 제2 시점에서 상기 센서의 상기 기준 위치에 대한 상대적인 위치인 상기 센서의 제2 위치를 획득하고,
상기 센서의 상기 제1 위치는 상기 제1 시점에 대응하고,
상기 센서의 상기 제2 위치는 상기 제2 시점에 대응하는, 이미지 처리 장치.
청구항 1에 있어서,
상기 미리 결정된 파라미터는:
상기 프로브 내 상기 센서와 상기 프로브의 프로브 팁(tip) 간의 상대적인 위치 정보, 상기 상대적인 위치 정보는 상기 센서가 포함된 프로브 바디의 길이, 상기 프로브 팁을 포함하는 프로브 튜브의 길이, 및 상기 프로브 바디와 상기 프로브 튜브 간의 각도에 대한 정보를 포함함, 및
상기 프로브의 프로브 팁이 향하는 방향에 대한 방향 정보를 포함하는, 이미지 처리 장치.
청구항 1에 있어서,
상기 제1 보정된 위치 정보는 상기 제1 시점에서 상기 프로브의 프로브 팁의 제1 보정된 위치(calibrated location)를 포함하고,
상기 제2 보정된 위치 정보는 상기 제2 시점에서 상기 프로브의 프로브 팁의 제2 보정된 위치를 포함하는, 이미지 처리 장치.
청구항 5에 있어서,
상기 제1 시점에서 상기 프로브 팁의 상기 제1 보정된 위치 정보 및 상기 제2 시점에서 상기 프로브 팁의 상기 제2 보정된 위치 정보는 각각 제1 축, 제2 축 및 제3 축을 포함하는 3차원 좌표들(three dimensional coordinates)로 지시되는, 이미지 처리 장치.
청구항 6에 있어서,
상기 적어도 하나의 프로세서는:
상기 제1 축 및 상기 제2 축으로 이루어진 가상의 평면 상에, 상기 제1 이미지가 상기 제1 보정된 위치 정보 중 상기 제1 축의 좌표 정보 및 상기 제2 축의 좌표 정보를 갖도록 상기 제1 이미지를 투영하고,
상기 가상의 평면 상에, 상기 제2 이미지가 상기 제2 보정된 위치 정보 중 상기 제1 축의 좌표 정보 및 상기 제2 축의 좌표 정보를 갖도록 제2 이미지를 투영하고,
상기 투영된 제1 이미지와 상기 투영된 제2 이미지를 스티칭하는, 이미지 처리 장치.
청구항 6에 있어서,
상기 적어도 하나의 프로세서는:
상기 제1 보정된 위치 정보의 상기 제1 축, 상기 제2 축, 및 상기 제3 축의 제1 좌표 정보와 상기 프로브 팁이 향하는 제1 방향 정보에 기반하여, 상기 제1 영역에 대한 3차원 이미지를 획득하고,
상기 제2 보정된 위치 정보의 상기 제1 축, 상기 제2 축, 및 상기 제3 축의 제2 좌표 정보와 상기 프로브 팁이 향하는 제2 방향 정보에 기반하여, 상기 제2 영역에 대한 3차원 이미지를 획득하고,
상기 제1 영역의 상기 3차원 이미지와 상기 제2 영역의 상기 3차원 이미지를 스티칭하는, 이미지 처리 장치.
청구항 5에 있어서,
상기 제1 보정된 위치는 상기 조직의 상기 제1 영역의 위치에 대응하고,
상기 제2 보정된 위치는 상기 조직의 상기 제2 영역의 위치에 대응하는, 이미지 처리 장치.
청구항 1에 있어서,
상기 센서는 IMU(inertial measurement unit) 센서, 가속도 센서 또는 자이로 센서 중 적어도 하나를 포함하는, 이미지 처리 장치.
청구항 1에 있어서,
디스플레이를 더 포함하고,
상기 적어도 하나의 프로세서는 상기 제1 이미지, 상기 제2 이미지, 또는 상기 제1 이미지와 상기 제2 이미지에 기반하여 스티칭된 이미지 중 적어도 하나를 상기 디스플레이에 표시하는, 이미지 처리 장치.
청구항 11에 있어서,
상기 디스플레이는:
상기 프로브가 획득한 이미지가 실시간으로 표시되는 제1 디스플레이 영역, 및
상기 스티칭된 이미지가 표시되는 제2 디스플레이 영역을 포함하고,
상기 제1 디스플레이 영역은 상기 제2 디스플레이 영역과 가장자리의 적어도 일부를 공유하고,
상기 적어도 하나의 프로세서는 상기 디스플레이에 대한 사용자 입력에 응답하여 상기 제1 디스플레이 영역과 상기 제2 디스플레이 영역을 상기 디스플레이 상에서 이격되게 표시하는, 이미지 처리 장치.
청구항 1에 있어서,
상기 적어도 하나의 프로세서는:
상기 조직에 대한 이미지를 촬영하는 속도를 나타내는 이미지 프레임 레이트(image frame rate)를 제1 값으로 설정하여, 상기 조직에 대한 이미지를 촬영하는 동안, 상기 센서를 통해 상기 프로브의 이동 속도를 감지하고,
상기 감지된 이동 속도가 기준 값 이상인 경우, 상기 이미지 프레임 레이트를 상기 제1 값보다 큰 제2 값으로 변경하고,
상기 감지된 이동 속도가 상기 기준 값 미만인 경우, 상기 이미지 프레임 레이트는 상기 제1 값을 유지하는, 이미지 처리 장치.
청구항 13에 있어서,
상기 적어도 하나의 프로세서는:
상기 제1 시점에서 상기 센서에서 측정된 제1 가속도 정보 및 제1 각속도 정보를 획득하고,
상기 제1 가속도 정보에 포함된 상기 센서의 가속도 값들에 기반하여 상기 센서의 위치 정보를 획득하고,
상기 제1 각속도 정보에 포함된 상기 센서의 각속도 값들에 기반하여 상기 프로브의 기울기(inclination) 정보를 획득하는, 이미지 처리 장치.
in-vivo 환경에서 공초점 내시현미경(confocal endomicroscope)의 프로브(probe)를 통해 복수 개의 이미지들을 획득하는 이미지 처리 장치에 있어서,
상기 프로브에 포함된 위치 정보를 획득하는 센서와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는:
상기 프로브를 이용하여 제1 시점에서 조직의 제1 영역에 대한 제1 이미지를 획득하고,
상기 제1 시점에 대응하는 상기 센서의 제1 위치 정보를 획득하고,
상기 제1 위치 정보 및 미리 결정된 파라미터에 기반하여 제1 보정된 위치 정보(calibrated location information)를 획득하고,
상기 제1 보정된 위치 정보 및 상기 획득된 제1 이미지를 이미지 스티칭을 수행하는 외부 장치로 송신하고,
상기 프로브를 이용하여 제2 시점에서 상기 조직의 제2 영역에 대한 제2 이미지를 획득하고,
상기 제2 시점에 대응하는 상기 센서의 제2 위치 정보를 획득하고,
상기 제2 위치 정보 및 상기 미리 결정된 파라미터에 기반하여 제2 보정된 위치 정보를 획득하고,
상기 제2 보정된 위치 정보 및 상기 획득된 제2 이미지를 상기 외부 장치로 송신하는, 이미지 처리 장치.