KR100805387B1 - 내시경 영상의 변환 장치 및 방법 - Google Patents

Abstract

본 발명은 내시경의 영상을 2차원 영상에서 3차원 영상으로 변환시키는 내시경 영상의 변환장치 및 방법에 관한 것이다.

이러한 본 발명의 실시예에 따른 내시경 영상의 변환 장치는, 인체의 내장을 원통형으로 모델링하는 모델링 수단, 인체의 내장을 내시경으로 촬영한 영상의 시야 절두체를 구한 후 모델링 수단에 의해 원통형으로 모델링된 내장의 내부 표면과 시야 절두체와의 교차 영역을 구하여 2차원 영상으로 구성하는 2차원 영상 구성 수단 및 2차원 영상 구성 수단에 의해 구성된 2차원 영상을 3차원 영상으로 변환하는 영상 변환 수단을 포함한다.

또한, 본 발명의 실시예에 따른 내시경 영상의 변환 방법은, 인체의 내장을 원통형으로 모델링하는 단계, 인체의 내장을 내시경으로 촬영한 영상의 시야 절두체를 구한 후, 원통형으로 모델링된 내장의 내부 표면과 시야 절두체와의 교차 영역을 구하여 2차원 영상으로 구성하는 단계 및 구성된 2차원 영상을 3차원 영상으로 변환하는 단계를 포함한다.

내시경, 2차원 영상, 3차원 영상

Description

내시경 영상의 변환 장치 및 방법{Apparatus and method for converting image of endoscope}

도 1은 종래의 내시경 촬영 영상을 나타낸 예시도이다.

도 2a는 본 발명의 일 실시예에 따른 내시경 영상 변환 장치를 개략적으로 나타낸 구성도이다.

도 2b는 도 2a의 내시경 영상 변환 장치에 의해 영상 변환된 내시경 영상의 예시도이다.

도 3은 인체의 내장을 연속적 원통형으로 가정하여 모델링한 모습을 나타낸 설명도이다.

도 4는 내시경 카메라의 파라미터들을 나타낸 설명도이다.

도 5는 시야 절두체의 파라미터들을 나타낸 설명도이다.

도 6a 및 도 6b는 변형된 텍스처 좌표와 뷰 사각형 간의 대응관계를 나타낸 설명도이다.

도 7a 내지 도 7c는 2차원 영상을 3차원 영상으로 변환하는 과정을 나타낸 설명도이다.

<도면의 주요 부분에 대한 부호의 설명>

210 : 모델링 수단 220 : 2차원 영상 구성 수단

230 : 영상 변환 수단

본 발명은 내시경 영상의 변환 장치 및 방법에 관한 것으로써, 보다 상세하게는 내시경으로 촬영된 단면 영상을 3차원 모델링을 통하여 내장을 펼쳐놓은 것과 같은 한 장의 영상을 제공하여 영상 판독시간을 줄일 수 있도록 하는 장치 및 방법에 관한 것이다.

현재 인체의 내장을 검사하기 위한 방법으로는 내시경을 이용하여 촬영된 다량의 단면사진 또는 동영상을 이용하는 방법이 가장 널리 이용되고 있다. 이러한 내시경을 이용하여 촬영된 2차원 영상을 살펴보면 다음과 같다.

도 1은 종래의 내시경 촬영 영상을 나타낸 예시도이다.

도 1에 도시된 바와 같이, 종래 내시경으로 촬영된 영상은 내시경 카메라의 시야가 한정되어 있기 때문에 이와 대응되는 내장의 매우 작은 영역만을 나타낸다. 이로 인해 한 장이 아닌 다량의 내시경 영상을 촬영할 수밖에 없어, 의사 등의 의료진이 내시경 영상을 판독하는데 오랜 시간이 걸린다는 등의 문제점이 있다.

이러한 문제점을 해결하기 위해 본 발명은 내시경으로 촬영된 다량의 단면 영상을 3차원 모델링을 통하여 내장을 펼쳐놓은 것과 같은 한 장의 영상으로 제공함으로써, 의사 등이 내시경 영상을 판독하는 데 소요되는 시간을 줄일 수 있도록 하는 장치 및 방법을 제공하는 데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.

상술한 목적을 달성하기 위한 본 발명의 실시예에 따른 내시경 영상의 변환 장치는, 인체의 내장을 원통형으로 모델링하는 모델링 수단, 인체의 내장을 내시경으로 촬영한 영상의 시야 절두체를 구한 후 모델링 수단에 의해 원통형으로 모델링된 내장의 내부 표면과 시야 절두체와의 교차 영역을 구하여 2차원 영상으로 구성하는 2차원 영상 구성 수단 및 2차원 영상 구성 수단에 의해 구성된 2차원 영상을 3차원 영상으로 변환하는 영상 변환 수단을 포함한다.

또한, 본 발명의 실시예에 따른 내시경 영상의 변환 방법은, 인체의 내장을 원통형으로 모델링하는 단계, 인체의 내장을 내시경으로 촬영한 영상의 시야 절두체를 구한 후, 원통형으로 모델링된 내장의 내부 표면과 시야 절두체와의 교차 영역을 구하여 2차원 영상으로 구성하는 단계 및 구성된 2차원 영상을 3차원 영상으로 변환하는 단계를 포함한다.

이때, 원통형으로 모델링된 내장 내에서 이동하는 내시경의 중심 위치의 위치좌표는 직각 좌표계를 이용하는 것이 바람직할 수 있다.

그리고, 2차원 영상을 구성함에 있어 영상의 촬영이 이루어지지 않은 영역의 영상은 보간에 의해 생성된 보간 영상으로 대체될 수 있다.

여기서, 본 발명의 실시예에 적용되는 내시경은 캡슐 내시경인 것이 좋다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있을 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

도 2a는 본 발명의 일 실시예에 따른 내시경 영상 변환 장치를 개략적으로 나타낸 구성도이고, 도 2b는 이에 의해 영상 변환된 내시경 영상의 예시도이다.

도 2a 및 도 2b에 도시된 바와 같이, 본 발명의 내시경으로 촬영된 영상을 3차원 영상으로 변환하기 위한 영상 변환 장치는 인체의 내장을 원통형으로 모델링 하는 모델링 수단(210), 인체의 내장을 내시경으로 촬영한 영상의 시야 절두체를 구한 후, 원통형으로 모델링된 내장의 내부 표면과 시야 절두체와의 교차 영역을 구하여 2차원 영상으로 구성하는 2차원 영상 구성 수단(220) 및 2차원 영상 구성 수단에 의해 구성된 2차원 영상을 3차원 영상으로 변환하는 영상 변환 수단(230) 등을 구비한다. 이러한 영상 변환 장치를 이용하여 내시경으로 촬영된 영상을 3차원 영상으로 변환하기 위해서는 가장 먼저 인체 내장을 원통이 연속적으로 이어진 원통형으로 가정하도록 한다. 다음 도 3은 이를 나타낸 도면이다.

도 3은 인체의 내장을 원통이 연속적으로 이어진 원통형으로 가정하여 모델링한 설명도이다.

도 3에서 도시된 바와 같이, 인체의 내장은 여러 개의 원통들이 연속적으로 이어져 있고, 각 원통은 서로 다른 크기와 높이를 갖는 것으로 가정하였다. 일례로 i번째 원통은 반지름 ri와 원통의 높이 hi를 변수로 갖는다. 또한, 각 원통의 구부러진 내장의 모습은 기울어진 원통들의 합으로 모델링(modelling)하도록 한다.

또한, 내시경의 내장의 위치와 카메라의 회전 각도를 정의하기 위해 첫 번째 원통의 중심을 직각 좌표계의 중심으로 설정한다. 즉, 원통으로 모델링된 내장 내에서 이동하는 내시경 카메라의 중심 위치의 위치 좌표 P(x, y, z)는 직각 좌표계를 이용하여 표현한다는 것이다. 여기서 내시경 카메라의 중심 위치란 내장 내의 내시경 내에 장착된 카메라 렌즈의 위치 좌표를 의미한다.

이때, 내시경 카메라의 특징 및 촬영시 포즈 등에 따라 촬영되는 영상은 각각 달라질 수 있는데, 이와 관련된 카메라의 파라미터들에 대해 살펴보면 다음과 같다.

도 4는 내시경 카메라의 파라미터들을 나타낸 설명도이다.

내시경 카메라의 주요 파라미터들로는, 도 4에 도시된 바와 같이, 내시경 카메라의 중심 위치(center position), 방향 벡터(direction vector), 카메라 시야각(fovy), 전방 절단면(near plane), 후방 절단면(far plane) 및 종횡비(aspect ratio) 등이 있다. 종횡비는 촬영된 영상의 높이 및 넓이의 비율을 의미한다.

여기서, 내시경 카메라 시야각은 100도인 것으로 가정하고 기본 방향 벡터는 (0.0, 0.0, -1.0)으로 설정한다.

상기에서 살펴본 바와 같이, 인체의 내장을 연속적으로 이어진 원통들로 모델링한 후에는 내시경으로 촬영된 다량의 내장 영상을 가지고 내장이 펼쳐진 것과 같은 한 장의 2차원 영상으로 구성한다.

이러한 2차원 영상을 구성하는 방법은 먼저, 내시경의 시야 절두체와 모델링된 원통의 내부 표면과의 교차영역을 구한 다음, 이 교차영역을 정규화된 가시 부피 내부로 위치관계에 따라 투영하고 교차 영역내의 선분들의 z값을 0으로 바꾸어 정규화된 가시 부피상의 x-y 평면으로 투영한다.

이와 같은 방법으로 원통 내의 교차영역은 가시 부피상의 x-y평면으로 투영되고 이에 따른 위치 관계식을 얻을 수 있다. 상기와 같은 방법을 연속적으로 사용하여 모든 내시경이 촬영한 다량의 영상을, 내장을 펼쳐놓은 것과 같은 2차원 영상으로 매핑(mapping)한다. 이때, 내시경 카메라에 의해 촬영된 영상은 원통 내부의 표면과 내시경의 시야 절두체 간의 교차영역에 담긴 영상 정보와 동일하다.

여기서, 시야 절두체란 인체의 내장을 촬영할 때 가장 가깝게 찍히는 영역(near point)과 가장 멀리 찍히는 영역(far point)을 경계로 안쪽에 있는 영상들을 의미한다. 예를 들어, 가장 가깝게 찍히는 영역을 중심 위치로부터 4.5㎜ 떨어진 지점으로, 가장 멀리 찍히는 영역을 중심위치로부터 25㎜ 떨어진 지점으로 설정하였다면 시야 절두체는 중심위치로부터 4.5㎜이상 25㎜이하의 영역에서 보이는 영상들을 의미한다.

이러한 시야 절두체는 내시경 카메라의 시야각, 전방 절단면 및 후방 절단면에 의해 결정되는 것을 참고하도록 한다. 이와 같은 시야 절두체의 파라미터들을 좀 더 자세히 살펴보면 다음과 같다.

도 5는 시야 절두체의 파라미터들을 나타낸 설명도이다.

도 5를 살펴보면, 좌표값(x_min, y_min, -near)은 전방 절단면의 왼쪽 하단 점의 좌표값이고, 좌표값(x_max, y_max, -far)은 후방 절단면의 오른쪽 상단 점의 좌표이다. 여기서, Int(V, C) 함수를 내시경 카메라의 시야 절두체와 주어진 원통간의 교차영역으로 정의할 수 있다.

이와 같이 정의된 Int(V, C) 함수를 효과적으로 계산하기 위해서는 다음 [수학식 1]과 같은 변환행렬 M_pers→CV을 사용할 수 있다. 이러한 변환행렬 M_pers→CV에 의해 시야 절두체는 정규화 가시 부피로 변환될 수 있다.

이와 같이 시야 절두체가 정규화 가시 부피로 변환되면 정규화 가시 부피에 투영된 교차영역 내의 선분들을 구할 수 있고, 3차원 클리핑 알고리즘을 적용하면 정규화 가시 부피 내부의 변환된 선분들의 집합의 부분을 구할 수 있다.

이와 같은 방법으로 구분된 선분 집합들은 정규화 가시 부피의 전방 평면인 x-y 평면에 직교 투영시키,면 직교 투영된 선분 집합들을 가지고 내시경으로부터 촬영된 영상들의 정확한 위치를 결정할 수 있다. 다시 말하면, 내시경으로부터 촬영된 영상 정보와 정규화된 뷰 사각형 간의 매핑 함수를 구할 수 있고, 원통의 교차영역 Int(V, C) 내의 정해진 선분은 정규화된 내장이 펼쳐놓은 것과 같은 영상 상의 정해진 위치로 매핑될 수 있다. 이러한 방법을 이용하면 교차영역 Int(V, C)에 매핑될 텍스처를 효과적으로 구할 수 있다.

상기와 같은 방법으로 매핑될 텍스처를 구하면 그 텍스처가 합성영상의 어느 부분에 매핑되는지를 결정해야 한다. 이를 결정하기 위해서 Int(V, C)에 속하는 원통 표면을 구하여 그 표면에 투영된 선분들의 집합을 S=(S₁, S₂ … S_k), S_i=(CL_i, CH_i)으로 나타내었다고 가정한다.

여기서 CL_i=(CL_ix, CL_iy, CL_iz)라 하고 CH_i=(CH_ix, CH_iy, CH_iz)라 한다면, 주어진 원통을 y축을 기준으로 여러 개의 연속적인 선분의 집합으로 분할하여 메쉬로 구성할 경우 주어진 원통과 Int(V, C)이 블록 특성을 가지고 있으므로, 구해진 선분의 집합 S를 이용해서 내장을 펼쳐놓은 것과 같은 2차원 영상을 쉽게 구성할 수 있다.

그러나 2차원 영상을 구성하기 전에 먼저 특정한 교차 선분 S_i=(CL_i, CH_i)이 구성된 2차원 영상의 어디에 대응되는지를 구해야 하는데, 본 발명에서는 원통 좌표를 텍스처 좌표로 변환하는 방법을 이용하였다. 하지만 본 발명이 반드시 이에 한정되는 것은 아니다.

이와 같은 교차선분 Si에 대한 텍스처 좌표 변환은 다음 [수학식 2]를 이용하여 변환할 수 있다.

여기서 K는 모델링된 원통과 시야 절두체의 교차영역에 포함되는 선분의 차례를 의미한다. 이렇게 변환된 텍스처 좌표와 전술한 정규화된 뷰 사각형에 대응되 는 카메라 영상을 투영시켜 합성 영상를 구한다. i번째 캡쳐된 2차원 영상의 크기를 (CW_i, CH_i)라고 정의한다면, 정규화된 뷰 사각형에 존재하는 각 선분의 한 점 p=(nucx, nucy)은 영상의 (CW_i×nucx, CH_i×nucy)에 대응됨을 알 수 있다.

여기서, nucx는 정규화 가시 부피의 x축 좌표값이고 nucy는 정규화 가시부피의 y축 좌표값이다. 다음 도 6a 및 도 6b는 그 대응관계를 보여주고 있다.

도 6a 및 도 6b는 변형된 텍스처 좌표와 뷰 사각형 간의 대응관계를 나타낸 설명도이다.

도 6a는 정규화된 뷰 사각형에 존재하는 선분들을 나타낸 도면이며, 도 6b는 합성영상에 매핑된 선분들을 나타낸 도면이다.

전술한 바와 같은 방법을 반복 적용하면 다량의 사진을, 내장을 펼쳐놓은 것과 같은 한 장의 2차원 영상에 텍스처 매핑하는 것이 가능해진다. 이때, 각각의 영상들을 2차원 영상에 결합할 때 서로 겹쳐지는 영역은 최적 영상값 선택을 통해 매핑시킨다. 여기서, 영상이 쵤영되지 않은 영역은 주변값들을 이용한 영상의 보간에 의해 복원시킬 수 있다.

이와 같은 방법으로 구성된 2차원 영상을 3차원 영상으로 변환하는 방법을 살펴보면 다음과 같다.

도 7a 내지 도 7c는 2차원 영상을 3차원 영상으로 변환하는 과정을 나타낸 설명도이다.

먼저, 도 7a에 도시된 바와 같이 원통의 중심을 원점으로 직각좌표계를 설정 하고, 원통의 반지름의 길이는 r, 원통의 높이를 h라고 설정한다.

이와 같이 설정되면, 원통의 윗면과 밑면의 y 좌표값은 각각 h/2, -h/2가 된다. 이때, 윗면의 원둘레에 놓인 점들을 상한점, 밑면의 원둘레에 높인 점들을 하한점이라고 한다.

그 다음 원통의 표면을 도 7a에 도시된 바와 같이 일정한 각도 Δθ를 갖는 n개의 조각으로 나눈다. 여기서, 각도 Δθ는 360/n의 크기를 갖고, i는 원통의 원주를 나눈 조각의 개수의 순서를 말한다. i번째 슬라이스의 상한점 (H_xi, H_yi, H_zi)과 하한점(L_xi, L_yi, L_zi)을 구하는 방법은 다음 [수학식 3]과 같다.

여기서, θi는 원통의 원주를 n개로 나누었을 때 원통의 밑면 혹은 윗면의 기준벡터 θ0로부터 θi까지의 각도를 의미한다.

다음으로, 정규화된 2차원 영상의 상한점과 하한점 상의 점의 좌표는 도 7b에 도시된 바와 같이 T_Hi와 T_Li로 표현된다. 이러한 T_Hi와 T_Li는 각각 3차원 원통 상 의 H_i와 L_i와 대응한다.

또한, T_Hui와 T_Hvi는 원통의 상한점들 중의 한 점(H_xi, H_yi, H_zi) 좌표값이 정규화된 후 2차원 영상에 매핑된 x축 좌표값과 y축 좌표값을 의미하고, T_Lui와 T_Lvi는 원통의 하한점들 중의 한 점(L_xi, L_yi, L_zi) 좌표값이 정규화된 후 2차원 영상에 매핑된 x축 좌표값과 y축 좌표값을 의미한다.

이러한 T_Hui와 T_Lui의 좌표값을 다음 [수학식 4]를 이용하여 구할 수 있다.

또한, 도 7c에서와 같은 영상은 도 7b의 정규화 좌표값에 대응하여 출력되는 영상 크기의 가로를 (CW, CH)라고 정의하면, 도 7b의 정규화된 영상의 x값에는 CW를 곱하고, y값에는 CH를 곱해서 원하는 크기의 2차원 영상를 만들 수 있다.

이와 같이 구성된 2차원 영상은 [수학식 4]를 이용하여 정규화된다. 이렇게 정규화된 2차원 영상은 [수학식 3]과 [수학식 4]의 위치 관계식에 따라 3차원 원통으로 모델링된다.

상기한 바와 같은 본 발명의 내시경 영상 변환 장치 및 그 방법을 이용함으 로써, 종래의 내시경으로 촬영된 다량의 2차원 영상을 내장이 펼쳐진 것과 같은 한 장의 3차원 영상으로 변환시킬 수 있게 되어, 결국 내시경 영상의 판독시간을 단축시킬 수 있게 되었다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야만 한다.

상기한 바와 같은 본 발명의 실시예에 따른 내시경 영상의 변환 장치 및 그 방법에 따르면, 내시경으로 촬영된 다량의 영상들을 내장을 펼쳐놓은 것과 같은 한 장의 3차원 영상으로 변환시킬 수 있게 됨으로써, 의사 등의 의료진에 의한 내시경 영상의 판독 시간을 단축시킬 수 있게 된다는 등의 효과가 있다.

Claims (7)

1. 인체의 내장을 원통형으로 모델링하는 모델링 수단;

   인체의 내장을 내시경으로 촬영한 영상의 시야 절두체를 구한 후, 상기 모델링 수단에 의해 원통형으로 모델링된 내장의 내부 표면과 상기 시야 절두체와의 교차 영역을 구하여 2차원 영상으로 구성하는 2차원 영상 구성 수단; 및

   상기 2차원 영상 구성 수단에 의해 구성된 2차원 영상을 3차원 영상으로 변환하는 영상 변환 수단을 포함하는 내시경 영상의 변환장치.
2. 제 1 항에 있어서,

   상기 2차원 영상 구성 수단은, 2차원 영상을 구성함에 있어 영상의 촬영이 이루어지지 않은 영역에 대해서는 주변값을 이용한 보간에 의한 보간 영상을 이용하는 것을 특징으로 하는 내시경 영상의 변환 장치.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 내시경은 캡슐 내시경인 것을 특징으로 하는 내시경 영상의 변환 장치.
4. 인체의 내장을 원통형으로 모델링하는 단계;

   상기 인체의 내장을 내시경으로 촬영한 영상의 시야 절두체를 구한 후, 상기 원통형으로 모델링된 내장의 내부 표면과 상기 시야 절두체와의 교차 영역을 구하여 2차원 영상으로 구성하는 단계; 및

   상기 구성된 2차원 영상을 3차원 영상으로 변환하는 단계를 포함하는 내시경 영상의 변환 방법.
5. 제 4 항에 있어서,

   상기 원통형으로 모델링된 내장 내에서 이동하는 내시경의 중심 위치의 위치좌표는 직각 좌표계를 이용하여 표현하는 것을 특징으로 하는 내시경 영상의 변환방법.
6. 제 4 항 또는 제 5 항에 있어서,

   상기 2차원 영상으로 구성하는 단계는, 2차원 영상을 구성함에 있어 영상의 촬영이 이루어지지 않은 영역에 대해서는 주변값을 이용한 보간에 의한 보간 영상을 이용하는 것을 특징으로 하는 내시경 영상의 변환 방법.
7. 제 6 항에 있어서,

   상기 내시경은 캡슐 내시경인 것을 특징으로 하는 내시경 영상의 변환 방법.

Images