KR20090025420A

KR20090025420A - 크기가변 매핑 기술을 사용하는 부피형 3차원 영상 재생장치

Info

Publication number: KR20090025420A
Application number: KR1020070090271A
Authority: KR
Inventors: 신동학; 유훈
Original assignee: 동서대학교산학협력단
Priority date: 2007-09-06
Filing date: 2007-09-06
Publication date: 2009-03-11

Abstract

본 발명은 3차원 집적 영상 기술에서 크기가변 매핑 기술을 이용하여 부피형 3차원 영상을 재생하는 장치를 제공하기 위한 것으로, 3차원 물체를 픽업하여 요소 영상을 획득하는 영상픽업부와; 상기 픽업부에서 획득된 2차원 요소 영상을 특정 위치의 거리에 부피형 3차원 영상을 복원할 수 있는 컴퓨터적 복원부;를 포함하여 구성함으로서, 크기가변 매핑 기술을 사용하여 컴퓨터적으로 복원되는 부피형 3차원 영상의 해상도를 향상시킬 수 있는 시스템 구조를 가지게 되는 것이다.

3차원, 집적영상, 요소영상, 픽업, 컴퓨터 복원

Description

크기가변 매핑 기술을 사용하는 부피형 3차원 영상 재생 장치 {Apparatus for volumetric image computational reconstruction using scale-variant mapping technique}

도 1은 집적 영상 기술의 픽업과 디스플레이를 보인 도면이다.

도 2는 이전의 부피형 3D 영상 복원 기법의 실시예이다.

도 3은 이전 부피형 3D 영상 복원 기법의 문제점을 나타내는 도이다.

도 4은 본 발명의 실시예로 크기가변 매핑 기술을 이용하는 부피형 3D 영상 복원 장치이다.

도 5는 확대계수 결정을 위한 기하광학적 해석과 수치적 예이다.

도 6는 본 발명의 컴퓨터적 실험 구성도와 실험결과이다.

도 7은 본 발명에 대한 거리에 따라 재생된 영상의 PSNR 실험 결과이다.

도 8은 본 발명에 대한 컴퓨터 실험으로 재생된 영상이다.

* 도면의 주요 부분에 대한 부호의 설명 *

10 : 영상픽업부 11 : 3차원 물체

12 : 픽업용 렌즈배열 13 : 픽업 요소 영상

20 : 영상재생부 21 : 3차원 재생 영상

22 : 디스플레이용 렌즈배열 23 : 디스플레이 장치

24 : 핀홀배열 25 : 평면 재생 영상

현재 3차원 물체를 디스플레이하기 위한 여러 가지 방식이 연구되고 있다. 특히, 집적 영상 (집적 사진술 IP : Integral Photography) 방식은 백색광을 이용하여 3차원 물체를 저장하고 복원할 수 있는 기술로서 1908년에 Lippmann에 의해서 처음 제안된 이후로 많은 연구가 수행되어 왔다. 집적 영상 방식은 오토스테레오스코피(Autosterescopy) 방식으로서 스테레오스코피 방식에서 나타나는 관찰자의 시각적 피로감이 없고 연속적인 시점과 수평, 수직시차를 모두 제공할 수 있는 장점을 가지고 있다. 그러나, 3차원 영상을 재생할 때 사용하는 렌즈 배열(Lenslet array)의 제한된 기초렌즈의 수로 인하여 재생 영상의 질이 떨어지고 해상도가 낮아지며, 렌즈 배열의 f-number에 제약으로 야기되는 좁은 시야각 문제점이 있다.

최근 이 집적 영상 기술에서 광학적 집적 영상 재생 방식의 단점을 극복하기 위해서 컴퓨터적 집적 영상 재생 방식이 활발하게 연구되고 있다. 컴퓨터적 집적 영상 재생 방식은 관측점 (Viewing Point) 방식과 평면기반(Plane-based) 방식으로 분류할 수 있다. 관측점 방식은 광학적 픽업으로 획득한 요소 영상들(Elemental images)에서 대응 시점으로부터 한 픽셀씩을 추출하여 집합하면 특정 시점에서 관측한 영상이 재생되는 방식이다. 한편 평면기반 방식은 3차원 영상을 일정한 거리에 놓인 평면(Image plane)에서 재생하는 방식이다. 이 경우 재생되는 3차원 영상은 영상 재생의 평면의 위치에 따라 달라진다. 이러한 평면기반 방식의 특성을 잘 이용한 인식 방식이 최근 활발히 연구되고 있다. 예들 들어 가려진 물체에 대해서 3차원 인식을 잘 수행하는 방식이다. 이 방식은 부피적으로 3차원 영상을 복원하기 때문에 부피형 3차원 영상 재생 기법이라고 부른다.

기존의 부피형 3차원 영상 재생 기법 방식의 원리를 도 1(a)에 나타내었다. 먼저 요소 영상은 대응 핀홀을 통해 역으로 투영된다. 3차원 영상이 핀홀 배열로부터 z 만큼 떨어진 재생 이미지 평면(25)에서 복원될 때 역투영 요소영상은 M=z/g의 확대계수로 확대된다. 여기서 z는 핀홀 배열과 재생 이미지 평면(25) 사이의 거리이고, g는 핀홀배열과 요소영상 사이의 거리이다. 다음으로 확대 요소 영상은 재생 이미지 평면(25)의 대응 픽셀들에 중첩된다. 다음으로 artifact 잡음을 줄이기 위한 정규과 과정을 수행한다. z의 거리에서 3차원 물체의 평면 재생 영상을 완전히 복원하기 위해서는 각각의 픽홀에 대해서 모든 요소 영상을 반복적으로 같은 과정을 반복한다. z 값을 증가시키면서 반복적인 계산을 통하여 z축의 평면 재생 영상 집합을 재생 이미지 평면(25)를 따라서 복원할 수 있다. 최근 이 부피형 3차원 영상 재생 기법 기반으로 컴퓨터 집적 영상 시스템이 3차원 물체 인식, 3차원 상관기 등의 유용한 시스템에 응용되고 있다.

그러나 기존의 부피형 3차원 영상 재생 기법 방식에는 풀어야 할 여러 가지 문제점이 있다. 예를 들면, 재생 영상의 artifact 문제와 먼 거리에서의 큰 확대계 수에 의한 많은 계산양이 있다. 추가적으로 평면 재생 영상은 3차원 물체가 존재한 위치인 z에서 복원된다할지라도 재생 영상에는 흐려짐 현상이 나타난다. 이것은 기존의 부피형 3차원 영상 재생 기법 방식이 확대된 요소영상이 재생 이미지 평면(25)에서 중첩될 때 인접 픽셀들 사이의 원치 않는 간섭에 의해서 나타나기 때문이다. 이는 3차원 물체의 정확한 재생을 방해한다.

이에 본 발명은 상기와 같은 부피형 3차원 영상 재생 기법으로 재생되는 3차원 영상의 해상도 저하 문제를 해결하기 위해 제안된 것으로, 본 발명의 목적은 집적 영상 기술에서 픽업된 2차원 요소 영상에서 해상도가 향상된 3차원 영상 재생 기법을 제안함으로써, 부피형 3차원 영상 재생 장치를 제공하는데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 일실시예에 의한 크기가변 매핑 기술을 사용하는 부피형 3차원 영상 재생 장치는,

3차원 물체를 픽업하여 요소 영상을 획득하는 영상픽업부와; 상기 픽업부에서 획득된 2차원 요소 영상을 특정 위치의 거리에 부피형 3차원 영상을 복원할 수 있는 컴퓨터적 복원부;를 포함하여 이루어짐을 그 기술적 구성상의 특징으로 한다.

이하, 상기와 같은 본 발명, 크기가변 매핑 기술을 사용하는 부피형 3차원 영상 재생 장치의 기술적 실시예를 도면을 참조하여 설명하면 다음과 같다.

일반적으로 집적 영상 기술은 도 1과 같이 크게 영상픽업부(10)과 영상재생부(20)으로 나눌 수 있다. 집적 영상의 영상픽업부(11)에서는 3차원 물체(11)의 정 보를 픽업용 렌즈 배열(12)과 CCD를 이용하여 2차원 요소 영상(13)으로 기록한다. 그리고 영상재생부(20)에서는 영상픽업부(11)에서 얻어진 2차원 요소 영상(13)을 LCD와 같은 디스플레이 장치(23)에 표현하고 이들을 다시 렌즈 배열(22)을 통과시켜 3차원 영상(21)으로 재생한다. 도 1(a)에서 픽업되는 2차원 요소 영상(13)은 3차원 물체에 대해서 각각의 작은 렌즈를 통해서 작은 영상들로 투영되고 CCD 카메라에 의해서 영상 검출 면에서 기록하여 얻게 된다. 따라서 요소 영상(13)의 수는 렌즈 배열(12)의 개수와 같다. 이에 반해 도 1(b)에 나타난 집적 영상의 디스플레이 과정에서는 기록된 요소 영상(13)을 디스플레이 장치(23)에 표현하고 픽업과정과 동일한 렌즈 배열(22)을 이용하여 3차원 영상(21)을 공간상에 재생할 수 있다.

집적 영상 기술에서 도 1(b)에서와 같이 렌즈 배열(22)을 이용하는 경우에는 광학적으로 3차원 영상(21)이 얻어진다. 이에 반해서 도 1(b)의 영상재생부(20)를 컴퓨터적으로 모델링하여 3차원 영상(21)을 재생할 수 있다. 이 방식 중에 하나가 부피형 3차원 영상 재생 방식이며, 이를 도 2에 나타내었다. 이 방식은 픽업된 요소 영상(13)들은 핀홀 배열(24)에 대해서 기하광학적 특성을 컴퓨터를 이용하여 모델링한 후 프로그램에 의해 계산되어 3차원 영상(21)을 재생한다. 도 2는 거리 z = L에서 핀홀 배열(24) 모델을 이용하여 디스플레이 평면(25)에 영상을 재생하기 위한 부피형 3차원 영상 재생 방식의 원리를 나타낸다. 핀홀 배열(24)로부터 고정된 거리 z=L에서 각 요소 영상(13)은 대응되는 가상의 핀홀 배열(24)을 통해서 역으로 투영된다. 투영된 영상은 확대 배율 M에 확대된다. 이때 M 은 핀홀 배열(24)과 재생 이미지 평면(25)사이의 거리와, 핀홀 배열(24)과 요소 영상(13) 사이의 거리(g) 의 비율, 즉 M = L/g로 결정된다. M>1 일 때, 투영된 이미지들은 재생 이미지 평면 z에서 확대된 인접한 요소 영상(13)들과 서로 중첩된다. 3차원의 입체감 있는 정보를 재생하기 위해서는, 재생하고자 하는 모든 영상 평면들에 대응하는 거리에서 위와 동일한 과정을 반복한다.

일반적으로 집적 영상에서 픽업되는 요소 영상(13)은 도 3(a)와 같이 반복적인 사각형 구조이다. 따라서 도 2의 부피형 3차원 영상 재생 방식에서 모든 요소 영상(13)은 사각형 형태로 확대되어 중첩 기록된다. 따라서 부피형 3차원 영상 재생 방식에서는 확대된 요소 영상(13)의 경계부분들이 서로 중첩되는 현상이 일어나게 되며, 이는 3차원 재생 영상에서 격자 구조의 밝기 불균일 현상을 발생하게 하는 원인이 된다. 이 예를 도 3(b)에 나타내었다. 여기서 보여지 듯이 격자 구조의 불균일한 영상을 확인할 수 있다.

본 발명에서는 기존의 부피형 3차원 영상 재생 방식에서 주기적인 사각형 요소 영상(13)을 이용할 때 발생하는 격자구조의 밝기 불균일 현상을 제거하기 위해서 요소 영상(13)에 대해서 크기가변 매핑 기술을 사용하는 방식을 사용한다. 본 발명의 방식을 도 4에 나타내었다. 여기서는 도 2와 달리 하나의 요소 영상(31)은 핀홀 배열(24)을 통과한 이후로 크기가 작은 사각형 형태의 매핑이 되는 방식이다. 이때 사각형 형태의 매핑의 크기는 재생 면에서의 픽셀간 간격을 고려하여 결정한다. 이 매핑의 크기를 확대계수라 부른다.

먼저 도 4에서 보여지듯이 확대과정에서는 요소 영상의 각 픽셀은 새로운 확대 계수 Md(z)로 확대된다. Z에 따른 적절한 Md(z)를 결정하는 것은 중요하다. 새 로운 확대 계수를 얻기 위해서 도 5(a)의 요소영상과 재생 이미지 평면(25) 사이의 레이분석을 고려하자. 레이 분석을 위해서 ABCD 행렬을 이용한다. 설명의 단순화를 위하여 1차원적 해석을 나타낸다. 도 5(a)에서 핀홀 배열을 사용하고 각 핀홀을 통과하고 요소영상의 픽셀들로부터 출발하는 레이들만을 고려한다. 각 요소 영상은 N 픽셀을 가지며 각 픽셀은 n=0, ㅁ1, ㅁ2,…, ㅁ(N-1)/2 로 나타낸다. 그리고 k번째 요소영상의 n 번째 레이를 고려하자. 여기서 k=0, ㅁ1, ㅁ2,…, ㅁ(K-1)/2이다. 이 레이가 z거리의 재생 이미지 평면(25)에 도달할 때는 다음과 같이 ABCD 행렬을 이용하여 표현될 수 있다.

(1)

이제 요소영상으로부터 출발하는 레이의 매핑 관계를 분석한다. 도 5(a)에서 보여지듯이 재생 이미지 평면(25)에 도착하는 두개의 레이를 고려하자. 첫번째 레이는 k₁번째 요소 영상의 n₁번째 픽셀이고, 두번째 레이는 k₂번째 요소 영상의 n₂ 번째 픽셀이다. 그러면 재생 이미지 평면(25)에서 두 레이 사이의 거리는 다음과 같다.

(2)

여기서 ΔH =0은 두 레이의 중첩을 의미한다. 그리고 ΔH 사이에 들어갈 수 있는 픽셀의 수는 다음과 같다.

(3)

여기서 0 < |k₂-k₁| < K and 0 < |n₂-n₁| < N 이다. 수식 (3)을 이용하여 최소 정수값 α를 구할 수 있다. 이 값은 가장 인접한 픽셀들 사이에 들어갈 수 있는 최소 픽셀수를 의미한다. 제안하는 방식에서는 최소 α값을 새로운 확대 계수로 사용한다. 선택된 Md 는 거리에 따라 다른 값이 주어질 수 있고 기존의 방식의 확대계수보다는 더 작다. 예를 들어, N이 34픽셀이고 K가 30일때의 식 (3)으로부터 계산된 Md 값을 도 5(b)에 나타내었다. 이 결과에서 Md는 z에 따라 다르며, z=51 mm를 제외하고는 모두가 기존의 확대계수보다 훨씬 작다. 사실 부피형 3차원 영상 재생 기법에서 확대 계수는 컴퓨터 계산량과 직접적인 관련이 있다. 즉 큰 확대계수는 큰 계산량과 많은 메모리를 요구한다. 제안하는 방식에서는 훨씬 작은 확대계수를 제공할 수 있기 때문에 빠른 부피형 3차원 영상 재생 기법이 가능하며, 약 (M/Md)2만큼 계산량을 줄일 수 있다.

다음으로 중첩과정에서는 확대된 요소 영상의 픽셀들이 평면 재생 영상을 만들기 위해서 재생 이미지 평면(25)에서 서로 중첩된다. 여기서 제안하는 방법은 인접한 필셀 간의 간섭 문제를 제거한다. 기존의 부피형 3차원 영상 재생 기법의 매 핑과정에서는 확대된 요소 영상이 재생 이미지 평면(25)에 중첩될 때 픽업과정에서 기록되지 않은 인접 픽셀들까지 중첩되는 간섭문제가 존재한다. 그래서 재생된 영상은 원 3차원 물체가 존재하던 거리에서 재생된다하더라도 흐르게 재생이 된다. 제안하는 방법에서는 최소 정수 α의 선택으로 이러한 문제점을 극복한다. 즉 이웃하는 픽셀간의 최소 거리를 선택함으로써 인접 픽셀로의 간섭을 차단한다. 따라서 제안하는 방법은 흐려짐 현상을 제거하여 3차원 물체의 정확한 복원을 얻을 수 있고, 이것은 해상도를 개선하는 결과를 얻을 수 있다.

마지막으로 재생된 평면 재생 영상은 픽셀에 중첩된 회수에 의해서 정규화된다. 정규화 과정이 끝나면 최종 평면 재생 영상을 얻게 된다. 체적형 3차원 영상을 얻기 위해서는 거리 z를 달리하면서 이 부피형 3차원 영상 재생 기법을 반복한다.

제안하는 부피형 3차원 영상 재생 기법 방법의 유용함을 보이기 위해서 3종류의 영상에 대한 컴퓨터적 실험을 수행하였다. 실험 구조는 도 6(a)에 나타내었다. 여기서 사용한 핀홀배열은 30x30개이고 z=0 mm에 위치시켰다. 핀홀간 거리는 1.08mm이고 요소영상과 핀홀배열 사이의 거리 g=3mm이다. 3종류의 영상을 테스트 영상으로 사용하였다. 도 6(b)에서 보여지듯이 '레나', '자동차', '젓소' 영상을 사용하였다. 각 영상의 크기는 1020x1020 픽셀이다. 테스트 영상은 임의의 거리 z에 위치시켰다. 기하광학의 원리를 이용한 컴퓨터 픽업을 이용하여 요소 영상을 얻었다. 이때 하나의 요소영상은 34x34 픽셀을 가진다.

다음으로 제작된 요소 영상을 이용하여 부피형 3차원 영상 재생 기법 방식에 적용하였다. 사용한 실험에서 N=34, K=30이기 때문에 도 5(b)의 확대 계수를 사용 한다. 이 새로운 확대 계수를 이용하여 재생 이미지 평면(25)에 요소 영상을 중첩시켜 평면 재생 영상을 얻었다. 얻어진 평면 재생 영상은 정규화 과정을 거쳐서 최종 평면 재생 영상을 얻었다.

제안하는 방식으로 복원된 영상의 해상도 개선을 측정하기 위해서 PSNR(Peak Signal noise ratio)을 영상측정 파라미터로 사용하였다. 최종적으로 얻어진 평면 재생 영상과 원 영상들 간의 PSNR을 계산하였다. 도 6(b)의 3가지 영상들에서 대한 z에 따른 평균 PSNR 결과를 계산하였다. 이 결과를 도 7에 나타내었다. Z가 증가함에 따라 기존의 방식에서는 PSRN이 점점 줄어든다. 이것은 이웃한 픽셀들의 간섭에 의한 흐려짐 현상 때문이다. 그러나 제안하는 방식에서는 거리 z 보다는 Md의 값에 따라서 PSNR이 좌우됨을 알 수 있다. 기존의 방법과 비교하여 평균적으로 제안하는 방법이 7.01dB 정도의 해상도 개선을 보였다. 도 8에서 재생 영상을 비교하였다. 재생영상을 최상의 조건과 최악의 조건을 구분하여 보였다. 최상의 조건 z=21mm에서 재생 영상은 제안하는 방식에서 거의 원 영상에 가까운 영상을 얻을 수 있었으나 기존의 방식은 흐려진 영상임을 알 수 있다. 그리고 최악의 조건 z=51mm에서는 두 결과가 동일하다. 이것은 같은 확대계수를 가지기 때문이다.

이상에서 살펴본 바와 같이, 본 발명에 의한 원형매핑을 사용하는 부피형 3차원 영상 재생 기법을 이용하여 3차원 복원 영상의 해상도를 향상시킬 수 있는 새로운 기법을 제안함으로써, 집적 영상을 이용하는 3차원 패턴인식 시스템을 구성할 때 보다 정확한 인식을 수행 할 수 있는 효과가 있다.

도 8은 본 발명에 대한 부피형 3차원 여상 재생 기법에 대한 실험 결과이다. 여기서 기존의 기법에서의 문제점인 해상도 저하를 상당히 개선함을 보여주고 있다.

이상에서 본 발명의 바람직한 실시예에 한정하여 설명하였으나, 본 발명은 이에 한정되지 않고 다양한 변화와 변경 및 균등물을 사용할 수 있다. 따라서 본 발명은 상기 실시예를 적절히 변형하여 응용할 수 있고, 이러한 응용도 하기 특허청구범위에 기재된 기술적 사상을 바탕으로 하는 한 본 발명의 권리범위에 속하게 됨은 당연하다 할 것이다.

Claims

3차원 물체를 픽업하여 요소 영상을 획득하는 영상픽업부와;

상기 픽업부에서 획득된 2차원 요소 영상으로부터 1차원 요소 영상을 추출하는 영상추출부와;

상기 픽업부에서 획득된 2차원 요소 영상을 특정 위치의 거리에 크기가변 매핑 기술을 사용하는 부피형 3차원 영상을 복원할 수 있는 컴퓨터적 복원부;를 포함하여 구성된 것을 특징으로 하는 부피형 3차원 영상 재생 장치.
청구항 1 )에 있어서, 상기 컴퓨터적 복원부는,

크기가변 매핑 기술을 사용하며, 거리를 순차적으로 증가시키며 3차원 영상을 재생하는 것을 특징으로 하는 부피형 3차원 영상 재생 장치.
청구항 1에 있어서, 상기 컴퓨터적 복원부는,

크기가변 매핑 기술을 사용하며, 매핑 모양을 직사격형이 아닌 원형으로 사용하여 거리를 순차적으로 증가시키며 3차원 영상을 재생하는 것을 특징으로 하는 부피형 3차원 영상 재생 장치