KR100382753B1 - 다안 동영상 취득 방법 및 장치 - Google Patents

Abstract

다안 동영상의 저장 및 전송 등의 과정에서 처리해야 할 데이타 량을 감소시킬 수 있는 다안 동영상 취득 방법이 개시되어 있다. 다안 동영상 취득 방법은 각각 서로 다른 관측점을 가지는 다수의 카메라들을 이용하여 특정 대상에 대한 영상 데이타를 얻는 방법에 있어서, 카메라들을 2개의 그룹으로 분할하되, 각 카메라는 다른 그룹에 속하는 카메라와 인접되도록 카메라를 분할하는 단계; 시간을 등간격으로 분할하여 각 시점마다 각 카메라를 이용하여 한 프레임 분에 해당되는 영상 데이타를 얻는 단계; 및 각 시점마다 2개의 그룹중 어느 한 그룹에 속하는 카메라들로부터 얻어지는 영상 데이타를 선택하는 선택 단계를 구비한다. 영상 데이타를 선택하는 단계는 2개의 그룹에 속하는 카메라들로 얻어지는 영상 데이타를 매 프레임마다 교호적으로 선택하여 출력한다.

Description

다안 동영상 취득 방법 및 장치

본 발명은 다안 동영상 취득 방법에 관한 것으로, 특히 취득해야 할 영상 데이타의 양을 감소시킬 수 있는 다안 동영상 취득 방법 및 그 장치에 관한 것이다.

다안(multi-view) 영상의 취득은 각각 서로 다른 관측점(view-point)을 가지는 카메라를 통하여 매초당 다수의 프레임 신호들을 얻어내는 것이다. 따라서, 단위 시간당 처리해야 할 영상 데이타가 매우 방대하기 때문에, 관측점의 수를 늘려서 다양한 영상 데이타를 얻으려고 하는 데에 장애가 된다.

도 1은 및 도 2는 종래 기술에 따른 다안 동영상 취득 방법을 나타내는 도면들이다. 도 1 및 도 2를 참조하여 설명하면, 대상체(110)는 각각 서로 다른 관측점을 가지는 다수의 카메라들에 의하여 촬영된다. 각 카메라는 매초당 다수의 프레임에 해당되는 영상 데이타를 출력하게 된다. 통상 매 초당 30프레임분의 영상 데이타를 출력하게 된다. 참조 부호(120)는 각 관측점 및 각 시점에 대응되는 프레임 영상 데이타이다. 도 2는 프레임 단위 혹은 기타 단위의 영상이 얻어지는 1초간의 영상 데이타를 시간축(temporal axis)과 관측점축(view-point axis)을 기준으로 매트릭스로 배열시킨 것으로, 관측점들(V1, V2, V3, ..., Vn)의 수는 n 개이고, 1초당 시점들(T1, T2, T3, ...Tk)의 수는 k 개이다. 따라서, 이와 같은 방법으로 얻어지는 영상 데이타를 전송하거나 저장 매체에 저장하고자 하는 경우에, 1초당 전송하거나 또는 저장해야 할 영상 데이타의 양은 n×k 프레임분에 해당된다. 예를 들어, 3차원 텔레비전 방송을 하고자 하는 경우에, 다안 동영상 데이타들은 실시간으로 전송되어야 한다. 따라서, 종래 기술에 의한 다안 동영상 취득 방법으로 취득된 영상 데이타를 실시간으로 전송하기 위해서는, 전송 데이타의 양이 방대하기 때문에 고가의 초고속 시스템이 요구되는 문제점이 있다. 또한, 종래 기술에 의한 방법으로 얻어진 다안 동영상 데이타를 저장하고자 하는 경우에도 방대한 양의 메모리를 요구하기 때문에 저장 비용이 증가되는 문제점이 있다. 즉, 매초당 30 프레임의 영상 데이타를 각 관측점마다 취득, 저장 및 처리하고자 하는 경우에는 초고속의 프로세서와 대량의 메모리를 가진 고가의 장비를 필요로 하는 문제점이 발생한다.

따라서, 본 발명의 목적은 전송하거나 저장해야 할 데이타 량을 감소시킬 수 있는 다안 동영상 취득 방법을 제공하는 것이다.

본 발명의 다른 목적은 전송하거나 저장해야 할 데이타 량을 감소시키기 위한 다안 동영상 취득 장치를 제공하는 것이다.

본 발명의 또 다른 목적은 상기한 목적에 따라 제공되는 다안 동영상 취득 방법에 의하여 취득된 영상 데이타를 이용하는 경우에 화질을 개선하기 위한 다안 영상 신호 처리 방법을 제공하는 것이다.

도 1 및 도 2는 종래 기술에 따른 다안 동영상 취득 방법을 나타내는 도면들이다.

도 3 및 도 4는 본 발명에 따른 다안 동영상 취득 방법을 나타내는 도면들이다.

도 5는 다안 영상을 시간축과 관측점측을 기준으로 매트릭스로 배열시킨 도면이다.

도 6 및 도 7은 본 발명의 실시예들에 따른 다안 영상 처리 방법을 나타내는 순서도들이다.

도 8은 다안 동영상 취득 장치를 나타낸 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

110...대상체120...프레임 영상 데이타

상기 목적을 달성하기 위하여, 본 발명에 의한 다안 동영상 취득 방법은 각각 서로 다른 관측점을 가지는 다수의 카메라들을 이용하여 특정 대상에 대한 영상 데이타를 얻는 방법에 있어서, 카메라들을 2개의 그룹으로 분할하되, 각 카메라는 다른 그룹에 속하는 카메라와 인접되도록 카메라를 분할하는 단계; 시간을 등간격으로 분할하여 각 시점마다 각 카메라를 이용하여 한 프레임에 해당되는 영상 데이타를 얻는 단계; 및 각 시점마다 2개의 그룹중 어느 한 그룹에 속하는 카메라들로부터 얻어지는 영상 데이타를 선택하는 단계를 구비한다. 여기서, 영상 데이타를 선택 단계는 2개의 그룹에 속하는 카메라들로 얻어지는 영상 데이타를 매 프레임마다 교호적으로 선택하여 출력한다.

상기 다른 목적을 달성하기 위하여, 본 발명에 의한 다안 동영상 취득 장치는 각각 서로 다른 관측점을 가지며 소정 시간마다 대상체를 촬영하여 프레임에 해당되는 영상 데이타를 출력하는 다수의 카메라들; 및 카메라들을 제1 및 제2 그룹으로 분할하되, 각 카메라는 다른 그룹에 속하는 카메라와 인접되도록 카메라를 분할한 후, 제1 및 제2 그룹에 속하는 카메라들로부터 얻어지는 영상 데이타를 매 프레임마다 교호적으로 선택하여 출력하는 멀티플렉서를 포함하여 구성된다.

상기 또 다른 목적을 달성하기 위하여, 본 발명에 의한 다안 동영상 신호 처리 방법은 N개의 관측점과 K개의 시간축상의 순간적인 시점에서 얻어진 영상 데이타에서, 각 시점마다 다수의 관측점들을 2그룹으로 나누어 교호적으로 선택하되 서로 인접한 관측점은 동시에 선택되지 않도록 하면서 카메라로부터 영상 데이타를 얻은 경우에 이를 원래의 영상 데이타로 확장하는 방법에 있어서, 동일 시점이고 인접한 관측점들에 대응되는 카메라들로부터 얻어진 2개의 영상 데이타들을 보간하여 제1 보간 영상 데이타를 출력하는 단계; 동일 카메라로부터 얻어지고 인접한 프레임들에 대응되는 신호들을 보간하여 제2 보간 영상 데이타를 출력하는 단계; 및 제1 보간 영상 데이타 및 제2 보간 영상 데이타를 보간하여 제3 보간 영상 데이타를 출력하는 단계를 구비하는 것으로, 제3 보간 영상 데이타가 각 카메라로부터 얻어지지 않는 프레임에 대한 영상 데이타들로 사용되도록 한다. 여기서, 제1 보간 영상 데이타를 출력하는 단계는 인접한 카메라들과의 거리에 따른 가중치를 고려하여 보간을 수행하도록 한다.

이어서, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명하기로 한다.

도 3 및 도 4는 본 발명에 따른 다안 동영상 취득 방법을 나타내는 도면들이다. 도 3에서, 프레임들(120)중 흰색 프레임들은 취득되는 영상 데이타들이며, 빗금친 프레임들은 취득되지 않는 영상 데이타들을 나타내는 것으로, 취득되는 영상 데이타의 양은 1/2로 감소된다. 도 4에서는, ○으로 표시된 프레임이 영상 데이타가 취득되는 프레임이고 ×로 표시된 프레임이 영상 데이타가 취득되지 않는 프레임이 된다. 매 시점마다 모든 카메라 즉 모든 관측점으로부터 영상 데이타를 취득하지 아니하고, 홀수번째 위치하는 카메라로부터 얻어지는 영상 데이타만을 취하거나 아니면 짝수번째 위치하는 카메라로부터 얻어지는 영상 데이타만을 취하게 되며, 선택되는 관측점들은 매 시점마다 교호적으로 변환된다. 예를 들어, T1 시점에서는 관측점(V1), 관측점(V3),...등이 선택되고, 그 다음 시점인 T2 에서는 관측점(V2), 관측점(V4),...등이 선택되며, 이어지는 T3 시점에서는 다시 관측점(V1), 관측점(V3),...가 선택된다.

이와 같이 서로 인접한 관측점들에 해당되거나 또는 서로 인접한 시점에 해당되는 영상 데이타들이 교호적으로 취득되도록 하는 것은 처리해야 할 영상 데이타의 양을 적게 하면서도 대상에 대한 정보의 손실을 가급적이면 적게 하기 위한 것이다. 여기서, 각 관측점들은 바람직하게는 등간격일 필요가 있다. 즉, 대상체(110)를 촬영하고자 하는 각 카메라의 위치를 일정한 간격을 두고 배치시킬 필요가 있다.

이와는 달리, 대상체(110)중 관심이 집중될 필요가 있는 부분을 촬영하는 카메라들은 다른 카메라들의 위치보다 좁은 간격으로 배치하는 것도 가능하다. 이러한 경우에는, 3차원 텔레비전 등과 같이 나중에 취득되지 않은 영상 데이타를 보간 처리하는 경우에 카메라의 위치 즉, 관측점들 사이에 거리에 따른 가중치를 고려하여 보간을 수행하여야 한다.

여기서, 도 3 및 도 4에 도시된 것과는 다른 방법으로, 대상체(110)에 대한 영상 정보를 손실을 적게 유지하는 범위 내에서 영상 데이타가 취득되어야 할 프레임과 영상 데이타가 취득되지 않는 프레임을 정하는 것이 가능하다.

예를 들어, 취득하고자 하는 데이타를 1/3로 감소시키고자 하는 경우에는, 관측점들(V1, V2, V3, ..., Vn)에 대응되는 카메라들을 3개의 그룹으로 분할한다. 좀 더 구체적으로 말하면, 관측점들(V1, V4, V7,...)에 대응되는 카메라들을 제1 그룹으로 하고 관측점들(V2, V5, V8,...)에 대응되는 카메라들을 제2 그룹으로 하며, 관측점들(V3, V6, V9,...)에 대응되는 카메라들을 제3 그룹으로 한다. 그런 다음, T1 시점에서는 제1 그룹에 속하는 카메라들을 이용하여 영상 데이타를 취득하고, 그 다음 시점인 T2에서는 제2 그룹에 속하는 카메라들을 이용하여 영상 데이타를 취득하며, 이어지는 T3 시점에서는 제3 그룹에 속하는 카메라들을 이용하여 영상 데이타를 취득하도록 하며, 그 이후의 시점들에서는 이러한 과정들을 반복하도록 한다. 그러나, 이와 같이 취득하는 데이타의 양을 대폭적으로 감소시키는 경우에는 동영상의 열화를 초래할 수 있으므로, 다안 동영상이 사용되는 분야 및 목적에 따라 취득하고자 하는 영상 데이타의 양을 조절하는 것이 가능하다.

도 5는 다안 영상을 시간축과 관측점측을 기준으로 매트릭스로 배열시킨 도면이고, 도 6 및 도 7은 본 발명의 실시예들에 따른 다안 영상 처리 방법을 나타내는 순서도들이다.

도 5에서, 프레임 영상 데이타들은 각각 Fij로 표시되어 있는데, i는 관측점축 인덱스이고 j는 시간축 인덱스이다. 프레임 영상 데이타들(F11, F13, ..., F22, F24, ...., F2k, F31, F33, ..., F42, F44,..., F4k, ..., Fn2, Fn4,..., Fnk)은 취득된 것들이고, 프레임 영상 데이타들(F12, F14, ..., F1k, F21, F23, ..., F32, F34, ..., F3k, F41, F43, ..., Fn1, Fn3, ...)은 취득되지 않은 것들이다. 이 경우, 취득되지 아니한 프레임 영상 데이타들에 근거하여 취득되지 아니한 영상 데이타를 생성하는 방법을 다음 도 6 및 도 7을 참조하여 설명하기로 한다.

도 6에서, 제610단계는 관측점축 보간을 수행한다. 관측점축 보간은 취득되지 아니한 프레임 영상 데이타를 F(x)(y)라고 할 때[여기서 (x)는 관측점축 인덱스를 나타내고, (y)는 시간축 인덱스를 나타낸다], 동일한 관측점 가지고 인접한 시점에서 취득된 프레임 영상 데이타들인 F(x)(y-1) 및 F(x)(y+1)에 근거하여 보간(interpolation)을 수행하여 제1 보간 영상 데이타[INP1(x)(y)]를 생성한다. 여기서 수행되는 보간 방법에는 여러 가지가 있는데, 가장 간단한 것으로는 단순히 중간 값을 취하도록 하는 것이다. 중간 값으로 보간하는 경우에 제1 보간 영상 데이타[INP1(x)(y)]는 다음 수학식 1에 의하여 산출할 수 있다.

도 6에서 제620단계에서는 시간축 보간을 수행한다. 시간축 보간은 취득되지 아니한 프레임 영상 데이타를 F(x)(y)라고 하고, 동일한 시점을 가지고 인접한 관측점들에서 취득된 프레임 영상 데이타들인 F(x-1)(y) 및 F(x+1)(y)에 근거하여 제2 보간 영상 데이타[INP2(x)(y)]를 생성한다. 마찬가지로, 이에 적용될 수 있는 보간 방법에는 여러 가지가 있는데, 가장 간단한 것으로는 단순히 중간 값을 취하도록 하는 것이다. 중간 값으로 보간하는 경우에 제2 보간 영상 데이타[INP1(x)(y)]는 다음 수학식 2에 의하여 산출할 수 있다.

제630단계는 제1 보간 영상 데이타[INP1(x)(y)] 및 제2 보간 영상 데이타[INP2(x)(y)]에 근거하여 취득되지 않은 프레임 영상 데이타를 생성하는 과정이다. 여기서도 다양한 보간 방법이 사용될 수 있으며, 가장 간단한 방법으로서 중간 값을 취하는 경우에는 다음 수학식 3에 따라 프레임 영상 데이타를 생성할 수 있다.

도 7은 도 6에서와는 달리 시간축 보간(710)과 관측점축 보간(720) 보다 먼저 수행된다. 시간축 보간 및 관측점축 보간을 수행하는 순서는 어느 것을 먼저 수행하더라도 상관없으며 속도를 증가시키기 위해서는 병렬 처리하는 것이 바람직하다. 제730에서 수행되는 단계는 제630에서 수행되는 것과 동일하다.

도 8은 다안 동영상 취득 장치를 나타낸 도면이다. 각각 대상체에 대하여 서로 다른 관측점을 가지는 다수의 카메라들(C1, C2, C3, C4, ..., Cn-1, Cn)과 멀티플렉서(800)를 포함하여 구성되어 있다. 카메라들(C1, C2, C3, C4, ..., Cn-1, Cn)은 각각 서로 다른 관측점을 가지며 소정 시간마다 대상체를 촬영하여 프레임에 해당되는 영상 데이타를 출력한다. 멀티플렉서(800)는 카메라들(C1, C2, C3, C4, ..., Cn-1, Cn)을 제1 및 제2 그룹으로 분할하되, 각 카메라는 다른 그룹에 속하는 카메라와 인접되도록 카메라를 분할한 후, 제1 및 제2 그룹에 속하는 카메라들로부터 얻어지는 영상 데이타를 각 시점마다 교호적으로 선택하여 출력한다.

본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.

상술한 바와 같이, 본 발명에 따른 다안 동영상 취득 방법 및 장치는 전송하거나 저장해야 할 데이타의 양을 적게 하면서도 정보의 손실을 작게 한 것으로, 이와 같은 영상 데이타를 처리해야 하는 시스템의 부담을 감소시키게 된다. 또한 손실을 가진 보간을 전제로한 이러한 방법 및 장치는 일반 영상(natural scene)을 처리하는 시스템에서보다는 대상체(object)를 대상으로 하는 시스템에 특히 효과적이다.

Claims (8)

1. 각각 서로 다른 관측점을 가지는 다수의 카메라들을 이용하여 특정 대상에 대한 영상 데이타를 취득하는 방법에 있어서,

   상기 카메라들을 다수의 그룹으로 분할하되, 동일 그룹에 속하는 그룹이 서로 인접하지 않도록 카메라를 분할하는 단계;

   시간을 등간격으로 분할하여 각 시점마다 각 카메라를 이용하여 한 프레임분에 해당되는 영상 데이타를 얻는 단계; 및

   각 시점마다 다수의 그룹들중 어느 한 그룹에 속하는 카메라들로부터 얻어지는 영상 데이타를 선택하되, 매 시점마다 선택되는 그룹이 순환적으로 변환되도록 영상 데이타를 선택하는 단계를 구비하는 것을 특징으로 하는 다안 동영상 취득 방법.
2. 각각 서로 다른 관측점을 가지는 다수의 카메라들을 이용하여 특정 대상에 대한 영상 데이타를 얻는 방법에 있어서,

   상기 카메라들을 2개의 그룹으로 분할하되, 각 카메라는 다른 그룹에 속하는 카메라와 인접되도록 카메라를 분할하는 단계;

   시간을 등간격으로 분할하여 각 시점마다 각 카메라를 이용하여 한 프레임분에 해당되는 영상 데이타를 얻는 단계; 및

   각 시점마다 2개의 그룹중 어느 한 그룹에 속하는 카메라들로부터 얻어지는 영상 데이타를 선택하는 단계를 구비하는 것을 특징으로 하는 다안 동영상 취득 방법.
3. 제2항에 있어서, 상기 영상 데이타를 선택하는 단계는 2개의 그룹에 속하는 카메라들로 얻어지는 영상 데이타를 각 시점마다 교호적으로 선택하여 출력하는 것을 특징으로 하는 다안 동영상 취득 방법.
4. 제2항에 있어서, 상기 카메라들은 등간격으로 배치됨을 특징으로 하는 다안 동영상 취득 방법.
5. 각각 서로 다른 관측점을 가지며 소정 시간마다 대상체를 촬영하여 프레임에 해당되는 영상 데이타를 출력하는 다수의 카메라들; 및

   상기 카메라들을 제1 및 제2 그룹으로 분할하되, 각 카메라는 다른 그룹에 속하는 카메라와 인접되도록 카메라를 분할한 후, 제1 및 제2 그룹에 속하는 카메라들로부터 얻어지는 영상 데이타를 각 시점마다 교호적으로 선택하여 출력하는 멀티플렉서를 구비하는 것을 특징으로 하는 다안 동영상 취득 장치.
6. 제5항에 있어서, 상기 카메라들은 상호 등간격으로 배치되어 있음을 특징으로 하는 다안 동영상 취득 장치.
7. N개의 관측점과 매초당 K개의 시점에서 얻어진 영상 데이타에서, 각 시점마다 다수의 관측점들을 2그룹으로 나누어 교호적으로 선택하되 서로 인접한 관측점은 동시에 선택되지 않도록 하면서 카메라로부터 영상 데이타를 얻은 경우에 이를 원래의 영상 데이타로 확장하는 방법에 있어서,

   동일 시점에 인접한 관측점들에 대응되는 카메라들로부터 얻어진 2개의 영상 데이타들을 보간하여 제1 보간 영상 데이타를 출력하는 단계;

   동일 카메라로부터 얻어지고 인접한 시점들에 대응되는 신호들을 보간하여 제2 보간 영상 데이타를 출력하는 단계; 및

   상기 제1 보간 영상 데이타 및 제2 보간 영상 데이타를 보간하여 제3 보간 영상 데이타를 출력하는 단계를 구비하는 것으로,

   상기 제3 보간 영상 데이타가 각 카메라로부터 얻어지지 않는 프레임에 대한 영상 데이타들로 사용되도록 하는 것을 특징으로 하는 다안 동영상 신호 처리 방법.
8. 제7항에 있어서, 상기 제1 보간 영상 데이타를 출력하는 단계는 인접한 카메라들과의 거리에 따른 가중치를 고려하여 보간을 수행하는 것을 특징으로 하는 다안 동영상 신호 처리 방법.