KR20150131668A - 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법 및 다시점 영상 생성 시스템 - Google Patents

Abstract

영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법은 서로 다른 위치에 배치된 복수의 카메라가 동일한 타겟 객체에 대한 동영상을 촬영하는 단계, 상기 복수의 카메라에 연결된 컴퓨터 장치가 상기 동영상을 수신하는 단계, 상기 컴퓨터 장치가 상기 동영상을 프레임 단위로 카메라의 위치 및 촬영 시간에 따라 분류하는 단계, 상기 컴퓨터 장치가 디스플레이 장치에 분류된 상기 동영상의 프레임에 대응되는 이미지 객체를 상기 카메라의 위치를 하나의 축으로 갖고 상기 촬영 시간을 다른 하나의 축으로 갖는 2차원 매트릭스 형태로 출력하는 단계, 상기 컴퓨터 장치가 상기 2차원 매트릭스에 표시되는 상기 객체를 선택하는 명령을 입력받는 단계 및 상기 컴퓨터 장치가 상기 명령에 따라 선택된 일련의 프레임을 합성하여 다시점 영상을 생성하는 단계를 포함한다.

Description

영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법 및 다시점 영상 생성 시스템{GENERATING METHOD FOR MULTIVIEW IMAGE USING INTERFACE WITH IMAGE MATRIX AND GENERATING SYSTEM FOR MULTIVIEW IMAGE}

이하 설명하는 기술은 다시점 영상을 생성하는 방법 및 시스템에 관한 것이다.

다시점 영상은 한 대 이상의 카메라를 통해 촬영된 영상들을 공간적인 합성을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 영상처리의 한 분야이다.

미국등록특허 US 7,312,821호

복수의 카메라를 사용하여 다시점 영상을 생성하기 위해서는 복수의 카메라가 각각이 촬영한 사진 영상을 작업자가 일일이 선택하여 합성하는 작업을 수행하였다. 종래 다시점 영상 생성은 이와 같이 많은 시간과 노력이 필요하다는 단점이 있었다.

이하 설명하는 기술은 복수의 카메라가 촬영한 소스 동영상을 컴퓨터 장치에서 프레임 단위로 시간과 카메라의 위치에 따른 2차원 인터페이스로 제공하고, 사용자가 2차원 인터페이스를 이용하여 다시점 영상을 제작하게 하고자 한다.

이하 설명하는 기술의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

컴퓨터 장치에서 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법은 서로 다른 위치에 배치된 복수의 카메라가 동일한 타겟 객체에 대한 동영상을 촬영하는 단계, 복수의 카메라에 연결된 컴퓨터 장치가 동영상을 수신하는 단계, 컴퓨터 장치가 동영상을 프레임 단위로 카메라의 위치 및 촬영 시간에 따라 분류하는 단계, 컴퓨터 장치가 디스플레이 장치에 분류된 동영상의 프레임에 대응되는 이미지 객체를 카메라의 위치를 하나의 축으로 갖고 촬영 시간을 다른 하나의 축으로 갖는 2차원 매트릭스 형태로 출력하는 단계, 컴퓨터 장치가 2차원 매트릭스에 표시되는 객체를 선택하는 명령을 입력받는 단계 및 컴퓨터 장치가 명령에 따라 선택된 일련의 프레임을 합성하여 다시점 영상을 생성하는 단계를 포함한다.

촬영 시간을 갖는 축에는 카메라가 촬영한 시간 흐름에 따른 모든 프레임 순서 또는 기준 간격을 갖는 프레임 순서로 이미지 객체가 출력된다.

카메라의 위치를 갖는 축에는 타겟 객체를 기준으로 직선 방향 또는 회전 방향으로 인접한 카메라 순서에 따라 이미지 객체가 출력된다.

다시점 영상 생성 시스템은 서로 다른 위치에 배치되어 동일한 객체에 대한 동영상을 촬영하는 복수의 카메라, 복수의 카메라에 연결되어 동영상을 수신하고, 동영상을 프레임 단위로 카메라의 위치 및 촬영 시간에 따라 분류하고, 입력 장치에서 입력되는 명령에 따라 선택된 프레임을 합성하여 다시점 영상을 생성하는 컴퓨터 장치, 분류된 동영상의 프레임에 대응되는 이미지 객체를 카메라의 위치를 하나의 축으로 갖고 촬영 시간을 다른 하나의 축으로 갖는 2차원 매트릭스 형태로 출력하는 디스플레이 장치 및 2차원 매트릭스에 표시되는 이미지 객체를 선택하는 명령을 입력받는 입력 장치를 포함한다.

컴퓨터 장치는 입력 장치에서 선택되는 이미지 객체에 대응하는 프레임들을 선택된 순서에 따라 합성하여 다시점 영상을 생성한다.

이하 설명하는 기술은 동일한 객체에 대한 영상을 동영상으로 촬영하여 카메라가 위치한 시점에서 모든 카메라가 영상을 획득하고, 이를 이용하여 여러 가지 종류의 다시점 영상을 생성할 수 있다. 또한 이하 설명하는 기술은 복수의 카메라가 촬영한 영상 모두를 프레임 순서에 따라 디스플레이 장치에 매트릭스 형태로 제공하여 사용자가 손쉽게 다양한 다시점 영상을 생성할 수 있다.

이하 설명하는 기술의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 복수의 다시점 카메라에서 특정 객체를 촬영하는 장면을 도시한 예이다.
도 2는 복수의 다시점 카메라가 배치되는 예이다.
도 3은 복수의 카메라가 촬영한 영상을 2차원 매트릭스 형태로 배열한 예를 도시한다.
도 4는 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법에 대한 순서도의 예이다.
도 5는 디스플레이 장치에 출력되는 영상 매트릭스 인터페이스의 예이다.
도 6은 디스플레이 장치에 출력되는 영상 매트릭스 인터페이스에 대한 다른 예이다.
도 7은 사용자가 2차원 매트릭스 형태인 영상 매트릭스 인터페이스를 이용하여 이미지 객체를 선택하는 예이다.
도 8은 다시점 영상 생성 시스템의 구성을 도시한 블록도의 예이다.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 이하 설명하는 기술의 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법(200) 및 다시점 영상 생성 시스템(300)에 따른 구성부들의 구성은 이하 설명하는 기술의 목적을 달성할 수 있는 한도 내에서 대응하는 도면과는 상이해질 수 있음을 명확히 밝혀둔다.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

먼저 이하 설명하는 기술이 적용되는 다시점 카메라에 대해 설명하고자 한다. 도 1은 복수의 다시점 카메라에서 특정 객체를 촬영하는 장면을 도시한 예이다. 촬영 대상이 되는 특정 객체를 타겟 객체라고 명명한다.

도 1에 도시된 복수의 카메라(50)는 서로 다른 시점을 갖는 다시점 카메라에 해당한다. 이하 카메라라고 명명하는 장치는 도 1에 도시된 카메라와 같이 서로 다른 시점을 갖는 다시점 카메라를 의미한다. 도 1에서는 이후 설명을 관련하여 카메라 a(50a)부터 카메라 j(50j)까지 도면 부호를 별도로 부여하였다.

이하 설명에서 카메라는 정지 영상을 촬영하는 카메라, 동영상을 촬영하는 카메라를 포함하는 의미이다. 다만 이하 설명하는 기술은 모든 복수의 카메라(50)가 타겟 객체를 촬영하는 연속된 영상을 사용해야 하므로 이하 설명하는 카메라는 기본적으로 디지털 캠코더와 같은 디지털 영상 장치라고 가정한다.

도 1은 복수의 카메라(50)가 촬영 대상인 타겟 객체(5)를 중심에 두고 원형으로 배치되는 경우를 도시한다. 보다 정확하게 표현하면 복수의 카메라는 일정한 높이를 갖는 가상의 수평면상에 원호(圓弧, arc)형태로 배치된다. 사전적으로 원호는 원둘레 또는 기타 곡선 위의 두 점에 의하여 한정된 부분을 의미한다. 카메라가 원의 중심 영역에 위치한 타겟 객체(5)를 둘러싼 형태로 원둘레에 배치될 수 있고, 또는 원둘레의 일정한 부분에 배치될 수 있다. 도 1은 원둘레 중 점선으로 도시한 부분에 복수의 카메라가 일정한 간격으로 배치된 예를 도시한다.

복수의 카메라(50)는 카메라가 고정되는 받침대 장치(30) 위에 위치한다. 각 카메라가 별도의 삼발이와 같은 장치에 배치될 수도 있고, 도 1에 도시한 받침대 장치(30)와 같이 하나의 원호 형태의 레일에 복수의 카메라(50)가 연속하여 배치될 수도 있다.

도 1에 도시된 같은 카메라 장치는 타겟 객체(5)를 회전하는 효과를 갖는 영상을 생성할 수 있다. 예컨대, 도 1의 카메라 장치는 영화 '매트릭스'에서 정지상태에서 회전하면서 인물의 움직임을 표현한 영상을 생성할 수 있다. 이러한 영상 기술을 소위 타임 슬라이싱(Time Slicing)이라고도 한다.

컴퓨터 장치(80)는 복수의 카메라(50)를 제어하고, 카메라(50)로부터 촬영한 영상을 수신하는 장치이다. 컴퓨터 장치(80)는 이하 설명하는 2차원 매트릭스 인터페이스를 이용하여 다시점 영상을 생성할 수 있다. 다시점 영상을 생성하는 컴퓨터 장치가 반드시 도 1과 같이 복수의 카메라(50)에 연결된 장치이어야 하는 것은 물론 아니다. 도 1의 컴퓨터 장치(80)가 수집한 영상 데이터를 이용하여 별도의 컴퓨터 장치에서 다시점 영상을 생성할 수도 있다. 다만 설명의 편의를 위해 일단 복수의 카메라(50)로부터 영상을 수신한 컴퓨터 장치(80)가 다시점 영상까지 생성한다고 가정한다.

또한 이하 설명하는 기술이 반드시 도 1과 같은 배치된 다시점 카메라에만 적용되는 것은 아니다. 다시점 카메라는 동일 시점에 동일한 객체 내지 인접한 객체를 촬영하기만 하면 충분하다. 도 2는 복수의 다시점 카메라가 배치되는 예이다.

도 2(a)는 도 1과 같이 카메라(50)가 원호 형태로 배치되어 촬영 대상인 객체(5)와 일정한 거리를 갖는 경우이다. 도 2(b)는 카메라(50)가 직선 형태로 배열하여 객체(5)와의 거리가 서로 상이한 경우이다. 도 2(c)는 복수의 카메라(50)가 랜덤(random)하게 배치된 경우이다.

이하 설명하는 기술은 복수의 카메라가 동일한 시간에 걸쳐 촬영한 영상을 이용하여 다시점 영상을 생성하기 위한 것이므로 사실 카메라의 배치 상태는 크게 관련이 없다. 카메라의 배치 상태에 따라 영상에서 객체의 크기 또는 위치가 달라질 수 있지만 이는 필요하다면 별도의 작업을 통해 보정해야할 대상이다.

이하에서는 도면을 참조하면서 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법(200) 및 다시점 영상 생성 시스템(300)에 관하여 구체적으로 설명하겠다.

도 3은 복수의 카메라(50)가 촬영한 영상을 2차원 매트릭스 형태로 배열한 예를 도시한다. 도 3은 도 1에 도시된 복수의 카메라(50)가 촬영한 영상을 배열한 예이다.

복수의 카메라(50)는 각각 일정한 기준 및 순서에 따라 배치된다. 예컨대, 도 1 경우 복수의 카메라(50)는 타겟 객체를 둘러싸는 원호 형태로 배치되었고, 특정 카메라를 기준으로 순서를 결정할 수 있다. 카메라 a(50a)부터 시작하여 카메라 j(50j)까지 또는 반대 방향으로 순서를 결정할 수 있을 것이다. 원호 형태로 배치된 카메라(50)들은 서로 다른 각도로 타겟 객체를 촬영하게 되므로 카메라의 순서에 따라 조금씩 각도가 다른 시점으로 타겟 객체를 촬영하게 된다. 일렬로 배치된 카메라라면 일정한 방향을 기준으로 직선 방향으로 순서를 결정할 수도 있을 것이다.

도 3에서 세로축(y축)은 카메라 위치에 해당한다. 즉, 카메라 위치에 따라 카메라를 식별하고, 해당 카메라가 촬영한 영상을 배열한 것이다. 도 3의 세로축은 카메라 a(50a)부터 시작하여 카메라 j(50j)까지의 항목을 갖는다. 카메라 위치란 결국 영상의 시점이므로, 도 3의 세로축은 영상에 대해 시점이 변경될 때 시점의 변경이 연속되는 순서라고 할 수 있다.

도 3에서 가로축(x축)은 시간의 흐름에 해당한다. 각 카메라(50)에서 시간의 흐름에 따라 획득한 영상 프레임을 세로축 방향으로 배열한 것이다. 도 3은 카메라(50)가 1초에 20 프레임의 영상을 획득한다고 가정한 것이다. 도 3은 각 카메라(50)가 촬영한 모든 프레임을 배열한 형태를 예시한다. 도 3에서 "이미지 객체"라고 표시한 것은 하나의 프레임에 대응하는 것이다.

도 4는 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법(200)에 대한 순서도의 예이다.

서로 다른 위치에 배치된 복수의 카메라(50)가 동일한 타겟 객체에 대한 동영상을 촬영한다(210). 복수의 카메라(50)가 동일한 타겟 객체에 대해 일정한 시간 동안 동영상을 촬영하여 시점이 다른 모든 카메라(50)가 촬영한 영상을 확보하고, 이를 이용하여 다시점 영상을 생성한다. 이때 확보하는 영상은 소스 영상에 해당하고, 사용자는 컴퓨터 장치(80)가 제공하는 영상 매트릭스 인터페이스를 이용하여 다양한 종류의 다시점 영상을 생성할 수 있다. 즉 반복하여 타겟 객체를 촬영하지 않아도 한 번의 촬영으로 모든 시점(時點)에 대한 연속된 영상을 확보하는 것이다.

복수의 카메라(50)에 연결된 컴퓨터 장치(80)가 동영상을 수신하고(220), 컴퓨터 장치(80)가 수신한 동영상을 프레임 단위로 카메라의 위치 및 촬영 시간에 따라 분류한다(230). 컴퓨터 장치(80)는 복수의 카메라(50)로부터 영상을 수신하면, 각 카메라(50)마다 획득한 영상 프레임을 순서에 따라 분류하여 저장한다. 분류작업은 수신하는 영상이 어떤 카메라로부터 수신한 것이고, 수신한 순서대로 구별할 수 있게 식별자를 삽입하거나, 데이터에 대한 테이블을 생성하거나, 저장 장치의 일정한 장소에 순서대로 저장하여 구별한다는 의미이다. 컴퓨터 장치(80)가 수신한 영상을 각 카메라별로 또 각 카메라에 속한 영상을 시간 순서대로 구분하는 방법은 다양한 기법이 사용될 수 있을 것이다.

이후 컴퓨터 장치(80)는 별도의 디스플레이 장치에 분류된 동영상의 프레임에 대응되는 이미지 객체를 카메라의 위치를 하나의 축으로 갖고 촬영 시간을 다른 하나의 축으로 갖는 2차원 매트릭스 형태로 출력한다(240). 여기서 이미지 객체는 동영상 프레임 자체를 의미하는 것은 아니고, 동영상 프레임에 대응되는 별도의 디스플레이 객체를 의미한다. 예컨대, 이미지 객체는 프레임에 대한 섬네일 이미지 객체일 수도 있고, 영상이 표시되지 않는 사각형 객체, 다른 모양의 객체 또는 특정 아이콘 등일 수도 있다. 컴퓨터 장치(80)가 디스플레이 장치에 복수의 카메라(50)가 촬영한 영상을 촬영 시간 및 카메라의 위치를 기준으로 2차원 매트릭스 형태로 출력한다.

이후 컴퓨터 장치(80)가 2차원 매트릭스에 표시되는 객체를 선택하는 명령을 입력받는다(250). 즉 사용자가 디스플레이 장치에 표시되는 2차원 매트릭스를 이용하여 소스 영상에서 다시점 영상을 합성할 프레임을 선택하는 과정이다. 사용자 입장에서는 디스플레이 장치에 표시되는 2차원 매트릭스는 다시점 영상 생성을 위한 하나의 인터페이스에 해당한다. 이하 디스플레이 장치에 표시되는 2차원 매트릭스 인터페이스를 영상 매트릭스 인터페이스라고 명명한다. 아래의 도 5 및 관련된 설명에서 자세하게 후술한다.

사용자는 컴퓨터 장치(50)에 연결된 각종 입력 수단(마우스, 키보드 등)을 통해 선택 명령을 입력할 수도 있고, 디스플레이 장치가 터치 패널을 포함한다면 터치 입력을 통해 선택 명령을 입력할 수도 있다.

마지막으로 컴퓨터 장치(80)가 사용자가 선택한 명령에 따라 선택된 일련의 프레임을 합성하여 다시점 영상을 생성하게 된다(260).

도 5는 디스플레이 장치에 출력되는 영상 매트릭스 인터페이스의 예이다. 도 5도 도 3과 같이 1초에 20프레임을 갖는 소스 영상이 존재한다고 가정한다.

도 5(a)는 도 3과 같이 세로축은 카메라 위치를 기준으로 하였고, 가로축은 촬영 시간을 기준으로 하였다. 도 5(a)는 각 카메라(50)가 시간에 따라 촬영한 모든 영상을 표시한 예이다. 실제 디스플레이 장치에는 카메라의 식별자 또는 시간이 표시되지 않을 수도 있다. 도 5(a)는 카메라 a가 촬영한 영상에서 0.45sec에 획득한 프레임에 대응되는 이미지 객체를 사용자가 선택한 예이다. 사용자가 특정 이미지 객체를 선택하면 해당 이미지 객체가 어떤 화면인지 디스플레이 장치에 표시(preview)하는 과정을 예시한다.

도 5(b)는 2차원 매트릭스에 모든 프레임의 영상을 표시하지 않고, 0.5sec 간격으로 해당하는 영상만을 표시한 예이다. 사용자가 이러한 2차원 매트릭스를 이용하여 다시점 영상을 생성한다면 조금씩 끊기는 느낌의 영상이 생성될 것이다. 경우에 따라서는 이와 같은 다시점 영상이 필요할 수도 있을 것이다. 사용자 설정에 따라 촬영 시간에는 모든 프레임을 표시하던지 또는 일정한 간격으로 프레임을 표시할 수도 있을 것이다. 나아가 도 5(a)의 영상 매트릭스 인터페이스를 이용하여도 동일한 영상을 만들 수도 있다. 사용자가 일정한 간격을 갖고 떨어진 프레임에 해당하는 영상만을 선택하면 동일한 효과의 영상을 생성할 수 있다.

정리하면 카메라의 위치를 갖는 축에는 타겟 객체를 기준으로 직선 방향 또는 회전 방향으로 인접한 카메라 순서에 따라 이미지 객체가 출력될 수 있다. 또한 촬영 시간을 갖는 축에는 카메라가 촬영한 시간 흐름에 따른 모든 프레임 순서 또는 기준 간격을 갖는 프레임 순서로 이미지 객체가 출력될 수 있다.

도 6은 디스플레이 장치에 출력되는 영상 매트릭스 인터페이스에 대한 다른 예이다.

도 6은 도 3과 같이 세로축(y축)은 카메라 위치에 따른 카메라 종류를 나타내고, 가로축은 시간을 의미한다. 도 3에서는 가로축에 모든 프레임을 배열한 형태를 예시한 것이지만, 실제 동영상에 대한 모든 프레임일 배열하기 쉽지 않다. 짧은 동영상이라도 매우 많은 프레임이 존재하기 때문이다.

도 6에서는 시간 간격에 따라 사각형의 이미지 객체를 도시하였으나, 이는 실제 프레임에 해당하는 것은 아니다. 사용자가 가로축의 특정 지점을 선택하면, 해당 지점의 시간을 표시할 수도 있다. 도 6에서는 2.65Sec에 대한 예를 도시하였다.

사용자가 가로축의 특정 지점을 나타내는 포인터를 드래그하면서 프레임 위치를 변경할 수 있고, 이 상태에서 특정 카메라를 선택하면 해당 카메라가 해당 프레임에서 획득한 영상을 볼 수도 있다. 도 6에서는 2.65Sec의 시간에서 카메라 j가 획득한 영상을 선택한 예를 도시하였다.

물론 도 6과 달리 다른 방식으로 가로축을 표시할 수도 있을 것이다. 도 3과 같이 모든 프레임의 영상을 표시할 수도 있고, 도 5(b)와 같이 일정한 시간 간격을 갖는 프레임 단위로 영상을 표시할 수도 있다. 다만 6과 같이 해당 프레임의 시간을 표시하거나, 해당 위치를 별도로 표시하여야 이후 연속적인 작업 내지 편집이 원활히 수행될 수 있을 것이다.

도 7은 사용자가 2차원 매트릭스 형태인 영상 매트릭스 인터페이스를 이용하여 이미지 객체를 선택하는 예이다.

도 7(a)는 사용자가 영상 매트릭스 인터페이스에서 연속하여 이미지 객체를 선택한 예이다. 사용자는 먼저 카메라 a의 최초 영상 프레임부터 카메라a의 0.2sec까지의 영상 프레임을 선택하였다(①이라고 표시). ① 영상은 카메라 a가 촬영이 시작한 시점부터 0.2sec까지 촬영한 영상이다. 이후 사용자는 연속하여 0.2sec 프레임에서 카메라 a부터 카메라 j까지의 영상을 선택하였다(②라고 표시). ② 영상은 0.2sec의 정지된 시간에 카메라의 위치(시점)를 변경하여 타겟 객체를 회전하는 효과를 갖는 영상에 해당한다. 이후 사용자는 카메라 j의 0.2sec의 영상 프레임부터 0.5sec 프레임 영상을 선택하였다(③이라고 표시). ③영상은 카메라 j가 0.2sec 부터 0.5sec까지 촬영한 영상이다.

한편 디스플레이 장치는 사용자가 디스플레이 장치에 표시되는 영상 매트릭스 인터페이스에서 이미지 객체를 선택하면 이미지 객체가 선택되었다는 효과를 출력할 수 있다. 예컨대, 선택된 이미지 객체의 색 또는 명암을 변경할 수도 있고, 도 7과 같이 이미지 객체 위해 선(line)을 표시할 수도 있을 것이다.

도 7(b)는 사용자가 영상 매트릭스 인터페이스를 이용하는 다른 예이다. 사용자는 한번에 이미지 객체를 선택하지 않고, 중간에 시점을 완전히 이동하여 다른 이미지 객체를 선택한 예이다. 사용자는 먼저 카메라 a의 최초 영상 프레임부터 카메라a의 0.15sec까지의 영상 프레임을 선택하였다(①이라고 표시). 이후 카메라 a의 0.15sec의 영상 프레임에서 사선으로 카메라 e의 0.3sec의 영상 프레임을 선택하였다(②라고 표시). ② 영상은 도 7(a)와 달리 시간이 흐르면서 타겟 객체를 회전하는 효과를 갖는다. 이와 같은 효과는 종래 정지된 사진을 사용하였던 다시점 영상에서는 기대할 수 없는 것이다. 사용자는 ②영상 이후 ① 영상과 ②영상과는 다른 시점에서 영상을 생성하고 싶어 카메라 j에서 최초 촬영 시점부터 0.3sec까지의 영상 프레임을 선택하였다(③이라고 표시). 즉 ③영상은 ① 영상과 ②영상과 동일한 시간대에 다른 시점의 영상을 제공한다. 이후 사용자는 카메라 j의 0.3sec 영상 프레임에서 사선 윗 방향으로 카메라 g의 0.5sec의 영상 프레임을 선택하였다(④이라고 표시). 이후 사용자는 0.5sec의 정지된 시간에서 카메라 g부터 카메라 a까지 이동하는 영상 프레임을 선택하였다(⑤이라고 표시). ⑤영상은 정지상태에서 도 7(a)의 ②영상과는 반대 방향으로 회전하는 효과를 갖는다.

도 7에 영상 매트릭스 인터페이스를 이용한 몇 가지 예를 도시하였으나, 영상 매트릭스 인터페이스를 이용하면 거의 무한에 가까운 종류의 다시점 영상을 생성할 수 있다. 예컨대, 시간의 흐름을 역순으로 선택하면 시간이 거꾸로 가는 영상을 생성할 수도 있고, 이미지 객체를 선택하는 시간 간격을 조절하여 일정하게 빠르게 회전하다가 느리게 회전하는 영상을 만들 수도 있다.

도 8은 다시점 영상 생성 시스템(300)의 구성을 도시한 블록도의 예이다. 전술한 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법(200)에서 설명한 내용은 생략하거나 간략하게 설명한다.

다시점 영상 생성 시스템(300)은 서로 다른 위치에 배치되어 동일한 객체에 대한 동영상을 촬영하는 복수의 카메라(310), 복수의 카메라에 연결되어 동영상을 수신하고, 동영상을 프레임 단위로 카메라의 위치 및 촬영 시간에 따라 분류하고, 입력 장치에서 입력되는 명령에 따라 선택된 프레임을 합성하여 다시점 영상을 생성하는 컴퓨터 장치(320), 분류된 동영상의 프레임에 대응되는 이미지 객체를 카메라의 위치를 하나의 축으로 갖고 촬영 시간을 다른 하나의 축으로 갖는 2차원 매트릭스 형태로 출력하는 디스플레이 장치(330) 및 2차원 매트릭스에 표시되는 이미지 객체를 선택하는 명령을 입력받는 입력 장치(340)를 포함한다.

카메라(310)는 전술한 도 1의 카메라(50)와 동일한 장치이다. 카메라(310)는 촬영한 동영상을 유선 또는 무선 네트워크를 통해 컴퓨터 장치(320)에 전달한다. 컴퓨터 장치(320)는 내부에 포함된 통신 모듈(321)을 통해 동영상 데이터를 수신하여 저장 장치(322)에 저장한다. 수신한 동영상 데이터는 소스 영상이라고 표시하였다. 통신 모듈(321)을 포함하여 카메라(310)와 컴퓨터 장치(320)를 연결하는 네트워크는 인터페이스 장치라고도 할 수 있다. 인터페이스 장치는 카메라(310)와 컴퓨터 장치(320) 사이의 동일한 프로토콜을 사용하여 데이터를 전송하는 유선 장치 또는 무선 네트워크 장치일 수도 있다. 인터페이스 장치는 관련된 분야에 사용되는 다양한 형태의 장치, 프로토콜 등이 사용될 수 있다.

컴퓨터 장치(320)에서 신호를 생성하여 다른 장치를 제어하고, 다시점 영상을 생성하는 연산 장치는 프로세서 장치(232)이다. 프로세서 장치(323)는 사용자가 선택한 영상 프레임을 합성하여 다시점 영상을 생성하고 저장 장치(322)에 저장할 수도 있다.

디스플레이 장치(330)에서 카메라의 위치를 갖는 축에는 타겟 객체를 기준으로 직선 방향 또는 회전 방향으로 인접한 카메라 순서에 따라 이미지 객체가 출력될 수 있다.

디스플레이 장치(330)에서 촬영 시간을 갖는 축에는 카메라가 촬영한 시간 흐름에 따른 모든 프레임 순서 또는 기준 간격을 갖는 프레임 순서로 이미지 객체가 출력될 수 있다.

컴퓨터 장치(320)는 입력 장치에서 선택되는 이미지 객체에 대응하는 프레임들을 선택된 순서에 따라 합성하여 다시점 영상을 생성한다. 나아가 사용자가 영상 매트릭스 인터페이스를 이용하여 최초로 선택한 순서와 관계없이, 다시점 생성 전에 사용자가 이용한 영상 프레임의 순서를 결정할 수도 있다. 도 6(b)로 설명하자면 ①+② -> ③+④+⑤의 순서가 아니라, ③+④+⑤ -> ①+②의 순서도 다시점 영상을 생성할 수도 있는 것이다.

본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

5 : 객체 30 : 받침대 장치
50 : 카메라 80 : 제어 장치

Claims (10)

1. 서로 다른 위치에 배치된 복수의 카메라가 동일한 타겟 객체에 대한 동영상을 촬영하는 단계;
   상기 복수의 카메라에 연결된 컴퓨터 장치가 상기 동영상을 수신하는 단계;
   상기 컴퓨터 장치가 상기 동영상을 프레임 단위로 카메라의 위치 및 촬영 시간에 따라 분류하는 단계;
   상기 컴퓨터 장치가 디스플레이 장치에 분류된 상기 동영상의 프레임에 대응되는 이미지 객체를 상기 카메라의 위치를 하나의 축으로 갖고 상기 촬영 시간을 다른 하나의 축으로 갖는 2차원 매트릭스 형태로 출력하는 단계;
   상기 컴퓨터 장치가 상기 2차원 매트릭스에 표시되는 상기 객체를 선택하는 명령을 입력받는 단계; 및
   상기 컴퓨터 장치가 상기 명령에 따라 선택된 일련의 프레임을 합성하여 다시점 영상을 생성하는 단계를 포함하는 컴퓨터 장치에서 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법.
2. 제1항에 있어서,
   상기 이미지 객체는 상기 프레임에 대한 섬네일 이미지 객체 또는 상기 프레임을 나타내는 별도의 이미지 객체인 컴퓨터 장치에서 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법.
3. 제1항에 있어서,
   상기 카메라의 위치를 갖는 축에는
   상기 타겟 객체를 기준으로 직선 방향 또는 회전 방향으로 인접한 카메라 순서에 따라 상기 이미지 객체가 출력되는 컴퓨터 장치에서 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법.
4. 제1항에 있어서,
   상기 촬영 시간을 갖는 축에는
   상기 카메라가 촬영한 시간 흐름에 따른 모든 프레임 순서 또는 기준 간격을 갖는 프레임 순서로 상기 이미지 객체가 출력되는 컴퓨터 장치에서 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법.
5. 제1항에 있어서,
   상기 선택하는 명령은
   상기 디스플레이 장치 상에서의 터치 입력 또는 상기 컴퓨터 장치에 연결된 입력 수단으로부터의 입력으로 입력되는 컴퓨터 장치에서 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법.
6. 제1항에 있어서,
   상기 컴퓨터 장치는 상기 선택하는 명령을 입력받으면
   상기 디스플레이 장치에 상기 명령에 따라 선택된 상기 이미지 객체를 별도의 색 또는 다른 객체로 표시하거나, 상기 선택된 이미지 객체 위에 연속된 선(line)을 표시하는 컴퓨터 장치에서 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법.
7. 서로 다른 위치에 배치되어 동일한 객체에 대한 동영상을 촬영하는 복수의 카메라;
   상기 복수의 카메라에 연결되어 상기 동영상을 수신하고, 상기 동영상을 프레임 단위로 카메라의 위치 및 촬영 시간에 따라 분류하고, 입력 장치에서 입력되는 명령에 따라 선택된 프레임을 합성하여 다시점 영상을 생성하는 컴퓨터 장치;
   분류된 상기 동영상의 프레임에 대응되는 이미지 객체를 상기 카메라의 위치를 하나의 축으로 갖고 상기 촬영 시간을 다른 하나의 축으로 갖는 2차원 매트릭스 형태로 출력하는 디스플레이 장치; 및
   상기 2차원 매트릭스에 표시되는 상기 이미지 객체를 선택하는 명령을 입력받는 입력 장치를 포함하는 다시점 영상 생성 시스템.
8. 제7항에 있어서,
   상기 디스플레이 장치에서
   상기 카메라의 위치를 갖는 축에는
   상기 타겟 객체를 기준으로 직선 방향 또는 회전 방향으로 인접한 카메라 순서에 따라 상기 이미지 객체가 출력되는 다시점 영상 생성 시스템.
9. 제7항에 있어서,
   상기 디스플레이 장치에서
   상기 촬영 시간을 갖는 축에는
   상기 카메라가 촬영한 시간 흐름에 따른 모든 프레임 순서 또는 기준 간격을 갖는 프레임 순서로 상기 이미지 객체가 출력되는 다시점 영상 생성 시스템.
10. 제7항에 있어서,
    상기 컴퓨터 장치는
    상기 입력 장치에서 선택되는 상기 이미지 객체에 대응하는 상기 프레임들을 선택된 순서에 따라 합성하여 다시점 영상을 생성하는 다시점 영상 생성 시스템.

Images