KR20150125243A - 다시점 카메라가 획득한 영상을 정합하는 방법 및 다시점 카메라 제어 시스템 - Google Patents

Abstract

기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법은 복수의 카메라가 영상을 촬영하는 방향에 서로 상하 방향으로 이격된 두 개의 마커(marker)를 갖는 기준점 표시수단을 위치시키는 단계, 서로 다른 위치에 배치되는 복수의 카메라가 각각 두 개의 마커를 포함하는 영상을 획득하는 단계 및 복수의 카메라에 연결된 제어 장치가 영상에 나타난 두 개의 마커를 기준으로 복수의 카메라 중 적어도 하나가 획득한 영상의 크기, 영상의 기울기 또는 영상의 중심 위치 중 적어도 하나를 보정하는 단계를 포함한다.

Description

다시점 카메라가 획득한 영상을 정합하는 방법 및 다시점 카메라 제어 시스템{CALIBRATING METHOD FOR IMAGES FROM MULTIVIEW CAMERAS AND CONTROLLING SYSTEM FOR MULTIVIEW CAMERAS}

이하 설명하는 기술은 시점을 서로 달리하여 동일 객체를 촬영하는 카메라가 획득한 영상을 정합하는 방법 및 다시점 카메라 제어 시스템에 관한 것이다.

다시점 영상은 한 대 이상의 카메라를 통해 촬영된 영상들을 공간적인 합성을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 영상처리의 한 분야이다.

서로 다른 시점을 갖는 영상이 하나의 장면으로 연출되기 위해서는 각 영상이 정합되어야 한다.

한국공개특허 제10-2014-0027653호

동일 객체를 촬영하는 복수의 카메라는 종류 및 설정에 따라 촬영하는 영상의 크기 등이 달라질 수 있다. 나아가 동일한 카메라를 사용하더라고 카메라가 위치하는 지형, 카메라의 배치 상태 등에 따라 카메라가 획득하는 영상의 크기, 영상의 기울기, 영상에서의 해당 객체의 위치 등이 서로 다를 수 있다. 이와 같이 복수의 카메라가 획득하는 영상이 크기, 기울기, 객체의 상대적 위치 등이 다르다면 카메라가 획득한 영상을 합성하기가 매우 어렵고 시간이 많이 소요된다.

이하 설명하는 기술은 복수의 카메라가 획득하는 영상의 크기, 기울기 및 객체의 상대적 위치를 촬영 전에 통일하는 방법을 제공하고자 한다.

이하 설명하는 기술의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

다시점 카메라가 획득한 영상을 정합하는 방법은 복수의 카메라가 영상을 촬영하는 방향에 서로 상하 방향으로 이격된 두 개의 마커(marker)를 갖는 기준점 표시수단을 위치시키는 단계, 서로 다른 위치에 배치되는 상기 복수의 카메라가 각각 상기 두 개의 마커를 포함하는 영상을 획득하는 단계 및 상기 복수의 카메라에 연결된 제어 장치가 상기 영상에 나타난 상기 두 개의 마커를 기준으로 상기 복수의 카메라 중 적어도 하나가 획득한 상기 영상의 크기, 상기 영상의 기울기 또는 상기 영상의 중심 위치 중 적어도 하나를 보정하는 단계를 포함한다.

상기 기준점 표시수단은 상기 두 개의 마커를 연결하는 직선이 상기 수평면에 수직 방향이 되도록 상기 두 개의 마커를 표시하거나, 상기 직선이 상기 수평면에 수직 방향이 되도록 배치되는 수단에 해당한다.

상기 보정하는 단계에서 상기 제어 장치는 상기 영상에서 상기 두 개의 마커 중 상측 마커와 하측 마커 사이의 픽셀 길이를 결정하고, 상기 픽셀 길이와 상기 카메라가 획득한 영상의 세로 방향 길이를 비교하여 상기 영상의 크기를 사전에 정해진 기준 크기에 대응되도록 상기 카메라를 제어하거나 상기 영상의 크기를 보정할 수 있다.

상기 보정하는 단계에서 상기 제어 장치는 상기 영상에서 상기 두 개의 마커의 좌표로 결정되는 상기 두 개의 마커를 연결하는 직선이 상기 영상에서 수직이 되도록 상기 카메라를 제어하거나 상기 영상의 기울기를 보정할 수 있다.

상기 보정하는 단계에서 상기 제어 장치는 사전 설정에 따라서 상기 영상에서 상기 기준점 표시수단의 무게 중심점, 상기 두 개의 마커 사이의 중심점, 상기 두 개의 마커 중 적어도 하나 또는 상기 두 개의 마커 사이에 표시되는 추가 마커 중 어느 하나가 상기 영상의 중심 좌표와 일치하도록 상기 카메라를 제어하거나, 상기 영상의 중심 위치를 보정할 수 있다.

상기 보정하는 단계에서 상기 제어 장치는 복수의 카메라 각각에 대하여 상기 기준점 표시수단이 포함된 영상을 기준으로 영상의 크기, 영상의 기울기 또는 영상의 중심 위치 중 적어도 하나를 보정한 보정 테이블을 생성하고, 이후 복수의 카메라 각각이 획득하는 영상을 상기 보정 테이블을 사용하여 보정할 수 있다.

다시점 카메라 제어 시스템은 상하 방향으로 이격된 두 개의 마커가 표시되는 기준점 표시수단, 서로 다른 위치에 배치되어 상기 두 개의 마커를 포함하는 영상을 획득하는 복수의 카메라, 상기 영상에 나타난 상기 두 개의 마커를 기준으로 상기 복수의 카메라 중 적어도 하나가 획득한 상기 영상의 크기, 상기 영상의 기울기 또는 상기 영상의 중심 위치 중 적어도 하나를 보정하는 제어 장치 및 상기 복수의 카메라와 상기 제어 장치를 연결하는 인터페이스 장치를 포함한다.

상기 제어 장치는 상기 카메라를 제어하여 상기 카메라가 획득하는 영상 자체를 변경하거나, 상기 카메라로부터 수신하는 상기 영상을 보정할 수 있다.

상기 제어 장치는 상기 영상에서 상기 두 개의 마커 중 상측 마커와 하측 마커 사이의 픽셀 길이를 결정하고, 상기 픽셀 길이와 상기 카메라가 획득한 영상의 세로 방향 길이를 비교하여 상기 영상의 크기를 사전에 정해진 기준 크기에 대응되도록 상기 카메라를 제어하거나 상기 영상의 크기를 보정할 수 있다.

상기 제어 장치는 상기 영상에서 상기 두 개의 마커의 좌표로 결정되는 상기 두 개의 마커를 연결하는 직선이 상기 영상에서 수직이 되도록 상기 카메라를 제어하거나 상기 영상의 기울기를 보정할 수 있다.

상기 제어 장치는 사전 설정에 따라서 상기 영상에서 상기 기준점 표시수단의 무게 중심점, 상기 두 개의 마커 사이의 중심점, 상기 두 개의 마커 중 적어도 하나 또는 상기 두 개의 마커 사이에 표시되는 추가 마커 중 어느 하나가 상기 영상의 중심 좌표와 일치하도록 상기 카메라를 제어하거나, 상기 영상의 중심 위치를 보정할 수 있다.

이하 설명하는 기술은 본격적인 촬영에 앞서 카메라 또는 카메라가 획득하는 영상을 조절하여 영상의 크기, 기울기 및 객체의 상대적 위치를 사전에 정합(calibration)한다. 이를 통해 사용자는 시간이 많이 소요되는 보정작업을 수행할 필요가 없이 손 쉽게 다양한 시점의 영상을 만들 수 있다.

이하 설명하는 기술의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 복수의 다시점 카메라가 특정 객체를 촬영하는 장면은 도시한 예이다.
도 2는 복수의 다시점 카메라가 배치되는 예이다.
도 3은 기준점 표시 수단을 포함하는 다시점 카메라 제어 시스템의 예이다.
도 4는 복수의 카메라 중 일부가 기준점 표시 수단을 포함한 영상을 촬영한 예이다.
도 5는 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법에 대한 순서도의 예이다.
도 6은 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법에 대한 순서도의 다른 예이다.
도 7은 마커를 이용하여 영상의 크기를 보정하는 과정에 대한 예이다.
도 8은 마커를 이용하여 영상의 기울기를 보정하는 과정에 대한 예이다.
도 9은 마커를 이용하여 영상의 중심 위치를 보정하는 과정에 대한 예이다.
도 10은 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하기 위한 보정 테이블을 생성한 예이다.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 이하 설명하는 기술의 다시점 카메라 시스템(100)에 따른 구성부들의 구성은 이하 설명하는 기술의 목적을 달성할 수 있는 한도 내에서 대응하는 도면과는 상이해질 수 있음을 명확히 밝혀둔다.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

도 1은 복수의 카메라가 특정 객체를 촬영하는 장면은 도시한 예이다.

여기서 복수의 카메라는 서로 다른 시점을 갖는 다시점 카메라에 해당한다. 이하 설명하는 기술은 도 1에 도시한 바와 같이 복수의 카메라(50)가 촬영 대상인 타겟 객체(5)를 중심에 두고 원형으로 배치되는 경우에 적용된다. 보다 정확하게 표현하면 복수의 카메라는 일정한 높이를 갖는 가상의 수평면상에 원호(圓弧, arc)형태로 배치된다. 사전적으로 원호는 원둘레 또는 기타 곡선 위의 두 점에 의하여 한정된 부분을 의미한다. 카메라가 원의 중심 영역에 위치한 타겟 객체(5)를 둘러싼 형태로 원둘레에 배치될 수 있고, 또는 원둘레의 일정한 부분에 배치될 수 있다. 도 1은 원둘레 중 점선으로 도시한 부분에 복수의 카메라가 일정한 간격으로 배치된 예를 도시한다.

복수의 카메라(50)는 카메라가 고정되는 받침대 장치(30) 위에 위치한다. 각 카메라가 별도의 삼발이와 같은 장치에 배치될 수도 있고, 도 1에 도시한 받침대 장치(30)와 같이 하나의 원호 형태의 레일에 복수의 카메라(50)가 연속하여 배치될 수도 있다.

도 1에 도시된 같은 카메라 장치는 타겟 객체(5)를 회전하는 효과를 갖는 영상을 생성할 수 있다. 예컨대, 도 1의 카메라 장치는 영화 '매트릭스'에서 정지상태에서 회전하면서 인물의 움직임을 표현한 영상을 생성할 수 있다.

카메라는 정지 영상을 촬영하는 카메라, 동영상을 촬영하는 카메라를 포함하는 의미이다. 다만 다시점 영상을 합성하기 위한 카메라는 보통 디지털 카메라 또는 디지털 캠코더와 같은 디지털 영상 장치를 의미한다.

타겟 객체(5)에 대한 회전 효과를 부여하기 위하여 복수의 카메라(50)는 동시에 영상을 획득해야 한다. 복수의 카메라(50)에 유선으로 연결된 제어 장치(80)는 복수의 카메라(50)에 대하여 동일한 시간에 촬영 명령을 전송한다. 도 1에 도시한 제어 장치(80)는 주로 복수의 카메라(50)가 동시에 타겟 객체(5)를 촬영하기 위한 제어를 수행한다.

종래에는 정지 영상을 촬영하는 카메라(50)를 이용하여 타겟 객체(5)가 일정한 동작을 하는 중에 연속적으로 사진을 촬영하였다. 이후 촬영된 사진을 USB, SD 카드 등과 같은 저장매체를 통해 컴퓨터 장치로 옮기고나서 작업자가 동일한 시간대에 촬영된 사진을 일일이 비교하면서 합성하는 작업을 하였다.

기본적으로 초기 카메라(50)를 설치하면서 모든 카메라가 촬영하는 영상의 중심 좌표가 동일하도록 설정하겠지만, 작업자가 설정한 초기값이 정확하지 않을 가능성이 크다. 이 경우 각 카메라(50)가 촬영한 영상의 상대적 크기, 영상의 기울기, 영상의 중심 좌표 등이 서로 달라질 수 있고, 이러한 영상을 사용하여 동영상을 제작하면 타겟 객체(5)가 흔들리는 영상이 생성될 수 있다.

따라서 정밀한 작업 결과물을 위해서 작업자는 촬영된 영상의 크기, 기울기, 중심 좌표 등을 수작업으로 정합(calibration)하는 작업을 수행하여야 했다.

도 2는 복수의 다시점 카메라가 배치되는 예이다. 도 2(a)는 도 1과 같이 카메라(50)가 원호(圓弧) 형태로 배치되어 촬영 대상인 객체(5)와 일정한 거리를 갖는 경우이다. 도 2(b)는 카메라(50)가 직선 형태로 배열하여 객체(5)와의 거리가 서로 상이한 경우이다. 도 2(c)는 복수의 카메라(50)가 랜덤(random)하게 배치된 경우이다. 도 2에 도시한 예 외에도 다양한 형태로 배치된 다시점 카메라 시스템에 이하 설명하는 기술이 적용될 수 있다.

이하 설명하는 기술은 종래 작업자가 수작업으로 수행했던 상기 정합 과정을 제어 장치가 자동으로 수행하는 방법을 제공한다. 이하에서는 도면을 참조하면서 다시점 카메라 시스템(100) 및 다시점 카메라가 획득한 영상을 정합하는 방법(200, 300)에 관하여 구체적으로 설명하겠다. 도 1에 설명한 구성과 동일한 구성은 기본적으로 동일한 도면 부호를 사용하여 설명한다.

도 3은 기준점 표시 수단을 포함하는 다시점 카메라 제어 시스템(100)의 예이다.

다시점 카메라 제어 시스템(100)은 상하 방향으로 이격된 두 개의 마커가 표시되는 기준점 표시수단(10), 서로 다른 위치에 배치되어 두 개의 마커를 포함하는 영상을 획득하는 복수의 카메라(50), 영상에 나타난 두 개의 마커를 기준으로 복수의 카메라 중 적어도 하나가 획득한 영상의 크기, 영상의 기울기 또는 영상의 중심 위치 중 적어도 하나를 보정하는 제어 장치(90) 및 복수의 카메라와 제어 장치를 연결하는 인터페이스 장치(70)를 포함한다. 도 3에서 복수의 카메라(50)는 도 3의 카메라와 동일한 구성이다.

기준점 표시수단(10)은 각 카메라에서 촬영하는 영상의 크기, 영상의 기울기 또는 영상의 중심 위치 중 적어도 하나를 보정하기 위한 기준이 된다. 기준점 표시 수단(10)은 다양한 형태를 가질 수 있다.

기본적으로 영상에서 기준점 표시 수단(10)에 표시된 특정 마커가 검출될 수 있어야 하므로, 영상에서 검출이 용이한 색을 갖는 마커가 기준점 표시 수단(10)에 있어야 한다. 마커는 물리적 형태를 갖는 기준점 표시 수단(10)에 부착한 색상 스티커, 기준점 표시 수단(10)에 칠한 색상 도료(塗料) 등일 수도 있고, 기준점 표시 수단(10)이 일종의 디스플레이 장치라면 디스플레이 장치에서 출력되는 특정 색상 영역일 수도 있다.

도 3에서는 세 개의 다리를 갖는 받침대 위에 위치한 막대 형태의 기준점 표시수단(10)을 도시하였다. 그러나 기준점 표시수단(10)의 물리적 형태 등이 제한되는 것은 아니다. 예컨대, 벽면에 설치한 직물지에 마커가 표시된 형태일 수도 있다. 나아가 기준점 표시수단(10)은 스크린과 스크린에 마커를 출력하는 프로젝터와 같은 형태일 수도 있다.

기준점 표시수단(10)에 표시되는 마커는 두 개 이상이 바람직하다. 도 3에서는 3개의 마커가 도시된 기준점 표시수단(10)을 예로 도시하였다.

제어 장치(90)는 복수의 카메라가 촬영하는 영상이 동기화될 수 있도록 제어할 뿐만 아니라 기준점 표시수단(10) 또는 기준점 표시수단(10)에 표시된 마커를 포함한 영상을 이용하여 각 카메라의 영상을 정합하는 제어를 한다.

인터페이스 장치(70)는 복수의 카메라(50)와 제어 장치(90) 사이에 정보를 중계하는 장치이다. 인터페이스 장치(70)는 카메라(50)에 내장된 통신 모듈(소켓)과 제어 장치(90)에 내장된 통신 모듈 사이에 유선 또는 무선으로 정보를 전달하는 장치이다. 인터페이스 장치(70)는 카메라(50)와 컴퓨터 장치인 제어 장치(90) 사이의 동일한 프로토콜을 사용하여 데이터를 전송하는 유선 장치 또는 무선 네트워크 장치일 수도 있다. 도 3에서는 유선 형태를 도시하였다. 인터페이스 장치(70)는 관련된 분야에 사용되는 다양한 형태의 장치, 프로토콜 등이 사용될 수 있다.

도 4는 복수의 카메라 중 일부가 기준점 표시 수단을 포함한 영상을 촬영한 예이다. 도 4(a), 도 4(b), 도 4(c) 및 도 4(d)는 차례대로 도 3에 도시한 카메라(50a), 카메라(50b), 카메라(50c) 및 카메라(50d)가 세 개의 마커를 갖는 기준점 표시수단(10)을 촬영한 예이다. 기본적으로 모든 카메라가 기준점 표시수단(10)을 마커를 연장한 직선이 영상에서 수직 방향에 위치하면서 기준점 표시수단(10)이 영상의 중앙에 위치하도록 설정하였다고 가정한다. 도 4에서 X로 표시한 지점은 영상의 중앙 위치(중앙 좌표)이다.

도 4(a)는 카메라(50a)가 촬영하는 위치가 좌측으로 이동하여 기준점 표시수단(10)이 중앙이 아닌 우측에 도시된 예이다. 도 4(b)는 카메라(50b)가 수평에 위치하지 않거나 다른 설정으로 카메라가 획득하는 영상이 우측으로 기울어진 예를 도시한다. 도 4(c)는 카메라 위치 또는 줌(zoom) 설정에 의해 카메라(50c)가 획득한 영상에서 기준점 표시수단(10)이 작게 출력된 예를 도시한다. 도 4(d)는 카메라(50d)가 정확한 크기, 기울기 및 위치의 영상을 촬영한 예를 도시한다. 결국 카메라들(50a, 50b 및 50c)이 획득한 영상이 카메라(50d)가 획득한 영상과 동일하게 보정되어야 한다.

물론 기준점 표시수단(10)이 영상의 중앙에 위치하지 않고 영상의 다른 위치에 위치하는 것을 기준으로 할 수도 있고, 기준점 표시수단(10)의 크기를 달리하여 영상에서 수직 방향 전체에 걸쳐 기준점 표시수단(10)이 잡히지 않고, 영상의 일부에서만 기준점 표시수단(10)이 획득되도록 설정할 수도 있다.

복수의 카메라가 원호 형태로 배치된다면 다만 마커를 포함하는 기준점 표시수단(10)은 카메라(50)가 배열되는 원호와 중복되는 가상의 원의 중심에 위치하도록 설정하는 것이 보정에 바람직하다. 사실 복수의 카메라의 배치 상태와는 관계 없이 촬영 대상이 되는 객체가 위치하는 위치 또는 근접 위치에 기준점 표시수단(10)이 위치하면 충분하다.

영상의 보정은 두 가지 방법으로 가능하다. 제어 장치(90)가 영상을 획득하는 카메라(50) 자체의 설정을 제어하여 영상의 크기, 영상의 기울기 또는 영상의 위치를 정정할 수 있다. 또한 제어 장치(90)는 카메라(50)로부터 보정이 필요한 영상을 전송받고, 수신한 영상을 처리하여 영상의 크기, 영상의 기울기 또는 영상의 위치를 보정할 수도 있다.

먼저 다시점 카메라 제어 시스템(100)이 동작하는 순서에 대해 간략하게 설명하고, 구체적인 영상 보정 방법에 대해 설명하기로 한다.

도 5는 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법(200)에 대한 순서도의 예이다.

기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법(200)은 먼저 복수의 카메라(50)가 영상을 촬영하는 방향에 서로 상하 방향으로 이격된 두 개의 마커(marker)를 갖는 기준점 표시수단을 위치시켜야 한다(210). 도 3 내지 도 5에서는 세 개의 마커를 갖는 기준점 표시수단(10)을 예로 들었으나, 사실 두 개의 마커만을 포함하여도 영상의 보정이 가능하다. 정확하게 설명하면 두 개 이상의 마커를 포함하는 기준점 표시수단(10)을 이용하면 영상의 보정이 가능하다. 구체적인 설명은 후술하도록 한다. 다만 두 개의 마커의 중앙에 위치하는 중심 마커를 하나 더 사용하고, 최초 중심 마커가 각 카메라에서 중앙에 오도록 각 카메라의 배치 또는 설정을 조정하는 것이 바람직하다.

기준점 표시수단(10)이 기준이 되는 지점에 배치되면 복수의 카메라(50)가 각각 세 개의 마커를 포함하는 영상을 획득한다(220). 기준점 표시수단(10)에 표시된 세 개의 마커를 포함하는 영상이 획득되는 순서는 관계없다.

나아가 마커를 포함하는 영상을 획득하기(220) 전에 사용자는 기준점 표시 수단을 기준으로 복수의 카메라를 사전에 일정하게 정합하는 것이 바람직하다. 예컨대, 기준점 표시수단(10)의 상측 마커와 하측 마커가 각각 영상에서 상단 가장자리와 하단 가장자리에서 동일한 거리에 위치하게 각 카메라의 배치 또는 설정을 조정할 수 있을 것이다. 세 개의 마커를 사용하는 경우 기준점 표시 수단(10)의 중심 마커가 영상의 중심에 위치하도록 각 카메라의 배치 또는 설정을 조정할 수도 있을 것이다.

이후 제어 장치(90)는 마커가 포함된 영상을 분석하여 카메라(50)에서 획득한 영상에 대한 보정이 필요한지 판단한다(230).

보정이 필요하다고 판단하면(Yes), 복수의 카메라(50)에 연결된 제어 장치(90)가 영상에 나타난 세 개의 마커를 기준으로 복수의 카메라(50) 중 적어도 하나가 획득한 영상의 크기, 영상의 기울기 또는 영상의 중심 위치 중 적어도 하나를 보정한다(240).

기본적으로 제어 장치(90)가 카메라(50)로부터 영상을 수신하여 보정이 필요한지 판단하고, 보정이 필요한 경우 카메라를 제어하거나 또는 수신한 영상을 보정하여 영상의 크기, 영상의 기울기 또는 영상의 중심 위치 중 보정이 필요한 항목을 보정한다. 다만 이 과정은 카메라(50)가 자체적으로 수행할 수도 있다. 이 경우 카메라는 해당 과정을 수행하는 프로그램이 임베디드된 형태여야 한다. 카메라 제조사가 아닌 경우 카메라의 내부 회로를 변경하는 것이 용이하지 않으므로, 상기 과정을 제어 장치(90)가 수행하는 것이 보다 바람직하다.

도 6은 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법(300)에 대한 순서도의 다른 예이다. 도 6에 도시된 방법(300)은 카메라(50)가 획득한 영상에 보정이 필요한 경우 영상의 크기, 영상의 기울기 및 영상의 중심 위치 순서로 보정을 수행하는 예이다.

다시점 카메라가 획득한 영상을 정합하는 방법(300) 먼저 복수의 카메라(50)가 영상을 촬영하는 방향에 서로 상하 방향으로 서로 이격된 세 개의 마커(marker)를 갖는 기준점 표시수단을 위치시켜야 한다(310). 이후 서로 다른 위치에 배치되는 복수의 카메라(50)가 각각 세 개의 마커를 포함하는 영상을 획득한다(320).

이후 제어 장치(90)가 크기 보정이 필요한 경우 영상에 나타난 세 개의 마커 중 2개 이상을 기준으로 카메라가 획득한 영상의 크기를 보정하고(330), 기울기 보정이 필요한 경우 제어 장치(90)는 영상에 나타난 세 개의 마커 중 2개 이상을 기준으로 카메라가 획득한 영상의 기울기를 보정하며(340), 마지막으로 영상의 위치 보정이 필요한 경우 제어 장치(90)는 영상에 나타난 세 개의 마커 중 어느 하나를 기준으로 영상의 중심 위치를 보정한다(350).

제어 장치(90)가 영상을 보정하는 단계(240, 350)는 전술한 바와 같이 두 가지 형태가 가능하다. 첫 째는 기준점 표시수단이 포함된 영상을 기준으로 카메라(50) 자체의 설정값을 제어하는 방법이다. 예컨대, 카메라의 줌(zoom) 설정값을 변경하면 영상의 크기를 변경할 수 있다. 다만 카메라(50)에서 영상의 기울기 또는 중심 위치 변경이 용이하지 않은 경우도 있을 것이다.

두 번째 방법은 제어 장치(90)가 기준점 표시수단이 포함된 영상을 기준으로 각 카메라(50)에 대해 보정 테이블을 생성하고, 이후 각 카메라(50)가 촬영한 영상을 수신하면 각 영상을 보정 테이블을 이용하여 보정하는 방법이다. 두 번째 방법이 포다 범용적인 기법이 될 수 있을 것이다.

이제 구체적으로 영상의 크기, 영상의 기울기 및 영상의 중심 위치를 보정하는 과정을 설명하고자 한다. 도 7 내지 도 9은 카메라(50)가 기준점 표시수단(10)이 포함된 영상을 촬영한 예이다. 보정 과정은 전술한 제어 장치(90)가 수행한다고 가정한다.

도 7은 마커를 이용하여 영상의 크기를 보정하는 과정에 대한 예이다. 도 7은 기준점 표시수단(10)에 세 개의 마커(11, 12, 13)가 표시된 영상의 예이다. 제어 장치(90)는 세 개의 마커 중 두 개의 마커에 대한 좌표를 결정하고 두 개의 좌표 사이의 픽셀 길이를 연산한다. 즉, 영상의 크기 보정은 두 개의 마커만 존재해도 수행이 가능하다. 도 7에서는 상측 마커(11)과 하측 마커(13)의 픽셀 길이(L1)와 카메라(50)가 획득한 영상의 수직 길이(L2)를 비교하여 획득한 영상의 상대적 크기를 결정하는 예를 도시하였다. 여기서 상대적 크기라고 명명한 것은 카메라가 입력받는 영상의 절대적(객관적) 크기는 동일하지만, 그 영상에 나타난 객체의 크기가 상이할 수 있기 때문이다.

사전에 상측 마커(11)과 하측 마커(13)의 실제 길이를 알고 있다면, 두 개의 마커 사이의 픽셀 길이(L1)를 결정하여, L1과 L2를 비교하여 현재 카메라(50)가 획득한 영상의 크기를 알 수 있다.

기준점 표시 수단(10)이 복수의 카메라(50)가 배치되는 원호의 중심점에 위치한다면, 사실 각 카메라(50)가 획득하는 영상의 크기는 동일해야 한다. 그러나, 카메라(50)의 줌 설정 또는 카메라가 배치된 미세한 거리 차이에 의해 동일한 지점에 위치하는 객체가 각 카메라(50)가 획득한 영상에서 차지하는 비율이 달라질 수 있다. 따라서 영상의 크기 보정이 필요할 수 있는 것이다. 나아가 복수의 카메라가 원호 형태로 배치되지 않는 경우 각 카메라가 동일한 설정값을 갖는다면 각 카메라가 획득한 영상의 크기는 서로 달라질 수 있다. 이 경우 역시 다시점 영상을 생성하기 전에 크기 보정이 필요할 것이다.

보정이 필요한 경우 제어 장치(90)는 카메라 자체의 줌 설정을 조절하여 획득하는 영상의 상대적 크기를 조절하거나, 제어 장치(90)가 획득한 영상을 처리하여 영상의 크기를 조절할 수 있다.

한편 L1의 연산을 위해 상측 마커(11) 및 하측 마커(13)의 좌표값을 결정하였는데 영상에서 마커가 하나의 픽셀이 아닌 이상 마커를 구성하는 중심점과 같은 일정한 지점을 기준으로 연산한다. 또한 마커는 점, 사각형, 다각형, 직선 등과 같은 다양한 형태가 가능하다. 다만 카메라(50)가 획득한 영상에서 충분히 검출될 수 있는 크기 및 색상이어야 한다.

도 8은 마커를 이용하여 영상의 기울기를 보정하는 과정에 대한 예이다. 전술한 바와 같이 기준점 표시수단(10)은 수평면에 수직인 상태이다. 따라서 기본적으로 카메라(50)가 획득하는 영상에서도 마커를 연장한 직선은 영상에서 수직 방향이어야 한다. 그러나 카메라(50)의 배치 상태 또는 카메라가 위치하는 지점의 평탄도에 따라 영상이 일정하게 기울어질 수 있다.

도 8에서 제어 장치(90)는 세 개의 마커(11,12,13) 또는 세 개의 마커 중 두 개의 마커의 좌표를 결정하고, 결정된 좌표를 연결하는 가상 직선과 영상의 수직 방향의 각도(θ)를 결정한다. 가상 직선과 영상의 수직 방향이 일정한 각도를 갖고 있다면 제어 장치(90)는 카메라(50)를 제어하거나, 카메라(50)로부터 수신한 영상을 보정하여 가상 직선이 영상의 수직 방향과 일치하도록 한다.

도 7 및 도 8에서 각각 설명한 영상의 크기 및 영상의 기울기 보정은 2개의 마커만으로 수행할 수 있다. 따라서 기준점 표시수단(10)은 2개의 마커만을 표시하여도 충분하다.

도 9은 마커를 이용하여 영상의 중심 위치를 보정하는 과정에 대한 예이다. 도 9에서 X로 표시한 지점이 영상의 중심 위치(중심 좌표)이다. 기본적으로 카메라(50)는 기준점 표시 수단(10)이 영상의 중앙에 오도록 설정된다. 그러나 도 9의 영상은 오른쪽으로 D1 만큼 이동된 상태이다. 따라서 제어 장치(90)는 카메라(50)의 촬영 방향을 제어하거나, 카메라(50)로부터 수신한 영상의 위치를 변경하여 세 개의 마커 중 중심 마커(12)가 영상의 중심 위치에 위치하도록 제어한다.

도 9에서는 세 개의 마커를 도시하였으나, 영상의 중심 위치 보정은 하나의 마커만을 기준으로 한다. 따라서 기준점 표시 수단(10)의 중앙에 위치한 중심 마커(12)만을 이용하여 영상의 중심 위치를 보정할 수 있다. 또는 영상의 기울기 보정이 완료된 상태라면 중심 마커(12)가 아닌 다른 마커(11 또는 13)를 이용해도 영상의 중심 위치를 보정할 수 있다. 나아가 상측 마커(11) 및 하측 마커(13)의 중심점을 연산하여 해당 중심점이 영상의 중심 위치에 위치하도록 할 수 있다. 즉 영상의 중심을 나타내는 기준으로 사전에 어떤 것을 사용한다고 약속되어 있다면 영상의 중심 위치 보정에는 다양한 기준이 사용될 수 있다.

제어 장치(90)는 영상의 중심 위치 보정에 영상에서 기준점 표시수단의 무게 중심점, 두 개의 마커 사이의 중심점 또는 두 개의 마커 사이에 표시되는 추가 마커 중 어느 하나를 이용할 수 있다. 기준점 표시 수단의 무게 중심점은 별도의 마커로 표시하지 않아도 영상 처리 기술을 이용하여 연산할 수 있다.

전술한 바와 같이 제어 장치(90)는 카메라(50)를 직접 제어하는 방법 또는 카메라(50)로부터 수신한 영상을 보정하여 영상의 크기, 영상의 기울기 및 영상의 중심 위치를 보정할 수 있다. 카메라(50)를 직접 제어했다면 작업자는 초기 기준점 표시수단(10)을 이용한 보정 후에 별도의 작업 없이 카메라(50)가 획득한 타겟 객체(5)에 대한 영상으로 영상 합성 작업을 수행하면 된다. 그러나 영상의 보정하는 방법을 선택하였다면 제어 장치(90)는 각 카메라(50)에 대한 보정값 내지 보정 기준을 저장하였다가 실제 타겟 객체(5)에 대한 영상을 수신하면 해당 보정 기준에 따라 보정이 필요한 카메라마다 모든 영상을 보정해야 한다.

도 10은 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하기 위한 보정 테이블을 생성한 예이다. 도 10은 카메라 a(50a)부터 카메라 j(50j)까지 10개의 카메라를 도시하였다.

도 10의 좌측에는 도 3과 같이 기준점 표시수단(10)을 촬영하고 있는 복수의 카메라(50) 및 각 카메라(50)로부터 기준점 표시수단을 포함한 영상을 수신하여 영상을 보정하는 제어 장치(90)를 도시한다. 제어 장치(90)는 복수의 카메라(50)로부터 보정 테이블 생성을 위해 기준점 표시수단을 포함한 영상을 수신하고, 이를 분석하여 각 카메라에 대한 보정 테이블을 생성한다.

도 10의 우측에 보정 테이블의 예를 도시하였다. 기울기가 양의 값을 갖는 경우 시계 방향으로 영상을 회전하는 것이고, 음의 값을 갖는 경우 반시계 방향으로 영상을 회전하는 것으로 가정한다. 중심점 이동은 양의 값을 갖는 경우 해당 좌표값이 증가하는 방향으로 이동하고, 음의 값을 갖는 경우 해당 좌표값이 감소하는 방향으로 이동한다고 가정한다.

예컨대, 카메라 a(50a)는 영상의 기울기를 3도 시계 방향으로 조정하였고, 크기는 1.2배로 조정하였고, 중심점은 x 방향으로 10픽셀(즉, 우측으로 10) 및 y방향으로 -7(아래 방향으로 7) 픽셀로 조정하였다. 나머지 카메라들도 각각 보정 테이블에 일정한 값을 갖는다. 카메라 f(50f)만이 기울기에 대해 보정값을 갖지 않는다.

영상의 크기 경우 카메라(50)의 배치 상태에 따라 보정이 되는 기준값이 달라질 수 있다. 예컨대, 카메라(50)가 원호의 형태로 배치되고, 기준점 표시수단(10)이 원호가 연장되는 원의 중심에 위치한다면 각 카메라와 기준점 표시수단(10)의 거리가 동일하므로 각 카메라가 획득한 영상이 동일한 크기의 기준점 표시수단(10)을 갖도록 보정하면 된다. 그러나 카메라(50)가 일직선으로 배치된 형태라면 각 카메라에 대한 기준값이 달라져야만 한다. 아래의 표는 복수의 카메라(50) 중 카메라 e(50e)가 획득한 영상을 기준으로 다른 카메라가 획득한 영상의 크기를 보정하는 예이다.

	보정 대상이 되는 기준값
카메라 a	1.4
카메라 b	1.3
카메라 c	1.2
카메라 d	1.1
카메라 e	1
카메라 f	1.1
카메라 g	1.2
카메라 h	1.3
카메라 i	1.4
카메라 j	1.5

제어 장치(90)는 상기와 같은 영상의 크기에 대한 크기 기준값 테이블을 사전에 저장하고 있어야하고, 이후 각 카메라(50)로부터 기준점 표시수단(10)을 포함한 영상을 수신하면 크기 기준값 테이블을 기준으로 각 카메라(50)에 대한 영상의 크기 보정 테이블을 생성하여야 한다.

상기 크기 기준값 테이블은 카메라가 일직선으로 배치된 형태에 대한 하나의 예에 불과하며, 복수의 카메라(50)가 배치된 형태에 따라 기준점 표시수단과의 거리를 기준으로 크기 기준값 테이블을 마련해야 할 것이다.

본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

5 : 타겟 객체 10 : 기준점 표시수단
11: 상측 마커 12 : 중심 마커
13 : 하측 마커 30 : 받침대
50 : 카메라 70 : 인터페이스 장치
80 : 제어 장치 90 : 제어 장치
100 : 다시점 카메라 제어 시스템

Claims (16)

1. 복수의 카메라가 영상을 촬영하는 방향에 서로 상하 방향으로 이격된 두 개의 마커(marker)를 갖는 기준점 표시수단을 위치시키는 단계;
   서로 다른 위치에 배치되는 상기 복수의 카메라가 각각 상기 두 개의 마커를 포함하는 영상을 획득하는 단계; 및
   상기 복수의 카메라에 연결된 제어 장치가 상기 영상에 나타난 상기 두 개의 마커를 기준으로 상기 복수의 카메라 중 적어도 하나가 획득한 상기 영상의 크기, 상기 영상의 기울기 또는 상기 영상의 중심 위치 중 적어도 하나를 보정하는 단계를 포함하는 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법.
2. 제1항에 있어서,
   상기 기준점 표시수단은 상기 두 개의 마커를 연결하는 직선이 상기 수평면에 수직 방향이 되도록 상기 두 개의 마커를 표시하거나, 상기 직선이 상기 수평면에 수직 방향이 되도록 배치되는 수단인 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법.
3. 제1항에 있어서,
   상기 기준점 표시수단은 상기 카메라의 배치 지점을 기준으로 상기 복수의 카메라의 중심 영역에 배치되는 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법.
4. 제1항에 있어서,
   상기 복수의 카메라는 바닥면에서 기준 높이만큼 이격되어 배치되고, 상기 복수의 카메라는 서로 기준 간격을 유지하여 배치되는 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법.
5. 제1항에 있어서,
   상기 보정하는 단계에서 상기 제어 장치는
   상기 영상에서 상기 두 개의 마커 중 상측 마커와 하측 마커 사이의 픽셀 길이를 결정하고, 상기 픽셀 길이와 상기 카메라가 획득한 영상의 세로 방향 길이를 비교하여 상기 영상의 크기를 사전에 정해진 기준 크기에 대응되도록 상기 카메라를 제어하거나 상기 영상의 크기를 보정하는 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법.
6. 제1항에 있어서,
   상기 보정하는 단계에서 상기 제어 장치는
   상기 영상에서 상기 두 개의 마커의 좌표로 결정되는 상기 두 개의 마커를 연결하는 직선이 상기 영상에서 수직이 되도록 상기 카메라를 제어하거나 상기 영상의 기울기를 보정하는 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법.
7. 제1항에 있어서,
   상기 보정하는 단계에서 상기 제어 장치는
   사전 설정에 따라서 상기 영상에서 상기 기준점 표시수단의 무게 중심점, 상기 두 개의 마커 사이의 중심점, 상기 두 개의 마커 중 적어도 하나 또는 상기 두 개의 마커 사이에 표시되는 추가 마커 중 어느 하나가 상기 영상의 중심 좌표와 일치하도록 상기 카메라를 제어하거나, 상기 영상의 중심 위치를 보정하는 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법.
8. 제1항에 있어서,
   상기 보정하는 단계에서 상기 제어 장치는
   복수의 카메라 각각에 대하여 상기 기준점 표시수단이 포함된 영상을 기준으로 영상의 크기, 영상의 기울기 또는 영상의 중심 위치 중 적어도 하나를 보정한 보정 테이블을 생성하고, 이후 복수의 카메라 각각이 획득하는 영상을 상기 보정 테이블을 사용하여 보정하는 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법.
9. 제1항에 있어서,
   상기 영상을 회득하는 단계 전에
   상기 복수의 카메라가 획득하는 영상에서 상기 두 개의 마커가 각각 영상의 상단 가장자리와 하단 가장 자리로부터 동일한 거리로 이격되도록 상기 복수의 카메라의 위치 또는 설정을 조정하는 단계를 더 포함하는 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법.
10. 제1항에 있어서,
    상기 영상을 회득하는 단계 전에
    상기 복수의 카메라가 획득하는 영상에서 상기 두 개의 마커의 중심 또는 상기 두 개의 마커의 중심에 위치한 중심 마커가 각 영상의 중심에 위치하도록 상기 복수의 카메라의 위치 또는 설정을 조정하는 단계를 더 포함하는 기준점 표시수단을 이용하여 다시점 카메라가 획득한 영상을 정합하는 방법.
11. 상하 방향으로 이격된 두 개의 마커가 표시되는 기준점 표시수단;
    서로 다른 위치에 배치되어 상기 두 개의 마커를 포함하는 영상을 획득하는 복수의 카메라;
    상기 영상에 나타난 상기 두 개의 마커를 기준으로 상기 복수의 카메라 중 적어도 하나가 획득한 상기 영상의 크기, 상기 영상의 기울기 또는 상기 영상의 중심 위치 중 적어도 하나를 보정하는 제어 장치; 및
    상기 복수의 카메라와 상기 제어 장치를 연결하는 인터페이스 장치를 포함하는 다시점 카메라 제어 시스템.
12. 제11항에 있어서,
    상기 기준점 표시수단은 상기 두 개의 마커를 연결하는 직선이 상기 수평면에 수직 방향이 되도록 상기 두 개의 마커를 표시하고, 상기 복수의 카메라의 위치를 기준으로 상기 복수의 카메라의 중심 영역에 배치되는 다시점 카메라 제어 시스템.
13. 제11항에 있어서,
    상기 제어 장치는 상기 카메라를 제어하여 상기 카메라가 획득하는 영상 자체를 변경하거나, 상기 카메라로부터 수신하는 상기 영상을 보정하는 다시점 카메라 제어 시스템.
14. 제11항에 있어서,
    상기 제어 장치는
    상기 영상에서 상기 두 개의 마커 중 상측 마커와 하측 마커 사이의 픽셀 길이를 결정하고, 상기 픽셀 길이와 상기 카메라가 획득한 영상의 세로 방향 길이를 비교하여 상기 영상의 크기를 사전에 정해진 기준 크기에 대응되도록 상기 카메라를 제어하거나 상기 영상의 크기를 보정하는 다시점 카메라 제어 시스템.
15. 제11항에 있어서,
    상기 제어 장치는
    상기 영상에서 상기 두 개의 마커의 좌표로 결정되는 상기 두 개의 마커를 연결하는 직선이 상기 영상에서 수직이 되도록 상기 카메라를 제어하거나 상기 영상의 기울기를 보정하는 다시점 카메라 제어 시스템.
16. 제11항에 있어서,
    상기 제어 장치는
    사전 설정에 따라서 상기 영상에서 상기 기준점 표시수단의 무게 중심점, 상기 두 개의 마커 사이의 중심점, 상기 두 개의 마커 중 적어도 하나 또는 상기 두 개의 마커 사이에 표시되는 추가 마커 중 어느 하나가 상기 영상의 중심 좌표와 일치하도록 상기 카메라를 제어하거나, 상기 영상의 중심 위치를 보정하는 다시점 카메라 제어 시스템.

Images