KR20040064966A - 지피에스 시간에 동기된 카메라로 촬영된 파노라마영상처리 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템 및 그 방법에 관한 것으로서, 본 발명에 따른 파노라마 영상처리 방법은 GPS 수신기로부터의 GPS 시간을 외부 동기신호를 발생하는 기준시간으로 하여 두 대 이상의 카메라의 촬영시간을 서로 동일하게 일치시키고 상기 카메라들을 이용하여 촬영된 영상들을 하나의 파노라마 영상으로 편집하는 것이다.

따라서, 서로 인접한 두 대 이상의 카메라가 촬영한 영상들간에 나타나는 중첩영역에서 이동하는 물체의 모습을 동일한 순간에 포착하여, 파노라마 영상으로 편집시 중첩영역에 나타나는 이동하는 물체의 왜곡을 최소화 할 수 있는 효과가 있다.

Description

지피에스 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템 및 그 방법{Panorama image processing system and method taken a photograph by cameras synchronized on GPS time}

본 발명은 지피에스(GPS: Global Positioning System, 이하 "GPS"라 함) 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템 및 그 방법에 관한 것으로서, 특히 GPS 수신기로부터의 GPS 시간을 외부 동기신호를 발생하는 기준시간으로 하는 두 대 이상의 카메라를 이용하여 촬영된 영상들을 하나의 파노라마 영상으로 편집하기 위한 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템 및 그 방법에 관한 것이다.

일반적으로, 파노라마(panorama) 영상이란 기존의 카메라가 잡을 수 있는 것보다 훨씬 더 넓은 각도를 보여주는 영상, 즉 세로 방향에 비해서 가로 방향으로 길게확장된 형태를 갖는 영상을 말한다. 파노라마 영상은 기존의 일반적인 영상보다는 훨씬 더 확장된 시야를 갖고 있기 때문에 보다 많은 정보를 한번에 보여줄 수 있을 뿐만 아니라, 보는 사람으로 하여금 새로운 시각적인 효과를 느낄 수 있게 할 수 있기 때문에 여러 가지 분야에서 응용되고 있다. 특히, CCD (charge coupled device) 를 사용하는 디지털 카메라와 디지털 비디오 카메라의 보급이 널리 이루어지면서 이를 컴퓨터에 연결한 뒤 컴퓨터 프로그램을 통하여 파노라마 영상으로 편집하는 방법들이 많이 나타나기 시작하였다.

한쪽 방향으로 길게 펼쳐진 광경을 하나의 영상 안으로 집어넣을 수 있는 이러한 파노라마 영상은 축구 경기에서와 같이 선수들이 경기장의 양쪽 끝 사이를 이동하는 모습을 표현하는데 있어서 적합한 방법을 제공할 수 있다. 기존의 TV 중계 방송은 경기장 전체를 보여주는 대신에 그 일부만을 촬영하여 시청자들에게 제공하고 있다. 이렇게 하는 이유는 TV 카메라가 경기장의 전체 모습을 하나의 화면으로 보여주게 되면 상대적으로 선수들의 모습이 아주 작게 나타날 뿐만 아니라, 경기장의 규격이 한쪽 방향으로 긴 형태이기 때문에 경기장 이외의 모습이 화면 안으로 많이 들어오게 되기 때문이다. 파노라마 영상은 이러한 기존의 제한을 극복할 수 있는 한가지 방법이라고 할 수 있다. 즉, 여러 대의 TV 카메라로 촬영된 경기장의 일부 모습들을 서로 이어 붙임으로써 경기장 전체의 모습을 시청자들에게 한번에 보여줄 수 있게 된다. 한국 공개특허 제 2002-18216 호, "축구 경기 시청을 위한 디지털 방송 송출시스템과 방법 및 축구 경기 시청용 텔레비전 수상기"는 두 대 이상의 카메라를 경기장에 설치하여 촬영된 영상을 파노라마 영상으로 편집한 뒤, 방송국을통하여 시청자들에게 송출하고 시청자들이 이 영상을 수상기를 통해서 볼 수 있도록 하여 주는 방법을 예시하고 있다.

두 대 이상의 카메라를 가지고 촬영한 각각의 영상들을 하나의 파노라마 영상으로 이어 붙이는 경우에는 서로 인접한 카메라가 촬영한 영상들 사이에 서로 중첩되는 곳이 발생하게 되며 이에 대한 처리가 적절하게 이루어져야 한다. 서로 중첩되는 부분은 다시 움직이지 않는 배경과 이동하는 물체로 나누어질 수 있다. 움직이지 않는 배경을 서로 이어 붙일 경우에 문제가 될 수 있는 것은 영상을 촬영할 때 사용된 카메라의 배율이 서로 달라서 중첩된 부분이 서로 매끄럽게 이어지지 않게 되는 것이다. 또한, 움직이는 물체가 중첩된 부분에 있을 경우에는 카메라가 영상을 촬영한 시간을 서로 정확하게 일치시키지 못하는 문제가 나타나게 된다. 즉, 촬영 시간이 서로 차이가 나게 되면 차이가 나는 시간 간격과 움직이는 물체의 당시 이동 속도에 따라서 동일한 물체의 모습이 중첩 영역 상에서 서로 다르게 나타나게 된다. 따라서, 파노라마 영상을 만들기 위해서 사용되는 카메라의 수가 두 대 이상이고 사용된 모든 카메라의 촬영 시간을 정확하게 일치하도록 만들지 않으면 이동하는 물체를 중첩된 부분에서 매끄럽게 결합하는 것이 매우 어려워지게 된다. 특히, 축구 경기에서처럼 선수들이 끊임없이 이동하는 경우에는 이러한 문제점들이 나타나는 빈도가 아주 높을 뿐만 아니라 물체의 모습에 심각한 왜곡을 가져올 수도 있다.

보통 가정에서 사람들이 시청하는 TV 수상기들은 초당 30 프레임의 영상을 표시해주는데 이를 NTSC 방식이라고 한다. 반면에, PAL 방식은 유럽에서 사용하는 표준으로서 초당 25 프레임을 표시한다. 축구 경기에서 선수들이 움직이는 총 거리가 약 11 ㎞ 라고 하고 경기 시간을 90 분이라고 하면 이 경우에 평균 이동 속도는 약 2 ㎧ 로 주어진다. NTSC 방식으로 영상이 촬영된다고 하면 프레임당 선수의 평균 이동 거리는 약 6.6 ㎝ 이다. 서로 인접한 카메라의 촬영시간이 서로 일치하지 않을 경우, 최대로 차이가 나게 되는 시간은 NTSC 방식의 경우 60 분의 1 초인 16.67 ㎳ 이며 이에 해당하는 선수들의 평균 이동 거리는 약 3.3 ㎝ 이다. 즉, 인접한 카메라의 촬영시간이 최대로 차이가 났을 경우에 중첩 영역에 나타난 선수의 모습은 상대적으로 3.3 ㎝ 이동한 모습이 되는 것이다. 그러나, 실제로 선수들이 경기가 벌어지는 동안 일정한 평균 속도로 달리는 것이 아니라 상당한 편차가 있기 때문에 심할 경우에는 1 미터 이상 차이가 날 경우도 발생할 수 있다. 또한, 거리의 차이는 비록 크지 않더라도 두 팔과 다리의 모습에서 큰 차이를 나타낼 수도 있기 때문에 인접한 카메라의 촬영시간을 서로 일치하도록 하여 주는 것이 매우 중요하다. 상기한 면에서 종래의 공개특허 제 2002-18216 호는 그 해결방법을 예시하지 않고 있으며 문제점에 그대로 노출되어 있다.

도 1은 종래기술에 따른 영상처리 시스템을 나타내는 구성도이다. 파노라마 영상을 만들기 위해서 사용할 수 있는 카메라의 수는 사실상 제한이 없으며 여기에서는 설명을 간단하게 하기 위하여 두 대의 카메라만을 사용한다고 가정한다. 카메라 A 와 카메라 B는 서로 이웃한 카메라로서, 통상 두 개의 카메라에 의해서 촬영되는 영역 중에는 서로 중첩되는 영역(1)이 발생하게 된다. 두 개의 카메라에 의해서 서로 중첩되는 영역(1)은 다시 경계선(2)에 의해서 두 개로 나누어질 수 있다. 이러한 경계선(2)은 나중에 두 개의 영상을 결합하여 하나의 파노라마 영상으로 편집할 경우의 기준선으로 사용할 수 있다. 즉, 경계선(2)의 왼쪽에 놓이게 되는 중첩 영역(1)은 카메라 A에 속하게 되고 경계선의 오른쪽에 있는 중첩영역(1)은 카메라 B 에 속하게 된다.

이와 같은 구도하에서, 선수 P가 운동장의 좌측 방향(3)으로 경계선(2)을 막 가로지르는 경우를 가정한다. 그리고, 이 순간에 두 대의 카메라(A, B)가 영상을 촬영했다고 한다면 카메라(A, B)가 촬영한 영상에 나타나는 선수 P의 모습은 각각의 카메라(A, B)가 영상을 촬영한 시간차(t_A=T, t_B=T+δT)에 의해서 서로 다르게 주어진다. 즉, 선수 P는 계속 이동하는 물체이고 이러한 이동하는 물체를 서로 다른 시간에 촬영하게 되는 것이므로, 선수 P의 모습은 각각의 카메라로 촬영한 영상 위에서 서로 다르게 나타나게 된다. 따라서, 중첩영역(1)상에 주어지는 경계선을 기준으로 두 개의 영상을 서로 이어 붙이는 경우, 선수 P의 왼쪽 반은 카메라 A에서 촬영한 모습으로 주어지고 오른쪽 반은 카메라 B에 의해서 촬영된 모습으로 주어지게 되므로, 경계선 상에서 이동하는 선수의 모양이 심하게 왜곡되는 문제점이 있다.

상기한 문제점을 해결하기 위한 본 발명의 목적은, GPS 수신기로부터의 GPS 시간을 외부 동기신호를 발생하는 기준시간으로 하여 두 대 이상의 카메라의 촬영시간을 서로 동일하게 일치시키고 상기 카메라들을 이용하여 촬영된 영상들을 하나의 파노라마 영상으로 편집함으로써, 인접한 카메라가 촬영한 영상들간에 나타나는 중첩영역에서 이동하는 물체의 모습을 동일한 순간에 포착하여, 파노라마 영상으로 편집시 중첩영역에 나타나는 이동하는 물체의 왜곡을 최소화하기 위한 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템 및 그 방법을 제공하는데 있다.

도 1은 종래기술에 따른 영상처리 시스템을 나타내는 구성도이다.

도 2는 본 발명의 일 실시예에 따른 파노라마 영상처리 시스템의 구성도이다.

도 3은 본 발명의 일 실시예에 따른 제어 컴퓨터와 데이터 통신 네트워크를 이용한 파노라마 영상처리 시스템의 구성도이다.

도 4는 본 발명의 일 실시예에 따른 GPS 수신기의 내부회로 구성도이다.

도 5는 도 4의 동기신호 발생기를 나타내는 회로 구성도이다.

도 6은 도 4의 프로세서의 인터럽트 신호처리 방식을 이용하여 동기신호를 발생하는 방법을 설명하기 위한 구성도이다.

도 7a 및 도 7b는 인터럽트 처리방식으로 동기신호를 생성하여 공급하기 위한 프로세서의 동작 흐름도이다.

도 8은 본 발명의 일 실시예에 따른 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 방법을 나타내는 흐름도이다.

도 9는 본 발명의 일 실시예에 따른 각 카메라로 촬영한 영상의 크기를 비교하여 배율을 조절하는 방법을 나타내는 흐름도이다.

도 10은 본 발명의 다른 실시예에 따른 영상처리 과정을 통한 카메라의 배율조절 방법을 나타내는 흐름도이다.

도 11은 도 8의 파노라마 영상으로 편집하는 과정을 나타내는 흐름도이다.

도 12는 도 11의 서로 인접한 두 수평라인을 연결하기 위해 적용되는 영상처리 방법을 설명하기 위한 그래프이다.

※ 도면의 주요부분에 대한 부호의 설명

10: GPS 위성 20: GPS 수신기

30: 동기신호 발생기 40: 카메라

50: 제어 컴퓨터 60: 영상처리 컴퓨터

상기 목적을 이루기 위한 본 발명에 따른 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템은, 다수개의 개별 영상을 촬영하기 위해 사용되는 두 대 이상의 카메라; 상기 각 카메라에 개별적으로 할당되고 GPS 위성신호를 수신하여 GPS 시간 및 위치정보를 추출하며 상기 각 카메라가 영상을 촬영하는데 필요한 동기신호를 발생하여 공급하기 위한 다수개의 GPS 수신기; 및 상기 각 카메라와 GPS 수신기의 동작을 제어하며 상기 각 카메라를 통해 촬영된 영상들을 저장하고 하나의 파노라마 영상으로 편집하기 위한 컴퓨터를 포함하여 이루어진다.

상기 컴퓨터는 상기 GPS 수신기와의 통신을 통해 상기 각 카메라로 공급되는 동기신호의 발생시간을 상기 GPS 시간을 기준으로 하여 지정하고 그 발생주기를 조절하는 것이 바람직하다.

상기 컴퓨터는, 상기 각 카메라와 GPS 수신기에 연결되어 상기 카메라에 의해 촬영된 영상을 디지털 영상으로 변환하여 상기 영상이 촬영된 시간정보와 함께 전송하고 상기 각 카메라와 GPS 수신기로 제어 명령을 전달하기 위한 제어 컴퓨터 및 다수개의 상기 제어 컴퓨터와 데이터 통신 네트워크를 통해 연결되어 상기 각 제어 컴퓨터로부터 상기 디지털 영상과 함께 전송되는 시간정보를 수신하고 상기 각 카메라와 GPS 수신기에 대한 제어 명령을 상기 각각의 제어 컴퓨터로 전송하기 위한영상처리 컴퓨터를 포함하는 것이 바람직하다.

상기 영상처리 컴퓨터는 상기 각 제어 컴퓨터로부터 디지털 영상과 함께 전송되는 시간정보를 이용하여 상기 영상들의 촬영시간을 비교하고 동일한 시간에 촬영된 영상들을 수집하여 저장하며 하나의 파노라마 영상으로 편집하는 것이 바람직하다.

상기 저장된 모든 영상들은 상기 촬영된 시간별로 정리되어 영상처리 알고리즘을 통해 상기 하나의 파노라마 영상으로 편집되는 것이 바람직하다.

상기 GPS 수신기는, GPS 안테나를 통해서 수신되는 위성 신호를 모뎀신호로 변환하여 GPS 시간과 함께 출력하는 RF 회로, 상기 RF 회로의 GPS 시간과 함께 공급되는 모뎀신호를 처리하여 수신기의 위치와 시간정보를 계산하고 타이밍 신호와 함께 출력하는 GPS 신호처리기, 동기신호를 연속적으로 발생하기 위한 동기신호 발생기 및 상기 GPS 신호처리기로부터 출력되는 위치와 시간정보를 컴퓨터 인터페이스를 통해 상기 제어 컴퓨터로 전송하고 상기 GPS 시간을 기준으로 원하는 시간에 맞추어 상기 동기신호를 발생시켜서 상기 카메라에 공급하기 위한 마이크로프로세서를 포함하는 것이 바람직하다.

상기 GPS 수신기는 상기 마이크로프로세서의 제어에 따라 상기 동기신호 발생기를 통해 상기 동기신호를 발생시켜서 상기 카메라로 공급하는 것이 바람직하다.

상기 GPS 수신기는 상기 마이크로프로세서의 인터럽트 처리방식을 통해 직접 상기 동기신호를 발생하여 상기 카메라로 공급할 수도 있다.

상기 GPS 수신기는 상기 영상처리 컴퓨터에 의해 지정된 시간에 맞추어 상기 동기신호를 발생시키는 것이 바람직하다.

상기 각 카메라는 상기 GPS 수신기의 동기신호에 따라 상기 영상을 촬영하는 것이 바람직하다.

상기 컴퓨터는 서로 인접한 상기 카메라들에 의해 촬영된 영상들이 상기 하나의 파노라마 영상으로 편집될 때 그 경계영역에 나타날 수 있는 영상의 왜곡을 줄이기 위하여 상기 각 카메라의 줌렌즈 배율을 개별적으로 지정하여 제어하는 것이 바람직하다.

또한, 상기 목적을 이루기 위한 본 발명에 따른 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 방법은, 컴퓨터의 제어명령에 따라 서로 인접한 두 대 이상의 카메라에 각각 할당된 GPS 수신기를 이용하여 상기 각 카메라의 촬영시간을 지정하는 동기신호를 발생하는 단계, 상기 동기신호를 상기 각 카메라로 공급하여 상기 동기신호에 맞추어서 영상을 촬영하는 단계, 상기 동기신호에 따라 촬영된 영상들을 디지털 영상으로 변환하고 상기 영상들이 촬영된 시간정보와 함께 상기 컴퓨터로 전송하는 단계, 상기 영상들의 촬영시간을 비교하여 동일한 시간에 촬영된 영상들을 수집하고 저장하는 단계 및 상기 동일한 시간에 촬영된 영상들을 이용하여 하나의 파노라마 영상으로 편집하는 단계를 포함하여 이루어진다.

상기 동기신호는 상기 GPS 수신기의 동기신호 발생기로부터 발생되는 것이 바람직하다.

상기 동기신호는 상기 GPS 수신기의 마이크로프로세서의 인터럽트를 통해 발생될 수도 있다.

상기 파노라마 영상처리 방법은, 상기 각 카메라로 촬영된 영상들의 크기를 비교하여 상기 각 카메라의 줌렌즈 배율을 조절하는 단계를 더 포함하는 것이 바람직하다.

상기 각 카메라의 줌렌즈 배율을 조절하는 단계는, 적어도 두 개이상의 영상에서 나타난 사이드 라인들간의 수직거리를 각각의 영상에 대하여 계산하는 단계 및 상기 수직거리가 같아지도록 상기 각 카메라의 줌렌즈 배율을 조절하는 단계를 포함하는 것이 바람직하다.

상기 파노라마 영상처리 방법은, 소정의 영상처리 과정을 통해 상기 각 카메라의 줌렌즈 배율을 조절하는 단계를 더 포함할 수 있다.

상기 영상처리 과정은, 상기 각 영상의 회전각을 계산하고 2차원 영상의 회전처리를 수행하는 단계, 상기 각 영상의 사이드라인들간의 거리를 계산하는 단계, 상기 사이드라인들간의 거리의 차이에 의해 상기 각 영상에 대한 조정배율을 계산하는 단계 및 상기 영상의 크기를 조절하기 위한 2차원 보간(interpolation)을 수행하는 단계를 포함하는 것이 바람직하다.

상기 파노라마 영상으로 편집하는 단계는, 상기 서로 인접한 두 대 이상의 카메라에 의해 중첩되는 영역을 찾는 단계, 상기 중첩 영역을 양분하는 경계선을 설정하는 단계, 상기 각 영상의 수평라인들을 읽어들이고 상기 경계선과 만나는 점이 중첩되도록 상기 수평라인들을 서로 연결하는 단계, 수평방향으로 1차원 보간작업을 수행하는 단계 및 2차원 이미지 향상(image enhancement) 작업을 수행하는 단계를 포함하는 것이 바람직하다.

상기 수평라인들을 서로 연결하는데 사용되는 가중함수 W(x)를 이용한 파노라마 함수 Z(x)는,

이며, 여기서 F(x)는 제 1 카메라가 촬영한 영상의 주어진 수평라인값의 분포를 나타내는 영상함수, G(x)는 제 2 카메라가 촬영한 영상의 주어진 수평라인값의 분포를 나타내는 영상함수이고, 상기 W(x)는,

의 조건을 만족하는 것이 바람직하다.

이하에서 본 발명의 바람직한 실시예들을 첨부한 도면을 참조로 상세히 설명한다.

도 2 및 도 3은 본 발명의 일 실시예에 따른 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템의 구성도이다. 본 발명에서는 GPS 위성(10) 신호를 수신하는 GPS 수신기(20)를 이용하여 카메라(40)의 촬영시간을 지정하는 동기신호를 발생하여 공급한다. 다음으로 카메라(40)는 GPS 수신기(20)가 공급하는 이러한 동기신호에 맞추어서 영상을 발생하게 된다. 두 개의 카메라(40)가 서로 떨어져 있는 경우에도 각각의 GPS 수신기(20)가 수신하는 GPS 위성(10)의 신호는 동일한 것이므로 서로 동일한 시간에 동기신호를 발생할 수 있다. 이러한 GPS 수신기(20)는 영상처리 컴퓨터(60)를 통해서 제어되며 동기신호의 발생 시간, 주기 등이 컴퓨터(60)에 의해서 지정된다. 이처럼 카메라(40)가 영상을 촬영하는 시간을 기준 시간에 맞추어서 서로 동일하게 만들게 되면, 중첩영역의 경계선을 가로지르는 선수를 동일한 순간에 촬영하는 것이 가능하고, 경계선을 기준으로 두 영상을 서로 이어붙이게 될 때 나타나는 영상의 왜곡을 눈치채지 못할 정도로 줄일 수 있다.

도 3은 카메라(40)와 GPS 수신기(20)를 할당된 제어 컴퓨터(50)에 연결하고 이러한 제어 컴퓨터(50)들이 다시 데이터 통신 네트워크(70)를 통해서 영상처리 컴퓨터(60)로 연결되는 구성도를 나타낸 것이다. 카메라(40)와 GPS 수신기(20)에 대한 제어명령이 영상처리 컴퓨터(60)에서 제어 컴퓨터(50)로 전달되면 제어 컴퓨터(50)는 통신 채널(75)을 통해서 상기 제어명령을 카메라(40)와 GPS 수신기(20)로 전달한다. 그러면 카메라(40)와 GPS 수신기(20)는 전달된 상기 제어명령을 수행한다. 이 때, 영상처리 컴퓨터(60)는 카메라(40)를 위한 동기신호를 발생시키기 위한 명령들을 GPS 수신기(20)로 전달한다. GPS 수신기(20)는 영상처리 컴퓨터(60)가 지정한 시간에 맞추어서 동기신호를 발생시키게 된다.

GPS 수신기(20)에 의해서 공급된 동기신호에 맞추어서 카메라(40)에 의해 촬영된 영상은 먼저 제어 컴퓨터(50)를 통해서 디지털 영상으로 변환되고, 변환된 디지털 영상은 통신 네트워크(70)를 통해서 영상처리 컴퓨터(60)로 보내진다. 이 때, 제어 컴퓨터(50)는 전달되는 영상이 촬영된 시간에 대한 정보를 같이 전송한다. 영상처리 컴퓨터(60)는 디지털 영상과 함께 전달되는 시간 정보를 가지고 발생 순서를 맞출 수 있다. 즉, 여러 대의 카메라(A 내지 Z)에서 전송된 디지털 영상의 촬영시간을 비교하여 동일한 시간에 촬영된 영상을 서로 모으는 것이 가능하다. 그리고, 파노라마 영상은 동일한 시간에 촬영된 영상들을 편집하여 만들어지게 된다. 본 발명은 상기 도 3에 주어진 형태에만 국한되어 적용되는 것은 아니며, 소정의 기능을 수행할 수 있는 대체 수단을 통해서도 얼마든지 동일한 목적을 이룰 수 있다.

미국 국방성에 의해서 만들어지고 운영되고 있는 GPS 항법 시스템은 모두 24 개의 위성으로 이루어져 있으며 각 위성은 거의 12 시간 마다 한번씩 지구 둘레를 공전한다. GPS 항법 시스템을 구성하는 GPS 위성(10)들의 분포 형태는 지구상의 어느 곳에서도 주어진 순간에 적어도 4 개 이상의 GPS 위성(10)이 동시에 보일 수 있도록 처음부터 설계되어 있다. GPS 수신기(20)는 이와 같은 GPS 위성(10)들이 발신하는 무선 모뎀 신호를 처리하여 자신의 위치와 시간을 계산할 수 있다. 위치정보는 위도, 경도 및 고도의 형태로 주어진다. 또한, 시간은 보통 GPS 시간으로 불리우는 것으로서 GPS 위성 신호에 실려서 전달되는데 1980 년 1 월 5 일, 자정이 최초의 기준 시간이 된다.

통상, GPS 위성(10)은 두 가지 대역의 고주파를 사용하는데, 상업적인 목적을 위해서 일반에게 공개된 것은 중심 주파수가 1575.42 Mhz 인 L1 대역이다. GPS 위성(10)은 L1 대역의 중심 주파수를 사용하여 초당 50 bit 의 속도로 모뎀을 통해서 디지털 정보를 전달하게 되며, GPS 수신기(20)는 GPS 위성(10)이 발신한 모뎀 신호를 처리하여 초당 50 bit의 속도로 정보를 복원한다. 동시에, GPS 수신기(20)는 여러 개의 GPS 위성(10)에서 발신된 신호를 분석하여 자신의 위치와 시간을 계산할 수 있다. 결과적으로, 상기 GPS 수신기(10)는 지구상의 어느 곳에 위치하더라도 지구 상공에서 공전하고 있는 GPS 위성(10)이 발신하는 GPS 시간에 자신을 동기화시키는 것이 가능하다.

도 4는 GPS 시간에 맞추어서 카메라의 촬영 시간을 동기화시켜주는 신호를 발생하는 GPS 수신기(20)의 내부 회로 구성도를 나타낸 것이다.

GPS 안테나를 통해서 수신되는 L1 대역의 위성 신호는 먼저 RF 회로(21)를 거치면서 I, Q 모뎀 신호로 변환된다. GPS 신호 처리기(22)는 GPS 클럭과 같이 공급되는 I, Q 모뎀 신호를 처리하고 이로부터 수신기의 위치와 시간정보를 계산해 낸다. 상기 도 4에 나타낸 RF 회로(21)와 GPS 신호처리기(22)는 일반적인 GPS 수신기의 구성을 나타낸다. GPS 신호 처리기(22)가 계산한 위치와 시간정보는 프로세서(23)로 전달되며, 이 때 타이밍 신호가 같이 공급된다. 예를 들어, GPS 시간이 1 초 증가할 때마다 하나의 타이밍 펄스를 만들어 낸다면, 프로세서(23)는 타이밍 신호가 들어오는 순간의 GPS 시간을 초 단위로 알 수 있게 된다. 프로세서(23)로 전달된 위치와 시간정보는 컴퓨터 인터페이스(24)를 통해서 제어 컴퓨터(50)로 전송되고, 또한 프로세서(23)는 GPS 시간을 기준으로 동기신호 발생기(30)를 통해서 카메라(40)로 원하는 시간에 맞추어 동기신호를 발생시킬 수 있게 된다.

도 5는 도 4의 동기신호 발생기(30)를 나타내는 내부 구성도이다.

도면에서 나타낸 바와 같이, 동기신호 발생기(30)는 제어 레지스터(31), 카운터 레지스터(32), 비교기(33), 카운터(34), 클럭 발생기(35), OR 게이트(36), AND 게이트(37) 및 펄스 지연기(38)로 이루어져 있다. 제어 레지스터(31)는 동기신호 발생기(30)의 동작을 제어하기 위해서 사용되며 내부적으로 필요한 제어신호를 발생시킨다. 내부적으로 사용되는 제어신호들로는 리셋(RESET), 로드(LOAD) 및 출력 인에이블(OUTPUT ENABLE) 신호 등이 있다. 상기 리셋 신호는 카운터의 값을 초기화하기 위해서 사용되고, 상기 로드 신호는 동기신호의 발생 간격을 지정하는 값을 카운터 레지스터(32)로 입력시키는데 사용된다. 그리고, 상기 출력 인에이블 신호는 내부적으로 발생되는 동기신호를 외부로 내보낼 때 사용된다.

클럭 발생기(35)는 일정한 주기를 갖고 발생하는 톱니파를 만들어내는 것으로서, 카운터(34)의 값을 증가시키는데 사용된다. 만약, 10 kHz의 주파수를 갖는 톱니파를 발생할 경우에는 초당 10,000 개의 톱니파를 발생한다는 것을 의미하며 카운터(34)가 나타내는 값은 그 때까지 발생한 톱니파의 개수를 나타낸다. 14 bit 길이를 갖는 카운터(34)를 사용하게 되면 총 16,384개의 톱니파를 세는 것이 가능하고, 그 값을 초과하게 되면 다시 0 부터 시작된다. 제어 레지스터(31)의 리셋 신호는 이러한 카운터(34)의 값을 인위적으로 0으로 초기화하는데 사용된다. 10 kHz의 주파수를 갖는 클럭 발생기(35)를 사용하게 되면 카운터(34)의 값이 하나 증가할 때마다 걸리는 시간이 0.1 ㎳라는 것을 의미한다. 이 때, 동기신호의 발생 주기를 33.3 ㎳로 만들고 싶을 경우에는 카운터 레지스터(32)에 '0000101001101', 즉 333의 이진수 값을 14 bit 길이로 입력하면 된다. 카운터(34)의 값이 계속 증가하여 카운터 레지스터(32)에 저장된 값인 333에 이르게 되면 비교기(33)를 통해서 하나의 펄스가 발생하게 되는데 이것이 동기신호가 된다. 비교기(33)를 통해서 발생한 동기신호는 AND 게이트(37)를 통해서 외부로 출력되는 동시에, 펄스 지연기(38)를 거쳐서 카운터(34)의 값을 0으로 초기화하는데 사용된다. 이렇게 함으로써 카운터(34)의 값이 333이 될 때마다 동기 신호가 연속적으로 발생하도록 할 수 있다.

일반적으로 널리 사용되는 범용 마이크로 프로세서들은 외부에서 입력되는 신호들을 처리하기 위해서 인터럽트 방식을 많이 이용한다. 도 6은 이러한 프로세서(23)의 인터럽트 신호처리 방식을 이용하여 동기신호를 발생하는 방법을 설명하기 위한 구성도이다.

GPS 신호처리기(22)가 계산된 위치와 시간을 프로세서(23)로 전달할 때, 그 시점을 타이밍 신호로서 알려주게 되는데 프로세서(23)는 이러한 타이밍 신호를 인터럽트로 처리하게 되며 이를 INT_A 라고 가정한다. 타이밍 신호는 50 Hz 의 주기로 발생할 수도 있고 아니면 GPS 시간이 초단위로 갱신될 때마다 발생할 수도 있는데, 이는 구현하기 나름이며 어떠한 값을 사용하더라도 본 발명의 구성 요건에 영향을 주지는 않는다. 결론적으로, 프로세서(23)는 GPS 신호 처리기(22)가 제공하는 데이터인 위치 및 시간정보와 함께 타이밍 신호를 받아들임으로써 GPS 시간이 새롭게 갱신되는 시점을 정확하게 알 수 있다.

앞으로의 설명을 간단하게 하기 위하여 다음과 같이 가정한다. GPS 신호처리기(22)가 제공하는 GPS 시간의 정밀도가 초 단위로 주어지게 될 경우에는 타이밍 신호의 발생 주기는 1 Hz로 주어진다. 반대로, GPS 시간의 정밀도가 20 ㎳ 단위로 주어지게 되면 타이밍 신호의 주기는 50 Hz가 된다. 즉, GPS 시간의 정밀도에 따라 타이밍 신호의 발생 주기가 변화하며 프로세서(23)는 타이밍 신호가 발생한 시점에서의 GPS 시간을 정확하게 알 수 있게 된다.

도 6에서 주어진 클럭 발생기(25)는 동기신호의 발생 주기를 결정하기 위해서 사용되며 프로세서(23)로 입력되는 클럭 신호는 인터럽트 방식으로 처리된다. 프로세서(23)상에서 돌아가는 운영 프로그램은 인터럽트 신호 INT_B 가 발생하면 이를 카운트하기 위해서 설정한 카운터 변수의 값을 하나씩 증가시킨다. 사용된 클럭 발생기(25)의 주파수가 10 kHz 라고 한다면, INT_B 는 0.1 ㎳ 마다 한번씩 발생하게 되며 카운터 변수의 값은 마찬가지로 0.1 ㎳ 마다 1 씩 증가하게 된다. 동기신호의 발생 주기를 33.3 ㎳로 만들고자 할 경우에는 카운터 변수의 값이 333 이 될 때마다 출력포트(OUT_S)를 통해서 동기신호를 발생시킨다.

상기 출력포트(OUT_S)에 직접 연결되는 버퍼(26)는 카메라(40)의 동기신호 입력포트를 구동하기에 충분할 만큼 전류를 흘려주는 역할을 하게 된다. 즉, 프로세서(23)의 출력포트가 직접적으로 카메라(40)의 입력포트를 구동하는 것을 막고 안정적으로 동작하도록 하기 위하여 사용된다.

도 7a 및 도 7b는 인터럽트 방식을 사용하여 프로세서(23)가 직접 동기신호를 생성하여 공급하기 위한 인터럽트 처리 방법을 나타내는 흐름도이다.

GPS 신호처리기(22)로부터 타이밍 신호가 발생하면 도 7a의 INT_A 처리가 이루어진다. 즉, GPS 신호처리기(22)로부터 데이터 신호(위치와 시간정보)를 읽어 들이고(S100), 컴퓨터(50, 60)에 의해서 동기신호 발생명령이 전달된 상태라면 지정된 시간과 현재의 시간을 비교하게 된다(S102). 현재의 시간이 지정된 시간과 일치하게 되면, 동기신호 발생을 위한 인터럽트 INT_B를 인에이블(ENABLE) 시키고(S104) 카운터 변수의 값을 0으로 초기화한다(S105).

상기 INT_B가 인에이블(ENABLE) 되면 가장 먼저 발생하는 클럭 신호에 의해서 도 7b의 인터럽트 INT_B 처리가 시작된다. INT_B 신호가 발생하면 카운터 변수의 값을하나 증가시키고(S200), 컴퓨터에 의해서 지정된 값과 같은지 비교하여 지정된 값에 도달하였는지를 검사한다(S201, S202). 아직 지정된 값이 되지 않았다면, 인터럽트 처리 루틴을 빠져나간다. 지정된 값에 도달하였으면, 동기신호를 발생시키고(S203) 카운터 변수를 다시 0으로 초기화시킨 후(S204), 루틴을 빠져나간다. 이러한 방법을 통해서 프로세서(23)는 컴퓨터(60)에 의해서 지정된 시간에 지정된 주기를 가지고 동기신호를 발생하여 카메라(40)로 공급하는 것이 가능해진다.

한편, 도 6에 주어진 인터럽트를 이용한 프로세서의 구성 방법은 지정된 시간마다 동기신호를 발생할 수 있을 뿐만 아니라, 임의의 순간에도 동기신호를 발생하는 것이 가능하다. 즉, 인터럽트를 처리하여 동기신호를 발생하는 것이 아니고 컴퓨터의 명령을 받아서 직접 동기신호를 발생하는 것이다. 이러한 경우, 동일한 주기를 가지고 연속적으로 영상을 촬영하는 것이 아니고, 원하는 경우에만 한번씩 영상을 촬영하고자 할 경우에 이용될 수 있다. 결론적으로, 외부에 연결되는 카메라(40)로 동기신호를 공급하여 주는 상기한 GPS 수신기(20)는 도 5 내지 도 7b에 나타낸 장치 및 그 방법을 선택적으로 조합하여 구성될 수 있다.

도 8은 본 발명의 일 실시예에 따른 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 방법을 나타내는 흐름도이다.

우선, 영상처리 컴퓨터(60)의 제어명령에 따라 서로 인접한 두 대 이상의 카메라(A 내지 Z)에 각각 할당된 GPS 수신기(20)를 이용하여 상기 각 카메라(A 내지 Z)의 촬영시간을 지정하는 동기신호를 발생한다(S300). 상기 동기신호는 각 카메라(A 내지Z)로 공급되어 상기 동기신호에 맞추어서 영상을 촬영한다(S301). 상기 동기신호에 따라 촬영된 영상들은 제어 컴퓨터(50)를 통해 디지털 영상으로 변환되고 상기 영상들이 촬영된 시간정보와 함께 영상처리 컴퓨터(60)로 전송된다(S302). 영상처리 컴퓨터(60)에서는 상기 영상들의 촬영시간을 비교하여 동일한 시간에 촬영된 영상들을 수집 및 저장하고(S303), 상기 동일한 시간에 촬영된 영상들을 이용하여 하나의 파노라마 영상으로 편집한다(S304).

상기 파노라마 영상처리 방법은 상기 각 카메라(A 내지 Z)의 줌렌즈 배율을 조절하는 단계를 더 포함할 수 있다. 만약 축구 경기장을 여러 대의 카메라(A 내지 Z)를 이용하여 촬영한 뒤에 이를 커다란 파노라마 영상으로 편집하게 될 경우, 중첩 영역상에 나타나는 움직이는 물체의 왜곡은 카메라(40)로 동기 신호를 발생하여 공급하여 주는 GPS 수신기(20)를 사용하여 최소한으로 줄일 수 있다. 그러나, 사용된 카메라(A 내지 Z)의 배율이 서로 상이하여 그 중첩 영역의 크기가 서로 일치하지 않게 되면 이것 또한 파노라마 영상을 편집하는 과정에서 왜곡을 초래하게 된다. 이러한 왜곡을 줄이기 위해서는 사용된 카메라의 배율을 개별적으로 조절하여 그 중첩 영역이 부드럽게 이어질 수 있도록 하여 주는 수단이 필요하게 된다.

본 발명에서는 상기한 목적을 이루기 위하여 축구 경기장의 윤곽선에 대한 정보를 이용한다. 보통 국제 규격의 축구 운동장의 크기는 가로의 길이가 약 110 미터이고 세로의 길이는 약 70 미터로 주어진다. 반면에, 카메라가 촬영하는 영상은 화소라고 불리우는 점들의 2 차원 격자구조로 주어지게 되며 여기에서는 영상의 크기가 640 ×480 이라고 가정한다.

도 9는 두 대의 카메라(A, B)를 이용하여 촬영한 영상의 크기를 비교하여 각 카메라(A, B)의 배율을 조절하는 방법을 설명하기 위한 그림이다. 여기에서 카메라(A, B)의 수평 각도는 운동장의 사이드 라인과 서로 평행이 되도록 맞추어져 있고 배율만이 서로 다르다고 가정한다. 두 대의 카메라(A, B)가 서로 다른 배율로 맞추어져 있다면 운동장을 촬영을 했을 때, 도 9에 주어진 것과 같이 운동장의 사이드라인 사이의 거리가 서로 다르게 나타날 것이다. 이러한 상태에서 카메라 A 와 B 가 촬영한 영상들을 가지고 사이드라인이 연속적으로 이어지는 형태의 파노라마 영상을 만들게 되면 소정의 영상처리 과정에 의하여 영상의 질이 크게 떨어지는 결과를 가져오게 된다. 비록 파노라마 영상을 만드는 과정이 일반적으로 소정의 영상처리 과정을 요구하기는 하지만, 사용된 카메라의 배율이 서로 달라서 발생하는 이러한 문제점들은 미리 제거하는 것이 바람직하다.

도 9에 주어진 두 개의 영상을 살펴보면 각각의 영상이 축구장의 반쪽 부분을 모두 포함하고 있는 것을 알 수 있다. 두 개의 영상에 포함된 운동장의 사이드라인이 나중에 하나로 부드럽게 이어지기 위해서는 영상에 나타난 사이드라인 사이의 간격이 서로 동일해야만 한다. 두 개의 영상에 나타난 사이드라인 사이의 거리를 서로 일정하게 만들기 위해서는 먼저 두 개의 영상에서 사이드라인 사이의 수직 거리를 계산하여야 한다(S400). 즉, Q1, Q2 사이의 거리와 Q3, Q4 사이의 거리를 계산한 후, 그 중간지점에 해당하는 R1과 R2 사이의 거리 h 를 계산하면 이것이 각 영상에서의 사이드라인 사이의 거리가 된다. 카메라 A와 B의 배율이 서로 다르게 되면 사이드라인 사이의 거리인 h의 값이 서로 다르게 된다. 따라서, 카메라 A와 B의 h 값이서로 같아지도록 카메라의 배율을 조절한다(S401). 바꾸어 말해서, 카메라 A가 촬영한 영상의 h 값이 카메라 B보다 상대적으로 작다면 카메라 A의 배율을 증가시키고, 반대로 너무 크다면 배율을 감소시킨다. 상기 사이드라인 사이의 거리 h를 계산하여 배율을 조절하는 과정은 두 개의 영상에 나타나는 사이드라인 사이의 거리가 서로 같아질 때까지 반복된다. 위와 같은 과정이 모두 끝나게 되면 배율의 차이로 인하여 발생하는 추가적인 영상처리 과정이 필요없이 파노라마 영상을 만들 수 있게 된다.

만약 도 9에 주어진 것과 같은 방법을 사용할 수 없거나 배율을 더 이상 조절할 수 없는 상황이 발생하게 되면, 소정의 영상처리 과정을 통해서 목적을 완수해야 한다. 도 10은 이러한 경우에 필요한 영상처리 과정을 나타낸 그림이다.

먼저, 카메라에 의해서 촬영된 영상이 화면의 수평축에 대해서 어느 각도 만큼 회전되어 있는 상태라고 가정하면, 먼저 이 회전각을 수평으로 만들어주는 영상의 회전 처리가 이루어지게 된다(S500). 영상의 회전각은 운동장의 사이드라인과 영상의 수평선이 서로 만나서 이루는 각도를 계산하면 된다. 2 차원 영상의 회전처리는 일반적으로 널리 알려져 있는 알고리즘을 사용할 수 있다. 영상의 회전각이 수평으로 맞추어지게 되면 다음으로 사이드라인 사이의 거리인 h를 구한다(S501). 두 대의 카메라에 의해서 촬영된 영상의 배율이 서로 달라서 h_A와 h_B의 값이 서로 다르게 나타나면 이 둘 사이의 차이에 의해서 각 영상에 대한 조정배율 Δh_A와 Δh_B가 계산 된다(S502). 상기 조정배율이 계산되면 주어진 영상의 크기를 조절하는 2 차원 보간(interpolation) 과정을 수행하게 된다(S503).

일반적으로, 영상을 회전하거나 보간하는 과정은 원래 영상의 디테일(detail)을 잃어 버리는 결과를 초래하게 된다. 조정배율 계산기는 어느 쪽 영상의 디테일을 어느 정도로 희생할 것인가에 의해서 Δh_A와 Δh_B의 값을 계산하게 된다. 만약에 한쪽 영상의 디테일을 그대로 보전하고자 한다면 조정배율의 값은 0으로 주어지고, 양쪽 영상의 디테일을 모두 약간씩 희생하고자 한다면 Δh_A와 Δh_B의 값을 서로 같게 만들게 된다. 이를 수식으로 표현하면 다음과 같이 주어진다.

.....(1)

여기서, 0≤ε≤1 이다. ε의 값이 1 이면, 카메라 A가 촬영한 영상에 대해서만 보간이 적용되고 카메라 B 가 촬영한 영상은 원래의 영상 그대로를 유지하게 된다. ε의 값이 0.5 이면, 카메라 A와 B로 촬영된 영상이 동일한 크기만큼 보간되며 원래 영상의 디테일을 잃어버리게 된다.

GPS 시간에 맞추어서 촬영된 영상들에 대한 크기 조절 과정이 모두 끝나게 되면 이제 파노라나 영상으로 편집하는 과정(S304)을 시작할 수 있다. 도 11은 도 8의 파노라마 영상 편집 과정을 나타낸 흐름도이다.

우선, 크기가 서로 일치하는 인접한 두 영상을 가지고 서로 중첩되는 영역을 찾고(S600), 중첩 영역을 둘로 나누어주는 경계선을 설정한다(S601). 이러한 경계선은 인접한 두 개의 영상을 가지고 서로 이어 붙이는 과정에서 소정의 영상처리 알고리즘이 적용되는 기준점, 즉 원점의 역할을 갖게 된다. 상기 경계선이 설정되면, 상기 각 영상의 수평라인들을 읽어들이고 상기 경계선과 만나는 점이 중첩되도록 상기 수평라인들을 서로 연결한다(S602 내지 S605). 상기 두 개의 영상을 이어붙이는 과정은 서로 대응하는 영상의 수평라인에 대해서 1 차원적으로 적용된다. 즉, 카메라 A가 촬영한 영상의 10 번째 수평라인은 카메라 B가 촬영한 영상의 10 번째 수평라인과 서로 결합하게 된다. 각 영상의 수평라인과 중첩영역을 둘로 나누는 경계선은 한 점에서 서로 만나게 되며, 이 점이 두 수평라인을 서로 연결할 때 서로 중첩되는 원점의 역할을 하게 된다.

주어진 영상을 구성하는 모든 수평라인에 대한 연결 작업(S602 내지 S605)이 완료되면, 다음으로 수평방향으로의 1 차원 보간작업(S607)과 2 차원 이미지 향샹(image enhancement) 작업(S609)이 연속적으로 이루어진다. 상기 1 차원 보간작업(S607)은 연결된 두 영상의 수평방향의 길이를 조절하고자 할 경우에 이루어진다. 즉, 수평방향으로 늘이거나 줄이는 작업을 할 경우에 사용된다. 상기 2 차원 이미지 향상(image enhancement) 작업(S609)은 적용된 영상처리 알고리즘들에 의해서 원래의 영상에 대한 디테일이 훼손된 것을 보상하기 위해서 이루어지는 작업으로서, 일종의 하이패스 필터링(high pass filtering)을 한 것과 같은 효과를 얻을 수 있다.

도 12는 두 개의 수평라인이 경계선과 만나는 점, 즉 원점을 기준으로 서로 연결될 때 적용되는 영상처리 과정을 설명하기 위한 그래프이다.

두 개의 수평라인이 서로 중첩되는 부분이 (-X₀,+X₀), 카메라 A가 촬영한 영상의 주어진 수평라인에서 값의 분포를 나타내는 영상함수를 F(x), 카메라 B 에 의해서 주어지는 영상함수를 G(x), 두개의 수평라인을 서로 합치는데 사용되는 가중함수를 W(x), 최종적으로 주어지는 파노라마 영상함수를 Z(x) 라고 가정한다. 이 때 가중함수 W(x)는 다음과 같은 조건을 만족한다.

.....(2)

w_- (x)와 w₊ (x)함수는 0.5 과 1 사이의 값을 가지며 원점에서 0.5 의 값을 갖고 원점에서 멀어지면서 점차적으로 증가하는 형태를 갖는다. 식(2)에 주어진 가중함수를 이용하여 두 개의 수평라인 함수를 서로 더하여 주어지는 파노라마 영상함수는 다음 식과 같이 주어진다.

.....(3)

위의 식을 바꾸어 말하자면, 원점에서 왼쪽으로 멀어지는 방향으로 갈수록 카메라 A 가 촬영한 영상의 값이 많이 적용되고 오른쪽으로 멀어질수록 덜 적용된다는 것이다. 원점에서의 값은 두 영상의 평균값으로 주어진다. 만일 GPS 수신기(20)를 이용하여 GPS 시간에 동기된 영상을 만들지 못하게 된다면 두개의 영상이 서로 중첩되는 영역에서 이동하는 물체가 있을 경우, 영상함수의 변화가 크게 나타나게 되므로 식(3)을 적용하게 되면 원점을 경계로 해서 영상이 크게 왜곡된다는 것을 알 수있다. 반면에, GPS 수신기(20)를 사용하여 동일한 순간에 영상을 촬영하게 되면 중첩영역에 나타나는 영상함수는 서로 비슷하게 주어지게 되므로, 식(3)을 적용하였을 때 원점을 중심으로 두 개의 영상을 부드럽게 서로 연결하는 것이 가능하다.

이상에서 살펴본 바와 같이 본 발명에 따른 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템 및 그 방법에 의하면, GPS 수신기로부터의 GPS 시간을 외부 동기신호를 발생하는 기준시간으로 하여 두 대 이상의 카메라의 촬영시간을 서로 동일하게 일치시키고 상기 카메라들을 이용하여 촬영된 영상들을 하나의 파노라마 영상으로 편집함으로써, 인접한 카메라가 촬영한 영상들간에 나타나는 중첩영역에서 이동하는 물체의 모습을 동일한 순간에 포착하여, 파노라마 영상으로 편집시 중첩영역에 나타나는 이동하는 물체의 왜곡을 최소화 할 수 있는 효과가 있다.

이상에서 본 발명은 기재된 구체예에 대해서만 상세히 설명하였지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.

Claims (21)

1. 다수개의 개별 영상을 촬영하기 위해 사용되는 두 대 이상의 카메라;

   상기 각 카메라에 개별적으로 할당되고 GPS 위성신호를 수신하여 GPS 시간 및 위치정보를 추출하며 상기 각 카메라가 영상을 촬영하는데 필요한 동기신호를 발생하여 공급하기 위한 다수개의 GPS 수신기; 및

   상기 각 카메라와 GPS 수신기의 동작을 제어하며 상기 각 카메라를 통해 촬영된 영상들을 저장하고 하나의 파노라마 영상으로 편집하기 위한 컴퓨터;

   를 포함하여 이루어지는 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템.
2. 제 1 항에 있어서,

   상기 컴퓨터는 상기 GPS 수신기와의 통신을 통해 상기 각 카메라로 공급되는 동기신호의 발생시간을 상기 GPS 시간을 기준으로 하여 지정하고 그 발생주기를 조절하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템.
3. 제 1 항에 있어서,

   상기 컴퓨터는,

   상기 각 카메라와 GPS 수신기에 연결되어 상기 카메라에 의해 촬영된 영상을 디지털 영상으로 변환하여 상기 영상이 촬영된 시간정보와 함께 전송하고 상기 각 카메라와 GPS 수신기로 제어 명령을 전달하기 위한 제어 컴퓨터; 및

   다수개의 상기 제어 컴퓨터와 데이터 통신 네트워크를 통해 연결되어 상기 각 제어 컴퓨터로부터 상기 디지털 영상과 함께 전송되는 시간정보를 수신하고 상기 각 카메라와 GPS 수신기에 대한 제어 명령을 상기 각각의 제어 컴퓨터로 전송하기 위한 영상처리 컴퓨터;

   를 포함하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템.
4. 제 3 항에 있어서,

   상기 영상처리 컴퓨터는 상기 각 제어 컴퓨터로부터 디지털 영상과 함께 전송되는 시간정보를 이용하여 상기 영상들의 촬영시간을 비교하고 동일한 시간에 촬영된 영상들을 수집 및 저장하고 하나의 파노라마 영상으로 편집하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템.
5. 제 4 항에 있어서,

   상기 저장된 모든 영상들은 상기 촬영된 시간별로 정리되어 영상처리 알고리즘을 통해 상기 하나의 파노라마 영상으로 편집되는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템.
6. 제 1 항 또는 제 3 항에 있어서,

   상기 GPS 수신기는,

   GPS 안테나를 통해서 수신되는 위성 신호를 모뎀신호로 변환하여 GPS 시간과 함께 출력하는 RF 회로;

   상기 RF 회로의 GPS 시간과 함께 공급되는 모뎀신호를 처리하여 수신기의 위치와 시간정보를 계산하고 타이밍 신호와 함께 출력하는 GPS 신호처리기;

   상기 동기신호를 연속적으로 발생하기 위한 동기신호 발생기; 및

   상기 GPS 신호처리기로부터 출력되는 위치와 시간정보를 컴퓨터 인터페이스를 통해 상기 컴퓨터로 전송하고 상기 GPS 시간을 기준으로 원하는 시간에 맞추어 상기 동기신호를 발생시켜서 상기 카메라에 공급하기 위한 마이크로프로세서;

   를 포함하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템.
7. 제 6 항에 있어서,

   상기 동기신호 발생기는,

   상기 동기신호 발생기의 동작을 제어하며 리셋, 로드 및 출력 인에이블 신호로 이루어진 내부 제어신호들을 발생시키는 제어 레지스터;

   상기 로드 신호에 따라 상기 동기신호의 발생 간격을 지정하는 값이 입력되는 카운터 레지스터;

   일정한 주기를 갖고 발생되는 톱니파를 생성하여 카운터의 값을 증가시키기 위한클럭 발생기;

   상기 카운터 레지스터에 저장된 값과 상기 카운터의 값을 비교하여 하나의 펄스로 이루어진 상기 동기신호를 발생시키기 위한 비교기;

   상기 출력 인에이블 신호에 따라 상기 비교기를 통해 발생한 동기신호를 외부로 출력하기 위한 AND 게이트; 및

   상기 리셋 신호에 따라 상기 비교기의 동기신호로부터 펄스 지연기를 거쳐서 상기 카운터의 값을 초기화하기 위한 OR 게이트;

   를 포함하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템.
8. 제 6 항에 있어서,

   상기 GPS 수신기는 상기 마이크로프로세서의 제어에 따라 상기 동기신호 발생기를 통해 상기 동기신호를 발생시켜서 상기 카메라로 공급하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템.
9. 제 6 항에 있어서,

   상기 GPS 수신기는 상기 마이크로프로세서의 인터럽트 처리방식을 통해 직접 상기 동기신호를 발생하여 상기 카메라로 공급하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템.
10. 제 6 항에 있어서,

    상기 GPS 수신기는 상기 영상처리 컴퓨터에 의해 지정된 시간에 맞추어 상기 동기신호를 발생시키는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템.
11. 제 1 항에 있어서,

    상기 각 카메라는 상기 GPS 수신기의 동기신호에 따라 상기 영상을 촬영하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템.
12. 제 1 항에 있어서,

    상기 컴퓨터는 서로 인접한 상기 카메라들에 의해 촬영된 영상들이 상기 하나의 파노라마 영상으로 편집될 때 그 경계영역에 나타날 수 있는 영상의 왜곡을 줄이기 위하여 상기 각 카메라의 줌렌즈 배율을 개별적으로 지정하여 제어하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 시스템.
13. 컴퓨터의 제어명령에 따라 서로 인접한 두 대 이상의 카메라에 각각 할당된 GPS 수신기를 이용하여 상기 각 카메라의 촬영시간을 지정하는 동기신호를 발생하는 단계;

    상기 동기신호를 상기 각 카메라로 공급하여 상기 동기신호에 맞추어서 영상을 촬영하는 단계;

    상기 동기신호에 따라 촬영된 영상들을 디지털 영상으로 변환하고 상기 영상들이 촬영된 시간정보와 함께 상기 컴퓨터로 전송하는 단계;

    상기 영상들의 촬영시간을 비교하여 동일한 시간에 촬영된 영상들을 수집하고 저장하는 단계; 및

    상기 동일한 시간에 촬영된 영상들을 이용하여 하나의 파노라마 영상으로 편집하는 단계;

    를 포함하여 이루어지는 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 방법.
14. 제 13 항에 있어서,

    상기 동기신호는 상기 GPS 수신기의 동기신호 발생기로부터 발생되는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 방법.
15. 제 13 항에 있어서,

    상기 동기신호는 상기 GPS 수신기의 마이크로프로세서의 인터럽트를 통해 발생되는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 방법.
16. 제 13 항에 있어서,

    상기 파노라마 영상처리 방법은,

    상기 각 카메라로 촬영된 영상들의 크기를 비교하여 상기 각 카메라의 줌렌즈 배율을 조절하는 단계를 더 포함하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 방법.
17. 제 16 항에 있어서,

    상기 각 카메라의 줌렌즈 배율을 조절하는 단계는,

    적어도 두 개이상의 영상에서 나타난 사이드 라인들간의 수직거리를 각각의 영상에 대하여 계산하는 단계; 및

    상기 수직거리가 같아지도록 상기 각 카메라의 줌렌즈 배율을 조절하는 단계;

    를 포함하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 방법.
18. 제 13 항에 있어서,

    상기 파노라마 영상처리 방법은,

    소정의 영상처리 과정을 통해 상기 각 카메라의 줌렌즈 배율을 조절하는 단계를 더 포함하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 방법.
19. 제 18 항에 있어서,

    상기 영상처리 과정은,

    상기 각 영상의 회전각을 계산하고 2차원 영상의 회전처리를 수행하는 단계;

    상기 각 영상의 사이드라인들간의 거리를 계산하는 단계;

    상기 사이드라인들간의 거리의 차이에 의해 상기 각 영상에 대한 조정배율을 계산하는 단계; 및

    상기 영상의 크기를 조절하기 위한 2차원 보간을 수행하는 단계;

    를 포함하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 방법.
20. 제 13 항에 있어서,

    상기 파노라마 영상으로 편집하는 단계는,

    상기 서로 인접한 두 대 이상의 카메라에 의해 중첩되는 영역을 찾는 단계;

    상기 중첩 영역을 양분하는 경계선을 설정하는 단계;

    상기 각 영상의 수평라인들을 읽어들이고 상기 경계선과 만나는 점이 중첩되도록 상기 수평라인들을 서로 연결하는 단계;

    수평방향으로 1차원 보간작업을 수행하는 단계; 및

    2차원 이미지 향상 작업을 수행하는 단계;

    를 포함하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 방법.
21. 제 20 항에 있어서,

    상기 수평라인들을 서로 연결하는데 사용되는 가중함수 W(x)를 이용한 파노라마 함수 Z(x)는,

    이며, 여기서 F(x)는 제 1 카메라가 촬영한 영상의 주어진 수평라인값의 분포를 나타내는 영상함수, G(x)는 제 2 카메라가 촬영한 영상의 주어진 수평라인값의 분포를 나타내는 영상함수이고, 상기 가중함수 W(x)는,

    의 조건을 만족하는 것을 특징으로 하는 상기 GPS 시간에 동기된 카메라로 촬영된 파노라마 영상처리 방법.