KR20030059399A - 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법 - Google Patents

Abstract

본 발명은 디지털 TV의 디스플레이장치 또는 비디오 감시장치 등에서 여러 시간대에 걸쳐 촬영한 내용을 하나의 정지영상으로 표시하는 모자이크 영상 생성장치와 모자이크 영상 재생방법에 관한 것이다.

본 발명은 입력되는 영상의 각 매크로 블로마다 움직임 벡터를 출력하는 동영상 분석부와, 상기 분석된 결과를 바탕으로 하여 프레임간 변환 계수 및 와핑 계수를 추정하는 계수 추정부와, 상기 계수 추정부의 프레임간 변환 계수 및 와핑 계수를 입력받아 해당 프레임에 대한 조명 조건의 변화를 보상하여 모자이크 영상을 출력하는 조명변화 보상부와, 상기 조명 조건의 변화를 보상한 모자이크 영상이 저장되는 영상 메모리를 포함하여 이루어지는 모자이크 영상 생성장치로서, 다수 필터(majority filter)를 이용하여 전체적 움직임과 국부적 움직임을 분리함으로써 변환 계수의 추정 과정에서 움직이는 물체에 의한 영향을 제거하고, 국부적 움직임에 의한 영향을 제거함으로써 정확한 변환 계수를 추정할 수 있으며, 왜곡을 최소화한 모자이크 영상을 생성할 수 있도록 하였다.

Description

모자이크 영상 생성장치 및 방법과 모자이크 영상 기반 동영상 재생방법{VIDEO BROWSING SYSTME BASED ON MOSAIC IMAGE}

본 발명은 디지털 TV의 디스플레이장치 또는 비디오 감시장치 등에서 여러 시간대에 걸쳐 촬영한 내용을 하나의 정지영상으로 표시하는 모자이크 영상 생성장치와 모자이크 영상 생성방법, 그리고 상기 생성된 모자이크 영상 기반의 동영상 재생방법에 관한 것이다.

모자이크 영상(또는 파노라마 영상)은 다수의 영상, 즉 비디오의 모든 혹은 특정 구간의 일부 프레임을 한 개의 정지 영상으로 결합하여 표현하는 것이다. 모자이크 영상은 입력되는 동영상의 각 프레임을 결합함으로써 각각의 프레임이 가지고 있는 가시 영역의 제한 문제를 해결하며 여러 개의 영상을 결합하여 하나의 가상적인 고해상도 영상을 재현한다는 효과가 있다.

종래의 일반적인 모자이크 영상 생성방법을 도1에 나타내었다. 종래의 모자이크 영상 생성방법은 여러 개의 프레임에 대하여 시간적으로 인접한 프레임 사이의 변환 계수를 계산한 다음, 이 변환 행렬에 따라 각 프레임을 결합하여 하나의 모자이크 영상을 생성하는 것이다.

즉, 종래의 모자이크 영상 생성방법은 도1에 나타낸 바와 같이, 인접한 프레임간 움직임을 분석하고(S11), 상기 분석 결과를 바탕으로 프레임간 변환 계수를 추정하며(S12), 상기 추정된 프레임간 변환 계수에 따라 현재 프레임에 대한 와핑(warping)을 수행하고(S13), 모자이크 영상과 상기 와핑된 프레임을 결함하며(S14), 이러한 일련의 과정(S11-S14)을 시퀀스의 끝까지 수행함으로써 모자이크 영상을 생성하는 것이다(S15).

여기서, 프레임간 변환 행렬은 실제 카메라와 배경간의 기하학적 위치 관계를 반영하며 이를 계산하는 방법은 실제로 프레임 전체를 정합하여 변환 계수를 구하는 것은 무의미하므로, 각 프레임을 일정 단위로 분할하여 각 단위의 움직임 벡터를 이용한 방법, 즉 블록 매칭, 영역 매칭, 또는 특징점 매칭에 의하여 추정된 다수의 움직임 벡터를 이용하는 방법을 사용한다(S11,S12). 변환 계수의 추정 작업이 끝나면 다음 단계에서는 변환 계수에 의해 현재 프레임을 와핑(warping)시켜 모자이크 영상에 결합한다(S13,S14).

그러나 모자이크 영상의 효과적인 생성을 위해서는 각 프레임 사이의 변환 계수로 표현되는 전체적인 움직임(global motion)을 정확하게 추정해야 한다. 이러한 전체적인 움직임은 영상에서 배경의 움직임, 즉 실제로 영상을 획득하는 카메라의 기하학적 움직임에 기인한다. 카메라의 기하학적 움직임의 대표적인 것으로 팬(pan), 틸트(tilt), 회전 및 줌(zoom) 등이 있다. 따라서, 이러한 전체적인 움직임을 정확히 추정할 경우 매우 효과적인 모자이크 영상을 생성할 수 있다. 그러나 실제로 동영상에는 이러한 전체적인 움직임 이외에도 움직이는 물체에 의한 국부적 움직임(local motion)이 존재하며, 이와 같은 국부적 움직임은 전체적인 움직임에 비해 그 형태가 매우 다양하고 임의성을 띠고 있다.

각 프레임 사이에 존재하는 움직임은 전체적인 움직임과 국부적인 움직임이 섞여 있으며, 효과적인 모자이크 영상의 생성을 위해서는 각 프레임간의 변환 계수의 추정 과정(S12)에서 국부적인 움직임을 제거해야 한다.

종래의 변환 행렬 추정 과정에서는 국부적 움직임에 대한 대응이 부족하며결과적으로 움직이는 물체에 의해 발생하는 국부적인 움직임은 프레임 사이의 변환 계수의 정확도에 상당한 영향을 미친다. 따라서 국부적 움직임을 전체적 움직임으로부터 분리해 내는 작업은 매우 중요하면서도 동시에 까다로운 문제이며, 이러한 국부적 움직임에 의해 왜곡은 결과적으로 합성된 모자이크 영상의 기하학적 왜곡을 초래하고, 사용자에게 시각적으로 좋지 않은 영상을 제공한다는 문제점을 갖는다.

또한 종래의 모자이크 영상의 생성방법은 입력되는 프레임마다 움직임을 분석하는 과정(S11)이 필요하다. 즉, 변환 계수를 구하기 위한 이전 단계로 블록 매칭 혹은 특징점 매칭 등을 통하여 복잡한 움직임 분석 과정을 수행한다. 특히 부호화된 영상의 경우에는 이미 부호화 과정에서 블록 매칭을 수행하여 움직임 벡터를 추정하였기 때문에 또 다시 이에 대하여 블록 매칭을 수행하는 것은 의미가 없으며, 특징점 매칭의 경우 특징점의 추출 과정 자체가 매우 까다롭고 복잡하며 특징점이 기타 물체에 가리는 경우(occlusion)와 특징점이 화면에서 사라지는 경우에 대한 복잡한 대응이 필요하다. 따라서 움직임 분석 과정은 방대한 양의 연산을 필요로 하며, 결과적으로 하드웨어 및/또는 소프트웨어적인 관점에서 부담이 크다는 문제점이 있다.

모자이크 영상은 각 프레임을 계산되어진 변환 계수에 의해 결합함으로써 생성된다. 그러나 카메라의 움직임에 의해 촬영 영역이 변화하는 경우, 조명과 피사체, 그리고 카메라가 이루는 조건의 기하학적 차이에 의해 배경 또는 기타 피사체의 휘도 및 색상이 변화할 가능성이 있다. 또한, 자연적인 원인이나 인공적인 원인에 의해 조명 조건이 발생할 수 있으며, 이러한 변화가 시간에 걸쳐 발생할 경우각 프레임간에 휘도 및 색상의 차이가 존재한다. 실제적인 비디오 스트림의 획득 과정에서 발생할 수 있는 상기 열거한 공간적 및 시간적 조명 조건의 변화에 의해 각 프레임을 결합할 경우에 경계면에서의 색상 불일치가 발생하는 문제점을 갖는다.

본 발명은 부호화된 움직임 벡터와 국부적 움직임 제거를 이용한 프레임간 변환 행렬 추정방법 및 조명변화 보상 알고리즘을 이용한 모자이크 영상 생성장치 및 그 방법, 상기 생성된 모자이크 영상 기반의 동영상 재생방법을 제공한다.

본 발명은 정확한 프레임간 변환 계수의 추정을 통해 사용자에게 기하학적으로 정확한 정보에 근거한 모자이크 영상을 제공하는 것으로, 다수 필터(majority filter)를 이용하여 전체적 움직임과 국부적 움직임을 분리함으로써 변환 계수의 추정 과정에서 움직이는 물체에 의한 영향을 제거하고, 이러한 국부적 움직임에 의한 영향을 제거함으로써 정확한 변환 계수를 추정할 수 있으며, 결과적으로 왜곡을 최소화한 모자이크 영상을 생성할 수 있도록 한 모자이크 영상 생성장치 및 그 생성방법과, 동영상 재생방법을 제공함을 목적으로 한다.

특히 본 발명은 프레임간 변환 계수를 추정하는 과정에서 이미 부호화된 비디오 스트림의 계수들을 활용하여 모자이크 영상을 생성하는 방법과, 배경과 물체의 움직임을 분리하여 전체적 움직임에 근거한 정확한 변환계수를 추정하는 방법, 모자이크 영상의 생성과정에서 발생할 수 있는 경계선에서의 색상 불일치를 보상하는 방법 및, 모자이크 영상에서 동영상을 재생하는 방법을 제공함을 목적으로 한다.

본 발명의 또 다른 목적은 이미 부호화된 비디오 스트림의 P픽쳐(P picture)의 움직임 벡터 정보를 그대로 사용하여 프레임간 변환 계수의 추정에 반영함으로써, 계산량을 최소화하며 동시에 변환 계수의 추정에 필요한 하드웨어적 부담을 최소화할 수 있도록 하는데 있다.

본 발명의 또 다른 목적은 프레임간에 존재하는 조명 조건의 변화에 의하여 모자이크 영상 생성시 프레임의 결합 과정에서 발생할 수 있는 경계선에서의 색상의 차이를 보상하는 것으로, 지금까지 생성된 모자이크 영상과 여기에 추가할 프레임 사이에 존재하는 색상의 변화를 보정하여 경계선에서의 시각적 왜곡을 제거하는데 있다.

본 발명의 또 다른 목적은 각 프레임에 해당하는 변환 계수를 이용하여 전체적인 모자이크 영상을 배경으로 하여 그 위에 변환된 각 프레임을 재생하는 기능을 제공하는 것으로, 모자이크 영상에서 동영상을 재생함으로써 디지털 TV 등의 디스플레이 장치에 새로운 개념의 부가적인 트릭 플레이를 구현하는데 있다.

상기의 목적을 달성하기 위하여, 본 발명은 비디오의 프레임간 변환 계수를 추정하는 과정에서 여러 개의 공간적으로 인접한 움직임 벡터에 대하여 다수 필터링(majority filtering)을 수행하여 국부적인 움직임에 대한 제거 작업을 수행하는 것을 특징으로 한다. 또한 본 발명은 다수 필터를 통과한 움직임 벡터들을 입력으로 하여 프레임간 변환 계수를 계산하여 출력해 주는 선형 회귀(linear regression) 기법을 적용하는 것을 특징으로 한다.

또한 상기의 목적을 달성하기 위하여, 본 발명은 MPEG으로 부호화된 비디오 스트림 중에서 P픽쳐의 경우, 이미 부호화된 움직임 벡터를 활용하여 프레임간 변환 계수를 추정하는 것을 특징으로 한다. 또한 본 발명은 P픽쳐의 경우에 대하여 이전의 변환 계수와 이후의 변환 계수를 보간(interpolation)하여 프레임간 변환 계수를 추정하며, 이를 위하여 이전의 변환 계수와 이후의 변환 계수를 저장하는 계수 메모리 및 이 두개의 변환 계수 집합을 보간하는 것을 특징으로 한다.

상기의 목적을 달성하기 위하여, 본 발명은 현재 시점까지 생성된 모자이크의 화소값 분포와 현재 프레임의 화소값 분포를 비교하여 조명 변화의 발생을 검출하며, 또한 조명 변화의 정도를 추정한다. 이를 위하여 본 발명은 두 영상의 대응 영역의 화소값 평균의 차이를 측정할 대응 영역의 평균 검출 및 평균 비교, 색상의 변화를 보상하기 위한 조명 조건 계수를 추정하는 것을 특징으로 한다.

상기의 목적을 달성하기 위하여, 본 발명은 이미 생성되어 디스플레이 된 모자이크 영상 위에 다시 와핑된 프레임을 순차적으로 표시해 줌으로써 모자이크 영상을 배경으로 와핑된 동영상을 재생하는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 모자이크 영상 생성장치는, 입력되는 영상의 움직임 벡터를 출력하기 위한 동영상 분석수단, 상기 움직임 벡터를 기반으로 하여 모자이크 영상 생성을 위한 변환계수 및 와핑계수를 추정하여 변환된 현재 프레임 영상을 출력하는 계수 추정수단, 현재까지 생성된 모자이크 영상과 상기 변환된 현재 프레임 사이의 조명 조건 변화 여부를 검출하고 그 결과에 따라 조명 변화를 보상하여 출력하는 조명 변화 보상수단과, 생성된 모자이크 영상을 저장하는 모자이크 영상 저장수단; 을 포함하여 이루어지는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 동영상 재생방법은, 생성된 모자이크 영상을 디스플레이하는 단계, 현재 표시할 프레임, 현재 표시할 프레임의 변환계수, 현재 표시할 프레임의 와핑 계수, 현재 표시할 프레임의 조명 변화 계수를 획득하는 단계, 현재 프레임에 상기 계수들을 기반으로 하는 와핑 및 조명 보상을 수행하여 해당 프레임 동영상을 디스플레이하는 단계; 로 이루어진 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 모자이크 영상 생성방법은, 입력 영상의 움직임 벡터를 구하는 영상 분석단계, 현재 프레임과 이전 프레임 사이의 변환 계수와 현재까지 생성된 모자이크 영상과 현재 프레임과의 상대적인 변환관계를 추정하기 위한 와핑 계수를 추정하는 계수 추정단계, 현재까지 생성된 모자이크 영상과 현재 프레임 사이의 조명 조건의 변화 여부를 검출하여 조명 변화를 보상한 모자이크 영상을 출력하는 모자이크 영상 출력단계; 를 포함하여 이루어지는 것을 특징으로 한다.

도1은 종래의 모자이크 영상 생성방법을 나타낸 플로우차트

도2는 본 발명의 모자이크 영상 생성장치의 실시예 블록 구성도

도3은 본 발명에서 동영상 분석 동작을 설명하기 위한 플로우차트

도4는 본 발명에 따른 동영상 분석부에서의 다수 필터 적용방법을 설명하기 위한 플로우차트

도5는 본 발명에서 프레임 변환 계수 및 와핑 계수 추정동작을 설명하기 위한 플로우차트

도6은 본 발명에서 움직임 벡터가 존재하지 않는 I픽쳐에 대한 변환계수의 추정과정을 설명하기 위한 도면

도7은 본 발명에서 프레임 변환 계수 및 와핑 계수 추정방법의 다른 실시예를 설명하기 위한 플로우차트

도8은 본 발명에서 조명 변화 보상부의 동작을 설명하기 위한 플로우차트

도9는 본 발명의 모자이크 동영상 재생방법을 설명하기 위한 플로우차트

첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

본 발명의 모자이크 영상 생성장치의 실시예 구성을 도2에 나타내었다.

도2를 참조하면 본 발명의 모자이크 영상 생성장치는, 입력되는 영상의 각 매크로 블로마다 움직임 벡터를 출력하는 동영상 분석부(21)와, 상기 분석된 결과를 바탕으로 하여 프레임간 변환 계수 및 와핑 계수를 추정하는 계수 추정부(3)와,상기 계수 추정부의 프레임간 변환 계수 및 와핑 계수를 입력받아 해당 프레임에 대한 조명 조건의 변화를 보상하여 모자이크 영상을 출력하는 조명변화 보상부(23)와, 상기 조명 조건의 변화를 보상한 모자이크 영상이 저장되는 영상 메모리(24)를 포함하여 이루어진다.

도2에 나타낸 바와 같이 본 발명의 모자이크 영상 생성장치는 동영상 분석부(21), 프레임간 변환 계수 및 프레임 와핑 계수 추정부(23), 조명 변화 보상부(23)로 이루어지며, 모자이크 영상 메모리(24)를 포함하고 있다.

상기 도2 및 후술하는 도3 내지 도8을 참조하여 본 발명에 따른 모자이크 영상 생성방법을 설명한다.

동영상 분석부(21)에서는 입력되는 영상 I_k(x,y)의 각 매크로 블록마다 움직임 벡터 MV_k를 출력한다. 움직임 벡터 MV_k를 기반으로 하여 프레임간 변환 계수 및 와핑 계수 추정부(22)에서는 프레임간 변환계수를 추정하며, 각 프레임이 모자이크 영상에 결합되는데 필요한 와핑 및 상대적 위치정보를 나타내는 와핑 계수 WP(I_k)를 추정한 다음, 와핑 계수에 의해 변환된 현재 프레임을 출력한다. 조명 변화 보상부(23)에서는 현재까지 생성된 모자이크 영상(모자이크 영상 메모리(24)로부터 제공되는 현재까지의 모자이크 영상 MI(I₁,...,I_k-1))과 상기 변환된 현재 프레임 사이에 조명 조건의 변화가 있었는지의 여부를 검출하며, 검출 결과 조명 조건 변화가 발생하였을 경우에는 이 조명 변화를 보상하여 줌으로써, 현재 프레임의 결합 과정에서 발생할 수 있는 경계선 효과를 제거한다.

[1]. 동영상 분석과정

도3은 본 발명 모자이크 영상 생성장치에서 동영상 분석부의 동작을 보여주며, 현재 매크로 블록의 부호화된 움직임 벡터 MV(x,y)를 입력하는 단계(S31), 상기 움직임 벡터를 중심으로 소정 개수(여기서는 5 ×5 개)의 움직임 벡터에 대한 다수 필터링을 수행하는 단계(S32), 상기 다수 필터링에 의한 결과 벡터 MF(x,y)와 상기 움직임 벡터 MV(x,y)를 비교하는 단계(S33), 상기 비교 결과 MF(x,y)와 MV(x,y)가 서로 같지 않으면 MF(x,y)를 동영상 분석 결과로 출력하는 단계(S34a) 및 상기 비교 결과 MF(x,y)와 MV(x,y)가 같으면 MV(x,y)를 동영상 분석 결과로 출력하는 단계(S34b)로 이루어지고 있다.

도3의 동영상 분석 과정에서는 입력되는 P픽쳐의 움직임 벡터 MV(x,y) 중에서 물체에 의한 국부적 움직임에 기인한 움직임 벡터를 제거하는 과정을 수행한다.

이 과정의 결과로 동영상 분석부(21)에서 출력되는 움직임 벡터 MV_k의 집합을 이용하여 기준 영상인 I픽쳐와 현재 영상 사이의 변환 계수를 추정한다. 이미 부호화된 움직임 벡터 중에서 국부적인 움직임에 기인한 움직임 벡터를 제거하는 방법(S32)은, 입력되는 움직임 벡터에 대하여 현재 움직임 벡터를 중심으로 5 ×5 윈도우(window)를 적용한다. 동영상 분석부(21)에서 현재 매크로 블록을 중심으로 한 5 ×5 윈도우에 다수 필터를 적용하는 방법의 실시예를 도4에 나타내었다.

도4에서 각각의 사각형은 하나의 매크로 블록을 의미한다. 두꺼운 경계선으로 표시된 사각형(도면 중앙에 위치한 사각형)이 현재 처리해야 할 매크로 블록이며, 이를 중심으로 5 ×5개의 매크로 블록의 움직임 벡터에 다수 필터를 적용하여(S32), 이 중에서 가장 빈도수가 높은 움직임 벡터를 현재 매크로 블록의 움직임 벡터로 출력한다(S34a/S34b). 도4에서 밝은 영역으로 표시된 매크로 블록의 움직임 벡터의 빈도수가 가장 높으며, 결과적으로 이 움직임 벡터가 다수 필터에 의해 출력되는 결과 벡터이다. 도4에서 어두운 부분(hatching)에 속한 움직임 벡터는 본 발명에 따른 동영상 분석부(21)에 의해 국부적 움직임에 근거한 움직임 벡터로 판별된다.

화면의 전체적인 움직임에 비해 국부적 움직임은 상대적으로 잡음적 성격을 띠고 있으며, 그 발생 빈도수가 전체적 움직임에 기인하는 움직임 벡터에 비해 낮으므로 국부적 움직임에 기인한 벡터들은 다수 필터를 적용하여 쉽게 제거된다.

결론적으로, 동영상 분석부(21)에서는 현재 매크로 블록의 움직임 벡터 MV(x,y)를 다수 필터에 의해 통과된 움직임 벡터로 대체한다(S34a/S34b). 그러므로 현재 매크로 블록의 움직임 벡터가 국부적 움직임에 의한 것이라고 하더라도 다수 필터에 의해 전체적 움직임을 나타내는 벡터로 출력된다. 여기서 주의할 점은 다수 필터에 사용되는 움직임 벡터는 반드시 부호화되어 전송되는 움직임 벡터를 사용해야 하며, 다음 단계인 계수 추정부(22)로 전달되는 움직임 벡터와는 구분되어야 한다는 점이다. 즉, 다수 필터를 적용하여 발생하는 움직임 벡터(S34a,S34)는 프레임 변환 계수 추정과정에서 사용되며, 다음 순번으로 처리할 매크로 블록을 중심으로 하는 5 ×5 윈도우에는 원래 부호화되어 있던 움직임 벡터를 그대로 사용한다. 이 밖에 P픽쳐에서 인트라 모드(intra mode)로 부호화된 매크로 블록에 대해서는 국부적인 움직임으로 처리하여 변환 계수 추정에 영향을 주지 않도록 한다.

[2]. 변환 계수 및 와핑 계수 추정과정

도5는 본 발명에서 프레임 변환 계수 및 와핑 계수 추정부(22)의 동작을 나타낸 도면으로서, 현재 매크로 블록의 움직임 벡터가 해당 픽쳐의 전부에 대하여 입력되는 단계(S51,S52), 선형 회귀법을 이용하여 프레임간 변환 계수를 추정하는 단계(S53), 현재 프레임의 와핑 계수를 추정하는 단계(S54), 모자이크 영상 생성을 위한 스케일 계수 R을 추정하는 단계(S55), 동영상 비디오 시퀀스의 끝까지 상기 과정(S51-S55)을 수행하는 단계(S56)로 이루어지고 있다.

도5에 나타낸 바와 같이 계수 추정부(22)에서는 동영상 분석부(21)로부터 입력되는 움직임 벡터 MV_k에 대하여 선형 회귀법을 적용하여 현재 프레임의 변환 계수를 구한다. 변환 계수를 추정하기에 앞서 변환 계수에 대한 정의가 필요하며 변환 계수는 실제 카메라의 기하학적인 움직임을 반영해야 하므로, 팬, 틸트, 회전, 줌 등을 모델링할 수 있어야 한다.

본 발명에서는 다음의 수학식1에 표현된 것과 같이 4개의 계수로 구성된 아핀(affine) 변환으로 프레임의 변환 계수를 모델링한다.

현재 프레임의 임의의 점 좌표를 (x,y)^T라고 정의할 때, 기준 프레임에서 이점에 대응하는 점의 좌표를 (x',y')^T라고 하면 수학식1에 의하여 두 점 사이의 변환 관계가 성립한다. 즉, 현재 프레임과 기준 프레임 사이의 변환이 수학식1과 같이 4개의 계수 a1,a2,a3,a4로 정의되는 것이다. 아핀 변환은 팬, 틸트, 회전, 줌의 모델링이 가능하므로 2차원 영상 평면에 투영된 카메라와 피사체 사이의 기하학적 관계를 충분히 모델링 할 수 있다. 4개의 계수 중 a1과 a2는 회전과 줌을 모델링하는 계수이고, 나머지 a3과 a4는 팬과 틸트를 모델링한다.

따라서, 모자이크 영상의 생성과정에서 변환 계수를 추정하는 과정은 특정 프레임의 좌표계를 기준으로 하여 나머지 프레임에 대하여 이 좌표계에 대한 상대적인 좌표를 계산하는 과정이다. 위와 같이 설정한 아핀 변환의 4개의 계수 a1,a2,a3,a4를 구하기 위해, 입력되는 움직임 벡터에 선형 회귀법을 적용해야 한다. 그러나, 상기 수학식1은 두 영상의 좌표를 나타낸 것으로 움직임 벡터를 직접 적용할 수 없기 때문에 다음의 수학식2와 같이 수정된다.

상기 수학식2에서 (Δx,Δy)^T는 본 발명에서 다수 필터 과정을 거친 현재 매크로 블록의 움직임 벡터이고, (x,y)^T는 현재 처리되는 매크로 블록의 시작점의 프레임 내 좌표이다. 수학식2에서 선형 회귀법을 적용할 경우 2개의 독립된 과정이 발생하므로 이를 하나의 과정으로 통합하기 위해서 또 한번의 수정이 필요하다. 다음의 수학식3은 수학식2를 간단한 유도 과정에 의하여 변형한 형태로 선형 회귀법을 적용하여 4개의 프레임간 변환 계수 a1,a2,a3,a4를 일괄적으로 계산하기 위한 식이다.

상기 수학식3을 이용하여 프레임 변환을 표현하는 4개의 아핀 변환 계수는 본 발명에 따른 선형 회귀 기법에서 다음의 수학식4와 같이 계산된다.

수학식4에서 인덱스 i값은 각 매크로 블록의 어드레스를 나타내며, N은 매크로 블록의 최대 어드레스에 해당한다. 수학식4에서 표현된 바와 같이 프레임 변환 계수 추정부(22)에서는 매크로 블록마다 동영상 분석부(21)에서 전달되는 움직임 벡터에 대하여 별도의 메모리 공간을 할당하여 저장할 필요없이 직접 현재까지의 결과값에 덧셈 연산을 수행하면 된다. 따라서 덧셈 연산의 결과값을 저장할 메모리 공간만 있으면 충분하다. 본 발명의 프레임 변환 계수 추정단계에서 필요한 저장공간은 수학식4에 나타난 바와 같이 x_i, y_i, x_iΔx_i, y_iΔy_i, y_iΔx_i, x_iΔy_i, x_i ², y_i ²에대한 덧셈 결과를 저장해야 하므로 총 8개의 결과값을 저장할 메모리 공간이 계수 추정부(22)에 필요하다.

앞서 기술한 수학식4와 같이 변환 계수를 구한 다음, 수학식1의 변환식에 의하여 현재 프레임을 변환한다. 그러나 여기서 얻어진 변환식은 단순히 이전 프레임을 기준으로 한 변환식이므로 모자이크 영상에 결합시키기 위해서는 현재까지 생성된 모자이크 영상과의 결합을 위한 변환을 추정해야 한다.

본 발명에서는 모자이크 영상에 실제 결합시키기 위한 계수를 와핑 계수 WP(I_k)라고 정의하며, 이 와핑 계수에 의해 현재 프레임이 모자이크 영상과 결합된다. 본 발명에서는 비디오의 첫번째 프레임을 기준 영상으로 삼으며, 이후에 발생하는 프레임들을 순차적으로 변환시켜 모자이크 영상을 생성한다. 즉, 현재까지 (K-1)개의 프레임을 사용하여 모자이크 영상을 생성하였고, K번째 프레임을 모자이크 영상에 결합시킨다고 가정하면, K번째 프레임과 (K-1)번째 프레임 사이의 변환 계수 행렬을라고 정의하면 K번째 프레임에 대한 와핑 계수 행렬는 수학식5와 같이 정한다.

결과적으로 얻어지는 모자이크 영상은 디스플레이 장치가 표시할 수 있는 크기를 초과하므로 한 화면에 표시하기 위하여 스케일(scale) 연산을 수행해야 한다.

본 발명에 의한 모자이크 영상 생성장치는 와핑 계수 추정부(22)에서 스케일계수 R을 추정하며, 결과적으로 와핑 계수는 앞서 계산된 변환 계수에 스케일 계수를 곱한 형태가 된다. 스케일 계수는 현재까지 생성된 모자이크 영상에 현재 프레임을 결합하였을 때 발생하는 최대 좌표와 디스플레이 장치가 허용하는 표시 범위에 의한 최대 좌표의 비를 이용하여 다음의 수학식6과 같이 추정된다.

수학식6에서 MIX_max와 MIY_max는 각각 현재까지 생성된 모자이크 영상에 현재 프레임을 결합할 때 발생하는 최대 X좌표와 Y좌표이다. 또한 DX_max와 DY_max는 디스플레이 장치에서 표시 가능한 최대 X좌표와 Y좌표이다.

앞서 기술한 내용을 다시 정리하면, 프레임 변환 계수 추정단계에서는 현재 프레임과 이전 프레임 사이의 변환 계수를 추정하는 연산을 수행하며, 와핑 계수 추정단계에서는 현재까지 생성된 모자이크 영상과 현재 프레임과의 상대적인 변환 관계를 추정하며, 최종적으로 디스플레이 장치가 허용하는 표시 범위에 의한 최대 좌표를 고려하여 스케일 연산을 수행한다.

[2.1] 변환계수 추정과정 제1실시예

움직임 벡터가 존재하지 않는 I픽쳐에 대한 변환계수의 추정과정을 도6에 나타내었다. 도6에서 살펴보면, I픽쳐 이전의 P픽쳐의 변환계수과 이후의 P픽쳐의 변환계수을 보간하여 I픽쳐의 변환계수를 추정한다.

[2.2] 변환계수 추정과정 제2실시예

본 발명에 의한 모자이크 영상 생성장치의 프레임 변환 계수 및 와핑 계수 추정의 또 다른 실시예를 도7에 나타내었다. 도7에서는 움직임 벡터가 존재하지 않는 I픽쳐에 대한 프레임 변환계수 및 와핑계수를 추정하는 구체적인 방법을 기술한다. 즉, 현재 입력되는 I픽쳐를 지정하고(S71), 다음에 발생하는 P픽쳐의 변환계수를 추정하며(S72), 이전의 P픽쳐의 변환계수와 다음의 P픽쳐의 변환계수를 보간하여 현재 P픽쳐의 변환 계수를 추정하고(S73), I픽쳐와 P픽쳐의 와핑 계수 및 스케일 계수를 추정하는 과정(S74)으로 이루어진다.

이와 같이 프레임 변환계수 및 와핑계수를 추정하는 방법을 보다 상세하게 살펴보면 다음과 같다.

먼저, 이전의 P픽쳐의 변환계수를 저장한 상태에서 현재 입력되는 I픽쳐 역시 프레임 메모리에 저장한다(S71). 그 다음 단계(S72)에서는 이후에 입력되는 P픽쳐의 변환계수를 추정하는 연산을 수행한다(S72).의 추정 작업이 완성되면와를 이용하여 1차원 보간법에 의하여 I픽쳐의 변환계수

를 계산한다(S73).

이와 같이 보간된 변환계수

를 이용하여 I픽쳐의 와핑 계수와 스케일 계수를 추정한다(S74).

참고로, 본 발명에서는 모자이크 영상 생성시 B픽쳐는 사용하지 않고 생략한다. 따라서 M=3인 일반적인 MPEG 비디오 스트림의 경우에 2개의 프레임을 스킵(skip)하여 파노라마 영상을 생성한다. 그러나, 파노라마 영상의 생성시 시간적 표본율이 1/3로 줄어드는 것은 파노라마 영상의 화질에 큰 영향을 주지 않으며 일반적으로 B픽쳐가 화질이 낮다는 점을 고려한다면 B픽쳐를 스킵해도 전체적인 성능에는 큰 영향이 없다.

[3]. 조명 변화 보상과정

도8은 본 발명의 모자이크 영상 생성장치에서 조명 변화 보상부의 동작을 보여주고 있다. 도8에 나타낸 바와 같이, 본 발명의 모자이크 영상 생성장치에 따른 조명 변화 보상부(23)는 현재 매크로 블록의 화소값의 평균 M_c를 계산하는 단계(S81), 움직임 벡터를 이용하여 기준 영상에서 대응되는 소정 영역(여기서는 16 ×16)의 화소값의 평균 M_R을 계산하는 단계(S82), N개의 M_c와 M_R을 이용하여 색상 변화 보상 연산을 수행하는 단계(S83)를 실행함을 특징으로 하고 있다.

즉, 조명 변화 보상부(23)는 도8에 나타낸 바와 같이, 현재까지 결합된 모자이크 영상과 와핑된 현재 프레임을 결합할 때 발생할 수 있는 경계선 왜곡을 제거하기 위해 조명 변화 발생 여부와 변화량을 검출하는 동작을 수행한다. 조명 변화 보상부(23)에서 현재 프레임과 기준 프레임 사이의 조명 조건 변화를 보상하여 파노라마 영상 생성시 조명 조건의 변화에 의한 경계선에서의 색상의 차이에 의한 시각적 왜곡을 제거하는 것이다. 일반적으로 파노라마 영상의 합성시 결합되는 부분에서 경계선의 차이에 의한 왜곡이 발생하며 그 원인으로는 변환 계수의 추정과정에서 발생한 오차와 인접 프레임간의 조명 조건 변화에 의한 것으로 나눌 수 있다.

따라서, 조명 변화 보상부(23)에서는 앞서 언급한 원인 중, 후자인 조명 조건 변화에 기인한 왜곡을 보정하는 기능을 수행한다.

본 발명에서는 특징점의 대응쌍(correspondence pair)의 색상 변화를 응용하여 조명 조건 변화를 보상한다. 도8에 예시된 바와 같이 본 발명에서는 이미 비디오 스트림을 통하여 전송되는 계수들을 최대한 활용하기 위해, 매크로 블록의 평균 화소값과 움직임 벡터, 기준 영상에서의 16 ×16 화소 크기의 대응 영역의 평균 화소값을 사용한다. 즉, 매크로 블록을 하나의 점으로 가정하여 각각의 점들의 대응쌍의 색상 변화를 활용하는 것이다. 따라서 조명 변화 보상부(23)에서는 현재 입력 영상 I_c를 다음의 수학식7에 의해 간소화하여 표현한다.

수학식7에 따르면 결과적으로 현재 영상을 1/256으로 다운 샘플링(down-sampling)한 영상을 사용하는 것이다. 여기서 MC_i는 i번째 매크로 블록의 화소값의 평균에 해당하며, mba_max는 매크로 블록의 최대 어드레스이다. 수학식7에 따른 연산 과정은 상기 단계(S81)에 해당한다.

I_C에 대응하는 기준 영상의 화소의 집합 I_R은 다음의 수학식8에 의해 표현되며, 움직임 벡터를 이용하여 MC_i에 대응하는 16 ×16 화소 크기의 영역의 평균 화소값은 MR_i라고 정의한다. 수학식8에 따른 연산 과정은 상기 단계(S82)에 해당한다.

본 발명에서는 현재 영상 I_C와 I_C에 대응하는 기준 영상의 화소의 집합I_R사이의 조명 조건 변화를 다음의 수학식9와 같이 1차 선형 방정식으로 모델링한다.

I_R = L_1 ·I_C + L_2

따라서, 두 프레임 사이의 색상 변화는 조명 조건 변화 계수 L₁과 L₂에 의해 정의된다.

상기한 본 발명의 조명 조건 변화 계수에 대해서는 다음의 수학식10에 의해 조명 조건 변화 계수 L₁과 L₂를 계산한다.

상기 수학식10에 의하여 조명 변화 보상부(23)에서 계수 L₁과 계수 L₂를 계산한 다음 상기 수학식9에 정의된 변환식에 의해 현재 와핑된 영상에 대하여 조명 변화 보상을 수행한다. 즉, I_R= L₁·I_C+ L₂로 조명 변화에 대한 보상을 실행하는 것이다.

상기한 바와 같이 조명 변화가 보상된 영상은 최종적으로 모자이크 영상에결합되어, 최종적으로 생성된, 조명 변화가 보상된 영상 MI(I₁,...,I_k)이 출력된다.

[4]. 동영상 재생방법

도9는 본 발명에 의한 모자이크 영상 생성장치의 동영상 재생방법을 보여준다. 도9를 참조하면 본 발명의 동영상 재생방법은, 디스플레이 장치를 통해 상기 생성된 모자이크 영상을 표시하는 단계(S91), 프레임 메모리에서 현재 표시할 프레임을 읽어오는 단계(S92), 변환 계수 메모리에서 현재 표시할 프레임의 변환 계수를 읽어오는 단계(S93), 와핑 계수 메모리에서 현재 표시할 프레임의 와핑 계수를 읽어오는 단계(S94), 조명 변화 계수 메모리에서 현재 표시할 조명 변화 계수를 읽어오는 단계(S95), 현재 프레임에 와핑 및 조명 보상을 수행하여 디스플레이 장치에 표시하는 단계(S96)로 이루어짐을 알 수 있다.

본 발명의 동영상 재생방법에서 각 메모리들은 상기 기술한 바와 같이, 동영상 분석부(21), 계수 추정부(22), 조명 변화 보상부(23)에 각각 포함될 수 있다.

도9에 나타낸 바와 같이, 동영상 재생시에는 모자이크 영상의 생성을 이미 완료한 상태에서 미리 저장된 해당 동영상을 다시 재생하는 모드를 수행한다(S91).

그리고, 프레임 메모리로부터 현재 재생할 프레임을 읽어 미리 저장되어 있던 변환 계수, 와핑 계수, 그리고 조명 변화 계수를 적용하여 표시함으로써(S92-S96) 사용자에게 프레임의 와핑 과정을 재생하는 것이다.

따라서 본 발명은 모자이크 영상 위에 변환된 프레임을 순차적으로 표시하는 기능을 제공함으로써 사용자에게 부가적인 트릭 모드 기능을 제공하는 것이다. 또한 모자이크 영상 생성과정에서 I픽쳐 및 P픽쳐만 사용하므로 M=3인 경우, 자동적으로 3배속 재생이 구현된다.

본 발명은 입력되는 일련의 비디오 스트림을 이용하여 모자이크 영상을 생성함으로써, 디지털 TV 등에서 제공될 수 있는 부가적인 트릭 모드를 구현한다.

또한 본 발명은 다수 필터를 사용하여 물체 또는 기타 잡음에 의한 국부적 움직임을 제거함으로써 모자이크 영상 생성시 정확한 전체 움직임에 근거한 프레임간 변환 계수를 추정하여 모자이크 영상의 시각적인 왜곡을 최소화할 수 있다.

또한 본 발명은 비디오 스트림에 부호화되어 전송되는 움직임 벡터를 사용하여 프레임간 변환 계수를 추정하므로, 동영상에 대한 별도의 복잡한 움직임 분석에 요구되는 하드웨어적 부담과 비용을 줄일 수 있다.

또한 본 발명은 조명 조건의 변화를 보상하는 방법을 사용하여 모자이크 영상 생성과정에서 발생할 수 있는 경계선에서 발생하는 색상 차이에 의한 시각적 왜곡을 제거하는 효과가 있다.

또한 본 발명은 이미 생성된 모자이크 영상을 배경으로 하여 변환된 각각의 프레임을 다시 재생하는 기능을 수행함으로써, 사용자에게 모자이크 동영상을 일정 배속으로 재생하는 트릭 모드를 제공하는 효과가 있다.

본 발명은 디지털 TV 또는 감시장치, 항공 사진 분석 장치 등에 관련된 분야에 적용하여 기존의 동영상의 각 프레임이 갖는 시각적 제한 조건을 해결하여 하나의 고해상도 영상을 제공하는 방법을 제안하였으며, 또한 디지털 TV에서 스포츠 중계 등에 적용하여 사용자에게 경기장의 전체적인 모습을 담은 가상의 고해상도 영상 및 트릭 모드 기능을 제공하는 방법을 제안하였다.

Claims (18)

1. 입력되는 영상의 움직임 벡터를 출력하기 위한 동영상 분석수단, 상기 움직임 벡터를 기반으로 하여 모자이크 영상 생성을 위한 변환계수 및 와핑계수를 추정하여 변환된 현재 프레임 영상을 출력하는 계수 추정수단, 현재까지 생성된 모자이크 영상과 상기 변환된 현재 프레임 사이의 조명 조건 변화 여부를 검출하고 그 결과에 따라 조명 변화를 보상하여 출력하는 조명 변화 보상수단과, 생성된 모자이크 영상을 저장하는 모자이크 영상 저장수단; 을 포함하여 이루어지는 것을 특징으로 하는 모자이크 영상 생성장치.
2. 제 1 항에 있어서, 상기 동영상 분석수단은 해당 프레임에 대하여 국부적 움직임에 기인한 움직임 벡터를 제거하기 위하여 현재 움직임 벡터를 중심으로 하는 소정의 윈도우를 적용하고 이 윈도우에 다수 필터링(majority filtering)을 수행하는 것을 특징으로 하는 모자이크 영상 생성장치.
3. 제 1 항에 있어서, 상기 동영상 분석수단은 현재 움직임 벡터를 중심으로 하는 소정의 윈도우에 다수 필터링(majority filtering)을 적용하여, 현재 매크로 블록의 움직임 벡터를 다수 필터에 의해 통과된 움직임 벡터로 대체하여 출력하는 것을 특징으로 하는 모자이크 영상 생성장치.
4. 제 1 항에 있어서, 상기 동영상 분석수단은 MPEG 압축환경에서 P픽쳐에서 인트라(Intra) 모드로 부호화된 매크로 블록에 대해서는 국부적 움직임으로 처리하여 변환계수 추정에 영향을 주지 않도록 함을 특징으로 하는 모자이크 영상 생성장치.
5. 제 1 항에 있어서, 상기 계수 추정수단은 움직임 벡터에 대하여 선형 회귀법을 적용하여 현재 프레임의 변환 계수를 구하는 것을 특징으로 하는 모자이크 영상 생성장치.
6. 제 1 항에 있어서, 상기 계수 추정수단에 의한 와핑 계수의 추정은 현재까지 생성된 모자이크 영상과 현재 프레임과의 상대적인 변환관계를 추정하는 것임을 특징으로 하는 모자이크 영상 생성장치.
7. 제 1 항에 있어서, 상기 조명 변화 보상수단은 특징점의 대응쌍의 색상 변화를 이용하여 조명 조건의 변화 여부를 검출하고 이 검출 결과에 따라 색상 변화를 보상하는 것을 특징으로 하는 모자이크 영상 생성장치.
8. 생성된 모자이크 영상을 디스플레이하는 단계, 현재 표시할 프레임, 현재 표시할 프레임의 변환계수, 현재 표시할 프레임의 와핑 계수, 현재 표시할 프레임의 조명 변화 계수를 획득하는 단계, 현재 프레임에 상기 계수들을 기반으로 하는 와핑 및 조명 보상을 수행하여 해당 프레임 동영상을 디스플레이하는 단계; 로 이루어진 것을 특징으로 하는 동영상 재생방법.
9. 제 8 항에 있어서, 상기 동영상 재생에 의하여 프레임의 와핑 과정이 재생됨을 특징으로 하는 동영상 재생방법.
10. 제 8 항에 있어서, 상기 동영상 디스플레이가 모자이크 영상 위에 상기 변환된 프레임의 순차적인 디스플레이에 의해서 이루어지는 것을 특징으로 하는 동영상 재생방법.
11. 입력 영상의 움직임 벡터를 구하는 영상 분석단계, 현재 프레임과 이전 프레임 사이의 변환 계수와 현재까지 생성된 모자이크 영상과 현재 프레임과의 상대적인 변환관계를 추정하기 위한 와핑 계수를 추정하는 계수 추정단계, 현재까지 생성된 모자이크 영상과 현재 프레임 사이의 조명 조건의 변화 여부를 검출하여 조명 변화를 보상한 모자이크 영상을 출력하는 모자이크 영상 출력단계; 를 포함하여 이루어지는 것을 특징으로 하는 모자이크 영상 생성방법.
12. 제 11 항에 있어서, 상기 움직임 벡터를 구하는 영상 분석단계는, 현재 매크로 블록의 복호화된 움직임 벡터를 중심으로 소정의 윈도우를 적용하여 다수 필터링을 수행하는 단계, 상기 다수 필터링의 결과와 현재 매크로 블록의 움직임 벡터를 비교한 결과에 따라 다수 필터링된 움직임 벡터를 출력하거나 현재 매크로 블록의 움직임 벡터를 출력하는 단계; 로 실행되는 것을 특징으로 하는 모자이크 영상 생성방법.
13. 제 11 항에 있어서, 상기 계수 추정단계에서 프레임간 변환 계수의 추정은, 입력 움직임 벡터에 선형 회귀법을 적용하여 아핀(affine) 변환으로 프레임의 변환계수를 모델링하여 카메라의 기하학적인 움직임인 팬, 틸트, 회전, 줌을 모델링하여 추정하는 것을 특징으로 하는 모자이크 영상 생성방법.
14. 제 11 항에 있어서, 상기 계수 추정단계는, 현재 매크로 블록의 움직임 벡터를 기반으로 선형 회귀법을 적용하여 프레임간 변환계수를 추정하는 단계, 상기 변환계수를 이용해서 현재 프레임의 와핑 계수를 추정하는 단계, 상기 추정된 계수들을 기반으로 하여 디스플레이 장치가 허용하는 표시 범위에 따른 스케일 계수를 추정하는 단계; 를 포함하여 실행됨을 특징으로 하는 모자이크 영상 생성방법.
15. 제 11 항에 있어서, 상기 계수 추정단계는, 이전 P픽쳐의 변환계수와 다음 P픽쳐의 변환계수를 구하는 단계, 상기 이전 P픽쳐의 변환계수와 다음 P픽쳐의 변환계수를 보간하여 현재 P픽쳐의 변환계수를 추정하는 단계, 상기 추정된 계수들을 기반으로 하여 I픽쳐와 P픽쳐의 와핑계수 및 스케일 계수를 추정하는 단계; 를 포함하여 실행됨을 특징으로 하는 모자이크 영상 생성방법.
16. 제 11 항에 있어서, 상기 영상 출력단계에서 조명 조건의 변화에 대한 보상은, 매크로 블록의 평균 화소값, 움직임 벡터, 기준 영상에서의 소정 화소 크기의 대응 영역의 화소값 평균을 이용하여 조명 조건의 변화 및 그 변화량을 검출하고 보상하는 것을 특징으로 하는 모자이크 영상 생성방법.
17. 제 11 항에 있어서, 상기 영상 출력단계에서 조명 조건의 변화에 대한 보상은, 현재 영상 I_C와 현재 영상에 대응하는 기준 영상의 화소의 집합 I_R사이의 조명 조건 변화를 I_R= L₁·I_C+ L₂(L₁, L₂는 조명 조건 변화 계수)로 표현되는 1차 선형 방정식으로 모델링하여 수행함을 특징으로 하는 모자이크 영상 생성방법.
18. 제 11 항에 있어서, 상기 모자이크 영상의 생성은 MPEG 압축환경에서 B픽쳐를 스킵하고, I픽쳐 및 P픽쳐에 대해서만 이루어지는 것을 특징으로 하는 모자이크 영상 생성방법.