KR20090132835A - 워터 마킹 패턴을 이용한 영상의 기하학적 왜곡 보정 방법 - Google Patents

Abstract

본 발명은 워터 마킹 패턴을 이용한 영상의 기하학적 왜곡을 보정하는 방법에 관한 것으로서, 보다 구체적으로는 (1) 투사할 영상에 워터 마킹 패턴을 삽입하는 단계; (2) 워터마크 패턴이 삽입된 영상의 변화를 계산함으로써, 영상의 기하학적 왜곡을 추정하는 단계; 및 (3) 추정된 영상의 기하학적 왜곡에 기초하여, 영상의 기하학적 왜곡을 보정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

본 발명의 워터 마킹 패턴을 이용한 영상의 기하학적 왜곡 보정 방법에 따르면, 눈에 잘 띄지 않는 패턴을 사용하여 화질 저하가 적고, 왜곡 정도를 측정하기 위한 별도의 측정 시간 없이 목적 영상을 상영하면서 동시에 왜곡 보정 과정을 진행할 수 있다. 또한, 상영 도중에 발생하는 스크린 변형으로 인한 영상의 왜곡을 방지하기 위하여 주기적으로 왜곡 정도를 계산하여 보정할 수도 있다.

기하학적 왜곡 보정, 워터 마킹 패턴, 투사, 영상, 직교 패턴, 스크린

Description

워터 마킹 패턴을 이용한 영상의 기하학적 왜곡 보정 방법{A METHOD FOR CORRECTING GEOMETRICAL DISTORTIONS OF IMAGES USING WATER MARKING PATTERNS}

본 발명은 워터 마킹 패턴을 이용한 영상의 기하학적 왜곡을 보정하는 방법에 관한 것으로서, 보다 구체적으로는 투사할 영상에 워터 마킹 패턴을 삽입하여 워터마크 패턴이 삽입된 영상의 변화를 계산함으로써 영상의 기하학적 왜곡을 추정하고 보정할 수 있는 영상의 기하학적 왜곡을 효과적으로 보정할 수 있는 방법에 관한 것이다.

투사(projection)된 영상의 왜곡 보정에 대한 연구가 활발히 진행되고 있는데, 대부분의 연구는 투사된 이미지를 사용자의 위치에서 카메라로 촬영하여 원본 이미지와 촬영한 이미지를 비교함으로써 왜곡 정도를 추정하는 프로젝터-카메라 시스템의 피드백(feedback) 방식을 기반으로 하고 있다.

기존의 연구 중에는 눈에 보이는 구조화된 광(structured light)을 이용한 방법이 있는데, 이 방법은 별도의 왜곡 추정 시간이 필요하고, 원하는 이미지를 상영하기 전에 일회성으로 사용되는 단점이 있다. 이것을 보완하기 위해 보이지 않는 구조화 광을 이용하여 투사하는 중에도 왜곡 추정이 가능하도록 하는 방법이 소 개되었다. 그러나 이 방법은 투사된 영상으로부터 구조화 광을 추출하는데 어려움이 있다. 구조화 광을 사용하지 않고, 영상에 존재하는 특징부(feature)의 기하학적 왜곡을 추정하는 방법도 연구되었다. 그런데 이 방법은 영상의 특징부에 의해 왜곡 정도를 추정하는 성능이 좌우되기 때문에 간단한 밝기(intensity) 조정이나 기하학적 왜곡 보정에만 한정적으로 사용되고 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 투사할 영상에 워터 마킹 패턴을 삽입하여 워터마크 패턴이 삽입된 영상의 변화를 계산함으로써 영상의 기하학적 왜곡을 추정하고 보정할 수 있는 영상의 기하학적 왜곡을 효과적으로 보정할 수 있는 방법을 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 워터 마킹 패턴을 이용한 영상의 기하학적 왜곡 보정 방법은,

(1) 투사할 영상에 워터 마킹 패턴을 삽입하는 단계;

(2) 삽입된 워터 마킹 패턴의 변화를 계산함으로써, 영상의 기하학적 왜곡을 추정하는 단계; 및

(3) 추정된 영상의 기하학적 왜곡에 기초하여, 영상의 기하학적 왜곡을 보정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 워터 마킹 패턴은 직교 패턴인 것을 특징으로 한다.

더욱 바람직하게는, 상기 워터 마킹 패턴으로서, 하다마드(Hadamard) 행렬을 이용하는 것을 특징으로 한다.

더더욱 바람직하게는, 상기 워터 마킹 패턴으로서, 상기 하다마드 행렬에서 DC 행과 열을 제외한 행렬을 이용하는 것을 특징으로 한다.

더욱더 바람직하게는, 상기 워터 마킹 패턴으로서, 상기 하다마드 행렬에서 DC 행과 열을 제외한 행렬을 순열(Permutation)시킨 것을 이용하는 것을 특징으로 한다.

바람직하게는, 상기 단계 (1)에서, 투사할 영상의 일부분에만 워터 마킹 패턴을 삽입하는 것을 특징으로 한다.

더욱 바람직하게는, 상기 단계 (1)는,

a. 상기 투사할 영상을 소정 크기의 블록으로 나누는 단계;

b. 나누어진 각각의 블록 중 특징부(feature)가 포함되어 있지 않은 블록에 대해서만 상기 워터 마킹 패턴을 삽입하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 워터 마킹 패턴을 이용한 영상의 기하학적 왜곡 보정 방법에 따르면, 눈에 잘 띄지 않는 패턴을 사용하여 화질 저하가 적고, 왜곡 정도를 측정하기 위한 별도의 측정 시간 없이 목적 영상을 상영하면서 동시에 왜곡 보정 과정을 진행할 수 있다. 또한, 상영 도중에 발생하는 스크린 변형으로 인한 영상의 왜곡을 방지하기 위하여 주기적으로 왜곡 정도를 계산하여 보정할 수도 있다.

이하에서는 첨부된 도면들을 참조하여, 본 발명에 따른 실시예에 대하여 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 워터 마킹 패턴을 이용한 영상의 기하학적 왜곡 보정 방법의 구성을 나타내는 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 워터 마킹 패턴을 이용한 영상의 기하학적 왜곡 보정 방법은, 투사할 영상에 워터 마킹 패턴을 삽입하는 단계(S10), 삽입된 워터 마킹 패턴의 변화를 계산함으로써, 영상의 기하학적 왜곡을 추정하는 단계(S20), 및 추정된 영상의 기하학적 왜곡에 기초하여, 영상의 기하학적 왜곡을 보정하는 단계(S30)를 포함한다. 단계 S10에서, 워터 마킹 패턴은 직교 패턴인 것이 유리하며, 이에 따라, 워터 마킹 패턴으로서 하다마드(Hadamard) 행렬을 이용할 수 있다. 또한, 바람직하게는 하다마드 행렬에서 DC 행과 열을 제외한 행렬을 이용할 수 있으며, 보다 바람직하게는, 하다마드 행렬에서 DC 행과 열을 제외한 행렬을 순열(Permutation)시킨 것을 이용할 수 있다. 또한, 단계 S10에서, 투사할 영상의 일부분에만 워터 마킹 패턴을 삽입하는 것이 유리한데, 특히 투사할 영상을 소정 크기의 블록으로 나눈 후, 나누어진 각각의 블록 중 특징부(feature)가 포함되어 있지 않은 블록에 대해서만 워터 마킹 패턴을 삽입할 수 있다.

1. 곡면에 투사된 영상의 특성과 왜곡 추정 문제 정의

곡면에 투사된 영상은 프로젝터의 비선형 특성으로 인하여 밝기(intensity) 왜곡이 일어나고, 블러링(blurring)이 발생하며, 잡음(noise)이 더해진다. 이와 같이 변형된 영상은 화면의 곡률과 촬영하는 카메라의 위치에 따라 기하학적 변형이 발생한다. 동시에, 곡면 스크린과 프로젝터 사이의 거리, 곡면 스크린과 카메 라 사이의 거리에 따라 스크린의 각 위치에 영상의 밝기 왜곡이 발생한다. 그리고 카메라로 촬영하는 과정에서 카메라 특성에 의해 다시 블러링이 발생하고, 잡음이 더해진다.

곡면 스크린에 의해 발생하는 영상의 기하학적 왜곡은 주로 변이(translation)와 스큐(skew)이다. 본 발명에서는 스크린의 곡률이 작아 스큐가 작은 경우, 즉 변이에 대한 보정만으로 충분히 평면에 투사된 영상과 같은 결과를 얻을 수 있는 경우를 가정하였다.

위 과정을 식으로 간단하게 표현하기 위해 프로젝터와 카메라에 의한 두 번의 변형 과정을 하나로 묶어서 밝기 왜곡과 블러링을 각각 W_intensity와 W_blu로, 잡음을 n으로 표현한다면, 사이즈가 M× N인 원본 이미지 O를 평면에 투사한 영상 O_{proj , flat}는 다음 수학식 1과 같은 행렬 연산으로 나타낼 수 있다.

곡면에 투사한 영상은 다음 수학식 2와 같이 O_{proj , flat}에 스크린의 형태에 의해 발생하는 변이와 밝기 왜곡을 추가한 O_{proj , curve}로 표현할 수 있다.

상기 수학식 2에서 S_intensity는 스크린의 위치에 따라 프로젝터와 스크린 사이의 거리 및 스크린과 카메라 사이의 거리가 다르기 때문에 발생하는 각 화소의 밝기 왜곡을 나타내는 행렬이고, t_y와 t_x는 각 화소의 y축과 x축 변이를 의미하는 행렬이다.

본 발명의 목적은 프로젝터와 카메라 특성에 의한 영상의 밝기 왜곡보다 곡면 스크린으로 인한 영상의 기하학적 왜곡을 추정하는 것이므로, 앞서 언급한 가정 하에서 왜곡 추정 문제는 상기 수학식 2의 t_y와 t_x를 구하는 것으로서 정의된다.

2. 블록 매칭(Block Matching)과 왜곡 과정 모델링

(1) 블록 매칭

본 발명에서는 기본적으로 프로젝터-카메라 시스템을 이용하여, 원본 영상 O와 곡면 스크린에 투사된 후, 촬영하여 얻는 왜곡 영상 O_{proj , curve}를 비교하여 왜곡 정도를 추정하는 방법을 선택하였다. 특히, 밝기-기반 움직임 벡터 알고리즘(intensity-based motion vector algorithm)을 사용하였다. 그리고 화소 단위의 움직임 추정은 잡음에 민감하고 illposed-problem으로 인해 움직임 추정의 정확성이 떨어지기 때문에, 블록 단위 움직임 추정을 선택하였다. 즉, 영상의 기하학적 왜곡을 추정하는 방법으로 블록 매칭 기법을 사용하였다.

블록 매칭 방법은 한 영상을 겹치지 않게 작은 블록들로 나누어 다른 영상의 탐색 영역 안에서 가장 유사한 블록을 찾아내는 것이다.

원본 영상 O의 k번째 블록을 B_{O ,k}라 하고, t_yk를 탐색 영역 안에 포함되는 y축으로의 변이(translation) 값으로, t_xk를 탐색 영역 안에 포함되는 x축으로의 변이 값이라고 할 때, 블록 매칭의 목적은 다음 수학식 4와 같이, 수학식 3의 목적 함수를 최소화 하는 t_yk, t_xk인, T_yk, T_xk를 찾는 것으로 표현할 수 있다.

본 발명에서는 상기 수학식 3의 r이 2인 경우, MSE(Mean Square Error)를 기준으로 설정한 목적 함수를 응용한 블록 매칭을 제안하였다.

(2) 왜곡 과정 모델링

시뮬레이션을 통해 성능을 테스트하기 위한 왜곡 과정 모델을 단순화하기 위해, 곡면 스크린으로 인해 발생하는 밝기 왜곡 S_intensity는 생략하였다.

도 2는 밝기 왜곡 모델을 나타내는 도면이다. 먼저 밝기 왜곡(intensity distortion)은 도 2의 그래프에 있는 W_intensity2와 같이 모델링 된다. 도 2의 W_intensity1은 실제로 각각 0부터 255값의 밝기를 갖는 256개의 영상을 실험에 사용할 프로젝터와 카메라로 실제 촬영하여, 원래의 밝기인 입력 밝기와 촬영한 영상의 밝기인 출력 밝기와의 관계를 나타낸 그래프이다. W_intensity1의 형태를 보면, 100에서 200사이의 밝기 값에서는 선형 특성을 보이지만, 그보다 작은 밝기 값이나 큰 밝기 값에서는 밝기 왜곡이 발생하여 비선형 특성을 보인다.

다음으로 영상의 블러링 효과 W_blur는 영상을 사이즈가 7 x 7이고, 표준 편차가 1인 가우시안(Gaussian) 형태의 저대역 통과 필터(low pass filter)에 통과시킴으로써 만들었다.

또한, 잡음 n은 가우시안 랜덤 잡음(Gaussian random noise)으로 모델링하였다. 잡음을 입력하기 전의 영상에 대한 잡음을 입력한 영상의 PSNR(Peak Signal to Noise Rate)이 20dB, 30dB, 40dB, 50dB가 되도록 가우시안 랜덤 수에 가중치를 줌으로써 잡음의 크기를 조절하여 영상에 더함으로써 잡음을 입력하였다.

마지막으로 기하학적 왜곡, t_x와 t_y의 효과는 참고 영상을 실험한 데이터로 만들었다. 영상을 블록으로 나누어 가우시안 패턴을 삽입한 참고 영상과 곡면 스크린에 투사한 후 촬영한 영상을 블록 매칭 시켜 평균 제곱 오차(MSE)를 최소화 하는 블록 단위의 기하학적 왜곡, T_yk와 T_xk를 구하였다. 그리고 왜곡된 영상의 각 픽셀이 원본 영상의 어느 화소로부터 기인하는지 확인하기 위하여, 왜곡된 영상이 와핑(warping)된 것이 원본 영상이라 가정하고 T_yk와 T_xk를 이용하여 아핀 변환 파라미터(affine transform parameter)를 구해 와핑 함수를 모델링함으로써 왜곡된 영상 의 각 화소와 원본 영상 화소의 매핑 관계를 계산하였다. 이렇게 구한 원본 영상 화소와 왜곡된 영상 화소 간의 매핑 관계를 이용하여, 시뮬레이션에 필요한 기하학적 왜곡 과정을 모델링 하였다.

3. 본 발명에서 제안하는 방법

(1) 블록 매칭의 오차 평가 함수 정의

곡면 스크린에 투사된 후 촬영된 영상의 밝기는 상기 수학식 2에서 표현한 것처럼 영상 기기의 특성으로 인한 밝기 왜곡뿐만 아니라, 스크린과 프로젝터, 카메라의 위치에 따라 발생하는 밝기 왜곡에 의해 크게 왜곡된다. 따라서 영상의 밝기 변화에 의존하는, 블록 매칭의 성능을 향상시키기 위해서는 원본 영상과 왜곡된 영상의 동일 위치의 화소에 대한 영상의 밝기 왜곡을 극복해야 한다. 이를 위해, 본 발명에서는 MSE를 오차 측정(error measure) 함수로 이용하되, O와 O_{proj , curve}의 동일 위치의 화소에 대한 밝기 차이를 감소시키는 전처리 과정 후, MSE를 계산하는 것을 제안한다. 그리고 전처리 방법으로는 수학식 5와 같이, 블록 매칭 시 원본 블록을 X, 왜곡된 영상의 블록을 Y라 하였을 때, Y를 X의 평균과 표준 편차에 일치시키는 요소, f_s와 f_o로서 Y_s를 계산하여 X와 비교하도록 하였다.

(2) 블록 매칭을 위한 패턴

블록 매칭은 목적 함수를 최소화하는 t_yk와 t_xk를 찾는 것이므로 입력할 패턴은 각 블록마다 탐색 영역 내에서 유일해야 한다. 모든 움직임 추정이 밝기의 변화에 의존하여 매칭 하므로 강도 왜곡이나 잡음에 민감하지 않도록 패턴을 설계하여야 한다. O의 블록들이 O_{proj , curve}에서 자신의 왜곡된 블록이 아닌, 한 화소만 어긋난 위치의 블록이더라도 오차 측정값이 급격히 커져 잡음이 있더라도 오차 측정 함수가 최소가 되는 경우를 확연히 구별할 수 있도록 패턴을 만드는 것이다.

디지털 통신 시스템에서 사용되는 직교 코드가 바로 그러한 특성을 가지고 있다. {[1 1 1 1], [-1 1 -1 1], [-1 -1 1 1], [1 -1 -1 1]}의 직교 코드에서 첫 번째 [1 1 1 1] 코드를 보면, [1 1 1 1]와의 상관(correlation)만이 ‘4’이고, 다른 신호와의 상관은 ‘0’이 된다. 본 발명에서는 이러한 직교성을 응용하여 패턴을 설계하였다.

직교 행렬인 하다마드(Hadamard) 행렬은 다음 수학식 6과 같이 생성할 수 있다.

본 발명에서는 하다마드 행렬을 영상에 더하여 입력해야 하기 때문에, 하다 마드 행렬의 원소 중 ‘-1’과 ‘1’을 각각‘0’과‘1’로 대체한 후 설정한 패턴 크기를 곱하여 패턴을 만들었다. 이것을 HM 패턴이라 하고, 영상의 각 블록마다 더해지도록 복제(duplication)하였다. 패턴의 직교성을 테스트하기 위해, 도 3에서와 같이 탐색 영역에서 이동하면서 각 움직임에서의 오차 측정 함수 값을 계산하였다. 도 3은 탐색 영역에서 HM 패턴의 오차 측정 함수 값을 나타내는 도면이다. 그 결과, t_y와 t_x가 ‘0’인 점과 패턴의 주기와 동일한 움직임에서 ‘0’이 되고, 나머지 움직임에서는 큰 값을 가졌다. 패턴의 주기와 동일한 움직임에서 ‘0’이 되는 것은 각 블록에 동일한 HM 패턴을 더하였기 때문이다. 따라서 최대 움직임을 패턴 블록 크기보다 작게 설정해야 한다.

영상에 HM 패턴을 삽입하였을 때, 얼마나 화질이 떨어지는지 살펴보자. 도 4는 원본 영상과 HM 패턴 삽입 영상의 화질을 비교하여 나타내는 도면이다. 도 4에서 확인할 수 있는 바와 같이, HM 패턴의 DC 행과 열이 눈에 잘 띄어 화질이 저하된 것을 볼 수 있다.

이렇게 눈에 띄는 단점을 보완하기 위해, DC 행과 열을 제외하면 상관이 0이 되지는 않으면서, 본 발명에서 필요한 직교 행렬의 특성인, 어긋난 위치에서의 MSE와 정답 위치에서의 MSE와의 차이를 크게 하는 특성은 유지할 수 있다.

DC 행과 열을 자른 패턴을 nHM 패턴이라 하고, 이 패턴의 직교성을 도 5와 같이 테스트하였다. 도 5는 탐색 영역에서 nHM 패턴의 오차 측정 함수 값을 나타내는 도면이다. 도 5에서 확인할 수 있는 바와 같이, 다른 방향의 움직임에 대한 오차 측정 함수 값은 HM 패턴보다 더 정답 위치가 명확히 구분되지만, 대각선 방향으로 오차 측정 함수 값이 정답 위치에서의 값과 유사하여 잡음에 영향을 받기 쉽다. 도 6은 원본 영상과 nHM 패턴 삽입 영상의 화질을 비교하여 나타내는 도면이다. 도 6에서 확인할 수 있는 바와 같이, nHM 패턴을 삽입한 영상을 보면 대각선 방향으로 DC 성분이 눈에 띄는 것을 볼 수 있다.

잘 보이지 않는 패턴을 만들기 위해 nHM 패턴의 열벡터를 순열(permutation)시켜, 랜덤 패턴처럼 보이도록 만들었다. 이 패턴을 pHM 패턴이라 할 때, 직교성을 테스트해보면, 도 7에서 볼 수 있듯이 대각선 방향의 움직임에서도 정답 위치의 오차 측정값과 차이가 큰 오차 측정값이 나오는 것을 확인할 수 있다. 또한, 도 8에서 확인할 수 있는 바와 같이, pHM 패턴을 삽입한 영상은 마치 백색 잡음이 섞인 듯이 보이고, 삽입한 패턴의 형태가 확연히 눈에 띄지 않는 것을 확인할 수 있다.

따라서 본 발명에서는 움직임 벡터 추정을 위한 블록 매칭 패턴으로서 어긋난 위치에서의 오차 측정값도 크고, 눈에도 잘 띄지 않는 pHM 패턴을 제안한다.

(3) 패턴을 입력할 영역 설정

아무리 눈에 잘 띄지 않는 패턴을 입력하더라도 패턴을 입력하지 않는 것보다는 화질이 저하된다. 게다가 본 발명에서 사용하는, 영상에 패턴을 더하는 패턴 입력 방법은 패턴의 사이즈가 조금만 커져도 눈에 잘 띄는 단점이 있다. 따라서 가능한 패턴을 입력하지 않고 왜곡 정도를 성공적으로 추정하는 것이 가장 이상적이라 할 수 있다.

일반적으로 이미지는 한 가지 밝기만으로 이루어지기보다는 화소마다, 또는 영역마다 여러 가지 밝기 값을 갖는다. 다양한 밝기의 분포는 영상의 특징부(feature)를 만들어 내는데, 이러한 영상의 특징부를 이용하면 투사할 영상의 화질 저하를 근본적으로 막을 수 있다. 패턴의 최대 밝기는 화질이라는 제약 조건 때문에 한계가 있지만, 이미지의 특징부는 영상의 최대 밝기까지 값을 가질 수 있으므로 이미지에서 특징부를 포함하는 영역은 패턴을 넣지 않고, 특징부의 변형으로부터 충분히 왜곡 정도를 추정하는 것이 가능하다. 도 9는 원본 영상을 패턴을 넣지 않고 시뮬레이션 한 경우 오류가 발생한 영역을 나타내는 도면이다. 도 9에서 확인할 수 있는 바와 같이, 패턴을 넣지 않은 영상을 시뮬레이션하면, 특징부가 없거나 약한 영역에서 오류가 발생하는 것을 확인할 수 있다.

그런데 영상마다 특징부가 있는 영역이 다르고, 특징부의 크기가 다르기 때문에 영상을 작은 블록으로 나누어 블록마다 얼마나 많은 특징부가 있는지 계산한 후에 특징부가 없는 단일 밝기(uniform intensity) 영역이 많은 블록에만 패턴을 삽입해야 한다. 주변 화소와 밝기 차이가 크고, 밝기가 자주 변화하는 영역은 패턴을 대신할 특징부로 사용될 수 있기 때문에 이러한 특징부가 각 블록에 얼마나 있는지 알아보는 방법으로 고주파 성분의 크기를 계산하는 것을 사용하였다.

이미지 O의 k번째 블록인 B_{O ,k}를 고대역 통과 필터(HPF)로 필터링한 영상의 평균(mean)을 계산하는 것이다. 가로 방향과 세로 방향으로 각각 HPF를 통과시킨 영상을

,

라 할 때, 다음 수학식 7과 같이

절대값의 평균과

절대값의 평균을 구한다. 그리고 두 평균값을 평균하여 특징부 영역을 구분하는 기준으로 설정하였다.

4. 실험 결과 및 분석

실험에 앞서 제안한 방법들을 시뮬레이션하여 성능을 평가하였다. 시뮬레이션에서는 256× 256 사이즈의 ‘Lena’ 영상을 대상으로 원본 영상 및 16× 16 사이즈 단위로 각 블록에 패턴을 삽입한 영상을 단락 1.에서 언급한 방법을 이용하여 실험한 참고 영상과 같이 왜곡시켜 384× 384 사이즈의 왜곡 영상을 만들었다. 여기서, 패턴의 크기가 커질수록 정확도가 높아지고 측정 가능한 왜곡의 범위가 커지는 장점이 있으나, 패턴이 눈에 띄게 되어 주관적 화질이 저하되는 단점이 있으므로, 패턴의 크기는 정확도, 화질, 최대 왜곡 범위를 고려하여 결정하여야 한다. 그리고 두 영상을 블록 매칭 할 때, 원본 영상을 왜곡된 영상과 같은 사이즈로 3차 보간(cubic interpolation)한 후에 영상이 확대된 비율에 맞춰, 탐색 블록 크기를 24× 24로 설정하였다. 탐색 영역은 원본 영상의 위치에서 상하, 좌우로 ±(탐색 블록/2)로 설정하였다. 384× 384 사이즈의 영상을 24× 24 단위로 블록 매칭 하면, 총 256개의 움직임 벡터가 추정된다. 이렇게 추정된 256개 블록의 변 이(translation)는 단락 2.(2)의 왜곡 과정에서 사용한 참고 영상의 T_yk와 T_xk를 기준으로 다음 수학식 8의 오차 함수를 계산하여 평가하였다.

수학식 8에서, L이 전체 블록의 수라 할 때, k번째 블록에 대해 블록 매칭 하여 계산한 움직임 벡터의 유클리드 오차(Euclidean error)인 E_k의 RMSE(Root Mean Square Error)가 기준이 되는 것이다.

실험에서는 256× 256 사이즈의 ‘Barbara’, ‘Bridge’, ‘Cap’, ‘F16’, ‘Goldhill’, ‘Lena’, ‘Peppers’, ‘Watch’ 8개의 영상을 테스트하였다. 실험에 사용한 프로젝터는 ‘Infocus’사의 DLP 프로젝터 ‘LP600’이며, 실험에 사용한 카메라는 ‘Canon’사의 DSLR 카메라 ‘350D’ 이다. 도 10은 실험의 대상이 된 곡면 스크린을 나타내는 도면이다.

그리고 테스트할 영상과 같은 사이즈인, ‘0’과 ‘255’ 값만을 갖는 수도-랜덤(pseudo-random) 영상을 이용하여 실험 결과를 평가할 T_yk와 T_xk를 구하였다. 또한 실험 결과를 평가하는 기준은, 시뮬레이션과 동일하게 상기 수학식 8을 사용하였다.

먼저, 제안한 오차 평가 함수의 성능을 보자. 표 1과 표 2에서 BM은 블록 매칭을 의미하고, sBM은 밝기 분포를 맞춘 후 블록 매칭한 것을 의미한다. 두 결과를 보면, BM보다 sBM이 RMSE가 작은 것을 확인할 수 있다.

PSNR	60dB	50dB	40dB	30dB	20dB
BM	7.38	7.41	7.55	7.37	8.32
sBM	2.12	2.19	2.57	3.90	7.20

테스트 이미지	테스트 방법
	BM	sBM
Barbara	8.52	2.60
Bridge	7.04	1.10
Cap	12.93	2.84
F16	8.93	3.89
Goldhill	10.07	2.27
Lena	9.96	3.89
Peppers	9.00	2.26
Watch	9.10	4.74

다음으로, 제안한 오차 평가 함수의 성능을 보자. 표 3을 보면, PSNR이 큰 영상에 대해서는 nHM 패턴이 가장 RMSE가 작았지만, 잡음에 취약하기 때문에 PSNR이 낮을 때는 가장 RMSE가 컸다. 그리고 제안한 패턴 pHM 패턴의 RMSE가 PSNR이 낮은 경우에 가장 작은 값을 보임을 확인할 수 있다. 또한 표 4에서 확인할 수 있듯이, HM 패턴의 RMSE와 pHM 패턴의 RMSE가 크게 차이가 나지 않는다. 그리고 패턴을 넣지 않았을 때인, ‘no pattern’ 보다 RMSE가 작아진 것을 볼 수 있다.

PSNR	60dB	50dB	40dB	30dB	20dB
No pattern	2.12	2.19	2.57	3.90	7.20
HM	1.28	1.28	1.08	1.86	4.40
nHM	0.31	0.29	0.31	1.24	5.30
pHM	0.59	0.59	0.58	1.28	4.19

테스트 이미지	테스트 방법
	No pattern	HM	nHM	pHM
Barbara	2.60	1.68	2.14	2.08
Bridge	1.10	1.09	1.09	1.05
Cap	2.84	1.47	1.90	1.21
F16	3.89	3.10	3.56	3.13
Goldhill	2.27	1.76	1.71	1.64
Lena	3.89	1.62	3/14	2.80
Peppers	2.26	1.29	1.33	1.40
Watch	4.74	1.41	1.76	1.65

마지막으로 패턴을 부분적으로 입력하는 것에 대한 성능 변화를 확인해 보자. 8개 영상에 대해 크기가 16인 pHM 패턴을 삽입한 후, 20dB로 열화 시키고 기하학적 왜곡을 주어 시뮬레이션하였다. 원본 영상의 각 블록에 대해서 상기 수학식 7의 값을 계산하고, 수학식 7을 임계값(threshold)으로 하여 작은 값부터 순차적으로 증가시키면서 해당 블록의 위치에 패턴을 삽입하였다. 이렇게 패턴을 삽입하는 블록의 수를 하나씩 증가시키며 총 256개 블록들 중 몇 개의 블록에서 오류가 발생하는지, 오류 발생률을 확인해 보았다. 도 11은 패턴을 부분적으로 입력하는 경우에 대한 시뮬레이션 결과를 나타내는 도면이다. 도 11에서 확인할 수 있는바 같이, 256개 블록 중 20~30개 블록에만 패턴을 넣어도 전체 영상에 패턴을 넣은 것과 같은 효과를 보였다.

시뮬레이션과 실험을 통해 제안한 오차 평가 방법이 블록 매칭 성능을 향상시키는 것을 확인할 수 있었다. 그리고 제안한 패턴이 직교 패턴과 유사한 성능을 가지며, 패턴을 넣지 않았을 때보다 블록 매칭 결과가 개선되는 것을 확인할 수 있었다. 또한 패턴을 입력하는 블록을 하나씩 늘려가며 블록 매칭 성능을 살펴본 시뮬레이션에서는 영상의 일부에만 패턴을 삽입하는 것이 전체 영상에 패턴을 삽입하는 것과 유사한 결과를 도출하는 것을 확인할 수 있었다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 워터 마킹 패턴을 이용한 영상의 기하학적 왜곡 보정 방법의 구성을 나타내는 도면.

도 2는 강도 왜곡 모델을 나타내는 도면.

도 3은 탐색 영역에서 HM 패턴의 오차 평가 함수 값을 나타내는 도면.

도 4는 원본 영상과 HM 패턴 삽입 영상의 화질을 비교하여 나타내는 도면.

도 5는 탐색 영역에서 nHM 패턴의 오차 평가 함수 값을 나타내는 도면.

도 6은 원본 영상과 nHM 패턴 삽입 영상의 화질을 비교하여 나타내는 도면.

도 7은 탐색 영역에서 pHM 패턴의 오차 평가 함수 값을 나타내는 도면.

도 8은 원본 영상과 pHM 패턴 삽입 영상의 화질을 비교하여 나타내는 도면.

도 9는 원본 영상을 패턴을 넣지 않고 시뮬레이션 한 경우 오류가 발생한 영역을 나타내는 도면.

도 10은 실험의 대상이 된 곡면 스크린을 나타내는 도면.

도 11은 패턴을 부분적으로 입력하는 경우에 대한 시뮬레이션 결과를 나타내는 도면.

<도면 중 주요 부분에 대한 부호의 설명>

S10: 투사할 영상에 워터 마킹 패턴을 삽입하는 단계

S20: 삽입된 워터 마킹 패턴의 변화를 계산함으로써, 영상의 기하학적 왜곡을 추정하는 단계

S30: 추정된 영상의 기하학적 왜곡에 기초하여, 영상의 기하학적 왜곡을 보정하는 단계

Claims (7)

1. 워터 마킹 패턴을 이용한 영상의 기하학적 왜곡 보정 방법으로서,

   (1) 투사할 영상에 워터 마킹 패턴을 삽입하는 단계;

   (2) 삽입된 워터 마킹 패턴의 변화를 계산함으로써, 영상의 기하학적 왜곡을 추정하는 단계; 및

   (3) 추정된 영상의 기하학적 왜곡에 기초하여, 영상의 기하학적 왜곡을 보정하는 단계

   를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,

   상기 워터 마킹 패턴은 직교 패턴인 것을 특징으로 하는 방법.
3. 제2항에 있어서,

   상기 워터 마킹 패턴으로서, 하다마드(Hadamard) 행렬을 이용하는 것을 특징으로 하는 방법.
4. 제3항에 있어서,

   상기 워터 마킹 패턴으로서, 상기 하다마드 행렬에서 DC 행과 열을 제외한 행렬을 이용하는 것을 특징으로 하는 방법.
5. 제4항에 있어서,

   상기 워터 마킹 패턴으로서, 상기 하다마드 행렬에서 DC 행과 열을 제외한 행렬을 순열(Permutation)시킨 것을 이용하는 것을 특징으로 하는 방법.
6. 제1항에 있어서,

   상기 단계 (1)에서, 투사할 영상의 일부분에만 워터 마킹 패턴을 삽입하는 것을 특징으로 하는 방법.
7. 제6항에 있어서,

   상기 단계 (1)는,

   a. 상기 투사할 영상을 소정 크기의 블록으로 나누는 단계;

   b. 나누어진 각각의 블록 중 특징부(feature)가 포함되어 있지 않은 블록에 대해서만 상기 워터 마킹 패턴을 삽입하는 단계

   를 더 포함하는 것을 특징으로 하는 방법.

Images