본 발명의 일측면에 의한 바람직한 일실시예에 따르면, 복수의 프로젝터로 구성된 멀티 프로젝터 시스템의 밝기 보정 방법에 있어서,상기 프로젝터의 보정 후 최대 밝기값을 산출하고, 입력 영상의 밝기값 및 상기 보정 후 최대 밝기값을 이용 하여 상기 입력 영상의 밝기 특성값을 산출하며, 상기 밝기 특성값을 이용하여 상기 입력 영상의 밝기값을 보정하는 단계를 포함하는 멀티 프로젝터 시스템의 밝기 보정 방법이 제공된다.
여기서, 상기 입력 영상의 밝기값 및 상기 보정 후 최대 밝기값을 이용하여 밝기 특성값은 상기 입력 영상의 각 화소마다 밝기 특성값을 산출하며, 상기 산출된 복수의 밝기 특성값 중 최소값을 결정함으로써 산출될 수 있다.
최소값으로도 기존의 방법보다 출력 영상의 밝기가 균일해지기는 하지만, 일정 범위 내에서 밝기 특성값 중 최소값보다 다소 높은 값을 선택하면, 프로젝터의 최대 밝기를 이용할 수 있다. 이를 위해, 복수의 밝기 특성값 중 출력 영상의 밝기와 프로젝터의 최대 밝기가 역전되는 비율(포화 허용 오차율)이 일정 범위 이내인 밝기 특성값을 선택함으로써, 프로젝터의 최대 밝기를 이용할 수 있게 된다.
한편, 상기 밝기 특성값을 이용하여 상기 입력 영상의 밝기값은 상기 밝기 특성값에 의해 보정된 입력 영상의 출력 밝기값을 산출하고, 상기 입력 영상의 출력 밝기값에 상응하는 입력 영상의 보정후 밝기값을 결정하며, 상기 입력 영상의 보정후 밝기값으로 상기 입력 영상의 밝기값을 보정한다. 여기서, 상기 입력 영상의 보정후 밝기값은 룩업 테이블을 이용하여 결정될 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 바람직한 실시예에 따른 멀티 프로젝터의 밝기 보정 방법을 도시한 흐름도이다.
단계 200에서, Perceptible variation constraint 알고리즘을 이용하여 프로젝터의 보정 후 최대 밝기
를 산출한다. 복수의 프로젝터의 밝기를 서로 맞춘 후의 각 프로젝터의 최대 밝기와 최소 밝기를
와
라 하고
가 여러 프로젝터의 입력과 출력 밝기의 관계를 나타내는 프로젝터 함수(projector function) 일 때 밝기 보정한 후의 위치 (x, y)에서의 밝기
은 수학식 1과 같다.
Perceptible variation constraint 방법은,
,
를 구할 때 사람의 눈의 특성을 고려한다. 수학식 2는 Weber's law으로 시각의 특성을 나타내며, 위치 (x, y)에서의 밝기 값은 다음과 같다.
L(x, y)일 때 임의의 위치에 있는 밝기 값과의 차이의 절대 값(수학식 2)에 서는 x방향에서의 밝기의 미분값)이 원래의 밝기 값에 contrast parameter
를 곱한 값보다 작은 경우 사람의 눈은 그 밝기의 차이를 느끼지 못한다. 곧, Perceptible variation constraint에서 위치 (x, y)의 주변 8 pixel에 대하여 수학식 2를 적용하여 다음 수학식 3과 같이
를 구한다.
하였다. 여기서, 위치 (x,y)에서 주변의 8 화소(x',y')들에 대해 거리
에 따른 밝기의 차이값
이 사람이 느끼는 밝기의 값인 constant parameter
이다. 즉, 예를 들면, 원래 좌표(x, y)와 주변의 좌표 (x',y')간 거리가 1이고, 각각의 밝기가 20,30 이라고 가정하면 이때의 밝기 차이는 10이 되며 이때
값이 5이라고 한다면 수학식 3에 의해 |10|/1 <= 5*
*20을 만족하는
를 구한다. 위의 조건을 모두 만족하는
는 복수개가 존재하며, 모든
에 대해서
의 값이 최대가 되는
값을 선택한다.
그러나, contrast parameter
값이 작아지면 구한
의 값이 균일하게 되어 디스플레이 되는 영상의 밝기가 굉장히 어두워져 자연스러운 디스플레이가 불가 능하다. 도 4는 contrast parameter
에 따른
값의 분포를 도시한 도면으로,
의 값이 감소함에 따라
의 분포가 균일해짐을 확인할 수 있다. 입력 영상의 보정전 밝기값
단계 210에서, 입력 영상의 보정전 밝기값
i(x,y)와 프로젝터의 보정 전 최대 밝기
H D 를 이용하여 입력 영상의 밝기 특성값 k를 산출한다. 멀티 프로젝터 디스플레이에서 밝기가 개선된 영상을 얻기 위해서 우선 프로젝터의 밝기와 입력 영상의 보정전 밝기값까지 고려한
를 구하여야 한다. 보정하기 전의 밝기
으로부터 수학식 2와 수학식 3을 사용하여 보정된 후의 밝기
값을 구한다. 구한
,
의 관계는 도 5와 같다.
도 5와 같이 종래의 방법은 실제 프로젝터가 나타낼 수 있는 밝기의 최대값이
는 보정한 후의 밝기의 최대값
보다 항상 크거나 같으므로, 전반적으로 영상을 더 밝게 나타낼 수 있는데도 불구하고
값을 그대로 사용하여 영상의 밝기를 효율적으로 보정하지 못한다. 따라서
값을 최대로 사용하기 위해 입력 영상의 밝기 값을 이용하였다. 입력 영상의 보정전 밝기값이
i(x,y)일 때 값에
을 곱한
값은 수학식 4와 같다.
이 값은 입력 영상의 보정전 밝기값이
i(x,y)일 때 프로젝터를 통해 스크린에 나타난 예측한 결과 영상의 밝기 값이다.
가
보다 항상 작으므로 도 5와 같이
값도
의 값보다 작게 된다. 도 5는 입력 영상의 위치에 따른 보정전 최대 밝기(
H D )와 보정 후 최대 밝기(
H' D )를 도시한 그래프이다. 도 5를 참조하여, 입력 영상의 밝기 값을 고려하여
까지 최대한 밝기를 키우기 위해
을
값으로 나눈
의 값을 구한다.
여기서,
는 영상의 밝기 특성을 고려하여 입력 영상의 출력 밝기를
까지 향상시킬 수 있는 비율의 값으로서,
가
보다 항상 작으므로
의 값은 항상 1보다 크게 된다.
단계 220에서, 입력 영상의 화소 개수에 비례하여 모든 화소에서의 k값을 산출한다.
단계 230에서, 모든 화소에서의
k값을 산출하면,
값은 입력 영상의 화 소의 개수와 비례하여 실제 하나의 입력 영상에서는
k값을 수학식 6과 같이
값 중 가장 작은 값으로 지정한다.
단계 240에서, 결정된
k값으로 입력 영상의 보정후 밝기값이
을 결정한다. 결정된 입력 영상의 보정후 밝기값이
을 이용하여 입력 영상의 밝기를 보정한다. 프로젝터 밝기의 특징과 각 영상의 밝기를 특징을 고려하여 최종적으로 보정한 영상의 예측 출력 영상의 밝기값
값은 다음과 같다.
실제 프로젝터에서 밝기 보정한 영상을 보기 위해서는 예측한 입력 영상의 출력 밝기값
에서로부터 입력 영상의 보정후 밝기값
을 얻어야 한다. 본 실시예에서는
와
값을 모두 0이라 가정하였으므로, 수학식 1을 이용하여 예측한 영상의 출력 밝기 값으로부터 입력 영상의 보정후 밝기값
은 다음 수학식 8과 같다.
함수 g는 각 프로젝터의 비선형 프로젝터 함수로 프로젝터의 입력값과 측정된 출력값을 나타내는 함수다.
는
G의 역함수로 각 프로젝터의 함수
들로 이뤄진다.
각 프로젝터의 입력과 출력 밝기간의 관계를 나타내는
와
는 2D LUT(look-up table)로 표현된다. 따라서 최종적으로 각 프로젝터에서 보정된 영상을 얻기 위해서는 구한
값에
값을 곱한 뒤 구해놓은 LUT를 사용하여 각 입력 영상의 보정후 밝기값
을 찾는다. 여기서의 2D LUT 는 프로젝터에서의 입력값과 출력값이 매칭된 테이블로서, 프로젝터에 어떠한 밝기 입력값이 들어갔을 때, 실제 프로젝터에서 나오는 밝기의 출력값, 즉, 실제로 보게되는 프로젝터에서의 밝기값을 얻을 수 있다. 본 실시예에서, 2D LUT는 임의로 밝기의 범위 0-255의 입력에 대한 프로젝터의 출력값을 측정한 테이블을 이용하였으나, 이와 다른 범위로 측정하여도 무방하다.
상술한 과정을 통해 보정한 영상의 예측 출력 영상의 밝기값이 결정되면, 상응하는 영역에 출력될 입력 영상의 밝기값을 2D LUT에서 찾아 보정한다.
도 3은 본 발명의 다른 실시에에 따른 멀티 프로젝터의 밝기 보정 방법을 도시한 흐름도이다. 도 3에 도시된 보정 방법은 도 2의 방법과 달리, 입력 영상에 적 용할 k값을 최소값보다 큰 값 중에서 선택한다. 단계 300 내지 320 및 340은 도 2의 단계 200 내지 220 및 240과 동일하므로, 중복된 설명은 생략한다.
단계 330에서, 입력 영상의 예측 출력 영상의 밝기를 프로젝터의 보정 전 밝기
와 비교하여
k값을 결정한다.
k 값을 수학식 6과 같이 최소값으로 정의하게 되면 영상 전체에 최소의 밝기 증가율
k 값이 적용되기 때문에 더 밝게 할 수 있는 영상의 점들이 제약을 받게 된다. 따라서 밝기 향상을 위해
k 값을 최소값보다 큰 값을 사용할 수 있다.
이때
k의 값을 수학식 6과 같이 정한 경우
값은 도 6과 같이
를 넘지 않는다. 그러나
k의 값을 수학식 6에서 구한 최소값보다 큰 값을 선정하여 수학식 7을 사용하게 되면
는 도 7에서 보이는 바와 같이
를 넘는 경우가 발생한다. 곧,
k 값을 수학식 7과 같이 구하면 몇 개의 화소들이
를 넘더라도 전체적인 영상의 밝기를 기존의 방법보다 훨씬 향상시킬 수 있다. 이때
k 값을 최소값보다 얼마나 큰 값을 사용할 것인가를 정할 때 제약 조건은
값이
의 값보다 커지는 개수이며 본 논문에서는 그 개수를 백분율(허용 오차율)로 환산하여
보다 p % 가 커지는 경우
로 표기한다. 본 실시예에서는 p=0.02 까지 고려하였다. 따라서 본 실시예에서 제안한 프로젝터의 밝기 특성과 영상의 밝기특성을 모두 고려한 밝기 보정 방법은 기존의 방법의 밝기보다 훨씬 더 향상된 결과영상을 얻을 수 있다.
도 8은 종래 방식에 의한 디스플레이 영상과 본 발명의 바람직한 실시예에 따른 디스플레이 영상으로서, 다양한 형태의 배열이 가능하지만, 가장 간단한 구성인 2x1 배열의 두 대의 프로젝터에서의 디스플레이 된 영상이며, 도 9는 종래 방식에 의한 디스플레이 영상과 본 발명의 바람직한 실시예에 따른 디스플레이 영상으로서,
값과
k 값의 변화에 따른 결과 영상이다.
본 실시예에서는 2x1 배열의 두 대의 프로젝터로 구성된 디스플레이 된 영상에 대해(도 8 및 9) contrast parameter
값과 입력 영상의 밝기 특성값
k 값을 변화 시켰다. 우선, contrast parameter
값을 바꾸며 기존의 방법으로 밝기 보정한 경우와
k 값을 수학식 6과 같이 최소값으로 정한 후 제안한 방법으로 정한 경우의 실험 결과를 비교해 보았다.
contrast parameter (
)
|
기존의 방법 (밝기)
|
제안된 방법 (밝기)
|
0 |
45.5 |
100.8 |
0.0005 |
51.7 |
106.7 |
0.00125 |
62.9 |
113.5 |
0.0025 |
88.2 |
112.2 |
표 1과 도 9에서 볼 수 있듯이 contrast parameter
값이 작아질수록 종래 방법에서 예측한 결과영상의 밝기가 매우 어두워지는 것을 알 수 있다. 이것은 contrast parameter
가 작으면 작을수록 눈이 느낄 수 있는 변화량의 값을 작게 되어 점점
값이 균일하게 되고, 나타낼 수 있는 밝기의 범위가 작아지므로 이와 같은 현상이 나타나게 된다.
반면, 본 실시예에 따른 방법의 밝기는 contrast parameter
의 값이 작아져도
k 값에 의해 밝기가 개선되므로, 종래 방법보다 훨씬 밝기가 밝은 것을 볼 수 있다. 또한, 어떠한 contrast parameter
값에서도 기존의 방법의 밝기보다 본 실시예에 따른 방법의 밝기가 향상된 것을 확인할 수 있다.
다음은 k 의 값을 수학식 7과 같이 최소의 값으로부터 증가시켜 보정한 경우의 결과를 비교하여 설명한다. 표 2는 본 실시예에 따른 방법으로 입력 영상의 밝기 보정시 k 값의 오차 허용범위(오차율)를 변경하면서 Nemo 영상의 예측한 출력 영상의 평균 밝기를 구한 것이다. 종래 방법에는 k 의 개념이 사용되지 않으므로 표 2에서는 제외 시켰으나 같은 조건에서 기존의 방법으로 영상의 밝기를 개선시킨 값은 62.9 으로 본 실시예에 따른 방법에 의해 산출된 값들보다 성능이 좋지 않다.
값의 오차율
|
제안된 방법으로 구한 밝기
|
= 1.80 |
113.5 |
= 2.04 |
128.6 |
= 2.14 |
134.4 |
k 값의 오차율을 크게 할수록 표 2 에서와 같이 예측한 출력 영상의 밝기 값은 증가하는 것을 볼 수 있다. 하지만,
k 의 값이 커지게 되면 영상의 밝기가 최대로 나타낼 수 있는 밝기인
를 넘어가는 화소가 많아지게 되므로 보이는 영상의 밝기가 개선되나, 너무 많은 오차율을 허용하게 되면 영상 전체가 밝아져서 contrast를 오히려 떨어뜨려 영상의 질을 높일 수 없다. 따라서 일반적으로 개선하는 오차율은 1% 이하로 정하는 것이 바람직하다.
아울러, 도 9는 종래 방법을 본 실시예에서 개선한 smooth brightness 알고리즘으로 밝기 보정한 방법과 영상의 밝기 특성을 사용한 k 의 값까지 모두 고려하여 만든 밝기 보정한 결과이다. 각 결과는 Nemo 영상에 대해 수행하였으며 밝기 개선비 B.R.(Brightness Rate)은 기존 방법으로 구한 결과값에 비해 제안한 방법의 밝기가 얼마나 향상되었는가를 나타낸다.
도 9에서 Nemo 영상의 contrast parameter
= 0.0025 값에 대한 결과를 살펴보면 종래 방법을 사용하여 밝기 보정한 결과의 밝기 값을 1이라고 했을 때 본 실시예에 따른 방법에서
k 값을 최소값으로 정한 경우는 종래 방법 결과에 비해 1.27 배 밝게 나타나며
k 값의 오차율을 0.01%로 늘리게 되면 종래 방법 결과에 비해 1.34 배 밝게 나타난다. 또한, 도 9의 결과에서 알 수 있듯이 contrast parameter
값과
k값을 모두 고려한 결과에서도 본 실시예에 따른 밝기 보정 방법이 기존의 방법보가 뛰어난 성능의 우수함을 가지는 것을 확인할 수 있다.