KR20090007793A

KR20090007793A - 프로젝터 어레이 정렬 방법 및 시스템

Info

Publication number: KR20090007793A
Application number: KR1020087030103A
Authority: KR
Inventors: 바르 제로엔 반; 라메쉬 라스카르; 제이 이 손튼
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 2006-07-10
Filing date: 2007-05-31
Publication date: 2009-01-20
Also published as: EP1977594B1; US20080007700A1; KR101016136B1; JP2009521821A; EP1977594A1; WO2008007507A1; CN101385337A; CN101385337B; JP4942752B2

Abstract

본 시스템 및 방법은, 각 프로젝터에 대해 파라메트릭 조 제어를 독립적으로 수행하고, 각 프로젝터 및 인접 프로젝터에 대해 논파라메트릭 미세 정렬을 합동으로 수행함으로써 프로젝터의 어레이를 정렬한다. 논파라메트릭 미세 정렬은 또한 각 프로젝터에 대해 독립적으로 수행될 수 있다.

Description

프로젝터 어레이 정렬 방법 및 시스템{METHOD AND SYSTEM FOR ALIGNING AN ARRAY OF PROJECTORS}

본 발명은 전반적으로 리어-프로젝션 디스플레이 장치(rear-projection display devices)에 관한 것으로, 보다 구체적으로, 인접하는 리어-프로젝션 디스플레이 장치의 어레이를 정렬하는 것에 관한 것이다.

지휘 및 제어 환경에서 리어-프로젝션 디스플레이 장치들(타일)의 어레이를 이용하는 것이 일반적이다. 대형 타일 어레이(array of tiles)의 경우, 단일의 디스플레이 유닛으로는 이루어질 수 없는 대형 화상을 고해상도로 디스플레이 하는 것이 가능하다. 종종, 통합 하드웨어를 이용하여 상이한 화상을 동시에 디스플레이한다. 예컨대, 감시 용도(surveillance application)로, 다양한 타일에 의해 영상(videos), 평면도(floor plans) 및 환경 데이터가 동시에 디스플레이될 수 있다.

전형적인 디스플레이 구성에서는, 타일이 3 또는 4행 높이 및 흔히 10열 폭으로 적층된다. 복수의 리어-프로젝션 타일이 하나의 디스플레이로 구성되는 경우, 수평 및 수직 방향에서 인접하는 타일 사이에 틈(gap)(이음매:seams)이 존재한 다. 이들 이음매의 폭과 높이를 최소화하기 위해, 무경계 디스플레이 스크린을 갖도록 타일이 설계되며 각 프로젝션은 전체 스크린을 커버한다. 대형 타일 어레이의 통상의 시거리(viewing distances)에서는, 약 1㎜의 물리적 연결 이음매를 반드시 뚜렷하게 알아챌 수 있는 것은 아니다.

인접하는 타일의 프로젝션이 이음매에 의해 분리되더라도, 타일을 정확히 정렬해야 할 필요가 있다. 프로젝션 및 스크린이 물리적으로 완벽하게 정렬된 경우, 즉, 프로젝션의 코너가 스크린의 코너에 정확히 대응하는 경우, 당연히 정렬되었다고 가정할 수 있다. 그러나, 이것은 (a)타일의 배열에 의해, 예컨대, 스크린이 완벽하게 직선의 격자를 형성하고, (b)움직이더라도 정렬 상태를 유지하는 타일을 구성할 수 있으며, (c)각 프로젝션이 완벽하게 직사각형으로 균일한 간격을 갖는 경우에만 그러하다. 이러한 배열에서 상기한 (a), (b) 및 (c) 중 어느 하나의 조합이라도 만족하지 않으면 타일간에 오정렬은 발생한다.

심지어 전체 디스플레이 구성에 대하여 시거리가 비교적 먼 경우에는, 아주 작은 불연속도 관찰자(viewer)에게는 불쾌감을 주는 것으로 알려져 있다. 이것은, 디스플레이된 내용이 동적이고 스크린간의 불연속에 평행한 방향으로 이동할 때 특히 심하다.

대조적으로, 디스플레이 표면상에서 프로젝션을 중첩시킬 수 있는 프론트 프로젝션 시스템 및 리어 프로젝션 시스템은 중첩 영역에서 매끄러운 천이를 제공하도록 프로젝션의 기여(contributions)를 평균화할 수 있는 장점을 갖는다. 통상적으로, 이것은, 2002년 10월 컴퓨터 그래픽 및 응용에 관한 제 10 차 태평양 컨퍼런 스에서, 라스카르 등의 "복수 화면 혼합(Blending Multiple Views)", 145-153페이지에 개시된 바와 같이, 투사된 이미지의 중첩 부분에서 이미지를 사전혼합(pre-blending) 및 요곡(warping)시킴으로써 행해진다. 이것은 정렬이 불완전할 때 특히 유용하다.

그러나, 작은 이음매를 갖거나 갖지 않고 리어 프로젝터가 인접하여 있을 때는 혼합 기법(blending technique)을 이용할 수 없으므로, 정렬 에러는 최소화되어야 한다. 더욱이, 실시간 데이터 및 이미지용 타일 디스플레이에서는, 상이한 소스로부터의 출력 이미지를 사전혼합 및/또는 요곡시키는 것이 현실적이지 않다.

프론트-프로젝터 시스템을 정렬하는데 카메라가 이용되어 왔다. 출력 이미지가 투사되면, 카메라는 투사된 이미지의 입력 이미지를 획득하며, 정렬 프로시쥬어에 의해 오정렬을 보정한다. 다수의 경우에, 정렬은, 디스플레이 전에 출력 신호의 혼합 및 요곡을 수반하는데, 1999년 10월 IEEE Visualization에서 라스카르 등의 "카메라 기반 등록을 이용하는 멀티프로젝터 디스플레이(Multiprojector Displays using Camera-based Registration)", 2002년 1월 컴퓨터 비젼에 관한 제 5 차 아시아 컨퍼런스 161-168페이지에서 라스카르 등의 "고속 레지스트레이션에 의해 저비용 프로젝터 모자이크(A Low Cost Projector Mosaic with Fast Registration)" 및 2001년 컴퓨터 비젼에 관한 국제 컨퍼런스에서 석쌩커 등의 "스마터 프리젠테이션:카메라-프로젝터 시스템에서 호모그래피 활용(Smater Presentations:Exploiting Homography in Camera-Projector Systems)"을 참조하길 바란다. 이들 경우에서는 프로젝터의 자세(pose)를 획득하기 위한 분 해(decomposition)가 불필요하다. 대신에, 카메라와 프로젝터간의 호모그래피(homography)가 프로젝터 입력 이미지를 요곡시키기 위해 직접 적용될 수 있다.

대형 멀티-프로젝터 디스플레이의 경우, 전체 디스플레이가 정렬됨을 보장하기 위해 몇가지 전역 레지스트레이션(global registration)이 요구되는데, 2002년 IEEE 비쥬얼라이제이션에서 첸 등의 "카메라 호모그래피 트리를 이용하는 라지-포맷 멀티-프로젝터 디스플레이의 스케일러블 정렬(Scalable Alignment of Large-Format Multi-Projector Displays Using Camera Homography Trees)" 및 2003년 ACM Trans. Graph., 22(3):809-818에서 라스카르 등의 "아이램프:기하학적으로 인식 및 자기-구성하는 프로젝터(ilamps:geometrically aware and self-configuring projectors)"를 참조하길 바란다.

다른 시스템은 프로젝션이 상이한 위치로 향하도록 이미지 요곡 및 미러 조정의 조합을 행하는데, 이것에 관하여는, 2001년 9월, 유비쿼터스 컴퓨팅 2001(Ubicomp"01)에서 핀하네즈 등의 "에브리웨어 디스플레이 프로젝터:유비쿼터스 그래피컬 인터페이스 생성용 디바이스(The Every where Displays Projector:A Device to Create Ubiquitous Graphical Interfaces)" 및 2001년 3월 컴퓨팅 시스템에 있어서 휴먼 팩터에 관한 ACM 컨퍼런스(CHI 2001)에서 핀하네즈 등의 "조정가능 프로젝터 및 카메라를 이용하여 표면을 대화형 디스플레이로 변환(Using a Steerable Projector and a Camera to Transform Surfaces into Interactive Displays)"을 참조하기 바란다. 표면상으로 프로젝션에 의해 도입된 왜곡은 카메라 이미지로부터 산출될 수 있고, 출력 이미지를 사전요곡(pre-warping)시킴으로써 보상될 수 있다. 조정가능 미러는 프로젝션을 디스플레이 표면의 상이한 영역으로 향하게 한다. 미러는 표면상으로의 프로젝션으로부터 발생하는 왜곡에 대해서는 보상하지 않는다.

복수의 인접하는 리어-프로젝션 장치를 자동으로 정렬하는 것이 바람직하다.

본 발명의 시스템 및 방법은 각 프로젝터에 대해 독립적으로 파라메트릭 조 정렬(prametric coarse alignment)을 수행함으로써, 또한 합동으로 각 프로젝터 및 인접 프로젝터에 대해 논파라메트릭 미세 정렬(non-parametric fine alignment)을 수행함으로써 프로젝터 어레이를 정렬한다. 논파라메트릭 미세 정렬은 또한 각각의 프로젝터에 대해 독립적으로 수행될 수도 있다.

발명의 효과

본 발명은 복수의 리어-프로젝션 타일(multiple rear-projection tiles)을 자동으로 정렬하는 시스템 및 방법을 제공한다. 파라메트릭 조 정렬 스테이지를 적용한 후, 논파라메트릭 미세 정렬 스테이지를 수행함으로써, 수동 정렬에 매우 가까운 정확도를 달성할 수 있다. 자동 정렬은 수동 정렬에 비해 몇가지 장점을 갖는다. 첫째, 자동 정렬은 정렬을 수행하기 위해 정렬 전문가를 요구하지 않는다. 각 타일이 프로젝션을 조정하는데 6가지 자유도(상하, 좌우, 전후)를 갖는다고 하면, 정렬은 폭넓은 경험이 없는 사람에게는 수월하지 않다.

두 번째 장점은, 자동 정렬은 리어-프로젝션 타일의 동시 갱신 능력을 활용할 수 있다는 사실이다. 따라서, 정렬을 수행하는데 필요한 시간이 수동 정렬에 비해 현저히 감소된다.

도 1은 본 발명의 일실시예에 따른 리어-프로젝션 장치 어레이의 정면도,

도 2a는 본 발명의 일실시예에 따른 리어-프로젝션 장치의 측면도,

도 2b는 본 발명의 일실시예에 따른 정렬 방법의 흐름도,

도 3은 이상적인 지점과 현재 프로젝션 사이의 x, y 델타를 도시한 도면,

도 4는 인접하는 프로젝션의 특징점들(feature points)을 도시한 도면,

도 5는 본 발명의 일실시예에 따른 개별 프로젝터의 제 1 단계 정렬의 흐름도,

도 6은 본 발명의 일실시예에 따른 개별 프로젝터의 제 2 단계 정렬의 흐름도,

도 7은 본 발명의 일실시예에 따른 복수의 프로젝터를 정렬하는 흐름도,

도 8은 이상적인 특징점 정렬을 도시하는 도면,

도 9a는 본 발명의 일실시예에 따른 정렬 전의 특징의 패턴을 도시하는 도면,

도 9b는 본 발명의 일실시예에 따른 정렬 후의 특징의 패턴을 도시하는 도면이다.

도 1은 본 발명에 따른 리어-프로젝션 장치("타일(tiles)"이라고도 함)의 어레이(110)을 도시한다. 어레이는, 예컨대, 4행 및 10열의 타일(200)을 갖는다. 기지의 특징(known features)을 갖는 정렬 패턴이 타일의 스크린상으로 배면 투사(rear-project)된다. 이 특징은 스크린 화소에 기인한다. 본 발명은, 도 2a에 도시되는 바와 같이, 카메라(120)에 의해 획득된 입력 이미지(121)를 이용하여 타일을 정렬하는 시스템 및 방법을 제공한다. 여기서는 본 발명이 중첩하지 않는 리어-프로젝터의 어레이에 대해 설명되었지만, 본 발명의 실시예에 따른 방법은 또한 중첩하는 리어-프로젝터, 또는 비중첩 또는 중첩하는 이미지를 디스플레이하는 프론트-프로젝터에도 적용될 수 있다.

도 2a는 한 개 타일(200)의 측면도를 도시한다. 이 타일은 디스플레이 스크린(210), 프로젝터(220), 미러(230), 및, 프로젝터가 탑재되는, 6자유도(6 DoF), 즉, 3 평행이동 및 3 회전 조정가능 플랫폼(240)을 포함한다. 광로(221)는 45o 각도로 탑재된 미러에 의해 "꺽인다(folded)". 프로젝터의 자세(pose)는 플랫폼의 6개의 스테핑 모터에 의해 조정될 수 있다. 모터는 모터의 스테핑 단위(stepping unit)로 프로젝터를 이동시킨다. 그러므로, 이후 설명되는 바와 같이, 모터의 스테핑 단위와 스크린 화소간의 관계를 결정한다.

카메라(120)는 입력 포트를 통해, 통상의 컴퓨터 시스템(130), 예컨대, PC 또는 랩톱 디바이스(laptop device)에 접속된다. 컴퓨터 시스템은 마이크로프로세서, 메모리, 버스 및 I/O 장치를 포함한다. 컴퓨터 시스템은 또한 출력 포트를 통 해 프로젝터에 접속된다.

시스템에는 왜곡을 발생하는 몇가지 원인이 있을 수 있다. 카메라 렌즈 및/또는 프로젝터 렌즈에서의 배럴 왜곡(barrel distortion)이 있을 수 있다. 또한, 미러(230) 곡률에 기인한 비선형 왜곡, 및 스크린(210)의 곡률에 기인한 소량의 왜곡이 있을 수 있다. 이들 왜곡은 타일간의 오정렬을 야기한다. 그러므로, 컴퓨터 시스템은 도 2b에 도시된 바와 같이 본 발명의 일실시예에 따른 정렬 방법(250)을 수행할 수 있다.

본 방법은 먼저 각 프로젝터에 대해 독립적으로 파라메트릭 조 정렬(500)을 수행한다. 그리고 나서, 선택적으로, 각각의 프로젝터에 대해 독립적으로 제 1 논파라메트릭 미세 정렬(600)을 수행한다. 마지막으로, 각 프로젝터 및 인접 프로젝터에 대해 합동으로 제 2 논파라메트릭 정렬(700)을 수행한다. 파라메트릭 정렬은 몇 개의 수학식을 풀어서 조정 파라미터를 직접 계산하는 것이다. 논파라메트릭 정렬은 정렬 에러를 최소화하도록 시도하는 반복적 접근법(iterative approach)이다. 제 1 논파라메트릭 정렬은 각 프로젝터에 대해 독립적으로 수행되며, 제 2 논파라메트릭 정렬은 각 프로젝터와 인접 프로젝터에 대해 합동으로 수행된다.

정렬 중에, 각 프로젝터는 기지의 특징을 갖는 정렬 패턴(프로젝션)을 스크린상에 디스플레이한다. 도 9a 및 9b는 본 발명의 실시예에 따른 정렬 전후의 2×2 타일 어레이에 대한 특징 패턴을 도시한다. 본 발명에서는 2D 좌표 및 3D 좌표 양쪽에 대해 동차 표현(homogeneous notation)을 이용한다. 본 발명에서 주목해야 할 점은, 광학적으로 프로젝터는 본질적으로 카메라와 유사하다는 것이다. 이것으 로 인해 프로젝터를 핀홀 디바이스(pinhole device)로서 모델화할 수 있다. 리어-프로젝션 타일의 스크린(210)은 3D 공간에서 좌표 X_S=(x, y, z, 1)^T(T는 전치 연산자(transpose operator)임)를 갖는 평면(plane)으로서 정의된다. 스크린은 카메라(120)에 의해 관찰될 수 있다. 본 발명에서는 스크린의 평면이 Z=0 깊이의 평면과 일치한다고 가정한다. 따라서, X_S=(X,Y,0,1)^T이다.

카메라 이미지 평면의 좌표는 X_C=(U,V,1)^T로 나타내며, 프로젝터 이미지 평면의 좌표는 X_P=(U,V,1)^T이며, 여기서 동차 좌표(u,v,w)에 대해 U=u/w이고 V=v/w이다. 다음 수학식(1)의 카메라(프로젝터) 프로젝션 행렬을 이용하여 3D 스크린 점들을 2D 이미지 점들에 관련시킬 수 있으며, 여기서 A는 카메라(프로젝터)의 고유 파라미터의 행렬이고, R, T는 월드 좌표계(world coordinate system)에 대한 회전 및 평행이동(translation)이다.

이 경우에, 월드 좌표계는 카메라로부터 보았을 때, 스크린의 상부 좌측 코너에 위치된 원점을 갖는다.

파라메트릭 정렬(parametric alignment)

앞서 설명된 바와 같이, 프로젝터(220)는 6DoF(Degrees of Freedom) 조정가 능 플랫폼(240) 상에 탑재된다. 여기서 6 자유도(six degrees of freedom)는 회전에 대한 3자유도와 평행이동에 대한 3자유도를 포함한다. 기하학적 정렬 방법(250)의 목적은

스크린에 대해 프로젝터의 현재 자세(current pose)(R,T)를 산출하고,

현재 자세와 이상적 자세(ideal pose) 사이의 차(difference)를 산출하고,

그 차에 따라 플랫폼을 조정하는

것이다.

R과 T로의 분해(Decomposition into R and T)

스크린에 대해 프로젝터의 자세를 산출하기 위해, 수학식(1)과 스크린 코너를 나타내는 3D 점들로부터 다음 수학식(2)를 얻는다.

여기서 A[R₁R₂｜T]는 3×3 행렬이고, 이것은 실제로는 스크린 평면에 의해 생기는 호모그래피(homography)이다. 행렬 A가 기지(旣知)인 경우, 호모그래피는 역행렬 A^-1로 사전승산(pre-multiplying)함으로써 R₁, R₂, T로 분해될 수 있다.

도 5에 도시된 바와 같이, 본 발명의 목적은 프로젝터에 대해 R과 T를 t산출하는 것이다. 이를 달성하기 위해, 다음과 같은 제 1 조 정렬 스테이지(500)의 단 계들을 수행한다. 우선, 프로젝터의 고유 파라미터(Ap)를 산출(510)한 후, 스크린의 이미지 평면과 카메라의 이미지 평면 사이의 호모그래피(H_cs)를 산출(520)하며, 이들 두 단계는 한번에 수행된다. 그 후, 프로젝터의 이미지 평면과 카메라의 이미지 평면 사이에 호모그래피(H_PC)를 산출한다. H^-1 _pc·H_sc로부터 호모그래피(H_sp)를 산출한다. 그 결과가 바람직한 정확도를 달성하는지를 테스트(550)한 후, 달성하였으면 그 결과를 승인(accept)(599)한다. 그렇지 않은 경우, 최대 반복 회수가 수행되었는지 판정(560)하고, 수행되었으면 중지한다.

그렇지 않으면, 역행렬 A^-1 _p에 의해 H_sp를 분해(570)하여 회전 행렬 R₁, R₂ 및 평행이동 행렬 T를 얻고, 이들을 모터 조정치(motor adjustments)로 변환(580)하며, 그에 따라 플랫폼을 조정(590)하고 반복(595)한다.

회전 행렬(R)의 제 3 열을 산출하기 위해 R이 정규직교(orthonormal)라는 특성을 이용하여 R₃=R₁×R₂를 구한다.

프로젝터 고유 파라미터(projector intrinsic parameters)

호모그래피 H_sp를 분해(570)하기 위해, 본 발명은 프로젝터의 고유 파라미터를 이용한다. 이러한 교정(calibration)은 조정가능한 플랫폼을 이용하여 스크린에 대해 적어도 3가지 상이한 자세로 프로젝터를 이동시킴으로써 수행된다. 이러한 프로세스는 또한 프로젝터 렌즈에 대한 왜곡 파라미터의 추정치(estimates)를 생성할 수 있음에 유의한다. 원칙적으로는, 기하학적 정렬을 행하기 전에 각 리어-프로젝션 타일에 대해 개별적으로 고유 파라미터를 추정할 수 있다. 불행히도, 고유 파라미터를 추정하는 것은, 프로젝터의 자세를 변경하기 위해 플랫폼을 기계적으로 조정함으로써 야기되는 지연(latency)으로 인해 시간이 소요된다. 그러므로, 본 발명에서는 리어-프로젝션 타일의 특정 모델에 대하여 단지 1회 고유 파라미터를 추정한다. 본 발명에서 동일한 모델을 갖는 모든 다른 타일은 유사한 고유 파라미터를 갖는다고 가정한다.

이상적인 프로젝터 자세(ideal projector pose)

플랫폼의 조정은 현재 자세와 이상적 자세간의 차로서 계산된다. 본 발명은 이상적 자세를, 프로젝션 사각형의 4 코너를 스크린의 4 코너에 정확히 맵핑하는 프로젝터에 대한 자세로서 정의한다. 이상적인 자세의 경우, 회전은 없고 R_ideal은 단위 행렬(identity matrix)로 설정된다고 가정한다. 이 때, 스크린에 대한 프로젝터의 이상적 위치는 프로젝터의 고유 파라미터와, 스크린 코너와 프로젝션 코너간의 4개의 대응에 의해 결정된다. 수학식(2)를 이용하여, 초점 길이 f_x 및 f_y, 주점(principal point) (u⁰, v⁰)^T, 스크린 코너(X, Y, 0)^T, 및 프로젝터 화소(u, v)^T라고 할 때, 다음과 같이 쓸 수 있다.

1024 해상도 이미지의 경우, 원점(0, 0, 0)^T에 있는 스크린 코너가 화소 (0, 0)^T 에 대응하고, (1, 0, 0)^T은 (1024, 0)^T에 대응한다고 하면, 다음과 같이 수학식(4)를 쓸 수 있다.

수학식(4)로부터 t를 결정할 수 있다.

본 발명은 또한 Y- 및 v- 좌표와 초점 길이 f_X에 대해서 수학식(4) 및 (5)를 산출할 수 있다. 이와 같이 해서 t_Z를 생성하는 두 개의 수학식이 얻어지고, 이들은 값이 서로 유사하므로, 그 값들을 평균해서 최종 t_Z를 구한다. t_Z가 주어지면, t_X 및 t_Y에 대해 풀어서 T_ideal 값들을 구할 수 있다.

조정(adjustment)

프로젝터의 현재 자세가 주어지면, 회전에 대한 3 자유도를 회전 행렬R로부터 구해진 오일러각(Euler angles)으로 되도록 취한다. 나머지 평행이동에 대한 3 자유도는 T-T_ideal로부터 산출된다. 그리고 나서, 6DoF 플랫폼(240)의 모터에 대해 조정(590)을 행한다.

조정의 제 1 조 정렬 스테이지(500)를 수회 반복하여 수행한다. 이것은 에 러 잔차(error residuals)의 몇가지 원인 때문에 필요하다. 첫째, 카메라 고유 파라미터 잔차 에러가 있다. 다음으로, 프로젝터 잔차 에러의 고유 파라미터의 잔차 에러가 있다. 이들 파라미터를 추정한 경우에도 잔차 에러의 다른 원인으로서 프로젝터 렌즈 왜곡이 있다. 잔차 에러의 마지막 원인은 스크린이 완전 평면일 수 없다는 사실에 기인한다.

실제 프로젝션 코너는 충분한 정밀도로 직접 추정될 수 없기 때문에 또는, 프로젝션 코너가 스크린 사각형 외측에 있음으로 인해 코너가 간단히 직접 추정될 수 없기 때문에, 코너는 호모그래피로부터 추정된다. 앞서 설명된 잔차 에러로 인해, 이러한 외삽 프로세스(extrapolation process) 자체가 프로젝터 코너 위치에서 에러를 도입한다. 다수회 반복하는 동안 갱신 단계를 수행하더라도, 스크린과의 정렬의 최종 정확도는 앞서 언급된 잔차 에러의 크기에 의해 제한된다. 그러므로, 최대 2회 반복에 대해서만 조 조정을 수행한다.

본 발명에서 이용하는 특정 유형의 리어-프로젝션 타일에서는 복수 타일의 플랫폼들을 동시에 조정할 수 있다. 이에 따라, 각 조정이 순차로 수행되는 경우에 비교해서 속도가 향상된다. 초기 오정렬은 최초 반복시에 비교적 큰 갱신을 요구할 수 있고, 따라서, 속도 증가라는 것은 결국 오정렬 프로세스 동안 상당한 시간 절약을 의미한다.

논파라메트릭 정밀도의 정치화(non-parametric accuracy refinement)

정렬 프로세스의 스테이지(600)는 제 1 조 정렬 스테이지(500) 후 얻어진 결 과를 미세조정하기 위한 제 1 논파라메트릭 접근법이다. 제 1 스테이지의 초기에 있을 수 있는 큰 오정렬은 제 2 스테이지에 의해 감소된다. 남아 있는 오정렬은 몇개 화소의 크기일 수 있다. 프로젝터가 이상적인 정렬로부터 수개 화소내에 있는 경우, 두가지 가정을 할 수 있다.

1.각 자유도는 다른 자유도와 독립이고,

2.각 조정은 성질상 대략 선형이다.

단일 리어-프로젝션 타일(single rear-projection tile)

도 6에 도시된 제 2 스테이지에서 프로젝터를 스크린의 코너 및 전체 스크린에 걸친 특징점들(features points)과 정렬한다. 스크린 좌표의 이들 특징점들은 이상적인 점들로서 표시한다(도 3 참조). 도 3은 이상적인 점들과 현재 프로젝션간의 x,y 델타를 나타낸다. 정렬된 상태에서, 프로젝션 전체에 걸친 특징은 이상적인 점들과 정렬된다. 앞서 설명된 바와 같이 호모그래피(H_cp)를 산출(610)한다.

이상적인 점과 현재 프로젝션 위치간의 델타를 6자유도에 대한 선형 의존성으로서 나타낼 수 있다. 실제로, 스크린상의 각 특징점은 이러한 하나의 의존성을 제공하며, 이 문제를 선형 연립 방정식으로서 다음과 같이 수식화할 수 있다.

행렬 A에서의 델타는 6 자유도 각각에서 작은 모터 움직임에 대해 측정된 것들이다. b에서의 델타는 도 3에 도시된다. 카메라 좌표를 이용하여 모든 델타를 산출(620)한다. 그리고 나서, H_sc를 이용하여 스크린 좌표로부터 카메라 좌표로 이상적인 점들을 변환한다. A.x=b를 풀고(620), 플랫폼 모터를 조정(640)한다. 원하는 결과가 성취되었는지 테스트(650)하고, '아니오'이면, 결과를 체크(670)하고, '예'이면 결과를 승인(660)한다. 그렇지 않으면 반복(680)한다.

수학식(6)은 행렬 A의 의사 역행렬인 2n×6 행렬을 계산함으로써 선형 연립 방정식을 풀수 있음을 나타낸다. 의사 역행렬은 6×6행렬인 A^TA의 역행렬의 계산을 필요로 한다. 본 발명은 A^TA가 정칙행렬(non-singular)이고 풀랭크(full rank)라고 가정한다. 의사 역행렬은, 랭크 부족(rank deficiency)를 처리하기 위해 특이값 분해(singular value decomposition:SVD)를 이용하여 대신 계산될 수 있다. 그러나, A^TA이 정칙 행렬인 상황에 마주칠 것을 예상하지 않는다. 해(solution)는 각 6자유도 모터가 조정되어야 하는 단위 스텝을 직접 지정한다.

교정(calibration)

원칙적으로, 각 리어-프로젝션 타일에 대해 개별적으로, 제 2 단계 동안 행렬 A의 델타(delta)를 산출할 수 있다. 그러나, 실제로는, 특정 모델 리어-프로젝션 타일에 대해 오프라인 프로세스에서 이들 델타를 "교정(calibrate)"한다. 그리고 나서, 모든 다른 동일 모델의 리어-프로젝션 타일은 근사적으로 유사한 델타를 갖는다고 가정한다.

교정 스텝은, 프로세스가 시작되기 전에, 리어-프로젝션 타일이 근사적으로 스크린에 대해 정렬될 것을 요구한다. 그리고 나서, 이러한 현재 근사적으로 정렬된 상태에 대해 특징점, 즉, 스크린의 화소의 위치를 산출한다. 다음으로, 소수의 스텝 단위에 대해 단일 자유도 모터를 움직여서 특징점들의 위치를 다시 산출한다. 이렇게 하여, 스텝 단위와 스크린상 화소간의 관계를 얻는다.

x좌표와 y좌표간의 델타는 저장된다. 다음으로, 앞서의 자유도 모터의 이동을 원상복귀하고, 특징점의 위치를 재추정하며, 다른 단일 자유도 모터를 움직이는데, 이것은 6개의 자유도 모터가 모두 교정될때까지 반복한다. 각 원상복귀후의 특징점의 재추정은 모터의 반복성 부정확성으로 인해 필요하다. x좌표와 y좌표간의 델타를 카메라 좌표에 저장한다.

복수의 리어-프로젝터(multiple rear-projectors)

수학식(6)은 단일의 리어-프로젝션 타일에만 적용된다. 본 발명의 목적은, 도 7에 도시된 바와 같이, 복수의 리어-프로젝션 타일의 구성을 정렬하는 것이다. 앞서와 같이, 호모그래피(H_cp)를 산출(710)한다. 그리고 나서, 각 타일에 대해, 델타를 산출(720)하고, 근방과의 델타를 산출(730)하고, A·x=b를 풀고(740), 모터를 조정(750)한다. 최대 반복 회수에 도달했는지 체크(760)하여, 중자허거나(770), 그렇지 않으면 각 타일에 대해 반복(780)한다.

특징 패턴의 프로젝션은 각 타일의 스크린과, 그리고, 인접하는 스크린상의 프로젝션과 정렬되어야 하기 때문에, 복수 타일의 정렬은 더욱 복잡하다. 이러한 정렬을 더욱 어렵게 하는 다른 요소는, 인접하는 프로젝션간에 중첩이 없다는 사실이다. 이상적인 경우에, 프로젝션은 인접하는 스크린의 이음매를 따라 기하학적으로 일치해야 한다.

본 발명의 시스템에서, 스크린은 약 1㎜ 간격을 두고 떨어져 있으며, 프로젝션은 이 간격을 보상해야 한다. 간격을 보상하기 위해, 화소의 최외측 링(outermost ring)에 대해, 화소의 50%가 가시(visible)이어야 하고, 나머지 50%는 스크린 경계를 넘어 연장될 것이 요구된다.

도 8에 도시된 바와 같이, 이와 같은 보상에 의해, 근방 프로젝션은 1㎜ 간격의 중심선(800)에서 접해야 한다. 프로젝션의 최외측 에지(outermost edges)를 따라 특징점을 규정하면, 이상적인 경우에, 이들 특징은 1㎜ 간격의 중심선을 따라 정렬된다. 물론, 실제로는 이들 특징점들을 직접 측정할 수 없고, 대신에 호모그래피를 이용하여 외삽한다.

실제의 인접하는 스크린이 있는 경우, 특징점들은 4개의 인접 이음매를 따라 외삽된다. 특징점들이 알려진 후, 도 4에 도시된 바와 같이, 오정렬을 또 다시 특징점들간의 델타로서 표현할 수 있다.

수학식(7)은 상(t), 하(b), 좌(l), 우(r) 근방에 대한 추가의 행을 갖는 수학식(6)을 포함한다.

이 선형 연립 방정식의 해를 풀면(630) A⁺.b이다. 수학식(7)에 수학식(6)을 넣음으로써, 각 리어-프로젝션 타일이 자신의 스크린과 정렬을 유지하면서 인접하는 타일에도 정렬되는 것을 보장한다.

수학식(7)의 선형 시스템으로서 공식화되는 근방 타일간의 정렬 문제에 있어서 가중 방식(weighting scheme)을 적용할 수 있다. 가중치(weights)는 선형 방정식 A⁺.b에 의해 주어지는 최소 제곱 해(least squares solution)에 영향을 준다. 가중 방식은 개별 타일의 특징점들에 더욱 중점을 제공하거나 또는 대신에 하나 또는 복수의 인접하는 타일의 이음매를 따른 특징점들에 더욱 중점을 제공할 수 있 다. 개별 타일의 특징점들에 중점을 더욱 부여하면 개별 타일의 스크린과의 정렬은 유지하지만, 인접하는 타일들과의 정렬은 반드시 유지되지 않는다. 하나 또는 복수의 인접 타일의 이음매를 따른 특징에 대해 더욱 중요성을 부여하면, 인접하는 타일 사이에 정렬이 유지되지만, 개별 타일의 스크린에 대해서는 반드시 정렬이 유지되는 것은 아니다. 수학식(7)은 개별 타일의 특징 및 인접 타일의 이음매를 따른 특징이 (값 1로) 동일 가중치를 갖는 경우를 나타낸다.

비선형 왜곡에 대한 보상

상기한 계산은 모두가, 시스템내에 비선형 왜곡이 거의 또는 전혀 존재하지 않는 때에만 정확하다. 앞서 설명된 바와 같이, 이것은 당연히 여기서는 적용되지 않는다. 수 개의 상이한 원인이 전체적인 비선형 왜곡에 기여한다. 비선형 왜곡의 존재하에서 호모그래피를 이용하여 특징 위치를 외삽(extrapolating) 및 내삽(interpolating)함으로써 큰 에러를 초래할 수 있다. 스크린 전체에 걸친 이상적인 점들은 호모그래피 H_sc 에 근거하여 내삽되며, 인접하는 타일 사이의 이음매를 따른 특징점들은 호모그래피 H_cp에 근거하여 외삽된다. 식 (6) 및 (7)의 해가 최소 제곱법에 의해 계산되므로, 최선의 가능한 정렬은 따라서 감소된 정확도를 갖는다.

비선형 왜곡은 수 개의 상이한 원인으로부터의 왜곡의 합성이고, 각 하나를 독립하여 관찰하는 것이 불가능하므로, 본 발명에서는 총 비선형 왜곡을 추정하고자 한다. 복잡한 형식의 왜곡을 획득하기 위해, 다음과 같은 모델을 이용하여 3차 의 2변수 다항식(bi-variable polynomial of degree 3) f_poly를 추정한다.

y'에 대하여 마찬가지의 다항식을 추정한다. 또한, 최소 제곱법으로 다항식 파라미터를 계산할 수 있다. 다항식이 주어지면, 다음과 같이 해서 카메라 좌표의 이상적인 점들을 계산할 수 있다.

여기서 ρ( )는 투영 제산 연산자(projective divide operator)이다. x 및 y에 대해 단 한번 f_poly를 추정하는 것이 아니라, 각 반복에 대해 f_poly를 추정한다. 그 이유는, 이상적인 정렬에 가까워짐에 따라 f_poly에 대한 추정치는 향상하기 때문이다.

조정(adjustment)

논파라메트릭 미세 정치화 스테이지는 수회 반복하여 수행된다. 정렬이 절대 대역 최소치(absolute global minimum)에 수렴하지 않더라도, 반복적인 실험은, 8회 반복 후에, RMS 에러가 에러 플로어(error floor)에 도달함을 보여준다. 따라서, 논파라메트릭 정치화 스테이지를 최고 8회 반복을 수행하며, 보다 작은 반복 회수로 에러 플로어에 도달한 경우 조기 종료한다.

이상 본 발명이 몇가지 바람직한 실시예로서 설명되었지만, 본 발명의 사상 및 범주내에서 다양한 다른 적응 및 변경이 행해질 수 있음을 이해해야 한다. 그러므로, 첨부된 특허청구범위의 목적은 본 발명의 사상 및 범주내에 놓이는 이러한 모든 변경 및 수정을 포함하는 것이다.

Claims

프로젝터 어레이(array of projectors)를 정렬하는 방법으로서,

각 프로젝터에 대해 파라메트릭 조 정렬(parametric coarse alignment)을 독립적으로 수행하고,

각 프로젝터 및 인접하는 프로젝터에 대해 논파라메트릭 미세 정렬(non-parametric fine alignment)을 합동으로 수행하는

것을 포함하는 프로젝터 어레이 정렬 방법.
제 1 항에 있어서,

상기 정렬을 수행하는 동안 각 프로젝터의 스크린상에 정렬 패턴(alignment pattern)을 투사하고,

상기 정렬을 수행하는 동안 상기 정렬 패턴의 이미지를 획득하는

것을 더 포함하는 프로젝터 어레이 정렬 방법.
제 2 항에 있어서,

상기 이미지로부터, 상기 프로젝터의 스크린에 대한 각 프로젝터의 현재 자세(current pose)를 산출하고,

각 프로젝터의 상기 현재 자세와 이상적인 자세(ideal pose) 사이의 차(difference)를 산출하고,

상기 차에 따라 각 프로젝터의 자세를 조정하는

것을 더 포함하는 프로젝터 어레이 정렬 방법.
제 2 항에 있어서,

상기 각 프로젝터에 대하여,

상기 스크린과 상기 카메라 사이의 호모그래피(homography) H_cs를 산출하고,

상기 프로젝터와 상기 카메라 사이의 호모그래피 H_pc를 산출하고,

H^-1 _pc·H_sc에 따라 상기 스크린과 상기 프로젝터 사이의 호모그래피 H_sp를 산출하는

것을 더 포함하는 프로젝터 어레이 정렬 방법.
제 4 항에 있어서,

상기 각 프로젝터에 대하여

상기 프로젝터의 고유 파라미터(intrinsic parameters)의 역행렬 A^-1 _p로 호모 그래피 H_sp를 분해하여 회전(rotation) 행렬 R과 평행이동(translation) 행렬 T를 얻고,

그에 따라 상기 프로젝터의 자세를 조정하는

것을 더 포함하는 프로젝터 어레이 정렬 방법.
제 1 항에 있어서,

상기 프로젝터는 프론트 프로젝터(front projectors)인 프로젝터 어레이 정렬 방법.
제 3 항에 있어서,

각 프로젝터는 모터를 갖는 6 자유도 플랫폼(six degree of freedom platform) 상에 탑재되고,

상기 모터는 모터의 스테핑 단위(stepping units)에 따라 상기 프로젝터의 자세를 조정하는

프로젝터 어레이 정렬 방법.
제 5 항에 있어서,

상기 프로젝터의 고유 파라미터는 상기 스크린에 대해 적어도 3개의 상이한 자세로 상기 프로젝터를 움직임으로써 산출되는 프로젝터 어레이 정렬 방법.
제 8 항에 있어서,

상기 고유 파라미터에 근거하여, 상기 스크린에 대한 상기 프로젝터 자세의 이상적인 자세를 산출하는 것을 더 포함하는 프로젝터 어레이 정렬 방법.
제 3 항에 있어서,

상기 프로젝터의 상기 조정은 동시에 행해지는 프로젝터 어레이 정렬 방법.
제 7 항에 있어서,

상기 스테핑 단위(stepping units)와 상기 스크린상 화소 간의 관계를 산출하는 것을 더 포함하는 프로젝터 어레이 정렬 방법.
제 1 항에 있어서,

상기 정렬을 수행하는 동안 상기 프로젝터의 비선형 왜곡(non-linear distortion)을 추정하는 것을 더 포함하는 프로젝터 어레이 정렬 방법.
제 1 항에 있어서,

각 프로젝터에 대해 논파라메트릭 미세 정렬을 독립적으로 수행하는 것을 더 포함하는 프로젝터 어레이 정렬 방법.
프로젝터 어레이를 정렬하는 시스템으로서,

각 프로젝터에 대해 파라메트릭 조 정렬을 독립적으로 수행하는 수단과,

각 프로젝터 및 인접 프로젝터에 대해 논파라메트릭 미세 정렬을 합동으로 수행하는 수단

을 포함하는 프로젝터 어레이 정렬 시스템.
제 14 항에 있어서,

각 프로젝터에 대해 논파라메트릭 미세 정렬을 독립적으로 수행하는 수단을 더 포함하는 프로젝터 어레이 정렬 시스템.
제 14 항에 있어서,

상기 정렬을 수행하는 동안, 각 프로젝터의 스크린상에 정렬 패턴이 투사되고, 상기 정렬을 수행하는 동안 카메라에 의해 상기 정렬 패턴의 입력 이미지를 획득하는 프로젝터 어레이 정렬 시스템.
제 14 항에 있어서,

상기 프로젝터의 상기 조정은 동시에 행해지는 프로젝터 어레이 정렬 시스템.
제 14 항에 있어서,

각 프로젝터 및 인접 프로젝터에 대한 상기 논파라메트릭 미세 정렬은 가중 방식(weighting scheme)에 따르는 프로젝터 어레이 정렬 시스템.
제 16 항에 있어서,

상기 입력 이미지는 복수의 카메라에 의해 획득되는 프로젝터 어레이 정렬 시스템.
제 16 항에 있어서,

상기 획득된 정렬 패턴은 상기 가중 방식(weighting scheme)을 결정하는데 이용되는 프로젝터 어레이 정렬 시스템.