KR101693733B1 - 캘리브레이션된 투사를 생성하기 위한 방법 및 장치 - Google Patents

캘리브레이션된 투사를 생성하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR101693733B1
KR101693733B1 KR1020127010389A KR20127010389A KR101693733B1 KR 101693733 B1 KR101693733 B1 KR 101693733B1 KR 1020127010389 A KR1020127010389 A KR 1020127010389A KR 20127010389 A KR20127010389 A KR 20127010389A KR 101693733 B1 KR101693733 B1 KR 101693733B1
Authority
KR
South Korea
Prior art keywords
projection surface
image
projection
calibrating structure
points
Prior art date
Application number
KR1020127010389A
Other languages
English (en)
Other versions
KR20120098649A (ko
Inventor
스테판 클로제
Original Assignee
프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. filed Critical 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
Publication of KR20120098649A publication Critical patent/KR20120098649A/ko
Application granted granted Critical
Publication of KR101693733B1 publication Critical patent/KR101693733B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3197—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using light modulating optical valves
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Projection Apparatus (AREA)
  • Image Generation (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 캘리브레이션된 투사를 생성하기 위한 장치 및 방법에 관한 것으로, 상기 방법은 예컨대 a) 적어도 하나의 이미지(2)의 투사를 위한 투사 표면(1)을 제공하는 단계로서, 상기 투사 표면(1)은 그 공간적 연장에 따른 캘리브레이팅 구조(5)를 포함하고, 상기 캘리브레이팅 구조(5)는 제1 측부(51) 및 상기 제1 측부(51)에 대해서 평행하게 연장하는 제2 측부(52)를 가지고, 상기 제1 또는 제2 측부(51, 52)의 방향에서 측정되는 일정한 높이를 가지는 것인, 상기 투사 표면을 제공하는 단계; b) 카메라(4)에 의해서 이미지 평면 내에서 상기 캘리브레이팅 구조(5)의 이미지(5')를 생성하는 단계; c) 상기 캘리브레이팅 구조(5)의 영역 내에서 상기 투사 표면(1)의 공간적 연장을 재구성하는 단계; 및 d) 단계 i)에 따라 재구성된 상기 투사 표면의 상기 공간적 연장을 사용하여 상기 캘리브레이팅 구조에 대해서 캘리브레이션된 투사를 생성하는 단계;를 포함한다.

Description

캘리브레이션된 투사를 생성하기 위한 방법 및 장치{METHOD AND DEVICE FOR GENERATING A CALIBRATED PROJECTION}
본 발명은 청구항 제1항 및 제15항에 따른 캘리브레이션된(calibrated) 투사(projection)를 생성하기 위한 방법 및 청구항 제17항 및 제18항에 따른 캘리브레이션된 투사를 생성하기 위한 장치에 관한 것이다.
산업, 연구 및 교습(teaching)의 다수의 분야들에서, 이미지를 투사 표면(projection surface)상에 투사하기 위한 투사 시스템들을 사용하는 것은 일반적인 사항이다. 이미지의 투사는 통상적으로는, 예컨대 스크린이나 건물의 외벽이나 내벽인, 평면의 투사 표면 상에 이행된다(is effected). 종래 기술로서, 전체 이미지의 부분적(partial)인 이미지들을 각각 투사하는 복수의 투사기(projector)들을 사용하는 것이 공지되어 있다. 이러한 다중-투사기 시스템은 예컨대 독일 특허 공보 DE 102 51 217 B3에 기술되어 있다.
리던던시(redundancy) 이유들에 의해서, 발광 강도(luminous intensity)를 증가시키기 위해서 또는 해상도를 증가시키기 위해서, 다중-투사기 시스템들은 또한 사용된다. 예컨대 그러한 투사기 시스템들은, 특히 상세 사항(details)을 표시 및/또는 큰 모델들을 표시하는 것을 가능하게 하기 위해서, 건축 분야 및/또는 CAD 분야에서 찾아볼 수 있다. 뷰어(viewer, 보는 사람)에게 정확하게 나타나는 왜곡-없는(distortion-free) 이미지를 생성하기 위해서, 다중-투사기 시스템의 투사기들은, 그러나, 서로에 대해서 및/또는 투사 표면에 대해서 반드시 정렬되어야 한다("캘리브레이션되어야 한다."). 특히 다양한 투사기들의 투사된 부분적 이미지들은 서로에 대해서 및/또는 투사 표면에 대해서 픽셀-정확(pixel-accurate) 방식으로 적합하게 된다(adapted)["스티칭"(stitching) 또는 "와핑"(warping, 뒤틀림)]. 또한, 부분적 이미지들의 휘도(brightness)는 인접하는 부분적 이미지와의 중첩 영역(region)에서는 감소될 수 있고, 따라서 그러한 중첩 영역들에서 전체 이미지가 더 큰 휘도를 가지는 것을 방지할 수 있다.
1. 독일 특허 공보 DE 102 51 217 B3
본 발명에서 해결하고자 하는 문제점은, 단일 평면을 따라서 평면 방식으로 연장(extend)하지 않는 투사 표면 상에도 보다 왜곡-없는 투사를 제공하는 것인 방법들 및 장치들을 제공하는 것이다.
이러한 문제점은 청구항 제1항 또는 제15항에 따른 방법 및 청구항 제17항 또는 제18항에 장치에 의해서 해결된다. 본 발명의 구체 사항은 종속항들에서 표명(indicate)된다.
본 발명에 따르면, 투사 표면 상에 캘리브레이션된 투사를 생성하기 위한 방법으로서,
a) 상기 투사 표면의 공간적 연장(extension)에 따른 캘리브레이팅 구조(calibrating structure, 5)로서, 제1 측부(side) 및 상기 제1 측부에 대해서 평행하게 연장하는 제2 측부를 가지고, 상기 제1 또는 제2 측부의 방향에서 측정되는 일정한 높이를 가지는 것인 상기 캘리브레이팅 구조를 생성 및/또는 배열하는 단계;
b) 카메라에 의해서 이미지 평면 내에서 상기 캘리브레이팅 구조의 이미지를 생성하는 단계;
c) 상기 캘리브레이팅 구조의 영역 내에서 상기 투사 표면의 공간적 연장을 재구성하는 단계로서,
d) 상기 캘리브레이팅 구조의 상기 이미지의 지점(point)들의 복수의 쌍들로서, 상기 지점들의 복수의 쌍들 각각은 상기 캘리브레이팅 구조의 상기 이미지의 제1 지점 및 제2 지점을 포함하고, 상기 제1 지점 및 상기 제2 지점 각각은 상기 캘리브레이팅 구조의 제1 또는 제2 측부를 따라서 서로에 대해서 반대측에 배치되는 상기 실제 캘리브레이팅 구조의 제1 및 제2 지점에 부합(correspond to)하는 것인, 상기 이미지의 지점들의 복수의 쌍들을 결정하는 단계와,
e) 이미지 평면 앞의 가상적인 소실점에 대해서 상기 지점들의 쌍들의 상기 제1 및 제2 지점으로부터 연장하는 것인, 두 개의 보조적 빔들을 각각 포함하는 복수의 보조적 빔 쌍들을 생성하는 단계와,
f) 각각이 상기 보조적 빔 쌍들 중의 하나의 보조적 빔들 중의 하나에서 시작하고 상기 보조적 빔 쌍들 중의 대응하는 다른 보조적 빔들 중의 하나에서 종료하는 것인, 서로에 대해서 평행하게 복수의 지지 경로들을 생성하는 단계와,
g) 모든 지지 경로들이 동일한 각도 하에서 공통 평면 상에서 각각 마주치고(impinge) 동일한 길이를 가질 때까지, 상기 지지 경로들의 배향(orientation) 및/또는 길이를 변경(change)하는 단계와,
h) 상기 단계 g)에 따라서 찾아진 상기 지지 경로들을 사용하는 것에 의해서 상기 투사 표면(1)의 [가상적(virtual)] 모델을 생성하는 단계로서, 상기 지지 경로들은 상기 캘리브레이팅 구조(5)의 상기 제1 및 제2 측부(51, 52)에 대해서 평행하게 연장되는 상기 투사 표면의 경로 섹션(section)들인 것인 단계
를 포함하는 것인 상기 투사 표면의 공간적 연장을 재구성하는 단계; 및
i) 단계 h)에 따라서 생성된 상기 투사 표면의 모델을 사용하여, 즉 상기 투사 표면의 상기 재구성된 공간적 연장을 사용하여, 캘리브레이션된 투사를 생성하는 단계
를 포함하는 캘리브레이션된 투사를 생성하기 위한 방법이 제공된다.
본 방법은, 캘리브레이팅 구조의 영역 내에서 연장하는 투사 표면의 포션(portion)에 대해서, 즉 특정한 왜곡 없는 투사에 대해서, 이 포션이 비록 연속된 평면 방식 내의 단일 평면을 따라서 연장하지 않고 예컨대 곡률(또는 여러 곡률들) 및/또는 킹크(kink, 꼬임)를 가지더라도, 캘리브레이션된 투사를 허용한다.
그러한 캘리브레이션된 투사를 생성하는 것을 가능하게 하기 위해서, 투사 표면의 공간적 연장은 캘리브레이팅 구조를 사용하는 것에 의해서 결정된다. 여기에서, 본 방법은, 캘리브레이팅 구조의 영역 내의 투사 표면이 특정한 방식으로, 즉, 캘리브레이팅 구조의 제1 및 제2 측부를 따라서, 캘리브레이팅 구조의 제1 측부의 단부(end) 및 제2 측부의 단부 사이에서 연장하는 것인 연결선(connecting line)을 천이(shift)하는 것에 의해서 형성되는 표면에 의해서 접근(approach)할 수 있도록, 설계되었다고 가정한다. "연결선"은 원칙적으로(in principle of) 임의의 형태의 3차원 곡선(curve)이며, 즉 선형으로 연장할 필요는 없고 예컨대 곡률(또는 여러 개의 곡률들) 및/또는 킹크(또는 여러 개의 킹크들)를 가질 수 있다. 본 방법은 특히 부합하여 설계된 투사 표면의 공급(provision)을 또한 포함한다.
특히 연결선은, 캘리브레이팅 구조의 제1 또는 제2 측부에 대해서 수직인 방향으로 서로에 대해서 반대측에 배치된 즉 제1 또는 제2 측부의 두 개의 "하부(lower)" 또는 "상부(upper)" 단부들인, 캘리브레이팅 구조의 제1 및 제2 측부의 두 개의 단부들을 연결한다. 연결선은 이후 제1 및 제2 측부를 따라서 즉 상부 방향으로 또는 하부 방향으로 천이되고, 여기에서 천이시 투사 표면이 연장하는 표면을 따라서 연결선은 스위핑(sweep over)된다. 다른 말로 하면, 캘리브레이팅 구조의 제1 및 제2 측부를 따른 방향에서 (예컨대 수직) 스위핑에 의해서 캘리브레이팅 구조의 영역 내에서 투사 표면이 생성된다. 다른 말로 하면, 투사 표면의 속성(property)은, 실질적으로는 돌출(bulge)들 또는 강하(depression)들이 없거나 캘리브레이팅 구조에 의해서 정의되는 남아있는 표면에 비해서 작은 돌출들 또는 강하들이 있는 것인, 특히 캘리브레이팅 구조의 제1 및 제2 측부에 대해서 평행하게 연장하는 선을 따라서 캘리브레이팅 구조의 영역 내에서 킹크된(kinked) 및/또는 곡선인(curved) 것을 의미한다. 그러나, 투사 표면 그러한 작은 강하들 또는 돌출들을 가지는 경우, 이에 의한 왜곡은 캘리브레이션 패턴의 투사에 의해서 보정될 수 있다. 왜곡의 보정은 이하에서 서술된다.
캘리브레이팅 구조를 포함하는 투사 표면은 기록(record) 수단(카메라)에 의해서 특히 디지털 카메라, 비디오 카메라 또는 고속 카메라에 의해서 촬영된다. 즉 캘리브레이팅 구조의 이미지가 카메라의 이미지 평면 내에서 생성된다. 이러한 캘리브레이팅 구조의 이미지로부터 진행하여, 캘리브레이팅 구조의 제1 및 제2 측부를 따라서 연결선을 스위핑하는 것에 의해서 캘리브레이팅 구조의 영역 내에서 투사 표면이 생성된다는 전제를 사용하여, 캘리브레이팅 구조의 영역 내에서 투사 표면의 공간적 연장의 재구성이 이행된다.
재구성 방법은, 그 지점들이 각각 실제 캘리브레이팅 구조의 지점들에 즉 투사 표면 상에 존재하는 지점들에 부합하는 것인, 캘리브레이팅 구조의 이미지의 지점들의 쌍들을 결정하는 것을 포함한다. 예컨대 실제 캘리브레이팅 구조는 4개의 모서리(corner)들(즉 "공간적 사각형"이다)을 가지고, 여기에서 사각형의 캘리브레이팅 구조의 2개의 모서리 지점들 각각은 개별적으로 서로에 대해서 그들의 제1 측부를 따라서 및 제2 측부를 따라서 반대측에 배치되어 있다. 비록 예컨대 카메라의 배향에 의존하여 투사 표면에 대해서이 이미지가 왜곡되거나 및/또는 비틀어진(twisted) 것이라도, 이러한 모서리 지점들은 캘리브레이팅 구조의 이미지 내에서 식별될 수 있다.
예컨대 사각형(즉 실제 캘리브레이팅 구조)의 모서리 지점들로부터 시작하여, 예컨대 캘리브레이팅 구조의 이미지 내에서 추가적인 지점들의 쌍들이, 예컨대 이미지 내의 지점들의 쌍들을 식별하는 것에 의해서 실제 캘리브레이팅 구조의 지점들의 쌍들에게로 연관될 수 있다. 지점들의 쌍들의 지점들 각각은 제1 측부의 모서리 지점과 제2 측부의 모서리 지점 사이의 제1 연결선(즉 캘리브레이팅 구조의 제3 측부) 상에 놓이고 제1 측부의 제2 모서리 지점과 제2 측부의 제2 모서리 지점 사이의 제2 연결선(즉 캘리브레이팅 구조의 제4 측부) 상에 놓이고, 각각이 캘리브레이팅 구조의 제1 및 제2 측부에 대해서 동일한(identical) 거리를 가지는 것이다. 캘리브레이팅 구조의 이미지 내에서의 그러한 추가적인 지점들의 쌍들을 식별하는 방법은 이하에 서술한다. 캘리브레이팅 구조가 4개의 모서리들을 가질 필요는 없다는 것을 주의하여야 한다. 캘리브레이팅 구조의 다른 기하(geometries)도, 예컨대 4개 이상의 모서리들을 가지며, 캘리브레이팅 구조의 제1 및 제2 측부가 연장하는 평면 내로 투사되는 것인 구조도, 또한 가능할 수 있다.
지점들의 결정된 쌍들의 각 지점에 대해서, 카메라의 이미지 평면 전에(또는, 일반적으로 캘리브레이팅 구조가 연장하는 이미지의 평면 전에) 지점들의 쌍들의 제1 및 제2 지점으로부터 공통 소실점까지 연장하는 것인 (가상의) 보조적 빔이 이후 (특히 컴퓨터 프로그램을 이용하여) 생성된다. 즉, 말하자면, 핀홀(pinhole) 카메라 모델을 이용하여, 카메라에 의해서 캘리브레이팅 구조를 묘사(depict)하는 모델링이 이행된다.
투사 표면을 재구성하기 위해서, 투사 표면은, 전술한 바와 같이 캘리브레이팅 구조의 제1 및 제2 측부를 따라서 스위핑하는 것에 의해서 생성되는 것처럼 보여지고, 따라서 이 영역 내에서는, 투사 표면은, 캘리브레이팅 구조의 높이에 부합하는 길이를 가지고 서로에 대해서 평행한 공간 내에서 배열되는 복수의 (직선) 경로들의 배열에 의해서 구성될 수 있다. 상응하여, 서로에 대해서 평행하고 보조적 빔 쌍들 중의 하나의 보조적 빔들 중의 하나에서 각각 시작하고, 보조적 빔 쌍들 중의 하나의 보조적 빔들 중의 대응하는 다른 하나에서 각각 종료하는 것인 복수의 지지 경로들이 (특히 컴퓨터 프로그램에 의해서) 생성된다.
이후, 모든 지지 경로들이 동일한 각도 하에서 공통 평면 상에서 즉 이 평면 상의 각 단부에서 각각 마주치고 동일한 길이를 가질 때까지, (특히 컴퓨터-지원 최적화 알고리즘을 사용하는 것에 의해) 이러한 지지 경로들은 그 길이 및/또는 그 배향 면에서 변형(vary)된다.
이렇게 찾은 지지 경로들은 이후 캘리브레이팅 구조의 영역 내에서 투사 표면의 추구하는 재구성의 경로 섹션들을 형성하고, 이는 캘리브레이팅 구조의 제1 및 제2 측부에 대해서 평행하게 각각 연장하는 것이고 또한 각각의 단부들이 각각 캘리브레이팅 구조의 제1 및 제2 측부 사이의 제1 연결선의 지점들에 (즉 캘리브레이팅 구조의 제3 측부에) 부합하고 또한 캘리브레이팅 구조의 제1 및 제2 측부 사이의 제2 연결선의 지점들에 (즉 캘리브레이팅 구조의 제4 측부에) 부합한다.
이렇게 재구성된 투사 표면을 사용하는 것에 의해서, 캘리브레이팅 구조에 대해서 캘리브레이션된 투사 이미지는 이후 생성되며, 여기에서 이 캘리브레이션된 투사 이미지는 물론 복수의 투사기들을 사용하는 것에 의해서, 즉 다수의 구성된(composed) 개별적인 투사들을 생성하는 것에 의해서, 생성된다. "캘리브레이팅 구조에 대해서" 캘리브레이션된 이미지는 투사 표면을 따른 캘리브레이팅 구조의 영역 내에서 왜곡-없는 것이다. 즉 예컨대 투사 표면을 따른 캘리브레이팅 구조의 영역 내에서 예컨대 캘리브레이팅 구조의 제1 및 제2 측부를 따른 방향 내에서 그리고 이에 수직인 방향 내에서 실질적으로 시정(rectify)된다. 그리고, 만약 다수의 투사기들이 사용된다면, 간섭(interference)으로부터 더 자유로운, 투사의 복수의 부분적인 이미지들이 서로에 대해 합류된다(joined). 이러한 투사된 이미지는 월페이퍼(wallpaper)와 유사하게 보이며, 다시 말하면 투사 표면 상으로 펼쳐진(unrolled) 것처럼 보인다. 특히 투사 이미지의 시정을 위해서, 캘리브레이션된 투사를 생성하기 위한 가능성은 이하에 서술한다.
본 발명의 구체예에 따르면, 캘리브레이팅 구조의 이미지가 생성되는 것과 함께, 단계 e) 내지 i)에 따른 투사 표면의 재구성 전에 카메라의 렌즈 수차(aberration)의 보정이 이행되고, 또는 단계 i)에 따른 재구성된 투사 표면의 연장이 카메라의 렌즈 수차의 시정을 고려하여 보정된다. 이를 위해서, 예컨대 캘리브레이션 본체들(bodies) 또는 캘리브레이션 표면들을 채용하는 렌즈 시정 방법이나 또는 이미지 컨텐트들로부터 시정 파라미터들을 결정하는 렌즈 시정 방법이 사용될 수 있다.
임시(ad-hoc) 렌즈 시정의 다른 가능성은, 특히 제1 및 제2 측부가 선형으로 연장하는 것인, 캘리브레이팅 구조의 제1 및 제2 측부의 알려진 연장을 사용하는 것을 포함한다.
실제(actual) 캘리브레이팅 구조의 (예컨대 선형으로 형성된) 제1 및 제2 측부의 연장으로부터 카메라에 의해서 묘사된 캘리브레이팅 구조의 제1 및 제2 측부의 연장의 편차(deviation)로부터, 렌즈 시정 파라미터들이 결정될 수 있다. 또한, 예컨대 캘리브레이팅 구조의 영역 내에서 투사 표면 상으로 추가적인 캘리브레이션 패턴들이 투사될 수 있으며, 이는 예컨대 수직으로(예컨대 수평으로 및/또는 수직으로) 또는 임의의 각도 하에서 캘리브레이팅 구조의 제1 및 제2 측부를 접촉(touch)하거나 교차(cross)하는 것인 특히 (직선) 캘리브레이션 스트립(strip)들을 포함한다.
그러한 접촉 또는 교차에 의해서 획득된 교차점들(points of intersection)은 카메라 이미지 내에서 인식되고 서로에 대해서 연결된다. 각도 샷(shot) 내에서 직선들은 또한 직선들로 묘사되기 때문에, 이러한 교차점들 사이의 연결선들은 다시 직선을 형성할 수 있다. 만약 (렌즈 왜곡 때문에) 이 경우가 아니라면, 렌즈 왜곡의 영향을 보정하기 위해서 파라미터들이 결정될 수 있다. 직선 스트립들 대신에, 투사기 공간 내에서 즉 투사기의 이미지 평면 내에서 그 연장이 알려진 다른 캘리브레이션 패턴들이 또한 사용될 수 있다.
투사된 캘리브레이션 스트립들의 및/또는 캘리브레이팅 구조의 제1 및 제2 측부의 (시뮬레이션된) 이미지가 예컨대 두 개의 직선들에 상응하는 캘리브레이팅 구조의 제1 및 제2 측부의 직선으로서 그 연장이 실제 캘리브레이팅 구조의 제1 및 제2 측부에 부합되는 이미지를 제공할 때까지, 특히 렌즈 왜곡 파라미터들은 보정 파라미터의 적합(adapt)을 포함하는 것인 최적화 방법에 의해서 결정된다.
특히, 캘리브레이팅 구조는 서로에 대해서 평행하게 연장하고 각각 수직으로 제1 및 제2 측부에 마주치는 것인 제3 및 제4 측부에 의해서 정의된다. 즉 캘리브레이팅 구조는 투사 표면 상으로 "전개된(developed)" 직사각형의 형상을 가진다.
단계 d)에 따른 본 발명의 방법의 구체예는,
- 실제 캘리브레이팅 구조의 제1 측부에 부합되는 것인, 캘리브레이팅 구조의 이미지의 제1 에지(edge) 포션 상에 놓이는(lie), 지점들의 제1 쌍이 결정되고,
- 실제 캘리브레이팅 구조의 제2 측부에 부합되는 것인, 캘리브레이팅 구조의 이미지의 제2 에지 포션 상에 놓이는, 지점들의 제2 쌍이 결정되고,
- 캘리브레이팅 구조의 제1 및 제2 측부가 그 내에 놓여지는 평면에 대해서 가장 큰 거리를 가지는 투사 표면의 영역 내에서, 즉 가장 큰 공간적 곡률 또는 깊이를 가지는 투사 표면의 영역 내에서, 놓여지고, 그 지점들이 실제 캘리브레이팅 구조의 지점들에 부합하는 것인, 지점들의 제3 쌍이 결정되고,
- 예컨대 단계들 e) 내지 g)가 지점들의 제1, 제2 및 제3 쌍에 의해서 초기에 수행된다.
가장 큰 공간적 곡률들 또는 깊이를 가지는 투사 표면의 영역 내에서의 지점들의 제3 쌍을 선택하는 것은 절대적으로 필요한 것은 아니라는 것을 주의하여야 하며, 캘리브레이팅 구조의 제1 및 제1 측부가 그 내에 놓이는 평면에 대해서 투사 표면의 영역이 가장 큰 거리를 가지는 것을 영역을, 즉 투사 표면이 가장 큰 공간적 깊이를 가지는 영역을, 나타내는 경우에, 특히 카메라 이미지 또는 호모그래피(homography) 변환에 의해서 변환된 카메라 이미지(즉 투사 표면의 "이미지")가 이행되는 것을 주의하여야 한다. 그러나, 단지 인접하는 것이나 또는 가장 큰 공간적 깊이를 가지는 투사 표면의 영역에 대한 거리를 두는 것인, 지점들의 제3 쌍이 선택되는 것도 가능하다.
지점들의 제1, 제2 및 제3쌍을 결정하는 것 외에도, (예컨대 지점들의 제1, 제2 및 제3쌍을 위한 단계들 e) 내지 g)를 수행한 이후에), 지지 경로들을 유사하게 결정하기 위해서, 추가적인 지점들의 쌍들이 물론 선택될 수 있다. 특히 이러한 추가적인 지지 경로들은 최적화에 의해서 선행하여 결정된 지지 경로들의 길이 및 배향을 가지며, 이는 지점들의 제1, 제2 및 제3 쌍에 속하고, 각각이 말하자면, 보조 경로들의 연관된 쌍에 "피팅(fit)"되어서, 그들의 제1 단부 각각이 제1 보조적 빔에 닿고(contact) 그들의 제2 단부 각각이 보조적 빔 쌍의 제2 보조적 빔에 닿는다.
본 발명의 다른 측면에 따르면, 캘리브레이팅 구조의 제1 및 제2 측부는 투사 표면의 제1 및 제2 에지에 의해서 형성된다. 즉 캘리브레이팅 구조는 투사 표면의 전체 또는 투사 표면의 포션을 정의한다. 따라서 예컨대 투사 표면의 두 개의 대향하는 측면((lateral) 에지들 또는 투사 표면을 정의하는 다른 구조들은 투사 표면의 제1 및 제2 측부를 형성하고, 여기에서 캘리브레이팅 구조는 예컨대 투사 표면을 정의하는 다른 구조들 또는 측면 에지들에 의해서 배타적으로(exclusively) 형성된다. 투사 표면의 제1 및 제2 에지를 인식하기 위한 본 발명의 변형예에 따르면, (하나 이상의 투사기에 의해서 생성되는 예컨대 백색 또는 회색 이미지인) 이미지가 투사되어, 투사 표면의 에지에 중첩(overlap)된다.
대안적으로 또는 추가적으로, 캘리브레이팅 구조는 적어도 부분적으로 투사 표면 상에 배열되거나 투사 표면 상으로 투사될 수 있다. 예컨대 캘리브레이팅 구조가 물질(material) 스트립의 형태로 투사 표면 상에 고정(fix)[예컨대 접착(glue)]되거나 또는 캘리브레이팅 구조가 레이저 빔에 의해서 투사 표면 상으로 투사될 수 있다. 특히 제1 및/또는 제2 측부가, 투사 표면을 정의하는 다른 구조에 대해서 또는 투사 표면의 에지에 대해서 수직 또는 수평으로 연장하도록, 캘리브레이팅 구조는 배열될 수 있다.
캘리브레이팅 구조가 적어도 부분적으로 투사 표면 상에 배열되지 않고 단지 후속하여 예컨대 상응하는 이미지 처리에 의해서 투사 표면의 이미지에 부가되는 것도 또한 가능하다. 즉, 단지 카메라 이미지 내에 포함된 일부만이 또는 전혀 포함되지 않지만 그러나 그 연장이 뷰어에 의해서 결정될 수 있고 예컨대 내측 공간의 측벽의 에지와 같이 카메라 이미지 내에 포함된 구조들에 대해서 둘 수 있는(put) 것인, 특히 에지 구조 또는 다른 투사 표면의 현저한(prominent) 구조도 특히 사용될 수 있다. 이 변형예에 따르면, 캘리브레이팅 구조는 따라서 전혀 또는 적어도 부분적으로 투사 표면 상에서 배열되거나 생성되지 않지만 단지 투사 표면의 카메라 이미지에 부가되어서, (전술한 바와 같이) 투사 표면 상에 생성된 또는 배열된 캘리브레이팅 구조의 이미지에 부합한다. 전술한 그리고 후술하는 본 방법의 변형예는, (예컨대 손으로 그리거나 자동적으로 그린) 카메라 이미지에 단순하게 부가되는 이러한 캘리브레이팅 구조에도 유사하게 적용할 수 있다. 캘리브레이팅 구조의 일부분들이 레이저에 의해서 생성되거나 투사 표면 상에 배열되고 후속하여 다른 부분들이 부가될 수도 있다는 것은 물론 가능하다.
이미 전술한 바와 같이, 캘리브레이팅 구조의 영역 내에서 수직 스위핑에 의해서 생성되는 것으로 상상할 수 있다는 조건에서는, 투사 표면은 이론적으로 공간 내에서 임의의 연장을 가질 수 있다. 여기에서 단계 h)의 조건을 만족하는, 즉 공통 평면 상에서 마주치는 것인, 동일한 길이의 지지 경로들을 찾기 위한 여러 솔루션이 존재하는 것에도 불구하고, 이러한 전제 조건은 단계들 e) 내지 i)에 따른 재구성 알고리즘에 의한 솔루션을 찾기 위한 것을 제공한다. 그러나 이러한 가능한 솔루션들은 단지 투사 표면의 서로 다른 스케일의 또는 위치의 재구성들을 가져올 뿐이다.
본 발명에 따른 방법은, 특히 캘리브레이팅 구조의 영역 내에서 제1 포션 및 상기 제1 포션에 대해서 각진(angled) 또는 곡선으로(curved) 연장하는 제2 포션을 가지는 것인, 투사 표면에 대해서 수행될 수 있다. 이는 예컨대 투사 표면이 적어도 부분적으로 실린더 세그먼트 또는 실린더의 측면 표면으로서 형성되거나 또는 물결 모양(wave-like)으로 연장되는 구성을 포함한다.
투사 표면의 제1 포션은 제1 평면을 따라서 연장할 수 있고, 투사 표면의 제2 포션은 제2 평면을 따라서 연장할 수 있다.
제1 및 제2 포션은 따라서 각각 평면 방식으로 연장하고, 여기에서 제1 및 제2 평면은, 서로에 대해서 각도를 가지고 배향된다. 즉 투사 표면이 킹크 또는 모서리를 포함한다. 투사 표면은 물론 복수의 킹크들을 포함할 수 있다. 즉 서로에 대해서 각도를 가지고 배향되는 다수의 적어도 실질적으로 평면 포션들을 포함한다. 캘리브레이팅 구조의 영역 내에서, 투사 표면은 물론 곡률들과 킹크들 모두를 포함할 수 있다. 변형예에서, 가구의 일부분 또는 하나의 모서리를 넘어서의 내부 공간의 측벽은 투사 표면으로서 작용하며, 여기에서 투사된 이미지는 가구의 일부를 넘어서 가구의 일부의 환경, 예컨대 벽 상으로 연장한다.
본 발명의 추가적인 측면에서, 다음 단계들이 추가로 제공된다.
I) 카메라의 이미지 평면으로부터 보조적 평면으로 캘리브레이팅 구조의 이미지를 변환하는 것에 의해서, 캘리브레이팅 구조의 변환된 이미지의 에지가 서로에 대해서 연장하는 제1 및 제2 측부를 가지도록, 캘리브레이팅 구조 변환된 이미지를 생성하는 단계와,
II) 변환된 캘리브레이팅 구조의 에지의 제1 및 제2 지점을 각각 포함하는 캘리브레이팅 구조의 변환된 이미지의 지점들의 복수의 쌍들을 선택하는 단계로서, 제1 및 제2 지점 각각은 캘리브레이팅 구조의 변환된 이미지의 제1 및 제2 측부를 따르는 방향에서 서로에 대해서 반대측에 배치되는 것인, 캘리브레이팅 구조의 변환된 이미지의 지점들의 복수의 쌍들을 선택하는 단계와,
III) 캘리브레이팅 구조의 변환된 이미지의 지점들의 선택된 쌍들에 부합하는 것인, 캘리브레이팅 구조의 이미지 내에서의 지점들의 쌍들을 식별하는 것에 의해서, 단계 d)에 따른 지점들의 쌍을 선택하는 단계.
특히, 단계 III)에 따른 지점들의 쌍들을 식별하는 것은 이미지 평면 내로 변환된 이미지의 지점들의 선택된 쌍들의 지점들의 좌표의 역-변환(back-transformation)에 의해서 이행된다. 예컨대 캘리브레이팅 구조는 직각으로 제3 및 제4 측부와 만나는 캘리브레이팅 구조의 제1 및 제2 측부에서의 4개의 모서리 지점들을 형성하고, 따라서 변환된 캘리브레이팅 구조는 보조적 평면 내에서 직사각형을 형성한다. 이 정보를 가지고, [특히 호모그래피 행렬 형태의] 변환 규칙이 캘리브레이팅 구조의 변환된 이미지를 생성하기 위해서 결정될 수 있다. 따라서 생성된 직사각형 변환된 캘리브레이팅 구조의 측부 길이들은, 후속하여 설명하는 투사의 시정에 대해서, 무관하며, 스케일에 맞는(true) 투사 표면의 어떠한 재구성도 필요하지 않다.
전술한 바와 같이, 이미지 평면으로부터 보조적 평면 내로 캘리브레이팅 구조의 이미지를 변환하는 것은 예컨대 호모그래피 행렬에 의해서 이행되는 것이고 역-변환은 반전(inverted) 호모그래피 행렬에 의해서 이행된다. 만약 반전 호모그래피 행렬이 계산될 수 없다면[비반전(non-inverted) 행렬의 행렬식(determinant)이 0인 경우], 새로운 호모그래피 행렬이 역-변환을 위해서 결정될 수 있으나, 이 경우 소스(source)와 타겟(target)이 교환된다(interchanged).
본 발명의 다른 구체예에 따른 캘리브레이션된 프로젝션을 생성하기 위해서,
a) 적어도 하나의 캘리브레이션 패턴이 투사 표면 상에 투사되고,
b) 캘리브레이션 패턴의 이미지가 카메라로 생성되는 것이고,
c) 캘리브레이팅 구조의 영역 내에서의 투사 표면의 재구성된 연장 및 캘리브레이션 패턴의 이미지를 참조하여, 와핑 파라미터들이 투사를 캘리브레이션하기 위해서 결정된다.
예컨대, 투사의 객체(object) 평면 내에서 투사된 캘리브레이션 패턴은, 즉 투사기로부터 진행된 캘리브레이션 패턴은, 격자점(lattice point)들의 균일한 래스터(raster)를 포함하고, 여기에서, 투사는 캘리브레이팅 구조에 대해서 캘리브레이션되어서, 제1 및 제2 측부를 따라서 및/또는 제1 및 제2 측부에 대해서 수직인 방향으로, 투사된 격자점들이 서로에 대해서 일정한 거리를 가지도록 된다. 복수의 투사기들인 경우에는, 각각의 투사기들은 (각각이 투사의 객체 평면 내에서 일정한 거리를 가지는 것인) 그 자신의 캘리브레이션 패턴을 투사하며, 예컨대 개별적인 투사기들의 캘리브레이션 영역들이 서로 중첩(superimpose)되고 캘리브레이션된 이미지 내에서 동일한 이미지 컨텐트들이 이후 이들의 중첩된 영역들을 나타내도록 캘리브레이션은 이행된다.
그러한 캘리브레이션으로, 투사가 생성되고, 이는 투사 표면의 연장에 대해서 캘리브레이션된 것이고 카메라의 특정 위치 또는 투사의 뷰어의 위치에 대해서 캘리브레이션된 것이 아니다. 특히, 이미지는 투사될 수 있고, 이는 즉 (곡선의 및/또는 킹크된) 투사 표면 상으로 전개되는 월페이퍼와 유사하게 나타나는 투사된 이미지인 투사 표면에 대해서 시정된 것이다. 투사된 이미지의 측면 에지들이 투사 표면의 측면 에지들에 대해서 평행하게 연장되도록, 특히 투사는 배향될 수 있다. 인간의 인지(perception)가 공간 내에 존재하는 구조의 에지들과 모서리들, 즉 투사 표면의 측면 에지들의 배향에 기초하기 때문에, 투사 표면에 대한 그러한 캘리브레이션, 즉 뷰어 위치에 독립적인 캘리브레이션은, 뷰어에게 정확한 것으로 보여진다.
본 발명의 추가적인 측면에서, 캘리브레이션 패턴은 투사의 객체 평면 내에서 서로에 대해서 각각 평행한 복수의 (예컨대 수평인) 제1 및/또는 (예컨대 수직인) 제2 스트립들을 포함하고, 제1 스트립들)은 제2 스트립들에 대해서 수직으로 연장하고, 제1 및 제2 스트립들의 교차점들은 캘리브레이션 패턴의 격자점들을 형성한다. 예컨대 정현(sinusoidal) 패턴들, 마커(marker)들, 및 또는 채색된(colored) 캘리브레이션 스트립들과 같은 다른 유형의 캘리브레이션 패턴들도 또한 물론 가능하다. 예컨대, 제1 및 제2 스트립들은 교대로 투사되며, 투사된 스트립들의 하나의 이미지가 각각 기록된다. 그러나 제1 및 제2 스트립들이 함께 투사되는 것도 또한 가능하다.
특히, 투사를 캘리브레이션하기 위해서, 카메라의 이미지 평면 내에서의 개별적인 격자점들의 위치가 채용(employ)될 수 있다. 여기에서,
a) 캘리브레이팅 구조의 영역 내에서 투사 표면 상으로 카메라에 의한 이러한 격자점들의 투사는, 캘리브레이팅 구조의 영역 내에서 재구성되는 투사 표면을 이용하여 모델링되고,
b) 와핑 파라미터들의 결정은 묘사된 격자점들의 uv-좌표(uv-coordinates)의 형태로 투사 표면 상에서 묘사된 격자점들의 각자의 위치의 결정을 포함하는 것이고,
c) uv-좌표를 참조하여 투사의 캘리브레이션이 이행된다.
특히, uv-좌표를 결정하기 위해서, 카메라의 이미지 평면 내에서 격자점이 재구성된 투사 표면에 대해서 교차하고 또한 교차점들의 uv-좌표가 결정된다. 캘리브레이팅 구조의 제1 모서리, 예컨대 하부 좌측 모서리가 좌표 (0.0; 0.0)에 부합하고, 제1 모서리에 대해서 대각선으로 배치된 예컨대 상부 우측 모서리인 캘리브레이팅 구조의 제2 모서리가 좌표 (1.0; 1.0)에 부합되도록, uv-좌표계는 선택된다.
교차점들의 uv-좌표는 캘리브레이팅 구조의 에지들에 대한 (투사 표면의 재구성된 모델 내에서) 교차점들의 거리에 의해서 결정된다. 보정은 이후 그 자체가 알려진[이 경우에서는 uv-텍스쳐-룩업(uv-texture-lookup)인] 이미지 와핑에 의해서 이행된다. 특히 교차점들의 결정된 uv-좌표(소스 영역) 사이의 이미지와 캘리브레이션 패턴의 격자점들의 좌표가 투사의 객체 평면 내에서 (타겟 영역에서) 결정된다. 소수 영역은 따라서 타겟 영역 내에서 묘사된다. 만약 이러한 것이 교차점들에 의해 형성된 모든 예컨대 삼각형 또는 사각형의 타겟 영역들과 그들의 부합하는 소스 영역들에 대해서 이행되면, 캘리브레이션된 투사가 획득된다.
투사 표면 상에 투사된 이미지를 생성하기 위해서 여러 개의 투사기들을 사용하는 경우, 개별적인 투사된 이미지의 중첩 영역 내에서 추가적으로 투사를 보정하는 것도 또한 가능하다. 이를 위해서, (이미 이미지 와핑에 의해서 보정된) 모든 보정된 투사들의 이미지는 블렌드(blend) 이미지로 변조된다. 시정(rectification) 및 블렌딩은 실시간으로 이행될 수 있다. 이러한 실시간의 시정(실시간 캘리브레이션)은 예컨대 컴퓨터 프로그램이나 상응하여 프로그램된 마이크로프로세서에 의해서 이행될 수 있고 예컨대 구동측(driver side) 상에서 구현될 수도 있다. 그 결과는 공간 내에서 연장하는 투사 표면에 대해서 캘리브레이션된 이미지이고, 여러 개의 투사기들을 이용할 때, 부가적으로 또한 서로에 대해서 개별적인 투사된 이미지들에 대해서 캘리브레이션된 이미지이다.
투사기 또는 투사기들 내에서 실시간 캘리브레이션이 이행되는 것도 또한 가능하다. 여기에서, 예컨대 상응하여 프로그램된 전자 부품이 투사기들 내에 존재하거나 또는 상응하는 소프트웨어 프로그램이 투사기들 내에 존재하는 전자 부픔 상에서 실행될 수 있다. 캘리브레이션은 또한 물론 투사기들과는 분리된 프로그램된 장치에서 실행될 수도 있다.
본 발명은 또한 투사 표면 상에 캘리브레이션된 투사를 생성하기 위한 장치로서,
a) 상기 투사 표면의 공간적 연장을 재구성하기 위한 재구성 수단으로서,
상기 재구성 수단은,
b) 상기 투사 표면의 공간적 연장에 따른 캘리브레이팅 구조 및/또는 상기 투사 표면 상에 캘리브레이팅 구조를 생성하기 위한 수단을 포함하고,
상기 캘리브레이팅 구조는, 제1 측부 및 상기 제1 측부에 대해서 평행하게 연장하는 제2 측부를 가지고 상기 제1 또는 제2 측부의 방향에서 측정되는 일정한 높이를 가지며,
상기 캘리브레이팅 구조의 이미지로부터 시작하여,
c) 상기 캘리브레이팅 구조의 상기 이미지의 지점들의 복수의 쌍들로서, 상기 지점들의 복수의 쌍들 각각은 상기 캘리브레이팅 구조의 상기 이미지의 제1 지점 및 제2 지점을 포함하고, 상기 제1 지점 및 상기 제2 지점 각각은 상기 캘리브레이팅 구조의 제1 또는 제2 측부를 따라서 각각 반대측에 배치되는 상기 실제 캘리브레이팅 구조의 제1 및 제2 지점에 부합하는 것인, 상기 이미지의 지점들의 복수의 쌍들을 결정하고,
d) 이미지 평면 앞의 가상적인 소실점에 대해서 상기 지점들의 쌍들의 상기 제1 및 제2 지점으로부터 연장하는 것인, 두 개의 보조적 빔들을 각각 포함하는 복수의 보조적 빔 쌍들을 생성하고,
e) 각각이 상기 보조적 빔 쌍들 중의 하나의 보조적 빔들 중의 하나에서 시작하고 상기 보조적 빔 쌍들 중의 대응하는 다른 보조적 빔들 중의 하나에서 종료하는 것인, 서로에 대해서 평행한 복수의 지지 경로들을 생성하고,
f) 모든 지지 경로들이 동일한 각도 하에서 공통 평면 상에서 각각 마주치고 동일한 길이를 가질 때까지, 상기 지지 경로들의 배향 및/또는 길이를 변형하고,
g) 상기 f)에 따라서 찾아진 상기 지지 경로들[단 상기 지지 경로들은 상기 캘리브레이팅 구조의 상기 제1 및 제2 측부에 대해서 평행하게 연장되는 상기 투사 표면의 경로 섹션들임]을 사용하는 것에 의해서 상기 투사 표면의 모델을 생성하도록 형성된 것인 상기 재구성 수단; 및
i) 상기 재구성 수단에 의해서 재구성된 상기 투사 표면의 공간적 연장을 이용하여 캘리브레이션된 투사를 생성하기 위한 캘리브레이팅 수단;
을 포함하는 캘리브레이션된 투사를 생성하기 위한 장치에 관한 것이다.
본 발명에 따른 장치는 특히 투사 표면 상에 투사를 생성하기 위한 (그 투사가 캘리브레이션되어야 하는 것인) 적어도 하나의 투사기와 및/또는 이미지 평면 내에서 캘리브레이팅 구조의 이미지를 생성하기 위한 적어도 하나의 카메라를 포함한 다. 그러나, 상기 장치는 또한 기존에 존재하는 투사기 및/또는 기존에 존재하는 카메라를 사용할 수도 있다. 즉 투사기 및/또는 카메라는 본 발명에 따른 장치에서 반드시 필요한 부분은 아니다.
특히, 캘리브레이팅 수단은 본 발명에 따른 방법에 대해서 전술한 투사 표면 상으로 캘리브레이션 패턴을 투사하기 위한 수단을 포함한다. 추가적으로, 캘리브레이팅 수단은 또한 투사된 캘리브레이션 패턴의 그리고 캘리브레이팅 구조의 영역 내에서 재구성 수단에 의해서 재구성되는 투사 표면의 공간적 연장에 대해서 와핑 파라미터들을 생성하기 위한 수단을 포함할 수 있다. 캘리브레이팅 수단은 특히 캘리브레이션된 위치를 생성하는 것, 즉 uv-좌표를 사용하는 것에 의해서 와핑 파라미터들을 결정하고 캘리브레이션 패턴을 생성하는 것인 전술한 방법들을 구현하도록 형성될 수 있다. 예컨대 재구성 수단 및/또는 캘리브레이팅 수단은 예컨대 투사를 위해서 캘리브레이션 패턴이 적어도 하나의 투사기와 협조할 수 있는 것인(그리고 예컨대 또한 투사기 내로 통합될 수도 있는 것인) 소프트웨어 프로그램 또는 프로그램된 장치의 형태로 구현될 수 있다.
상기 장치는 또한 투사 표면의 이미지 내의 캘리브레이팅 구조를 생성하기 위한 (예컨대 이미지 처리 소프트웨어 또는 이미지 처리 장치인) 수단을 포함할 수 있다. 즉 투사 표면에 투사된 또는 캘리브레이팅 구조가 나타내는 섹션들은 후속하여 추가적인 섹션들을 삽입하는[발행하는(drawing in)] 것에 의해서 완성될 수 있다.
본 발명은 또한 전술한 장치의 시스템과 투사 표면을 포함할 수 있다.
또 다른 측면에서, 본 발명은 또한 투사 표면 상에 캘리브레이션된 투사를 생성하기 위한 장치로서,
a) 상기 투사 표면의 공간적 연장을 재구성하기 위한 재구성 수단으로서,
상기 재구성 수단은,
b) 상기 투사 표면의 이미지 내에서의 캘리브레이팅 구조를 생성하기 위한 수단(예컨대 이미지 프로세싱 소프트웨어 또는 이미지 프로세싱 장치)을 포함하고,
상기 생성된 캘리브레이팅 구조는, 제1 측부와 상기 제1 측부에 대해서 평행하게 연장하는 제2 측부를 가지며 상기 제1 또는 제2 측부의 방향에서 측정되는 일정한 높이를 가지며 상기 투사 표면 상에 배열되는(그러나 실제로는 존재하지 않는) 캘리브레이팅 구조의 이미지에 부합하도록 상기 투사 표면의 특성 구조들에 치합되는 것이고,
상기 재구성 수단은,
c) 상기 캘리브레이팅 구조의 지점들의 복수의 쌍들로서, 상기 지점들의 복수의 쌍들 각각은 상기 캘리브레이팅 구조의 제1 지점 및 제2 지점을 포함하고, 상기 제1 지점 및 상기 제2 지점 각각은, 상기 캘리브레이팅 구조의 상기 제1 또는 제2 측부를 따라서 서로에 대해서 반대측에 배치되는 상기 투사 표면 상에 배열된 캘리브레이팅 구조의 지점들에 부합하는 것인, 상기 지점들의 복수의 쌍들을 결정하고,
d) 이미지 평면 앞의 가상적인 소실점에 대해서 상기 지점들의 쌍들의 상기 제1 및 제2 지점으로부터 연장하는 것인, 두 개의 보조적 빔들을 각각 포함하는 복수의 보조적 빔 쌍들을 생성하고,
e) 각각이 상기 보조적 빔 쌍들 중의 하나의 보조적 빔들 중의 하나에서 시작하고 상기 보조적 빔 쌍들 중의 대응하는 다른 보조적 빔들 중의 하나에서 종료하는 것인 복수의 지지 경로들을 생성하고,
f) 모든 지지 경로들이 동일한 각도 하에서 공통 평면 상에서 각각 마주치고 동일한 길이를 가질 때까지, 상기 지지 경로들의 배향 및/또는 길이를 변형하고,
g) 상기 f)에 따라서 찾아진 상기 지지 경로들[단 상기 지지 경로들은 상기 캘리브레이팅 구조의 상기 제1 및 제2 측부에 대해서 평행하게 연장되는 상기 투사 표면의 경로 섹션들임]을 사용하는 것에 의해서 상기 투사 표면의 모델을 생성하도록 형성된 것인 상기 재구성 수단; 및
h) 상기 재구성 수단에 의해서 재구성된 상기 투사 표면의 공간적 연장을 이용하여 캘리브레이션된 투사를 생성하기 위한 캘리브레이팅 수단;
을 포함하는 캘리브레이션된 투사를 생성하기 위한 장치에 또한 관한 것이다.
본 발명에 따르면, 단일 평면을 따라서 평면 방식으로 연장하지 않는 투사 표면 상에도 보다 왜곡-없는 투사를 제공하는 것인 방법들 및 장치들을 제공할 수 있다.
본 발명은 도면들을 참조한 예시적인 실시예들에 의해서 후속하여 상세하게 설명된다.
도 1a는 투사 표면 앞에 위치한 카메라로부터 보여지는 통상적인 투사된 이미지를 도시한다.
도 1b는 카메라 위치와는 다른 뷰어 위치로부터의 도 1a의 투사를 도시한다.
도 2a는 카메라 위치에 대해서 캘리브레이션 후의 도 1a 및 도 1b의 투사를 도시한다.
도 2b는 도 1b의 뷰어 위치로부터의 도 2a의 캘리브레이션된 투사를 도시한다.
도 3a는 카메라로부터 보여지는 본 발명의 제1 예시적인 실시예에 따라서 생성된 캘리브레이션된 투사를 도시한다.
도 3b는 도 1b 및 도 2b의 뷰어 위치로부터의 도 3a의 캘리브레이션된 투사를 도시한다.
도 4는 본 발명의 방법의 제2 예시적인 실시예에 따라서 생성된 캘리브레이션된 투사를 도시한다.
도 5a는 투사기의 수직 캘리브레이션 스트립들의 투사를 도시한다.
도 5b는 도 5a의 투사기의 수직 기준(reference) 스트립의 투사를 도시한다.
도 5c는 추가적인 투사기의 수평 캘리브레이션 스트립들의 투사를 도시한다.
도 5d는 도 5c의 투사기의 수평 기준 스트립의 투사를 도시한다.
도 6은 본 발명에 따른 방법의 방법 단계를 구조적 표현(representation)을 도시한다.
도 7은 본 발명에 따른 방법의 추가적인 예시적 실시예의 프로세스 다이어그램(process diagram)을 도시한다.
도 8a 및 도 8b는 uv-좌표를 사용하는 것에 의한 캘리브레이션된 투사의 생성을 도시하기 위한 스키마틱 다이어그램(schematic diagram)을 도시한다.
도 1a 및 도 1b 각각은 투사기(3)에 의해서 투사 표면(1) 상으로 투사되는 캘리브레이션되지 않은 투사 이미지(2)를 각각 도시한다. 도 1a는 투사 표면 앞에 위치한 카메라(4)로부터 보여지는 투사 이미지를 도시하며, 도 1b는 카메라 위치와는 다른 뷰어 위치로부터 보여지는 투사 이미지(2)를 도시한다. 투사 이미지(2)는 투사 표면(1)에 대한 투사기(3)의 위치에 따라서 왜곡된다. 특히, 투사 표면이 공간의 내벽의 일부로서 형성되고 내벽의 모서리를 넘어서 연장된다는 것은, 강하게 왜곡된 투사 이미지가 획득된다는 것을 나타낸다.
도 2a 및 도 2b에서는 캘리브레이션된 투사를 생성하기 위한 가능성이 도시된다. 여기에서는, 투사 이미지(2)의 캘리브레이션은 카메라 시점(viewpoint)에 대해서 시정된 것으로 나타내지도록 이행된다. 즉 카메라 이미지의 측면 에지들에 대해서 평행하게 연장되는 투사의 측면 에지들 및 카메라 이미지의 측면 에지들의 방향에서 시정되도록 투사 이미지(2)가 캘리브레이션된다. 그러나, 이러한 방식으로 캘리브레이션된 투사 이미지는 카메라의 관점(perspective)으로부터만 정확한 것으로 나타내지며, 투사 표면(1)에 대해서 다른 위치가 선택되자마자, 도 2b로부터 도시될 수 있듯이, 이미지는 왜곡된 것으로 나타내진다. 특히 내부 공간의 (예컨대 측벽과 바닥 및/또는 천장 사이의) 경계(boundary) 에지들에 평행하지 않도록 배향된 그러한 투사는 인지-심리학적(perceptive-psychological) 이유들에 의해서 정확하지 않은 것으로 인식된다.
본 발명의 방법에 의해서, [도 1 내지 도 3의 예시에 따라서 킹크를 가지는] 투사 표면(1)의 연장이 재구성되고, 투사 이미지는 투사 표면의 재구성된 연장을 사용하여 캘리브레이션되고, 투사 이미지의 캘리브레이션은 특히 투사 표면의 측면 에지들에 대해서 가능하다. 도 3a에 따르면, 그 상부 및 하부 측면 에지들(21, 22)이 투사 표면(1)의 상부 및 하부 측면 에지들(11, 12)에 대해 평행하도록, 투사 이미지(2)는 캘리브레이션되고, 이 예시에서는 내부 공간의 천정 또는 바닥과 투사 표면을 형성하는 내부 공간의 측벽과의 사이에서 측면 에지들(11, 12)은 각도(angle) 연장에 의해서 형성된다.
유사한 투사의 객체 평면 내에서 동등한 거리를 가지는 구조들이 투사 표면을 따라서 동일한 거리를 가지고 투사 표면(1)의 측면 에지들(11, 12)에 대해서 수직 및 평행이도록, 투사 이미지(2)는 투사 표면에 대해서 캘리브레이션되어(시정되어), 투사 이미지(2)가 월페이퍼 방식으로 투사 표면(1) 상에 "붙어 있는"(glued) 것처럼 보인다. 이러한 캘리브레이션 때문에, 도 3b를 참조하면, 투사 이미지(2)는 뷰어 위치와 독립적으로 정확하게 나타난다.
투사 표면에 대해서 도 3a 및 도 3b에 도시된 캘리브레이션을 생성하는 것을 가능하게 하기 위해서, 투사 표면(1)의 연장은 전술한 방법의 제1 부분에서 재구성된다. 이를 위해서, 투사 표면(1)은 제1 측부(51) 및 제1 측부에 평행한 제2 측부(52)를 가지는 캘리브레이팅 구조(5)를 포함한다. 또한, 캘리브레이팅 구조(5)는 제3(하부) 측부(53) 형태의 연결선을 가진다. 제3 측부(53)는 제1 측부(51)의 제1(하부) 단부(511)와 제2 측부(52)의 제1(하부) 단부(521)를 연결한다. 또한 캘리브레이팅 구조(5)는 제3 측부(53)에 평행하게 연장되는 제4 측부(54)를 가진다.
캘리브레이팅 구조(5)의 영역 내에서, 즉 여기에서는 캘리브레이팅 구조(5) 내의 영역에서, 투사 표면(1)은, 제3 측부(53)를 제1 및 제2 측부(51, 52)를 따라서, 즉 상방(upwards)으로, 천이하는 것에 의해서 형성되는 표면 형태로 연장한다. 다른 말로 하면, 캘리브레이팅 구조(5)의 영역 내에서, 투사 표면(1)은, 종래의 투사 표면과 같이 평면 방식으로 단일 표면을 따라서 연장하지 않고, 제1 포션(12)이 제2 포션(13)으로부터 선(line, 111)(측벽의 모서리)을 따라서 구부려져 있기(bent off) 때문에 공간 내에서 연장한다. 예컨대, 캘리브레이팅 구조(5)는 투사 표면(1) 상에 레이저에 의해서 투사되고, 특히 그 제3 및 제4 측부(53, 54)가 투사 표면(1)의 상부 및 하부 측면 에지들(11, 12)에 평행하게 배향되도록 연장한다. 물론, 투사 이미지의 표면보다도 작거나 또는 투사 이미지의 표면에 부합하는 표면을 정의하도록, 캘리브레이팅 구조(5)는 또한 설계될 수 있어서, 캘리브레이팅 구조(5)를 넘어서(beyond) 투사 이미지(2)가 연장할 수 있다.
다른 변형(variant)에서는, 캘리브레이팅 구조는, 그 것이 후속하여 카메라에 의해서 기록되는 투사 표면의 이미지에 부가(add)된다는 사실에 의해서, 적어도 부분적으로 생성되고, 예컨대, 선들은 (수동적으로 또는 자동적으로) 투사 표면의 이미지에 부가되고, 이는 투사 표면의 특성(characteristic) 구조에 대해서 평행하게, 예컨대 측벽 에지들(11, 12) 및/또는 킹크(111)에 대해서 평행하게, 연장한다.
캘리브레이션된 투사(2)는 또한 복수의 제1 (수평) 스트립들(61) 및 복수의 제2 (수직) 스트립들(62)의 형태의 테스트 구조들(6)을 포함한다. 제1 스트립들(61)과 제2 스트립들(62)의 교차점들은 투사의 객체 평면 내에서 균일한(uniform) 격자(lattice)의 격자점들을 형성한다. 캘리브레이팅 구조(5)의 제1 및 제2 측부(51, 52)를 따라서 및/또는 [투사 표면(1)을 따른] 캘리브레이팅 구조의 제3 및 제4 측부(53, 54)를 따라서 이러한 격자점들이 서로에 대해서 일정한(constant) 거리를 가지도록, 투사 이미지의 캘리브레이션은 이행된다.
도 4는 본 발명에 따른 방법에 의해서 캘리브레이션되는 투사의 다른 예시를 도시한다. 투사 이미지(2)는 월페이퍼 방식의 곡선인 투사 표면(1)에 이어지고(follow), 투사 표면은 (수평) 측면 에지들(11, 12) 및 (수직) 측면 에지들(14, 15)에 의해서 정의된다.
그러한 캘리브레이션을 달성하기 위해서, 투사 표면의 연장은 다시 캘리브레이팅 구조(5)를 사용하는 것에 의해서 재구성된다. 도 4의 예시에서, 투사 표면(1)의 측면 에지들(11 내지 15)은 캘리브레이팅 구조로서 역할을 하며, 여기에서 제1 수직 측면 에지(14)는 캘리브레이팅 구조의 제1 측부(51)를 형성하고 제2 수직 측면 에지(15)는 캘리브레이팅 구조의 제2 측부(52)를 형성한다. 투사 표면의 (하부) 수평 측면 에지(12)에 부합하는 제1 (하부) 연결선(53)을 통해서 그리고 투사 표면의 (상부) 수평 측면 에지(11)에 부합하는 제2 (상부) 연결선(54)을 통해서, 두 개의 측부들(51, 52)는 서로에 대해서 연결된다. 투사 표면은 차례로 돌기(bump)들이나 함몰(dent)들이 없도록 연장되며, 즉 수직으로 연장하는 축에 대해서, 즉 캘리브레이팅 구조의 에지들(51, 52)에 대해서 평행으로, 각진(angled) 및/또는 곡선인 표면의 형태로 형성된다.
다른 말로 하면, 투사 표면(1)은 측부들(51, 52)을 따라서 하부 연결선(53)을 수직 천이하는 것에 의해서 형성된다. 본 예시에서는, 투사 표면(1)은 제2 포션(13)에 대해서 상대적으로 곡률을 가지고 연장하는 제1 포션(12)을 가지며, 여기에서 투사 표면은 [서로 다른 사인(sign)의 부분으로서] 복수의 곡률을 포함한다. 물론, 본 발명에 따른 방법은, 곡률들과 킹크들의 임의의 조합을 가지는 이론적인 투사 표면들을 커버(cover)한다.
도 3a, 도 3b 및 도 4의 도시는 실제적으로 캘리브레이팅 구조와 투사 표면의 카메라 이미지에 부합한다는 것을 주지하여야 하며, 이 때문에 예컨대 도 4에서 측면 에지(14)는 반대측 측면 에지(15)보다 길게 보인다. 투사 표면의 측면 에지의 (그리고 따라서 캘리브레이팅 구조의 측면 에지의) 실제 연장은 알려져 있고, 캘리브레이팅 구조의 영역 내에서 투사 표면의 공간적인 연장은 캘리브레이팅 구조의 이미지와 캘리브레이팅 구조의 실제 연장 사이의 차이로부터 전술한 바와 같이 결정될 수 있다.
도 5a 내지 도 5d는 본 발명의 방법에 따른 캘리브레이션된 투사를 제조하기 위한 캘리브레이션 패턴들의 투사에 관한 것이다. 예컨대 도 5a는 두 개의 킹크들(111, 112)을 가지는 (스크린 형태의) 투사 표면(1)을 도시하며, 따라서 투사 표면(1)은 3개의 인접하는 포션에 대해서 각도를 가지고 각각 연장되는 포션들(15 내지 17)을 포함한다. 이 예시에서, 투사 표면의 에지는 투사 표면의 공간적 연장의 재구성을 위한 캘리브레이팅 구조(5)를 한정한다.
투사 표면 상으로, 캘리브레이션 패턴(9)이 투사되고, 캘리브레이션 패턴(9)은 복수의 제1 (수직) 캘리브레이션 스트립들(91)을 포함하며 카메라에 의해서 기록되며, 여기에서 캘리브레이션 스트립들은 또한 카메라 렌즈 왜곡(아직까지는 보정되지 않음)으로 인하여 왜곡된다.
(투사의 객체 평면 내에서) 모든 캘리브레이션 스트립들이 존재하는 것이 아닐 수 있고 또한 투사 표면 상에 (그러나 투사 표면 옆으로) 투사될 수 있기 때문에, 기준 패턴이 투사되고, 이에 의해서 어떠한 캘리브레이션 스트립들이 투사 표면 상으로 투사될 지를 결정한 수 있다. 예컨대 기준 패턴은, 도 5b에 도시되듯이, 투사된 캘리브레이션 스트립들 중의 하나에 부합하고 그 위치가 (투사의 객체 평면 내에서) 다른 남아있는 캘리브레이션 스트립들에 대해서 알려진 것인 개별적인 기준 스트립(95)으로 구성된다. 투사 표면 상에서의 기준 스트립(95)의 위치로부터 (즉 투사 표면의 측면 에지들에 대해서) 진행하여, 캘리브레이션 스트립들(91) 중의 어느 것이 투사 표면(1) 상으로 투사될 지가 결정될 수 있다.
도 5c 및 도 5d는 수평 기준 스트립(96)의 또는 수평 캘리브레이션 스트립들(92)의 투사에 관련된 것이다. 수직 스트립들(91) 및 수평 스트립들(92)은 물론 서로 함께 투사될 수 있다. 기준 스트립들(95, 96)은 또한 캘리브레이션 패턴들과 함께 투사될 수 있고, 예컨대 이들은 또한 실제 캘리브레이션 패턴으로부터 차별화(differentiation)를 위한 추가적인 구조들을 포함할 수 있다. 만약 여러 개의 투사기가 사용된다며, 특히 투사기들 각각은 캘리브레이션 패턴 또는 캘리브레이션 패턴들을 투사한다.
도 6은 본 발명의 방법에 따른 투사 표면의 재구성 동안의 방법 스텝을 도시한다. 캘리브레이팅 구조의 이미지(5')(카메라 이미지)는 (점선으로 된 틀에 의해서 지시되는, 카메라의 이미지 평면 내에서) 생성되고, 이는 측부들(51' 내지 54')을 가진다. 측부들(51'및 54')은 선형으로 연장하고(그렇지만 카메라 이미지의 에지들에 대해서 평행할 필요는 없음), 예컨대 도 3b의 캘리브레이팅 구조(5)의 측부들(51 및 52) 의 이미지에 부합한다. 하부 측부(53')는 하부 측부(53)에 부합하고 상부 측부(54')는 캘리브레이팅 구조(5)의 상부 측부(54)에 부합하며, 여기에서 측부들(53' 및 54')은 투사 표면 내에서의 (도 3a의 킹크(111)에 부합하는 것인) 킹크로 인해서 선형으로 연장하지 않지만, 각각은 투사 표면이 가장 큰 공간적 연장을 가지는 지점에서 구부러진다(bent off).
캘리브레이팅 구조의 이미지(5')로부터 시작하여, 그 중 3개가 도 6에 도시된 복수의 지점들의 쌍(pair)들이 선택된다, 다시 말해, 도시된 캘리브레이팅 구조(5')의 모서리 지점들이면서 또한 서로에 대해서 반대측에 배치된 제1 측부(51')의 단부들을 형성하는 것인 지점들(A 및 B)을 포함하는 제1 쌍과, 제2 측부(52')의 단부들을 형성하는 것인 지점들(C 및 D)을 포함하는 제2 쌍이 선택된다. 이들은 도시된 캘리브레이팅 구조(5')의 모서리 지점들이기 때문에, 선택된 지점들(A 및 B 뿐만 아니라 C 및 D)은, 실제 캘리브레이팅 구조(도시되지 않음)의 제1 및 제2 측부를 따라서 서로 반대측에 배치되며, 실제 캘리브레이팅 구조의 지점들(유사한 모서리 지점들)에 부합한다. 또한 추가적인 지점들(E, F)의 쌍이 측부들(53'및 54')의 킹크에서 선택된다.
지점들의 쌍들[(A, B), (C, D) 및 (E, F)]로부터 시작하여, 3개의 보조적 빔 쌍들이 형성되고, 이는 각각, 카메라의 이미지 평면 앞의 [또는 일반적으로 캘리브레이팅 구조가 연장하는 이미지(5')의 평면 앞의] 가상적인 소실점(vanishing point)에 대한 지점들의 쌍들의 제1 및 제2 지점(A, B;, C, D; 및 E, F)으로부터 연장하는 것인, 두 개의 보조적 빔들(81a, 81b; 82a, 82b; 및 83a, 83b)을 포함한다. 또한, 서로에 대해서 평행한 복수의 지지 경로(supporting path)들(71, 72, 73)이 생성되고, 이는 각각 보조적 빔들(81a, 82a, 83a) 중의 하나 상에서 시작하고 대응되는 보조적 빔 쌍들의 다른 보조적 빔(81b, 82b, 83b) 상에서 종료한다.
동일한 각도 하에서 공통(common) 평면(도시되지 않음) 상에서 각각 마주치고 동일한 길이를 가질 때까지, 지지 경로들(71, 72, 73)은 그 길이 및 배향 면에서 변형될 수 있다(최적화 방법). 이렇게 해서 찾아진 지지 경로들에 의해서, 투사 표면은 이후 캘리브레이팅 구조의 영역 내에서 재구성되고, 여기에서 찾아진 지지 경로들은 추구하는 투사 표면의 포션들이며, 이는 캘리브레이팅 구조의 제1 및 제2 측부에 대해서 평행하도록 배향된다. 이러한 방식으로 찾아진 투사 표면은 실제 투사 표면과 스케일에 대해서 축척(scale)에 대해서 참(truth)일 필요는 없으며, 이는 캘리브레이션된 투사를 생성하기 위해서는 역할을 하지 않는다.
물론, 투사 표면을 재구성하기 위해서 지점들의 3개의 쌍들보다 많이 선택될 수도 있다. 또한 도 6에 도시된 쌍들보다 다른 것들이 선택될 수도 있다는 것을 주의하여야 한다. 특히, 지점들의 3번째 쌍은 가장 큰 공간적 곡률 또는 깊이를 가지는 투사 표면의 영역으로부터 선택될 필요는 없다.
도 7은 본 발명에 따른 방법의 추가적인 예시적 실시예의 프로세스 다이어그램을 도시한다. 이에 따르면, 다양한 캘리브레이션 이미지들은 제1 스텝(100)에서 투사 표면 상으로 투사된다. 이것은, 특히 배경 객체들과 노이즈의 방해(disturb)를 제거하기 위해서, 남아있는 캘리브레이션 이미지들로부터 감해지는(subtracted)것인 흑색(black) 이미지(101)를 포함한다.
또한, 투사 표면의 공간적 연장을 재구성하기 위한 캘리브레이팅 구조로서 사용될 수 있도록, 특히 투사 표면의 모서리들과 에지들을 결정하는 역할을 하는 백색(white) 이미지(102)가 투사된다.
또한, 복수의 수직 스트립들을 포함하는 제1 캘리브레이션 패턴(103)과, 복수의 수평 스트립들을 포함하는 제2 캘리브레이션 패턴(104)이 투사된다. 또한 캘리브레이션 패턴들(103, 104)의 스트립들을 분명하게(unambiguously) 식별 가능하게 하는 역할을 하는 기준 스트립들(105)이 투사된다.
투사된 캘리브레이션 이미지들(101 내지 105)은 디지털 카메라로 기록되고, 여기에서 예컨대 각각의 캘리브레이션 이미지들은 별도로(separately) 기록된다. 그러나, 예컨대 캘리브레이션 패턴들(103 내지 105)와 같이, 캘리브레이션 이미지들 중의 일부는 동시에 투사되고 또한 동시에 기록될 수 있다는 것을 인식할 수 있다. 또한 여러 개의 투사기들이 투사 이미지를 생성하기 위해서 사용되고, 스텝 100에 따라서 투사되는 캘리브레이션 이미지들이 각각의 사용되는 투사기들에 의해서 교대로 투사되고 기록될 수도 있는 것도 물론 가능하다.
캘리브레이션 패턴들(103, 104)의 투사된 스트립들의 일부가 더 이상 카메라에 의해서 캡쳐되지 않거나 투사 표면의 바깥에 있어서, 투사된 캘리브레이션 스트립들 중의 어느 것이 투사 표면의 영역 내에 있는 지가 카메라 이미지를 참조로 하여 명확하게 결정되지 않을 수 있다. 카메라에 의해서 묘사된 투사된 캘리브레이션 스트립들의 명확한 할당(allocation)은, 그래서, 투사될 이미지들을 캘리브레이션하기 위한 와핑(뒤틀림) 파라미터들을 결정하기 위한 방편(expedient)이 된다. 캘리브레이션 스트립들의 명확한 할당을 위해서, 기준 스트립들(105)이 투사되고, 이는 (특히 캘리브레이션 스트립들에 대한 그들의 위치에 의해서) 투사된 캘리브레이션 스트립들이 명확하게 식별될 수 있도록 같은 방식에 의해서 설계된다. 예컨대, 스트립들 대신에, 다른 기하의 기준 패턴들이 사용될 수 있으며, 또는 부호화 광-섹션 기술(coded light-sectioning technique) 또한 사용될 수 있다.
예컨대 스텝 200에 따라서, 특히 샘플링이나 렌즈 왜곡, 줌, 블루밍(blooming) 또는 앤티-앨리어싱(anti-aliasing)등과 같은 효과들에 의한 변질(adulteration)들을 보정하기 위해서, 기록된 캘리브레이션 패턴들(103 내지 105)은 이진화(binarize)된다. 특히, 이진 필터 임계값은 히스토그램에 의해서 결정되고, 여기에서 비네팅(vignetting)의 영향 역시 고려될 수 있다. 이러한 이진 필터 임계값에 의해서, 캘리브레이션 패턴들(103 내지 105)의 이미지의 흑-백(black-and-white) 필터링이 이행되며, 여기에서 예컨대 필터링된 스트립들 내에서의 발생 가능한 에러들이 또한 형태학적(morphological) 연산(operation)들로 채워질 수 있다.
이러한 방식으로 처리된 캘리브레이션 패턴들은, 예컨대 여러 개의 픽셀들의 폭을 가질 수 있고, 특히 2개의 수직(서로 반대측 방향들에서) 및/또는 두 개의 수평(유사하게 서로 반대측 방향들에서) 오프셋 필터에 의해서 처리될 수 있어서, 투사된 스트립들의 에지들 각각이 추출된다(수직 스트립들의 좌측 및 우측 에지 또는 수평 스트립들의 상부 및 하부 에지). 이에 따라서 결정된 스트립 에지들은 수직 및 수평 스트립들의 교차점들의 결정을 후속하여 수행하기위해서 사용된다.
투사된 캘리브레이션 스트립들의 필터링은 또한 그래디언트(gradient) 방법으로 이행될 수도 있다.
추가적인 스텝 300에서는, 임시 렌즈 시정을 위한 파라미터들의 결정이 이행된다. 이러한 파라미터들의 결정은, 즉, 이미 전술한 바와 같이, 투사 표면의 똑바른(straight) 측부 에지들의 연장을 참조하여 현재의 예시에서, 특히 캘리브레이팅 구조의 알려진 연장을 사용하여 이행된다.
투사된 백색 이미지(102)에 기초하여, 투사 표면의 에지 인식이 이행되고(스텝 400), 여기에서, 예컨대 양측(bilateral) 수직/ 및 수평 오프셋 필터가 백색 이미지에 적용될 수 있다. 예컨대, 이러한 필터링된 백색 이미지로부터 진행되어, (카메라의 이미지 평면 내에서) 투사 표면의 모서리 지점들은 두 개의 인접하는 에지 세그먼트(segment)들의 시작 지점들 또는 종료 지점들을 평균하는 것에 의해서 결정될 수 있다. 또한, 투사된 제1 (수평) 및 제2 (수직) 캘리브레이션 스트립들(103, 104)의 교차점들의 결정은 스텝 500에 따라서 이행된다.
캘리브레이션 스트립들(103, 104)의 이진화 이미지들로부터 진행하여, 그들의 에지들의 교차점이 결정된다. 따라서, 수평 스트립과 수직 스트립의 교차점당(per point of intersection), 캘리브레이션 스트립들의 구하고자 하는 교차점들이 평균에 의해서 결정되는 것을 기초로 하여,각각의 스트립들의 4개의 교차점들이 획득된다. 이러게 해서 찾아진 교차점들의 위치(캘리브레이션 객자의 격자점들을 형성함)는 특히 결정된 렌즈 왜곡을 사용하는 것에 의해서 보정되어, 카메라로 인한 왜곡들에 대해서 조절된(adjusted) 교차점들이 사용 가능하다.
만약 캘리브레이션 스트립들이 그래디언트 방법을 가지고 필터링되었다면, 이러한 캘리브레이션 스트립들은 단지 선 순서(line sequence)에 의해서 표시된다. 따라서, 단지 하나의 교차점만이 존재한다면, 여기에서는 그저 렌즈 왜곡만이 보정되어야 한다.
전술한 바와 같이 결정된 캘리브레이션 스트립들(103, 104)의 교차점들은 투사된 이미지 내에 있다. 즉 투사 표면의 측면 에지에 대해서 특정한 거리 내에 있다. 투사된 이미지의 에지 영역 내에서 캘리브레이션을 확장(expand)하기 위해서, 투사된 이미지를 둘러싸는 교차점의 에지가 추정된다(extrapolated). 이를 위해서, 예컨대 캘리브레이션 스트립들의 거리는 상대적으로 작아서, 카메라의 이미지 평면 내에서 인접하는 캘리브레이션 스트립들에 의해서 정의되는 사각형은 이미지 평면에 비스듬하게(obliquely) 있는 평면 내에서의 사각형에 부합한다고 가정한다. 이러한 가정 하에서, 변환 규칙(transformation rule)이 결정된다. 투사 표면의 에지를 가지고, 격자점 사각형의 측부의 교차점 즉 투사 표면의 내부에 있는 래스터 지점과 투사 표면의 외부에 있는 래스터 지점 사이의 선의 교차점을 결정하기 위해서, 변환 규칙은 투사된 이미지의 에지에서의 격자점 사각형에 적용된다.
추가적인 스텝들 600, 700에서는, 전술한 바와 같이, 역(inverse) 호모그래피 변환에 의해서 캘리브레이팅 구조의 이미지 내에서 지점들의 쌍들을 선택하고 식별하기 위해서, 호모그래피 변환이 보조적 평면 내에서 캘리브레이팅 구조의 변환된 이미지를 생성하기 위하여 이행된다. 이렇게 식별된 지점들의 쌍들은 도 5를 참조하여 설명된 지지 경로들의 구성에 역할을 한다.
최종적으로, 캘리브레이팅 구조의 영역 내에서의 투사 표면과 캘리브레이팅 구조의 성질들["제약들"(constraints)]을 사용하는 것에 의해서, 투사 표면의 재구성(800)은 이행된다. 이에 따르면, 특히 캘리브레이팅 구조의 제1 및 제2 측부는 서로에 대해서 평행하게 연장되고, 상세하게 전술한 바와 같이, 투사 표면은 수직 스위핑(sweep)에 의해서 생성될 수 있다. 한 변형예에서는, 캘리브레이팅 구조의 영역 내에서의 투사 표면의 연장은 와이어 그리드(wire grid) 모델에 의해서 재구성된다.
스텝 800에 따라서 재구성된 투사 표면을 사용하는 것에 의해서, 투사의 캘리브레이션은 최종적으로 이행된다. 여기에서, 스텝 900에서는, 와핑 파라미터들이 uv-좌표 및 블렌드 이미지들(blend images) 형태로 생성된다. 특히, 격자점들의 위치 또는 서로 다른 투사기들의 캘리브레이션 패턴들의 스트립들 및 그들의 uv-좌표를 참조로 하여, 투사의 어느 영역들이 가시성(visible)이 있는지(블렌드 이미지 내에서의 백색), 어느 것이 투사 표면의 바깥쪽에 배치되는지(블렌드 이미지 내에서의 흑색), 그리고 어디에서 서로 다른 투사기들에 의해서 투사된 이미지들의 중첩 영역이 배치되는지(블렌드 이미지 내에서의 회색)가 결정될 수 있다.
여러 개의 투사기들을 이용할 때의 부분적인 이미지들을 결합하고 시정하는 것은 스텝 1000에 따라서 실시간으로 이행된다. 예컨대 투사기의 이미지는 결정된 uv-좌표("uv-텍스쳐-룩업")에 의해서 변환되고 부합되는 블렌드 이미지로 변조(modulate)되어서, 캘리브레이션된 이미지가 투사 표면에 대해서 또한 서로에 대해서 개별적인 이미지들에 대해서(여러 개의 투사기들을 사용할 때) 생성된다.
도 6의 예시적인 실시예에서 도 6을 참조로 설명된 모든 방법 스텝들이 절대적으로 반드시 필요한 것이 아니라는 것을 주의하여야 한다. 변형된 형태에서는 일부 스텝들은 생략되고 또는 일부 스텝들은 실현되는 것도 또한 가능하다. 예컨대, 도 6의 예시적인 실시예에 대해서, 투사 표면의 측면 에지가 캘리브레이팅 구조로서 사용되는 것은 절대적으로 필요한 것이 아니며, 별도의 캘리브레이팅 구조가 사용되어서, 예컨대 백색 이미지(102)를 투사하는 것은 생략될 수 있다.
도 8a 및 도 8b는 도 7의 스텝 1000을 나타낸다. 도 8a에 따르면, 격자점 래스터(9, 9')의 형태의 캘리브레이션 패턴이 투사되고, 이의 4개의 격자점들(99a' 내지 99d', 99a 내지 99d)이 도시된다. 도 8a의 왼쪽 표현은 투사의 객체 평면 내에서의(또는 투사기의 프레임 버퍼 내에서의) 격자점 래스터(9')를 도시하며, 한편 오른쪽 표현은 투사 표면 상에서의 격자점 래스터의 투사(9)를 도시한다. 투사된 격자점들(99a 내지 99d)의 위치는, 전술한 방법에 의해서 uv-좌표의 형태 내에서 투사 표면의 재구성된 연장을 사용하는 것에 의해서 결정되고, 매핑 규칙(화살표들로 지시됨)은 투사기의 프레임 버퍼 내에서의 격자점들(99a'-99d')의 좌표 및 투사된 격자점들(99a 내지 99d)에 의해서 결정된다. 부합하는 절차가 도 8b를 참조하는 캘리브레이션 패턴의 다른 격자점들에 대해서 채용된다.
전술한 방법은 물론 격자점 래스터의 직사각형 세그먼트들에 대해서만 실현되는 것이 아니라 예컨대 3개의 격자점들에 의해서 정의되는 삼각형의 세그먼트들에 대해서도 실현될 수 있다.
1: 투사 표면 2: 투사 이미지
3: 투사기 4: 카메라
5: 캘리브레이팅 구조 5': 캘리브레이팅 구조의 이미지
6: 테스트 이미지 9, 9': 캘리브레이션 패턴
11-14: 투사 표면의 측면 에지 12, 13, 15-17: 투사 표면의 포션
21, 22: 투사 이미지의 측면 에지 51: 캘리브레이팅 구조의 제1 측부
51': 캘리브레이팅 구조의 제1 측부의 이미지
52: 캘리브레이팅 구조의 제2 측부
52': 캘리브레이팅 구조의 제2 측부의 이미지
53: 캘리브레이팅 구조의 제3 측부
53': 캘리브레이팅 구조의 제3 측부의 이미지
54: 캘리브레이팅 구조의 제4 측부
54': 캘리브레이팅 구조의 제5 측부의 이미지
61: 제1 테스트 스트립들 62: 제2 테스트 스트립들
71, 72, 73: 지지 경로들 81a, 81b, 82a, 82b, 83a, 83b: 보조적 빔들
91: 제1 캘리브레이션 스트립들 92: 제2 캘리브레이션 스트립들
95, 96: 기준 스트립들 99a-d, 99a'-d': 격자점들
111, 112: 킹크
511: 캘리브레이팅 구조의 제1 측부의 단부
522: 캘리브레이팅 구조의 제2 측부의 단부
A-F: 캘리브레이팅 구조의 이미지의 모서리 지점들
G: 소실점

Claims (18)

  1. 투사(projection) 표면(1) 상에 캘리브레이션된 투사를 생성하기 위한 방법으로서,
    a) 상기 투사 표면(1)의 공간적 연장(extension)에 따른 캘리브레이팅 구조(5)로서, 제1 측부(side)(51) 및 상기 제1 측부(51)에 대해서 평행하게 연장하는 제2 측부(52)를 가지고, 상기 제1 또는 제2 측부(51, 52)의 방향에서 측정되는 일정한 높이를 가지는 것인 상기 캘리브레이팅 구조(5)를 생성 및/또는 배열하는 단계;
    b) 카메라(4)에 의해서 이미지 평면 내에서 상기 캘리브레이팅 구조(5)의 이미지(5')를 생성하는 단계;
    c) 상기 캘리브레이팅 구조(5)의 영역(region) 내에서 상기 투사 표면(1)의 공간적 연장을 재구성하는 단계로서,
    d) 상기 캘리브레이팅 구조(5)의 상기 이미지(5')의 지점(point)들(A 내지 F)의 복수의 쌍들로서, 상기 지점들의 복수의 쌍들 각각은 상기 캘리브레이팅 구조(5)의 상기 이미지(5')의 제1 지점(A, C, E) 및 제2 지점(B, D, F)을 포함하고, 상기 제1 지점 및 상기 제2 지점 각각은 상기 캘리브레이팅 구조(5)의 제1 또는 제2 측부(51, 52)를 따라서 서로에 대해서 반대측에 배치되는 상기 캘리브레이팅 구조(5)의 제1 및 제2 지점에 부합(correspond to)하는 것인, 상기 이미지(5')의 지점들(A 내지 F)의 복수의 쌍들을 결정하는 단계와,
    e) 이미지 평면 앞의 가상적인 소실점(G)에 대해서 상기 지점들의 쌍들의 상기 제1 및 제2 지점(A 내지 F)으로부터 연장하는 것인, 두 개의 보조적 빔들(81a, 81b, 82a, 82b, 83a, 83b)을 각각 포함하는 복수의 보조적 빔 쌍들을 생성하는 단계와,
    f) 각각이 상기 보조적 빔 쌍들 중의 하나의 보조적 빔들(81a, 82a, 83a) 중의 하나에서 시작하고 상기 보조적 빔 쌍들 중의 대응하는 다른 보조적 빔들(81b, 82b, 83b) 중의 하나에서 종료하는 것인, 서로에 대해서 평행하게 복수의 지지 경로들(71, 72, 73)을 생성하는 단계와,
    g) 모든 상기 지지 경로들(71, 72, 73)이 동일한 각도 하에서 공통 평면 상에서 각각 마주치고(impinge) 동일한 길이를 가질 때까지, 상기 지지 경로들(71, 72, 73)의 배향(orientation) 및/또는 길이를 변형(vary)하는 단계와,
    h) 상기 단계 g)에 따라서 찾아진 상기 지지 경로들을 사용하는 것에 의해서 상기 투사 표면(1)의 모델을 생성하는 단계로서, 상기 지지 경로들은 상기 캘리브레이팅 구조(5)의 상기 제1 및 제2 측부(51, 52)에 대해서 평행하게 연장되는 상기 투사 표면의 경로 섹션(section)들인 것인 단계
    를 포함하는 것인 상기 투사 표면(1)의 공간적 연장을 재구성하는 단계; 및
    i) 단계 h)에 따라서 생성된 상기 투사 표면의 모델을 사용하여 캘리브레이션된 투사를 생성하는 단계
    를 포함하는 캘리브레이션된 투사를 생성하기 위한 방법.
  2. 제1항에 있어서,
    상기 단계들 d) 내지 h)에 따른 상기 재구성 전에, 상기 카메라(4)의 렌즈 수차(aberration)의 보정이 수행되고, 그 보정 파라미터들은 상기 캘리브레이팅 구조(5)의 상기 제1 측부(51) 및/또는 상기 제2 측부(52)의 연장과 상기 캘리브레이팅 구조의 상기 이미지(5')의 제1 측부(51') 및 제2 측부(52')의 연장의 편차(deviation)에 의해서 결정되는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  3. 제1항에 있어서,
    상기 단계 d)에 따라서,
    - 상기 캘리브레이팅 구조(5)의 제1 측부(51)에 부합되는 것인, 상기 캘리브레이팅 구조의 상기 이미지(5')의 제1 에지(edge) 포션(portion) 상에 놓이는(lie), 지점들의 제1 쌍이 결정되고,
    - 상기 캘리브레이팅 구조(5)의 제2 측부(52)에 부합되는 것인, 상기 캘리브레이팅 구조의 상기 이미지(5')의 제2 에지 포션 상에 놓이는, 지점들의 제2 쌍이 결정되고,
    - 상기 캘리브레이팅 구조의 상기 제1 및 제2 측부(51, 52)가 그 내에 놓여지는 평면에 대해서 가장 큰 거리를 가지는 상기 투사 표면(1)의 영역 내에서 배치되고, 그 지점들이 상기 캘리브레이팅 구조(5)의 지점들에 부합하는 것인, 지점들의 제3 쌍이 결정되고,
    - 상기 단계들 f) 내지 h)가 지점들의 상기 제1, 제2 및 제3 쌍에 의해서 초기에 수행되는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  4. 제1항에 있어서,
    상기 캘리브레이팅 구조(5)의 상기 제1 및 제2 측부(51, 52)는 적어도 부분적으로 상기 투사 표면(1)의 제1 및 제2 에지(14, 15)에 의해서 형성되는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  5. 제1항에 있어서,
    상기 캘리브레이팅 구조(5)는 적어도 부분적으로 상기 투사 표면(1) 상에 배열되거나 또는 상기 투사 표면(1) 상으로 투사되는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  6. 제1항에 있어서,
    상기 캘리브레이팅 구조의 상기 영역 내에서, 상기 투사 표면(1)은 제1 포션(12) 및 상기 제1 포션(12)에 대해서 각진(angled) 또는 곡선으로(curved) 연장하는 제2 포션(13)을 포함하는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  7. 제6항에 있어서,
    - 상기 투사 표면(1)은 적어도 부분적으로 실린더 세그먼트 또는 실린더의 측면 표면으로서 형성되거나 또는 물결 모양(wave-like)으로 연장되고, 및/또는
    - 상기 투사 표면(1)의 상기 제1 포션(12)은 제1 평면을 따라서 연장되고, 상기 투사 표면의 상기 제2 포션(13)은 제2 평면을 따라서 연장하고, 상기 제1 및 제2 평면은 서로에 대해서 각도를 가지고 연장하는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  8. 제1항에 있어서,
    I) 상기 카메라(4)의 이미지 평면으로부터 보조적 평면으로 상기 캘리브레이팅 구조(5)의 상기 이미지(5')를 변환하는 것에 의해서, 상기 캘리브레이팅 구조의 상기 변환된 이미지의 에지가 서로에 대해서 연장하는 제1 및 제2 측부를 가지도록, 상기 캘리브레이팅 구조(5)의 변환된 이미지를 생성하는 단계와,
    II) 상기 변환된 캘리브레이팅 구조의 에지의 제1 및 제2 지점을 각각 포함하는 상기 캘리브레이팅 구조의 상기 변환된 이미지의 지점들의 복수의 쌍들을 선택하는 단계로서, 상기 제1 및 제2 지점 각각은 상기 캘리브레이팅 구조의 상기 변환된 이미지의 상기 제1 또는 제2 측부를 따르는 방향에서 서로에 대해서 반대측에 배치되는 것인 상기 캘리브레이팅 구조의 상기 변환된 이미지의 지점들의 복수의 쌍들을 선택하는 단계와,
    III) 상기 캘리브레이팅 구조의 상기 변환된 이미지의 지점들의 상기 선택된 쌍들에 부합하는 것인, 상기 캘리브레이팅 구조의 상기 이미지 내에서의 지점들의 쌍들을 식별하는 것에 의해서, 상기 단계 d)에 따른 지점들의 쌍을 선택하는 단계
    를 포함하는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  9. 제8항에 있어서,
    상기 단계 III)에 따른 지점들의 상기 쌍들을 식별하는 것은
    상기 이미지 평면 내로 상기 변환된 이미지의 상기 지점들의 선택된 쌍들의 지점들의 좌표의 역-변환(back-transformation)에 의해서 이행되는(is effected) 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  10. 제9항에 있어서,
    상기 이미지 평면으로부터 상기 보조적 평면 내로 상기 캘리브레이팅 구조의 상기 이미지를 변환하는 단계는 호모그래피(homography) 행렬에 의해서 이행되는 것이고 상기 역-변환은 반전(inverted) 호모그래피 행렬에 의해서 이행되는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  11. 제1항에 있어서,
    a) 적어도 하나의 캘리브레이션 패턴(6)이 상기 투사 표면(1) 상에 투사되고,
    b) 상기 캘리브레이션 패턴(6)의 이미지가 상기 카메라(4)로 생성되는 것이고,
    c) 상기 캘리브레이팅 구조(5)의 상기 영역 내에서의 상기 투사 표면의 재구성된 연장 및 상기 캘리브레이션 패턴(6)의 이미지를 참조하여, 와핑(warping) 파라미터들이 상기 투사를 캘리브레이션하기 위해서 결정되는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  12. 제11항에 있어서,
    - 상기 투사의 객체(object) 평면 내에서, 상기 캘리브레이션 패턴(6)은 격자점들의 균일한 래스터(raster)를 포함하고,
    - 상기 투사는 상기 캘리브레이팅 구조(5)에 대해서 캘리브레이션되어, 상기 제1 및 제2 측부(51, 52)를 따라서 및/또는 상기 제1 및 제2 측부(51, 52)에 대해서 수직인 방향으로, 투사된 격자점들이 서로에 대해서 일정한 거리를 가지도록 되는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  13. 제12항에 있어서,
    상기 투사의 상기 객체 평면 내에서, 상기 캘리브레이션 패턴(6)은 서로에 대해서 각각 평행한 복수의 제1 및/또는 제2 스트립(strip)들(61, 62)을 포함하고, 상기 제1 스트립들(61)은 상기 제2 스트립들(62)에 대해서 수직으로 연장하고, 상기 제1 및 제2 스트립들의 교차점들은 상기 캘리브레이션 패턴의 격자점들을 형성하는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  14. 제12항에 있어서,
    상기 투사를 캘리브레이션하기 위해서, 상기 카메라의 상기 이미지 평면 내에서 격자점들의 각자의(respective) 위치가 채용되고,
    a) 상기 캘리브레이팅 구조(5)의 상기 영역 내에서 상기 투사 표면(1) 상으로 상기 카메라에 의한 격자점들의 투사는, 상기 캘리브레이팅 구조의 상기 영역 내에서 재구성되는 상기 투사 표면을 이용하여 모델링되고,
    b) 상기 와핑 파라미터들의 결정은 묘사된(depicted) 격자점들의 uv-좌표(uv-coordinates)의 형태로 상기 투사 표면 상에서 상기 묘사된 격자점들의 각자의 위치의 결정을 포함하는 것이고,
    c) 상기 uv-좌표를 참조하여 상기 투사의 캘리브레이션이 이행되는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  15. 투사 표면(1) 상에 캘리브레이션된 투사를 생성하기 위한 방법으로서,
    a) 카메라(4)에 의해서 이미지 평면 내에서 상기 투사 표면(1)의 이미지를 생성하는 단계;
    b) 상기 투사 표면(1)의 공간적 연장을 재구성하는 단계로서,
    c) 상기 투사 표면(1)의 상기 이미지 내에서 캘리브레이팅 구조(5')를 생성하는 단계로서, 제1 측부(51)와 상기 제1 측부(51)에 대해서 평행하게 연장하는 제2 측부(52)를 가지며 상기 제1 또는 제2 측부(51, 52)의 방향에서 측정되는 일정한 높이를 가지며, 상기 투사 표면 상에 배열되는 캘리브레이팅 구조(5)의 이미지에 부합하도록 상기 투사 표면의 특성 구조들에 치합되는(geared into) 것인, 상기 투사 표면(1)의 공간적 연장을 재구성하는 단계와,
    d) 생성된 상기 캘리브레이팅 구조(5')의 지점들(A 내지 F)의 복수의 쌍들로서, 상기 지점들의 복수의 쌍들 각각은 상기 캘리브레이팅 구조(5')의 제1 지점(A, C, E) 및 제2 지점(B, D, F)을 포함하고, 상기 제1 지점 및 상기 제2 지점 각각은 상기 캘리브레이팅 구조(5)의 상기 제1 또는 제2 측부(51, 52)를 따라서 서로에 대해서 반대측에 배치되는 상기 투사 표면 상에 배열된 캘리브레이팅 구조(5)의 지점들에 부합하는 것인, 상기 지점들(A 내지 F)의 복수의 쌍들을 결정하는 단계와,
    e) 이미지 평면 앞의 가상적인 소실점(G)에 대해서 상기 지점들의 쌍들의 상기 제1 및 제2 지점(A 내지 F)으로부터 연장하는 것인, 두 개의 보조적 빔들(81a, 81b, 82a, 82b, 83a, 83b)을 각각 포함하는 복수의 보조적 빔 쌍들을 생성하는 단계와,
    f) 각각이 상기 보조적 빔 쌍들 중의 하나의 보조적 빔들(81a, 82a, 83a) 중의 하나에서 시작하고 상기 보조적 빔 쌍들 중의 대응하는 다른 보조적 빔들(81b, 82b, 83b) 중의 하나에서 종료하는 것인, 서로에 대해서 평행하게 복수의 지지 경로들(71, 72, 73)을 생성하는 단계와,
    g) 모든 상기 지지 경로들(71, 72, 73)이 동일한 각도 하에서 공통 평면 상에서 각각 마주치고 동일한 길이를 가질 때까지, 상기 지지 경로들(71, 72, 73)의 배향 및/또는 길이를 변형하는 단계와,
    h) 상기 단계 g)에 따라서 찾아진 상기 지지 경로들을 사용하는 것에 의해서 상기 투사 표면(1)의 모델을 생성하는 단계로서, 상기 지지 경로들은 상기 캘리브레이팅 구조(5)의 상기 제1 및 제2 측부(51, 52)에 대해서 평행하게 연장되는 상기 투사 표면의 경로 섹션들인 것인 단계
    를 포함하는 것인, 상기 투사 표면(1)의 공간적 연장을 재구성하는 단계; 및
    i) 단계 h)에 따라서 생성된 상기 투사 표면의 모델을 사용하여 캘리브레이션된 투사를 생성하는 단계
    를 포함하는 캘리브레이션된 투사를 생성하기 위한 방법.
  16. 제15항에 있어서,
    상기 캘리브레이팅 구조(5)는 이미지 처리 소프트웨어에 의해서 상기 투사 표면(1)의 이미지에 부가되는 것에 의해서 생성되는 것을 특징으로 하는 캘리브레이션된 투사를 생성하기 위한 방법.
  17. 제1항 내지 제14항 중 어느 한 항에 따른 방법을 실행하기 위해, 투사 표면(1) 상에 캘리브레이션된 투사를 생성하기 위한 장치로서,
    a) 상기 투사 표면(1)의 공간적 연장을 재구성하기 위한 재구성 수단으로서,
    상기 재구성 수단은,
    b) 상기 투사 표면(1)의 공간적 연장에 따른 캘리브레이팅 구조(5) 및/또는 상기 투사 표면 상에 캘리브레이팅 구조(5)를 생성하기 위한 수단을 포함하고,
    상기 캘리브레이팅 구조(5)는, 제1 측부(51) 및 상기 제1 측부(51)에 대해서 평행하게 연장하는 제2 측부(52)를 가지고 상기 제1 또는 제2 측부(51, 52)의 방향에서 측정되는 일정한 높이를 가지며,
    상기 캘리브레이팅 구조(5)의 이미지로부터 시작하여,
    c) 상기 캘리브레이팅 구조(5)의 상기 이미지의 지점들(A 내지 F)의 복수의 쌍들로서, 상기 지점들의 복수의 쌍들 각각은 상기 캘리브레이팅 구조(5)의 상기 이미지의 제1 지점(A, C, E) 및 제2 지점(B, D, F)을 포함하고, 상기 제1 지점 및 상기 제2 지점 각각은 상기 캘리브레이팅 구조(5)의 제1 또는 제2 측부(51, 52)를 따라서 각각 반대측에 배치되는 상기 캘리브레이팅 구조(5)의 제1 및 제2 지점에 부합하는 것인, 상기 이미지의 지점들(A 내지 F)의 복수의 쌍들을 결정하고,
    d) 이미지 평면 앞의 가상적인 소실점(G)에 대해서 상기 지점들의 쌍들의 상기 제1 및 제2 지점(A 내지 F)으로부터 연장하는 것인, 두 개의 보조적 빔들(81a, 81b, 82a, 82b, 83a, 83b)을 각각 포함하는 복수의 보조적 빔 쌍들을 생성하고,
    e) 각각이 상기 보조적 빔 쌍들 중의 하나의 보조적 빔들(81a, 82a, 83a) 중의 하나에서 시작하고 상기 보조적 빔 쌍들 중의 대응하는 다른 보조적 빔들(81b, 82b, 83b) 중의 하나에서 종료하는 것인, 복수의 지지 경로들(71, 72, 73)을 생성하고,
    f) 모든 상기 지지 경로들(71, 72, 73)이 동일한 각도 하에서 공통 평면 상에서 각각 마주치고 동일한 길이를 가질 때까지, 상기 지지 경로들(71, 72, 73)의 배향 및/또는 길이를 변형하고,
    g) 상기 f)에 따라서 찾아진 상기 지지 경로들[단 상기 지지 경로들은 상기 캘리브레이팅 구조(5)의 상기 제1 및 제2 측부(51, 52)에 대해서 평행하게 연장되는 상기 투사 표면의 경로 섹션들임]을 사용하는 것에 의해서 상기 투사 표면(1)의 모델을 생성하도록 형성된 것인 상기 재구성 수단; 및
    i) 상기 재구성 수단에 의해서 재구성된 상기 투사 표면의 공간적 연장을 이용하여 캘리브레이션된 투사를 생성하기 위한 캘리브레이팅 수단;
    을 포함하는 캘리브레이션된 투사를 생성하기 위한 장치.
  18. 제15항 또는 제16항에 따른 방법을 실행하기 위해, 투사 표면(1) 상에 캘리브레이션된 투사를 생성하기 위한 장치로서,
    a) 상기 투사 표면(1)의 공간적 연장을 재구성하기 위한 재구성 수단으로서,
    상기 재구성 수단은,
    b) 상기 투사 표면의 이미지 내에서의 캘리브레이팅 구조(5')를 생성하기 위한 수단을 포함하고,
    상기 캘리브레이팅 구조(5')는, 제1 측부(51)와 상기 제1 측부(51)에 대해서 평행하게 연장하는 제2 측부(52)를 가지며 상기 제1 또는 제2 측부(51, 52)의 방향에서 측정되는 일정한 높이를 가지며 상기 투사 표면 상에 배열되는 캘리브레이팅 구조(5)의 이미지에 부합하도록 상기 투사 표면의 특성 구조들에 치합되는 것이고,
    상기 재구성 수단은,
    c) 상기 캘리브레이팅 구조(5')의 지점들의 복수의 쌍들로서, 상기 지점들의 복수의 쌍들 각각은 상기 캘리브레이팅 구조(5')의 제1 지점(A, C, E) 및 제2 지점(B, D, F)을 포함하고, 상기 제1 지점 및 상기 제2 지점 각각은, 상기 캘리브레이팅 구조의 상기 제1 또는 제2 측부(51, 52)를 따라서 서로에 대해서 반대측에 배치되는 상기 투사 표면 상에 배열된 캘리브레이팅 구조(5)의 지점들에 부합하는 것인, 상기 지점들의 복수의 쌍들을 결정하고,
    d) 이미지 평면 앞의 가상적인 소실점(G)에 대해서 상기 지점들의 쌍들의 상기 제1 및 제2 지점(A 내지 F)으로부터 연장하는 것인, 두 개의 보조적 빔들(81a, 81b, 82a, 82b, 83a, 83b)을 각각 포함하는 복수의 보조적 빔 쌍들을 생성하고,
    e) 각각이 상기 보조적 빔 쌍들 중의 하나의 보조적 빔들(81a, 82a, 83a) 중의 하나에서 시작하고 상기 보조적 빔 쌍들 중의 대응하는 다른 보조적 빔들(81b, 82b, 83b) 중의 하나에서 종료하는 것인 복수의 지지 경로들(71, 72, 73)을 생성하고,
    f) 모든 상기 지지 경로들(71, 72, 73)이 동일한 각도 하에서 공통 평면 상에서 각각 마주치고 동일한 길이를 가질 때까지, 상기 지지 경로들(71, 72, 73)의 배향 및/또는 길이를 변형하고,
    g) 상기 f)에 따라서 찾아진 상기 지지 경로들[단 상기 지지 경로들은 상기 캘리브레이팅 구조(5)의 상기 제1 및 제2 측부(51, 52)에 대해서 평행하게 연장되는 상기 투사 표면의 경로 섹션들임]을 사용하는 것에 의해서 상기 투사 표면(1)의 모델을 생성하도록 형성된 것인 상기 재구성 수단; 및
    h) 상기 재구성 수단에 의해서 재구성된 상기 투사 표면의 공간적 연장을 이용하여 캘리브레이션된 투사를 생성하기 위한 캘리브레이팅 수단;
    을 포함하는 캘리브레이션된 투사를 생성하기 위한 장치.
KR1020127010389A 2009-10-28 2010-10-26 캘리브레이션된 투사를 생성하기 위한 방법 및 장치 KR101693733B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102009046114A DE102009046114B4 (de) 2009-10-28 2009-10-28 Verfahren und Vorrichtung zum Erzeugen einer kalibrierten Projektion
DE102009046114.0 2009-10-28
PCT/EP2010/066155 WO2011051281A1 (de) 2009-10-28 2010-10-26 Verfahren und vorrichtung zum erzeugen einer kalibrierten projektion

Publications (2)

Publication Number Publication Date
KR20120098649A KR20120098649A (ko) 2012-09-05
KR101693733B1 true KR101693733B1 (ko) 2017-01-06

Family

ID=43500381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127010389A KR101693733B1 (ko) 2009-10-28 2010-10-26 캘리브레이션된 투사를 생성하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US9237320B2 (ko)
EP (1) EP2494784B1 (ko)
JP (1) JP2013509767A (ko)
KR (1) KR101693733B1 (ko)
DE (1) DE102009046114B4 (ko)
WO (1) WO2011051281A1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011080339B4 (de) * 2011-08-03 2020-03-12 Robert Bosch Gmbh Mobiles Projektionssystem
KR20130054868A (ko) * 2011-11-17 2013-05-27 한국전자통신연구원 회귀 베지어 패치 분할에 기반하는 기하 보정 장치 및 방법
WO2013076583A2 (en) * 2011-11-25 2013-05-30 Universite De Strasbourg Active vision method for stereo imaging system and corresponding system
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP6115214B2 (ja) * 2012-05-22 2017-04-19 株式会社リコー パターン処理装置、パターン処理方法、パターン処理プログラム
JP6236759B2 (ja) * 2012-10-10 2017-11-29 セイコーエプソン株式会社 画像表示装置および画像表示装置の画像調整方法
US8941780B2 (en) 2013-01-22 2015-01-27 Silicon Image, Inc. Mechanism for facilitating dynamic phase detection with high jitter tolerance for images of media streams
KR101467663B1 (ko) * 2013-01-30 2014-12-01 주식회사 엘지씨엔에스 영상 모니터링 시스템에서 영상 제공 방법 및 시스템
JP6182907B2 (ja) * 2013-03-01 2017-08-23 セイコーエプソン株式会社 映像処理装置、プロジェクター、および映像処理方法
JP6217100B2 (ja) * 2013-03-22 2017-10-25 セイコーエプソン株式会社 画像処理装置、プロジェクター、画像処理方法及びプログラム
DE102013009803A1 (de) * 2013-06-12 2014-12-18 Heiko Cornelius Verfahren zur automatischen Abbildungskorrektur eines Projektors
US9842423B2 (en) * 2013-07-08 2017-12-12 Qualcomm Incorporated Systems and methods for producing a three-dimensional face model
JP2015038595A (ja) * 2013-07-19 2015-02-26 キヤノン株式会社 映像生成装置、映像生成方法
US9219910B2 (en) * 2013-07-25 2015-12-22 Disney Enterprises, Inc. Volumetric display system blending two light types to provide a new display medium
CN104349094B (zh) * 2013-08-09 2019-03-29 联想(北京)有限公司 投影方法及设备
KR101526294B1 (ko) * 2013-08-26 2015-06-05 씨제이씨지브이 주식회사 파라미터를 이용하여 가이드 이미지를 생성하는 장치 및 방법
JP6289003B2 (ja) * 2013-09-26 2018-03-07 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
DE102013224132A1 (de) 2013-11-26 2015-05-28 Volkswagen Aktiengesellschaft Projektionsvorrichtung und Verfahren zum Projizieren
JP2015128242A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 画像投影装置及びそのキャリブレーション方法
JP6550688B2 (ja) * 2014-01-22 2019-07-31 株式会社リコー 投影装置
DE102014108905A1 (de) * 2014-06-25 2015-12-31 Osram Opto Semiconductors Gmbh Projektionsvorrichtung und Verfahren zur Erzeugung eines Projektionsbildes
CN105245784B (zh) * 2014-06-26 2018-07-20 深圳锐取信息技术股份有限公司 一种多媒体教室中投影区域的拍摄处理方法及装置
KR20160031966A (ko) * 2014-09-15 2016-03-23 한국과학기술원 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법
US9978135B2 (en) * 2015-02-27 2018-05-22 Cognex Corporation Detecting object presence on a target surface
TWI611383B (zh) * 2015-03-03 2018-01-11 宏正自動科技股份有限公司 多影像輸出裝置校正系統及其校正方法
WO2016157996A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び画像表示システム
EP3174007A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
JP6428694B2 (ja) * 2016-03-29 2018-11-28 ブラザー工業株式会社 投影制御装置、プログラム、及び投影システム
US10346949B1 (en) 2016-05-27 2019-07-09 Augmented Pixels, Inc. Image registration
US10009586B2 (en) 2016-11-11 2018-06-26 Christie Digital Systems Usa, Inc. System and method for projecting images on a marked surface
US9756303B1 (en) * 2016-12-30 2017-09-05 Texas Instruments Incorporated Camera-assisted automatic screen fitting
US10338592B2 (en) * 2017-08-24 2019-07-02 Saudi Arabian Oil Company High accuracy remote coordinate machine
JP2019047312A (ja) * 2017-09-01 2019-03-22 セイコーエプソン株式会社 画像投写システム及びその制御方法
CN109788262A (zh) * 2017-11-15 2019-05-21 中强光电股份有限公司 投影系统及其影像投影方法
EP3534333A1 (en) * 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
KR102047303B1 (ko) * 2018-06-01 2019-11-21 엘지전자 주식회사 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
CN110784692B (zh) * 2018-07-31 2022-07-05 中强光电股份有限公司 投影装置、投影系统及影像校正方法
JP7243510B2 (ja) * 2019-07-29 2023-03-22 セイコーエプソン株式会社 プロジェクターの制御方法、及びプロジェクター
CN113747130A (zh) * 2020-05-29 2021-12-03 中强光电股份有限公司 产生遮罩的方法及执行此方法的投影装置
CN114449236B (zh) * 2020-10-30 2024-04-09 扬智科技股份有限公司 投影装置与其投影画面校正方法
CN114520898B (zh) * 2020-11-19 2023-09-01 成都极米科技股份有限公司 投影设备控制方法和装置、投影设备及存储介质
CN112734768B (zh) * 2020-12-31 2021-12-03 网御安全技术（深圳）有限公司 一种影像消失点的搜寻方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021418A1 (en) * 2000-08-17 2002-02-21 Mitsubishi Electric Research Laboratories, Inc. Automatic keystone correction for projectors with arbitrary orientation
US20040201825A1 (en) * 2003-01-17 2004-10-14 Seiko Epson Corporation Image processing system, projector, program, information storage medium and image processing method
US20050041217A1 (en) * 2003-08-22 2005-02-24 Nec Corporation Image projection method and device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3735158B2 (ja) 1996-06-06 2006-01-18 オリンパス株式会社 画像投影システム、画像処理装置
US6433840B1 (en) * 1999-07-22 2002-08-13 Evans & Sutherland Computer Corporation Method and apparatus for multi-level image alignment
DE10251217B3 (de) 2002-10-31 2004-06-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Autokalibierung von Multiprojektorsystemen
US7215362B2 (en) 2002-10-31 2007-05-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Auto-calibration of multi-projector systems
EP1434434A1 (de) 2002-10-31 2004-06-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Autokalibrierung von Multiprojektorsystemen
US6834965B2 (en) * 2003-03-21 2004-12-28 Mitsubishi Electric Research Laboratories, Inc. Self-configurable ad-hoc projector cluster
DE102005037797B4 (de) * 2005-08-03 2011-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zur automatischen Kalibrierung einer Projektion, sowie eine Verwendung des Systems
DE102006002602A1 (de) 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kalibrierungsverfahren und Kalibrierungssystem
US7854518B2 (en) 2006-06-16 2010-12-21 Hewlett-Packard Development Company, L.P. Mesh for rendering an image frame
JP5217496B2 (ja) * 2008-02-26 2013-06-19 ソニー株式会社 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021418A1 (en) * 2000-08-17 2002-02-21 Mitsubishi Electric Research Laboratories, Inc. Automatic keystone correction for projectors with arbitrary orientation
US20040201825A1 (en) * 2003-01-17 2004-10-14 Seiko Epson Corporation Image processing system, projector, program, information storage medium and image processing method
US20050041217A1 (en) * 2003-08-22 2005-02-24 Nec Corporation Image projection method and device

Also Published As

Publication number Publication date
WO2011051281A1 (de) 2011-05-05
DE102009046114B4 (de) 2011-09-01
JP2013509767A (ja) 2013-03-14
EP2494784B1 (de) 2015-01-21
US9237320B2 (en) 2016-01-12
US20120212627A1 (en) 2012-08-23
KR20120098649A (ko) 2012-09-05
EP2494784A1 (de) 2012-09-05
DE102009046114A1 (de) 2011-05-05

Similar Documents

Publication Publication Date Title
KR101693733B1 (ko) 캘리브레이션된 투사를 생성하기 위한 방법 및 장치
US11269244B2 (en) System and method for calibrating a display system using manual and semi-manual techniques
JP6569742B2 (ja) 投影システム、画像処理装置、投影方法およびプログラム
US10681318B2 (en) Camera-assisted arbitrary surface characterization and slope-based correction
US8330803B2 (en) Method and apparatus for 3D digitization of an object
CN105872291B (zh) 带有激光校正的智能互联网高清扫描仪
CN105979117B (zh) 基于激光线的弯曲书页图像展平方法
US20100277655A1 (en) Mesh for mapping domains based on regularized fiducial marks
US20070085849A1 (en) Color edge based system and method for determination of 3d surface topology
US8212945B2 (en) Method and apparatus for calibrating a projector for image warping
WO2006025191A1 (ja) マルチプロジェクションシステムにおける幾何補正方法
JP2000020682A (ja) 画像補正装置
JP2013065277A (ja) 画像投影装置、画像処理装置、画像投影方法、画像投影方法のプログラム及びそのプログラムを記録した記録媒体
US11350066B1 (en) Camera-assisted projection optics distortion characterization and correction
CN111357284B (zh) 用于自动恢复投影系统的校准状态的方法
KR20170025214A (ko) 다시점 깊이맵 생성 방법
CN107764182A (zh) 测量系统以及用于配置测量系统的方法
US10154238B2 (en) Projection system and modeling machine
JPH0997344A (ja) テクスチャ生成方法およびテクスチャ生成システム
JP2020182127A (ja) キャリブレーション装置、キャリブレーションシステム、および表示装置のキャリブレーション方法
CN106023723A (zh) 一种教育玩具套件及其凸面镜成像校正方法
KR20110118947A (ko) 영상 왜곡 보정방법 및 영상 왜곡 보정장치
JP2006023133A (ja) ３次元形状測定装置および方法
CN103299156B (zh) 创建三维图像文件的系统和方法
JP2018077767A (ja) 投影システム及び造形装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191224

Year of fee payment: 4