KR20160030228A - 이미징 디바이스 모델링 및 캘리브레이션을 위한 시스템 및 방법 - Google Patents
이미징 디바이스 모델링 및 캘리브레이션을 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20160030228A KR20160030228A KR1020167003009A KR20167003009A KR20160030228A KR 20160030228 A KR20160030228 A KR 20160030228A KR 1020167003009 A KR1020167003009 A KR 1020167003009A KR 20167003009 A KR20167003009 A KR 20167003009A KR 20160030228 A KR20160030228 A KR 20160030228A
- Authority
- KR
- South Korea
- Prior art keywords
- coordinate system
- axis
- image
- imaging device
- sin
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003384 imaging method Methods 0.000 title claims description 81
- 238000012937 correction Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000003702 image correction Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000003331 infrared imaging Methods 0.000 claims description 5
- 238000002591 computed tomography Methods 0.000 claims description 4
- 238000003333 near-infrared imaging Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000009897 systematic effect Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 241000226585 Antennaria plantaginifolia Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 241000254158 Lampyridae Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G06T3/0006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- H04N5/3572—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measurement Of Optical Distance (AREA)
- Endoscopes (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
본 발명은, 카메라 평면과의 가시선 축 직교(squareness)의 불완전성을 보상하기 위하여 새로운 세트의 변수를 사용하고, 기하학 및 색채 렌즈 왜곡에 의하여 야기되는 이미지 곡률에 의하여 도입되는 왜곡을 측정하는 정확도를 증가시키는, 카메라 모델링 및 캘리브레이션 시스템 및 방법에 관한 것이고, 카메라 화상면은 풀 3D 투시도로부터 표현된다.
Description
관련 출원에 대한 상호 참조
본 출원은 2013 년 7 월 2 일 출원된 캐나다 출원 번호 제 2,819,956 호에 대한 우선권을 주장한다.
본 발명은 이미징 디바이스의 화상면과의 가시선 축 직교의 불완전성을 보상하는, 이미징 디바이스 모델링 및 캘리브레이션을 위한 시스템 및 방법에 관한 것이다.
디지털 카메라 및 다른 이미징 디바이스의 캘리브레이션은 어떻게 이미지가 이미징 디바이스의 표면에 렌즈를 통하여 '프린트(print)'하는지에 대한 수학적 모델을 생성하려 시도한다. 이러한 프로시저는 우선 정확하게 알려진 공차로써 캘리브레이션 타겟으로부터의 픽쳐를 사용하고, 이미지로부터 타겟 요소를 추출한다. 마지막으로, 수학적 모델은 이미지 정보를 실제 3-차원(3D) 타겟 정보와 관련시킨다. 캘리브레이션되면, 이제 이미징 디바이스는 실세계 오브젝트를 척도 인자인 f를 사용하여 매핑하기 위하여 사용될 수 있다. 기성품 카메라와 렌즈를 처음 사용할 때, 사용자는 렌즈 초점 거리에 있는 공차를 보상하기 위하여 카메라를 캘리브레이션할 필요가 있는데, 이러한 공차는 10%만큼 높을 수 있다.
더욱이, 모델이 정확하게 알려지면, 이것은 거의 모든 하이엔드 자동 이미징 시스템에 대하여 필요한, 핀홀이라고도 불리는 완벽한 카메라 이미지를 재생성하기 위하여 사용될 수 있다. 소프트웨어 이미지 보정을 통하여, 우리는 렌즈의 불완전한 성질, 기하학적 왜곡(geometric distortion)이라고 불리는 어안 이미지 변형, 및 색상 왜곡(chromatic distortion)이라고 불리는 렌즈 광학기 내에서의 무지개 광 분할에 의하여 도입되는 이미지 에러를 보상할 수 있다. 여러 이미징 디바이스는 화상면에 대해 직교하지 않는(off-squareness) 가시선 편중(line of sight bias)을 나타낼 것이다. 이미지 왜곡을 적합하게 측정하기 위하여, 렌즈 가시선에 대한 화상면의 비직교성이 보상되어야 한다. 공지된 캘리브레이션 기법은 이러한 목적을 위하여 기울어진 축 가정(tilted axis assumption)을 사용한다. 그러나, 이러한 가정은 모델 내의 모든 카메라 파라미터를 편중시켜서 전체적인 측정 에러를 야기한다는 것이 증명되었다. 결과적으로, 다른 모든 카메라 파라미터가 보상하려고 하는 척도-크기-왜곡 편중이 이미지에 도입되어, 그러한 카메라 파라미터들을 역시 편중시킨다. 3D 스캐닝 또는 원격측정법(telemetry)에서는, 이것은 동시 카메라 이미지들의 쌍으로부터 복원할 때에 3D 오브젝트의 기하학적 구조 및 위치 편중으로 병진된다.
그러므로 이미징 디바이스를 위한 현존하는 캘리브레이션 및 모델링 기법을 개선할 필요가 있다.
제안된 캘리브레이션 및 모델링 기법은 조립 공차를 고려하기 위한 정확한 원근 보정을 이미징 디바이스 또는 카메라/렌즈 시스템에 도입하여, 렌즈축이 화상면(image plane)과 비직교하게 한다.
카메라 평면 및 렌즈 조립에 대한 정확한 지식이 있으면, 디지털 카메라 또는 카메라 스테레오 쌍을 사용하는 원격측정법 시스템 및 3D 스캐닝에서 시스템적인 편중을 제거하고, 정확한 초점 길이(이미지 척도) 측정을 제공하며, 카메라 평면 상의 정확한 이미지 중심 포지션을 위치결정하며, 이미지 곡률(기하학적 왜곡) 및 렌즈 광학기 내의 무지개 광 분할(색상 왜곡)에 의하여 도입되는 측정 왜곡을 측정하는 정확도를 증가시킨다.
카메라 평면 및 렌즈 어셈블리에 대한 정확한 지식이 있으면, 기하학적 왜곡 및 색상 왜곡인 렌즈 왜곡을 제거할 때에 계산 효율 및 정확도를 증가시킨다.
렌즈 왜곡을 제거하면 아무런 손실이 없이 이미지 압축비를 증가시킨다.
광의의 제 1 양태에 따르면, 캘리브레이션 및 이미지 보정에서 사용하기 위하여 이미징 디바이스를 모델링하는 컴퓨터-구현 방법이 기술되는데, 이러한 방법은 상기 이미징 디바이스의 초점에 위치된 원점을 가지는 제 1 3D 직교 좌표계를 정의하는 단계로서, 제 1 좌표계의 제 1 축은 상기 이미징 디바이스의 가시선의 방향에 따라 연장하는, 단계; 상기 초점으로부터 단위 거리(unitary distance)에 위치된 원점을 가지는 제 2 3D 직교 좌표계를 정의하는 단계로서, 제 2 좌표계의 제 1 축은 상기 가시선의 방향을 따라 연장하고, 상기 제 2 좌표계의 제 2 축 및 제 3 축은 상기 제 1 좌표계의 제 2 축 및 제 3 축과 각각 실질적으로 평행하며, 이를 통하여 상기 제 2 좌표계의 제 2 축 및 제 3 축은 상기 가시선과 직교하는(square with) 실측면(true scale plane)을 정의하는, 단계; 상기 초점으로부터의 초점 거리에 위치된 원점을 가지는 제 3 3D 좌표계를 정의하는 단계로서, 제 3 좌표계의 제 1 축은 상기 가시선의 방향에 따라 연장되고, 상기 제 3 좌표계의 제 2 축 및 제 3 축은 상기 제 2 좌표계의 제 2 축 및 제 3 축의 방위에 상대적으로 제 1 각도 및 제 2 각도만큼 각각 기울어지며, 이를 통하여 상기 제 3 좌표계의 제 2 축 및 제 3 축은 상기 가시선에 상대적인 화상면(image plane) 비직교성(off-squareness)을 정의하는, 단계; 상기 이미징 디바이스에 의하여 캡쳐된 실세계 3D 오브젝트의 포인트와 연관되는 3D 좌표의 세트를 수신하는 단계; 상기 포인트의 상기 실측면 상의 투영을 계산하여 평면 좌표의 제 1 세트를 획득하고, 상기 화상면 상으로의 투영을 계산하여 상기 평면 좌표의 제 2 세트를 획득하는 단계; 및 상기 3D 오브젝트의 포인트에 대응하는 이미지 포인트의 위치를 표시하는 평면 좌표의 제 2 세트를 출력하는 단계를 포함한다.
몇 가지 실시예들에서, 상기 제 2 좌표계는, 상기 실측면이 상기 이미징 디바이스의 렌즈계로의 엔트리를 구축하고 상기 실측면 상의 투영이 상기 이미징 디바이스의 외부 모델의 출력을 표시하도록 정의되고, 상기 제 3 좌표계는, 상기 화상면이 상기 렌즈계로의 출력을 구축하고 상기 화상면 상의 투영이 상기 이미징 디바이스의 내부 모델의 출력을 표시하도록 정의된다.
몇 가지 실시예들에서, 3D 좌표의 수신된 세트는 [x y z 1]T이고 상기 3D 오브젝트의 포인트의 상기 실측면 상의 투영은 다음과 같이 계산되며:
몇 가지 실시예들에서, 상기 3D 오브젝트의 포인트의 상기 상으로의 투영은 다음과 같이 계산되고,
P f 는 상기 화상면 상으로의 투영 연산을 정의하고, f는 초점 거리이며, α는 제 1 각도이고, β는 제 2 각도이며, R(x, α)는 상기 화상면의 축 x에 대한 α 회전 행렬이고, 축 x는 α 회전이 수행되기 이전에 상기 제 2 좌표계의 제 2 축에 실질적으로 평행하게 정의되며, R(y, β)는 상기 화상면의 축 y에 대한 β 회전 행렬이고, 축 y는 β 회전이 수행되기 이전에 상기 제 2 좌표계의 제 3 축에 실질적으로 평행하게 정의되며, 상기 α 회전은, 상기 β 회전이 각도 α만큼 회전된 축 x에 상대적으로 수행되도록 최우측으로 계산되고,
h11 = cosβ,
h12 = sinβ sinα,
h13 = sinβ cosα,
h22 = cosα,
h23 = -sinα,
h31 = -sinβ,
h32 = cosβ sinα, 그리고
h33 = cosβ cosα이다.
몇 가지 실시예들에서, 이러한 방법은 상기 실측면과 상기 화상면 사이의 호모그래피(homography) H를 다음과 같이 결정하는 단계를 더 포함하고:
u = f(cosβ x' + sinβ sinα y' + sinβ cosα),
v = f(cosα y' - sinα),
w = -sinβ x' + cosβ sinα y' + cosβ cosα,
x" = u/w + CX, 그리고
y" = v/w + CY이고 (CX, CY)는 상기 제 3 좌표계의 원점의 포지션이다.
몇 가지 실시예들에서, 상기 호모그래피 H는 다음과 같이 결정되고,
근사화 cosθ~1 및 sinθ~θ가 작은 각도인 α 및 β에 대하여 사용된다.
몇 가지 실시예들에서, 이러한 방법은 상기 실측면에서 상기 이미징 디바이스의 렌즈의 왜곡을 보상하는 단계를 더 포함하고, 상기 보상하는 단계는, 다음과 같이 정의되는 렌즈 왜곡 모델을 적용하는 것을 포함하며,
r' = r + k1 r3 + k2 r5 + …,
상기 평면 좌표의 제 1 세트는 극좌표(radial coordinates) (r, θ)로 표현되는 상기 실측면 상의 상기 포인트의 이미지의 무왜곡 포지션 (x, y)이고, r2=x2+y2 및 tanθ = y/x이며, (x', y')은 상기 포인트의 상기 화상면 상의 투영 이전에 상기 렌즈의 출력에서의 (x, y)의 왜곡 포지션을 나타내고, r'은 (x', y')에 기초하여 계산된 왜곡된 방사상 거리이며, k1 및 k2는 상기 렌즈의 기하학적 왜곡 파라미터이다.
광의의 제 2 양태에 따르면, 캘리브레이션 및 이미지 보정에서 사용하기 위하여 이미징 디바이스를 모델링하는 시스템이 기술되는데, 이러한 시스템은: 메모리;
프로세서; 및 상기 메모리에 저장되는 적어도 하나의 애플리케이션을 포함하고, 상기 애플리케이션은, 상기 이미징 디바이스의 초점에 위치된 원점을 가지는 제 1 3D 직교 좌표계를 정의하는 것으로서, 제 1 좌표계의 제 1 축은 상기 이미징 디바이스의 가시선의 방향에 따라 연장하는, 것; 상기 초점으로부터 단위 거리(unitary distance)에 위치된 원점을 가지는 제 2 3D 직교 좌표계를 정의하는 것으로서, 제 2 좌표계의 제 1 축은 상기 가시선의 방향을 따라 연장하고, 상기 제 2 좌표계의 제 2 축 및 제 3 축은 상기 제 1 좌표계의 제 2 축 및 제 3 축과 각각 실질적으로 평행하며, 이를 통하여 상기 제 2 좌표계의 제 2 축 및 제 3 축은 상기 가시선과 직교하는(square with) 실측면(true scale plane)을 정의하는, 것; 상기 초점으로부터의 초점 거리에 위치된 원점을 가지는 제 3 3D 좌표계를 정의하는 것으로서, 제 3 좌표계의 제 1 축은 상기 가시선의 방향에 따라 연장되고, 상기 제 3 좌표계의 제 2 축 및 제 3 축은 상기 제 2 좌표계의 제 2 축 및 제 3 축의 방위에 상대적으로 제 1 각도 및 제 2 각도만큼 각각 기울어지며, 이를 통하여 상기 제 3 좌표계의 제 2 축 및 제 3 축은 상기 가시선에 상대적인 화상면(image plane) 비직교성(off-squareness)을 정의하는, 것; 상기 이미징 디바이스에 의하여 캡쳐된 실세계 3D 오브젝트의 포인트와 연관되는 3D 좌표의 세트를 수신하는 것; 상기 포인트의 상기 실측면 상의 투영을 계산하여 평면 좌표의 제 1 세트를 획득하고, 상기 화상면 상으로의 투영을 계산하여 상기 평면 좌표의 제 2 세트를 획득하는 것; 및 상기 3D 오브젝트의 포인트에 대응하는 이미지 포인트의 위치를 표시하는 평면 좌표의 제 2 세트를 출력하는 것을 위하여 상기 프로세서에 의하여 실행가능하다.
몇 가지 실시예들에서, 상기 적어도 하나의 애플리케이션은, 상기 실측면이 상기 이미징 디바이스의 렌즈계로의 엔트리를 구축하고 상기 실측면 상의 투영이 상기 이미징 디바이스의 외부 모델의 출력을 표시하도록 상기 제 2 좌표계를 정의하고, 상기 화상면이 상기 렌즈계로의 출력을 구축하고 상기 화상면 상의 투영이 상기 이미징 디바이스의 내부 모델의 출력을 표시하도록 상기 제 3 좌표계를 정의하기 위하여 상기 프로세서에 의하여 실행가능하다.
몇 가지 실시예들에서, 상기 적어도 하나의 애플리케이션은, 3D 좌표의 세트를 [x y z 1]T로서 수신하고 상기 3D 오브젝트의 포인트의 상기 실측면 상의 투영을 다음과 같이 계산하기 위하여 상기 프로세서에 의하여 실행가능하고,
몇 가지 실시예들에서, 상기 적어도 하나의 애플리케이션은, 상기 3D 오브젝트의 포인트의 상기 상으로의 투영을 다음과 같이 계산하기 위하여 상기 프로세서에 의하여 실행가능하고,
P f 는 상기 화상면 상으로의 투영 연산을 정의하고, f는 초점 거리이며, α는 제 1 각도이고, β는 제 2 각도이며, R(x, α)는 상기 화상면의 축 x에 대한 α 회전 행렬이고, 축 x는 α 회전이 수행되기 이전에 상기 제 2 좌표계의 제 2 축에 실질적으로 평행하게 정의되며, R(y, β)는 상기 화상면의 축 y에 대한 β 회전 행렬이고, 축 y는 β 회전이 수행되기 이전에 상기 제 2 좌표계의 제 3 축에 실질적으로 평행하게 정의되며, 상기 α 회전은, 상기 β 회전이 각도 α만큼 회전된 축 x에 상대적으로 수행되도록 최우측으로 계산되고,
h11 = cosβ,
h12 = sinβ sinα,
h13 = sinβ cosα,
h22 = cosα,
h23 = -sinα,
h31 = -sinβ,
h32 = cosβ sinα, 그리고
h33 = cosβ cosα이다.
몇 가지 실시예들에서, 상기 적어도 하나의 애플리케이션은, 상기 실측면과 상기 화상면 사이의 호모그래피(homography) H를 다음과 같이 결정하기 위하여 상기 프로세서에 의하여 실행가능하고,
h31 및 h32는 상기 화상면 내의 x 및 y 척도에 원근 보정을 적용하는 비-제로 원소이고, 상기 평면 좌표의 제 2 세트 (x", y")는 상기 실측면 상의 상기 포인트의 이미지의 왜곡된 포지션 (x', y')의 호모그래피 변환(homographic transformation)이며, 상기 호모그래피 변환은 다음과 같이 표현되고,
u = f(cosβ x' + sinβ sinα y' + sinβ cosα),
v = f(cosα y' - sinα),
w = -sinβ x' + cosβ sinα y' + cosβ cosα,
x" = u/w + CX, 그리고
y" = v/w + CY이고 (CX, CY)는 상기 제 3 좌표계의 원점의 포지션이다.
몇 가지 실시예들에서, 상기 적어도 하나의 애플리케이션은 상기 호모그래피 H를 다음과 같이 결정하기 위하여 상기 프로세서에 의하여 실행가능하고,
근사화 cosθ~1 및 sinθ~θ가 작은 각도인 α 및 β에 대하여 사용된다.
몇 가지 실시예들에서, 상기 적어도 하나의 애플리케이션은, 실측면에서 상기 이미징 디바이스의 렌즈의 왜곡을 보상하기 위하여 상기 프로세서에 의하여 실행가능하고, 상기 보상은 다음과 같이 정의되는 렌즈 왜곡 모델을 적용하는 것을 포함하며,
r' = r + k1 r3 + k2 r5 + …,
상기 평면 좌표의 제 1 세트는 극좌표(radial coordinates) (r, θ)로 표현되는 상기 실측면 상의 상기 포인트의 이미지의 무왜곡 포지션 (x, y)이고, r2=x2+y2 및 tanθ = y/x이며, (x', y')은 상기 포인트의 상기 화상면 상의 투영 이전에 상기 렌즈의 출력에서의 (x, y)의 왜곡 포지션을 나타내고, r'은 (x', y')에 기초하여 계산된 왜곡된 방사상 거리이며, k1 및 k2는 상기 렌즈의 기하학적 왜곡 파라미터이다.
몇 가지 실시예들에서, 상기 이미징 디바이스는, 줌렌즈(zooming lens) 카메라, 근적외선 이미징 디바이스, 단파장 적외선 이미징 디바이스, 장파장 적외선 이미징 디바이스, 레이더 디바이스, 광 검출 및 거리측정(ranging) 디바이스, 포물면 거울 망원 영사기(parabolic mirror telescope imager), 의학적 내시경 카메라, 컴퓨터 단층촬영 (Computed tomography) 스캐닝 디바이스, 위성 이미징 디바이스, 소나(sonar) 디바이스, 및 다중 스펙트럼 센서 융합 시스템 중 하나를 포함한다.
광의의 제 3 양태에 따르면, 캘리브레이션 및 이미지 보정에서 사용하기 위하여 이미징 디바이스를 모델링하기 위하여 프로세서에 의하여 실행가능한 프로그램 코드를 저장하는 컴퓨터 판독가능 매체가 기술되는데, 상기 프로그램 코드는: 상기 이미징 디바이스의 초점에 위치된 원점을 가지는 제 1 3D 직교 좌표계를 정의하는 것으로서, 제 1 좌표계의 제 1 축은 상기 이미징 디바이스의 가시선의 방향에 따라 연장하는, 것; 상기 초점으로부터 단위 거리(unitary distance)에 위치된 원점을 가지는 제 2 3D 직교 좌표계를 정의하는 것으로서, 제 2 좌표계의 제 1 축은 상기 가시선의 방향을 따라 연장하고, 상기 제 2 좌표계의 제 2 축 및 제 3 축은 상기 제 1 좌표계의 제 2 축 및 제 3 축과 각각 실질적으로 평행하며, 이를 통하여 상기 제 2 좌표계의 제 2 축 및 제 3 축은 상기 가시선과 직교하는(square with) 실측면(true scale plane)을 정의하는, 것; 상기 초점으로부터의 초점 거리에 위치된 원점을 가지는 제 3 3D 좌표계를 정의하는 것으로서, 제 3 좌표계의 제 1 축은 상기 가시선의 방향에 따라 연장되고, 상기 제 3 좌표계의 제 2 축 및 제 3 축은 상기 제 2 좌표계의 제 2 축 및 제 3 축의 방위에 상대적으로 제 1 각도 및 제 2 각도만큼 각각 기울어지며, 이를 통하여 상기 제 3 좌표계의 제 2 축 및 제 3 축은 상기 가시선에 상대적인 화상면(image plane) 비직교성(off-squareness)을 정의하는, 것; 상기 이미징 디바이스에 의하여 캡쳐된 실세계 3D 오브젝트의 포인트와 연관되는 3D 좌표의 세트를 수신하는 것; 상기 포인트의 상기 실측면 상의 투영을 계산하여 평면 좌표의 제 1 세트를 획득하고, 상기 화상면 상으로의 투영을 계산하여 상기 평면 좌표의 제 2 세트를 획득하는 것; 및 상기 3D 오브젝트의 포인트에 대응하는 이미지 포인트의 위치를 표시하는 평면 좌표의 제 2 세트를 출력하는 것을 위하여 실행가능하다.
본 발명의 다른 특징 및 장점은 다음의 첨부 도면과 함께 후속하는 상세한 설명으로부터 명백해 질 것이다:
도 1 은 렌즈 왜곡을 예시하는 개략도이다;
도 2 는 배럴 및 핀쿠션 렌즈 기하학적 왜곡을 예시하는 개략도이다;
도 3 은 두 개의 이웃하는 픽셀 색들이 혼합될 때의 에지 디더링(edge dithering)을 예시하는 평면도이다;
도 4 는 화상면이 가시선과 직교하는 것을 가정할 경우 이상적인 카메라 모델 표현 내의 카메라/렌즈 조합의 움직임을 정의하는 파라미터를 예시하는 개략도이다;
도 5 는 기울어진 축 보상(tilted axis)이 도 4 의 이상적인 카메라 표현에 추가될 경우의 카메라 내부 모델의 기울어진 축 가정의 개략도이다;
도 6 은 본 발명의 하나의 예시적인 실시예에 따른, 카메라 내부 모델에 대한 변수들의 새로운 세트의 개략도이다;
도 7 은 본 발명의 하나의 예시적인 실시예에 따른, 방사상 왜곡 모드의 개략도이다;
도 8a 는 본 발명의 하나의 예시적인 실시예에 따른, 이미지 포인트의 위치를 계산하는 방법의 흐름도이다;
도 8b 는 외부 카메라 모델을 사용하는, 도 8a 의 평면 f = 1 상으로의 투영 단계의 흐름도이다;
도 8c 는 렌즈 왜곡 모델을 적용하는, 도 8a 의 단계의 흐름도이다;
도 8d 는 내부 카메라 모델을 사용하는, 도 8a 의 기울어진 화상면 f = 1 상으로의 투영 단계의 흐름도이다;
도 9a 는 본 발명의 하나의 예시적인 실시예에 따른, 이미지 포인트의 위치를 계산하는 시스템의 개략도이다;
도 9b 는 도 9a 의 프로세서에서 실행 중인 예시적인 애플리케이션을 도시하는 블록도이다;
도 10 은 캘리브레이션 타겟의 왜곡된 사진 뷰이다;
도 11 은 회로 보드가 있는 마이크로 렌즈 테스트 카메라의 사진 뷰이다;
도 12 는 타겟 추출의 결합된 예시이다.
도 13 은 3D의 오브젝트를 동시에 두 개의 카메라 이미지를 사용하여 측정하기 위하여 사용되는 스테레오 쌍의 개략도이다;
도 14 는 테스트 카메라를 사용하는 기하학적 왜곡 보정을 예시하는 사진이다.
도 15 는 f = 4 mm 코스미카(Cosmicar)® C 마운트 렌즈에 대한 색상 왜곡을 예시하는 그래프이다;
도 16 은 이미지 중심으로부터의 거리(픽셀)에 대한 적색 색상 왜곡, 방사상 정정을 예시하는 그래프이다;
도 17 은 이미지 중심으로부터의 거리(픽셀)에 대한 청색 색상 왜곡, 방사상 정정을 예시하는 그래프이다; 그리고
도 18 은 컬러 카메라용 바이에르 패턴 레이아웃 (Bayer Pattern layout)의 개략적인 예시이다.
첨부된 도면 전체에서, 유사한 피쳐는 유사한 참조 번호로써 식별된다는 것에 주의한다.
도 1 은 렌즈 왜곡을 예시하는 개략도이다;
도 2 는 배럴 및 핀쿠션 렌즈 기하학적 왜곡을 예시하는 개략도이다;
도 3 은 두 개의 이웃하는 픽셀 색들이 혼합될 때의 에지 디더링(edge dithering)을 예시하는 평면도이다;
도 4 는 화상면이 가시선과 직교하는 것을 가정할 경우 이상적인 카메라 모델 표현 내의 카메라/렌즈 조합의 움직임을 정의하는 파라미터를 예시하는 개략도이다;
도 5 는 기울어진 축 보상(tilted axis)이 도 4 의 이상적인 카메라 표현에 추가될 경우의 카메라 내부 모델의 기울어진 축 가정의 개략도이다;
도 6 은 본 발명의 하나의 예시적인 실시예에 따른, 카메라 내부 모델에 대한 변수들의 새로운 세트의 개략도이다;
도 7 은 본 발명의 하나의 예시적인 실시예에 따른, 방사상 왜곡 모드의 개략도이다;
도 8a 는 본 발명의 하나의 예시적인 실시예에 따른, 이미지 포인트의 위치를 계산하는 방법의 흐름도이다;
도 8b 는 외부 카메라 모델을 사용하는, 도 8a 의 평면 f = 1 상으로의 투영 단계의 흐름도이다;
도 8c 는 렌즈 왜곡 모델을 적용하는, 도 8a 의 단계의 흐름도이다;
도 8d 는 내부 카메라 모델을 사용하는, 도 8a 의 기울어진 화상면 f = 1 상으로의 투영 단계의 흐름도이다;
도 9a 는 본 발명의 하나의 예시적인 실시예에 따른, 이미지 포인트의 위치를 계산하는 시스템의 개략도이다;
도 9b 는 도 9a 의 프로세서에서 실행 중인 예시적인 애플리케이션을 도시하는 블록도이다;
도 10 은 캘리브레이션 타겟의 왜곡된 사진 뷰이다;
도 11 은 회로 보드가 있는 마이크로 렌즈 테스트 카메라의 사진 뷰이다;
도 12 는 타겟 추출의 결합된 예시이다.
도 13 은 3D의 오브젝트를 동시에 두 개의 카메라 이미지를 사용하여 측정하기 위하여 사용되는 스테레오 쌍의 개략도이다;
도 14 는 테스트 카메라를 사용하는 기하학적 왜곡 보정을 예시하는 사진이다.
도 15 는 f = 4 mm 코스미카(Cosmicar)® C 마운트 렌즈에 대한 색상 왜곡을 예시하는 그래프이다;
도 16 은 이미지 중심으로부터의 거리(픽셀)에 대한 적색 색상 왜곡, 방사상 정정을 예시하는 그래프이다;
도 17 은 이미지 중심으로부터의 거리(픽셀)에 대한 청색 색상 왜곡, 방사상 정정을 예시하는 그래프이다; 그리고
도 18 은 컬러 카메라용 바이에르 패턴 레이아웃 (Bayer Pattern layout)의 개략적인 예시이다.
첨부된 도면 전체에서, 유사한 피쳐는 유사한 참조 번호로써 식별된다는 것에 주의한다.
1.1 렌즈 왜곡
렌즈 왜곡은 디지털 이미징에서 볼 수 있는 가장 큰 에러를 도입한다. 이것은 도 1 및 도 2 에서 예시된다. 도 1 에서 알 수 있는 바와 같이, 어안 효과는 기하학적 왜곡이라고 불리며 직선을 휘게 한다. 이미지의 에지에 있는 색상 음영(도 1 에서 "청색 색조 에지" 및 "적색 색조 에지
라고 불림)은 색상 왜곡이라고 불리고 이미징 디바이스의 렌즈(미도시) 내에서의 빛의 분할에 의하여 야기된다. 핀홀 동작으로부터의 이러한 편차는 렌즈 화각과 함께 증가한다. 양자 모두의 왜곡이 서브-픽셀 정확도를 얻기 위하여 모델링되고 보상되어야 하는데, 하드웨어 성능을 넘어서는 소프트웨어만을 통한 보상이 가능하다. 도 2 에서 알 수 있는 바와 같이, 기하학적 왜곡이 그 자체로서 이미지를 압축하면, 이것은 배럴 왜곡이라고 불린다(도 2 의 (a)를 참조한다); 이미지가 팽창되면, 이것은 핀쿠션 왜곡이라고 불린다(도 2 의 (b)를 참조한다).
1.2
디더링
도 3 을 참조하면, 디더링은 에지가 주어진 픽셀을 통과하고 이웃하는 색들 양자 모두가 혼합되는 경우에 나타나는 중간 픽셀 색이다. 픽셀 색은 에지의 양측의, 픽셀 내의 각각의 색의 각각의 표면에 대한 인접한 색 값들의 가중치가 부여된 평균이다.
저선명도 이미지에서, 에지 디더링(오브젝트 에지에서의 음영)이 기하학 및 색채 왜곡인 렌즈 왜곡과 간섭을 일으킨다. 흑백 타겟으로부터의 컬러 이미지를 사용하면, 컬러 에지 음영이 색상 왜곡에 의하여 야기된다. 흑백 타겟에 대하여, 디더링이 기하학적 왜곡과 같이 회색 음영 내에 나타난다. 그러므로, 에지 색을 사용하여 색채 렌즈 왜곡을 에지 디더링 또는 기하학적 왜곡으로부터 격리시키는 것이 바람직하다.
1.3 카메라 모델
카메라(또는 다른 이미징 디바이스)를 모델링하려면, 특정한 카메라/렌즈 조합의 동작을 정의하는 파라미터를 측정하는 수학적 모델 및 캘리브레이션 프로시저가 필요하다.
비록 카메라가 본 명세서에서 언급되지만, 제안된 시스템 및 방법은 다른 이미징 디바이스에도 적용된다는 것이 이해되어야 한다. 특히, 줌렌즈 카메라; 근적외선(near-infrared; NIR), 단파장 적외선(short-wavelength infrared; SWIR), 및 장파장 적외선(long-wavelength infrared; LWIR) 적외선 이미징 디바이스; 레이더 및 광 검출 및 거리측정 (Radar and Light Detection And Ranging; LIDAR) 디바이스; 포물면 거울 망원 영사기(parabolic mirror telescope imager); 의학적 내시경 카메라; 컴퓨터 단층촬영(computed tomography; CT) 스캐닝 디바이스; 위성 이미징 디바이스; 소나 디바이스; 및 다중 스펙트럼 센서 융합 시스템을 포함하지만 이들로 제한되는 것은 아닌 디바이스들도 역시 적용될 수 있다.
이러한 주제에 대한 공개된 문헌에 따르면, 이상적인 카메라 모델은 도 4 에 도시된 바와 같은 3 개의 컴포넌트, 즉:
1- 외부 모델: 초점 O(모든 빛이 단일 포인트로 수렴하는 공간 속의 포인트)에서의 카메라 좌표와 세계 좌표계 (XW YW ZW)의 세계 좌표 사이의 관련성;
2- 내부 모델: 카메라 평면 좌표계 (XC YC ZC), 여기에서 ZC는 렌즈축(즉 렌즈 가시선); 및
3- 렌즈 모델: 렌즈 기하학 및 색상 왜곡 공식을 가진다.
초점 O는 모든 이미지들이 단일 포인트로 수렴하는 공간 내의 위치이다; 초점 O 전면에 카메라 화상면(미도시)이 존재한다. 렌즈축 ZC는 화상면과 각각 90 도로(즉 그것과 직교함(square)) 교차하여, 이미지 중심 위치 (CX, CY)를 정의한다.
1.3.1 카메라 외부 모델
카메라 외부 모델은 본 명세서 전체에 걸쳐 정확하다. 두 개의 좌표 세트,
1- 원점이 (0,0,0)에서 설정되는 세계 (XW YW ZW); 및
2- 초점 O에서의 카메라 (XC YC ZC)를 정의한다.
이상적인 카메라 모델을 도시하는 도 4 에서 알 수 있는 바와 같이, 카메라 좌표 세트 (XC YC ZC)는 렌즈축 ZC와 나란히 시작하고 초점 O는 원점이며, XC는 카메라 화상면의 수평축(미도시)과 나란하게 선택된다. 기하학적으로, YC 수직축이 오른손 규칙을 사용하여 한 세트를 완결시켜야 한다. 외부 모델은 행렬 [ R3x3 T3x1 ](아래에서 더욱 상세히 논의됨)로서 표시되고, 원점이 (0, 0, 0)으로 설정된 세계 좌표 세트 (XW YW ZW)를 나타낸다.
외부 카메라 모델은 카메라 좌표 세트 (XC YC ZC)를 좌표 (XW YW ZW)의 세계 세트와 정렬하기 위하여 필요한 회전 (κ φ Ω) 및 병진 (TX TY TZ)을 나타내고, 초점 O를 세계 원점(0,0,0)으로 가져간다. 그러므로 외부 카메라 모델은 6 자유도, 즉 (κ φ Ω) 회전각 및 병진 (TX TY TZ)를 가진다.
1.3.2 카메라 내부 모델
이제 도 4 에 추가하여 도 5 를 참조하면, 비직교성(off-squareness)의 보상이 수행되는 선행 기술 카메라 내부 모델이 이제 설명될 것이다. 만일 화상면이 완벽하게 렌즈축 ZC와 직교한다면, 세계 측정 XW YW와 카메라 측정 XC YC사이의 척도 인자는 x 및 y 방향 모두에서 f일 것이다. 제조 오류로부터 초래되는 렌즈축 ZC와 화상면 사이의 직교성의 손실을 고려하기 위하여, 연구 커뮤니티는 도 5 에 도시되는 기울어진 축 가정을 도입한다. 기울어진 축 가정에서, 화상면 축의 틸팅이 화상면이 렌즈축과 직교하는 것으로 간주될 수 있도록 가정된다.
다양한 수식이 존재하는데, 본질적으로:
- 파라미터 a는 카메라 픽셀 그리드 어레이 수평축과 완벽하게 정렬된 수평 이미지 척도이다;
- 수직 척도는 a와 상이한 b로 설정된다;
- 화상면의 수직축의 척도 및 방위는 축 YC에 상대적으로 스큐 파라미터 s만큼 기울어지는데, s는 이미지 척도에 상대적인 스큐의 척도 측정이다.
기울어진 축 가정을 사용하는 이미 공개된 연구에 따르면, 이미지 중심 (CX, CY)가 렌즈축 ZC가 화상면과 교차하는 포인트이고, 좌표 (CX, CY), a, b, 및 s와 함께 5 개의 내부 카메라 파라미터가 될 것이다. 그러므로 내부 카메라 모델은 5 자유도를 가진다.
화상면 픽셀 그리드 어레이가 매우 정확한 제작 공정을 가진다면, 캘리브레이션은 수직 이미지 척도와 동일한 수평 이미지 척도를 취출할 것이고, 즉 a= b = f이며, 수직축의 스큐가 없어서 s = 0가 된다. 그러나 폭넓은 기울어진 축 가정은 원근 편중(perspective bias)을 도입하여, 모든 다른 카메라 파라미터를 천이시킬 것이고, 카메라 화상면 기하학적 구조를 보유하는 화상면의 풀 3D 원근 모델로 대체되어야 한다. 그러므로 도 6 에 도시된 바와 같이 내부 카메라 모델에 대한 변수들의 새로운 세트를 도입하는 것이 제안되는데, 여기에서 모델은 카메라 좌표로 표현된다(초점 O로부터 시작한다).
제안된 모델에서, 이미지 중심 (CX, CY)는 렌즈축 ZC와 카메라 평면(즉 화상면) 사이의 교차를 유지한다. 외부의 3D 세계 오브젝트(그것의 포인트 P는 축들에 상대적인 주어진 좌표 (XC YC ZC)에서 실세계의 어딘가에 위치됨)의 두 개의 척도 독립적인 동시 원근(simultaneous perspectives)이 고려된다.
예시적으로, 렌즈 시스템의 엔트리는 가시선 축 ZC를 따라 f = 1에 있는 이론적 평면으로 정의되고, 이론적 평면은 도 6 두 개의 축들로 표현되며, f = 1 에서 단위 초점 거리를 가지고 렌즈축 ZC와 완벽하게 직교한다(즉, 직각을 이룬다). 이러한 제 1 평면은 3D 오브젝트의 x 및 y에서 무한 치수를 가지는 평면 상의 완벽한 1:1 실측 투영을 나타낸다.
그러므로 f = 1 에서의 투영은 행렬 변환 [ R3x3 T3x1 ]로 표현된다:
호모지니어스 좌표를 사용하면, 3D 세계 좌표 (X Y Z는 세계 좌표 (XW YW ZW)에 대하여 주어지고, X' Y' Z'는 카메라 좌표계 (XC YC ZC)에 대하여 주어짐) 내의 포인트 P = [X Y Z 1]T는 다음과 같이 투영된다:
여기에서 결과적인 3 개의-컴포넌트 벡터 중 제 3 컴포넌트 Z'는 유니티(unity)로 리스케일링되어, [X' Y' Z' ]T가 [X'/Z' Y'/Z' 1 ]T의 척도 등가가 되게 한다. 3D 포인트 P =(X, Y, Z)는 두 개의 차원에서 (X'/Z', Y'/Z')와 같이 투영된다. 수학식 2 의 심볼 
는 호모지니어스 좌표에서의 척도 등가 연산자(scale equivalent operator)이다.
수학식 1 의 원소 rij, i, j=1,2,3 은 모델 파라미터, 즉 위에서 논의된 3 개의 회전각 (κ φ Ω), 및 초점 O에 대한 세계 원점의 포지션인 (TX TY TZ)의 함수이다.
외부 3D 세계 오브젝트의 실측 원근에 추가하여, 제 2 원근은 화상면 자체이고, 즉 렌즈 시스템의 출력이다. 화상면은 도 6 에서 (CX, CY)에서 교차하는 두 개의 축에 의하여 표현된다. f에서의 카메라 평면이 렌즈축 Zc와 비직교이므로, 이것은 5 개의 파라미터를 필요로 한다. f에서의 화상면에서 초점 O 좌표 세트(즉 좌표 세트 (XC YC ZC))에서 정의된 것과 같은 동일한 수평 및 수직축 방위를 사용하면, x 및 y 축 모두에 대한 두 개의 회전각 α 및 β는 카메라 평면의 기울어짐(틸팅)을 설명하기 위하여 사용된다. 특히 도 6 에 도시된 바와 같이, 화상면의 x 축은 각도 α만큼 회전되고 화상면의 y 축은 각도 β만큼 회전되어, 화상면이 축 x 및 축 y에 대하여 각도 α 및 β만큼 틸팅되게 하는데, 화상면의 x 축 및 y 축은 최초에, 즉 임의의 회전 이전에 원점 O에서 XC 및 YC에 평행하도록 취해진다. 다르게 말하면, 축 x 및 축 y는 예시적으로 원점 O에서 XC 및 YC에 평행하게 취해지고 화상면을 틸팅하기 위한 임의의 회전이 인가되기 이전에 화상면 상에 재생성된다. 결과적으로, 화상면의 틸팅은 공간에서의 두 개의 3D 회전, 즉 축 YC 중심의 각도 α만큼의 회전 및 축 XC 중심의 각도 β만큼의 회전에 의하여 표현될 수 있다. 화상면의 x 축은 수평 카메라 평면 방향과 정렬되는 것으로 임의로 선택되는 것이고, 따라서 z 축 회전각이 필요가 없다. 몇 가지 실시예들에서, 예를 들면 동일한 가시선을 공유하는 두 개의 이미징 디바이스가 동시에 세계 오브젝트의 이미지를 캡쳐하기 위하여 사용되는 실시예 또는 3 개의-CCD 카메라(3 개의 개별적인 전하-결합 디바이스(CCD)가 있음)가 사용되는 실시예에서, z 축 회전각이 필요할 수도 있다. 회전각 α 및 β에 추가하여, 카메라 내부 모델에 대한 3 개의 잔여 자유도는 이제 f(또는 카메라 이미지 척도) 및 이미지 중심 (CX, CY)의 좌표이다.
도 5 의 광범위한 기울어진 축 가정에 대응하는 내부 K 행렬은 아래의 수학식 3 에 의하여 주어진다.
수학식 3 의 상단 좌측 2x2 행렬 파티션은 스큐 파라미터 s, 수평 척도 a, 및 수직 척도 b를 가지는 화상면 x 축 및 y 축을 나타낸다. 열 벡터로서 취해지면, 화상면 x 축은 카메라 평면 픽셀 어레이 그리드(미도시)의 수평 방향과 정렬되고, K 행렬의 포지션 (2,1)의 0 의 값을 설명한다. 화상면 y 축은 도 5 에 도시된 바와 같이 x 방향으로 s만큼 기울어진다. 마지막 열은 이미지 중심 위치 (CX, CY)를 나타낸다.
도 5 의 기울어진 축 가정의 에러는 하부 좌측 1x2 행렬 파티션에서 보인다. 하부 좌측 1x2 파티션의 2 개의 항은 렌즈축이 카메라 평면과 직교하지 않으면 제로가 아닐 것이다. 이들이 비-제로라면, 이러한 항은 이미지 중심으로부터 멀리 이동할 때에 화상면의 x 및 y 척도에 원근 보정을 인가한다.
투영된 x 및 y 축이 원근을 고려하여야 하기 때문에 이들을 계산하기 위하여, 따라서 렌즈축 Zc와 완벽하게 직교하는 카메라 화상면으로부터 시작할 것이 제안된다. 그러면 투영된 카메라 x 및 y 축은 위에서 논의된 바와 같이 각도 α 및 β만큼 각각 기울어지는 것으로 계산되고, 이를 통하여 렌즈축 Zc와 직교하지 않는 화상면을 획득한다. 제안된 방법에서, 내부 카메라 모델은, 정확한 1:1 척도의 카메라 모델 투영을 공통 가시선 ZC 상의 f에서의 화상면 투영과 관련시키는 5 자유도의 원근 변환으로 정의되는데, 여기에서 화상면은 화상면 상의 축 x 및 축 y에 대하여 각도 α 및 β만큼 기울어지고, x 축 및 y 축은 임의의 회전 이전에 원점 O에서 XC 및 YC에 평행하게 취해진다. 도 6 은 가시선 ZC에서의 (CX, CY)를 도시한다. 도 6 에서, ZC는 가시선과 교차하는 모든 평면들에 대한 원점으로서 취해진다. 처음에는 (CX, CY) =(0, 0) 라고 가정하고, 투영 이후에는, 원점의 천이가 화상면 중심을 (0, 0)으로부터 (CX, CY)로 오프셋시키도록 적용된다.
호모지니어스 좌표에서, 공간 [x y z 1]T에서의 임의의 3D 포인트는 1:1 f=1 실측면에 다음과 같이 투영된다:
수학식 4 의 마지막 연산은 제 4 좌표를 유니티(unity)로 리스케일링하는 것이다. 제 3 좌표는 포인트 (x/z, y/z)가 z = 1 에 있는 평면에 있다는 것을 보여준다.
축 x 및 축 y 각각에 대하여 α 및 β 만큼 기울어지고 f를 가지는 화상면에 대하여, 동일한 포인트는 또한 다음과 같이 기울어진 화상면 상에 투영된다:
여기에서 P f 는 투영 연산을 정의하고 원소 (4,3)은 1/f이고, f는 초점 거리이며, R(y, β)는 y 축에 대한 β 회전 행렬이고, R(x, α)는 x 축에 대한 α 회전 행렬이다.
수학식 5 의 α 회전은 최우측(rightmost)으로 계산되어, β 회전이 각도 α 만큼 회전된 화상면 y 축에 상대적으로 수행된다. β 회전이 수학식 5 에서 최우측으로 처리될 수 있다는 것이 이해되어야 하는데, 이것은 α 회전이 β 회전된 x 축에 상대적으로 수행될 것을 의미한다. 우에서 좌로 읽히는 호모지니어스 수학식과 곱셈의 순서를 반전시키면 다른 수식을 얻게 된다. 여러 모델들이 가능하다.
수학식 5 의 행렬들을 곱하면 다음을 얻는다:
마지막 연산(수학식 8)은 다시 말하건대 제 4 좌표를 유니티로 리스케일링하는 것이다.
P1 [x y z 1]T 및 P f R(y, β) R(x, α) [x y z 1]T는 동일한 3D 포인트 [x y z 1]T의 두 개의 투영들이고, 간단한 호모그래피 변환에 의하여 관련된다. x' = x/z 및 y' = y/z로 대체하고 (x', y')가 z 컴포넌트 및 단위 척도 인자를 없앤 (1, z = 1에 위치된 평면) 투영 P1 [x y z 1]T라는 것에 주의하면, P f R(y, β) R(x, α) [x y z 1]T는 다음과 같이 기록될 수 있다:
여기에서 h11 = cosβ
h12 = sinβ sinα
h13 = sinβ cosα
h22 = cosα
h23 = -sinα
h31 = -sinβ
h32 = cosβ sinα
h33 = cosβ cosα
평면들 두 개 모두(f = 1 및 f에서) 사이의 호모그래피 H를 다음과 같이 정의한다:
기울어진 화상면 좌표 (x", y")는 (x', y') 1:1 실측면 투영의 호모그래피 변환이고 2D 호모지니어스 좌표에서 표현된다:
여기에서 x"=u/w 및 y"=v/w
여기에서 심볼 
는 호모지니어스 좌표에서의 척도 등가 연산자이다. 기대되는 바와 같이, H(수학식 10)내의 원소 (2,1)은 0 이고, 이것은 x 축이 카메라 평면 수평 그리드와 평행하다는 것을 의미한다. 행 3 의 원근 원소 h31 및 h32(수학식 10 참조)는 이미지 중심으로부터 벗어나는 평면 원근 척도 변화를 생성한다. 이러한 원소들은 카메라 평면이 렌즈축과 직교하는 경우, 즉 α = β = 0 인 경우 제로로 사라진다.
비제로 (CX, CY)에 대하여, 내부 카메라 모델이 호모지니어스 좌표에서 처리되어야 하기 때문에, 이미지 중심 (CX, CY)를 추가하기 이전에 원근 리스케일링이 요구된다. 2-단계 프로세스에서, 1:1 실측에서의 외부 모델 포인트 (x', y')와 화상면 좌표 (x", y") 사이에 렌즈 왜곡이 없다면, 다음을 얻는다:
렌즈 왜곡이 없으면, 따라서 캘리브레이션은 두 개의 투영들 사이의 최선의 매칭을 찾아가는 것이다. 공간 내의 임의의 포인트는 두 개의 독립적 투영 평면, 즉 실측면 및 기울어진 화상면으로 매핑된다. 위에서 논의된 바와 같이, f = 1(즉 실측) 평면은 예시적으로 렌즈축과 완벽하게 직교하고 다음의 6 자유도를 가지는데: (κ φ Ω) 및 (TX TY TZ), 이것은 우리의 제안된 외부 모델을 제공한다(즉 카메라와 세계 좌표 사이의 관련성). f에서, 카메라(즉 이미지) 평면은 실측면과 척도 불변(scale invariant)이다: f에서의 이미지는 f=1 실측 이미지의 순수 척도 배수(pure scale multiplication)일 수 없다. f에서, 화상면은 5 자유도: 평면 틸팅 각도 α 및 β, 이미지 중심 (CX, CY) 및 f를 가지고, 내부 모델을 제공한다.
그러면 f=1 실제 크기 평면에 있는 포인트는 기울어진 화상면에 있는 포인트에 대응하고, f = 1 및 f에서의 모든 대응하는 투영 포인트 쌍은 초점 O에 수렴하는 직선을 정의한다(렌즈 왜곡이 없는 경우). 여전히, 렌즈 왜곡이 두 평면 사이에서 발생하고 이러한 모델에서 고려되어야 한다. 따라서, 캘리브레이션 타겟의 정확한 3D 오브젝트 기하학적 구조를 알고 있으면, 캘리브레이션은 두 평면에 투영된 좌표쌍들 사이의 3D 대응성을 찾아내고 렌즈 왜곡을 보상하는 것이다.
위에서 논의된 동일한 기본적인 원리를 사용하는 내부 카메라 모델에 대한 다른 수식이 가능한데, 예를 들면 임의의 회전 이전의 원점에서 XC 및 YC에 평행하게 취해지는 화상면상의 축 x 및 축 y에 대한 회전이 반대 순서로 기하학적으로 적용될 수 있다. 위에서 논의된 바와 같이, 두 화상면이 동일한 가시선을 공유하는 경우, 이미지들 모두의 x 수평축 사이의 상대적인 오정렬을 표현하기 위하여 z 축 회전이 이들 중 하나에 추가될 수 있다.
1.3.3 렌즈 왜곡 모델
카메라 평면 틸팅 각도 α 및 β가 적합하게 기술되면, 위에서 논의된 바와 같이, 카메라 이미지는 완벽하게 렌즈축 Zc와 직교하는 평면, 예를 들어 f = 1 에 있는 평면 또는 고려 대상인 모든 평면에 대한 가시선인 렌즈축 Zc와 직교하도록 보정된 f에서의 평면 상에서 계산될 수 있다. 비록 본 명세서에서 논의되는 제안된 기법이 f = 1 에서의 평면 및 f에서의 평면 상의 투영을 사용하여 이미징 디바이스(예를 들어 카메라)를 모델링하지만, 렌즈 왜곡을 모델링하기 위하여 세 개 이상의 투영면이 사용될 수도 있다는 것이 이해되어야 한다. 사실상, f = 1 및 f에서의 평면은, f = 1 이 외부 모델에서의 투영이고 f가 화상면을 결정하기 때문에 최소의 요구 조건으로 예시된다. 몇 가지 실시예들에서, 하나 이상의 중간면(intermediary plane)이 f = 1 에서의 평면과 f에서의 평면 사이에서 모델링될 수도 있다. 예를 들면, 제 3 중간면은 이미징 디바이스의 최소 fmin에 포지셔닝될 수도 있는데, 제 1 호모그래피는 f = 1 에서의 평면과 fmin에서의 평면 사이에서 계산되고, 제 2 호모그래피는 fmin 및 f에서의 평면들 사이에서 계산된다.
Zc와 직각인 투영면에 대하여, 렌즈 왜곡 모델은 기하학적 및 색채적인 순수한 방사상 함수(purely radial function)로 간략화될 수 있다.
많은 렌즈 기하학적 왜곡 모델들이 공개되었다. 일부 논문 저자들은 기하학적 렌즈 왜곡을 제거하는 데에 있어서 1/20 픽셀 정확도를 주장한다. 전체적으로, 그들의 기본적인 기준은 거의 동일하다: 기하학적 왜곡이 제거되면 실제로 직선인 선들이 이미지 내에 나타나야 한다. 극소수의 저자들은 그들의 렌즈 모델에 있는 색상 왜곡을 고려한다. 가장 광범위한 렌즈 기하학적 왜곡 모델은 숀 베커(Shawn Becker) 모델이며 참조 문헌 [3]과 같다:
여기에서 (x', y')는 이미지 중심 (CX, CY)에 대하여 계산된 포인트 (x, y)의 새 위치이고, k1, k2, 및 k3는 방사상 왜곡의 세 개의 항이며, p1 및 p2는 중심이동(decentering) 왜곡의 두 항이다. 캘리브레이션하면 파라미터 k1, k2, k3, p1, 및 p2에 대한 수치값이 취출된다. 이미지를 분석하면 (x' y')가 주어진다. 2D 검색 알고리즘을 사용하여 두 개의 수학식을 해결하는 무왜곡 (x y) 포지션이 발견된다.
거의 모든 렌즈 왜곡 모델은 휜 선을 직선으로 만들 수 있었다. 캘리브레이션된 스테레오 쌍으로부터 3D 포지션을 복구할 때에 모델링 에러가 발생했다. 직선이 직선으로 보인다는 것은 정확한 기하학적 왜곡 보정을 보장하기에는 불충분한 기준이다. 잘못된 원근이 발생하면 이미지에 걸쳐 측정 에러를 일으킬 것이고, 도 5 의 기울어진 축 가정은 시스템적 원근 편중을 생성한다.
카메라 모델의 제안된 수정예는 캘리브레이션 정확도를 증가시켰고 렌즈 기하학적 왜곡 모델 복잡성을 감소시켰다. 숀 베커의 렌즈 기하학적 왜곡 모델의 파라미터 k1 및 k2 만이 보유되고, 숀 베커의 두 개의 수학식인 수학식 14 및 수학식 15 는 하나로 감소된다:
이것은 r에서 홀수항을 사용하여 확장될 수 있으며r, r2=x2+y2이다. 도 7 에서 알 수 있는 바와 같이, 완전 방사상 변위 모델이 기하학적 왜곡이 완전 방사상 변위로서 모델링될 수 있다. 외부 모델 이미지 포인트 (x, y)(이것은 예시적으로 측정가능 양을, 예를 들어 픽셀 수가 아니라 인치 또는 밀리미터로 나타냄)는 방사상 좌표 (r, θ)로 표현될 수 있는데, 여기에서 r2=x2+y2 이고 tanθ=y/x이며, x 및 y는 이미지 중심에 대하여 취해진다.
심지어 룩업 테이블(LUT)로부터도, 수학식 16 을 사용하면 4:1 로 계산을 감소시키고, 훨씬 적은 메모리를 사용하여, 제안된 카메라 모델이 실시간 계산에 더 잘 맞게 할 수 있다. 심지어 이러한 단순화된 모델을 이용해도, f= 4mm 마이크로 렌즈(화각은 약 90˚)가 있는 640x480 바이에르 패턴 1/3 CCD 색 카메라로부터, f는 10-10 mm의 정확도로 취출되었다.
정확한 이미지 중심이 알려지면, 색상 왜곡이 단일 이미지 중심으로부터 모델링될 수 있다. 여러 수학식이 색상 왜곡에 대하여 가능하다:
1- 청색 및 적색의 편차를 사용한, 녹색 채널 상의 기하학적 캘리브레이션으로부터의 단일 중심;
2- 독립적인 적색 녹색 및 청색 채널의 캘리브레이션;
3- 기하학적 캘리브레이션을 위한 평균 적색 녹색 및 청색, 색채에 대한 적색 및 청색의 편차;
…
1.3.4 전체 카메라 모델
이제 도 8a 를 참조하면, 제안된 카메라 모델을 사용하여 전술된 바에 따라 이미지 포인트의 위치를 계산하는 방법(100)이 예시된다. 공간 내의 3D 포인트는 3 개의 변환을 거쳐서 화상면 상에 위치된 이미지 포인트를 제공한다. 방법(100)은 예시적으로, 단계 102 에서의 제안된 외부 카메라 모델을 사용한 평면 f=1 상의 투영, 단계 104 에서 렌즈 왜곡 모델을 적용하는 것, 및 단계 106 에서 내부 카메라 모델을 사용하여 f의 기울어진 화상면 상으로 투영하는 것을 포함한다. 단계 106 이 수행된 이후에, 카메라에 의하여 캡쳐된 3D 포인트 (X, Y, Z)에 대응하는 카메라 이미지 포인트의 위치 (x", y")가 획득된다.
이제 도 8b 를 참조하면, 단계 102 는 예시적으로, 제안된 외부 카메라 모델 변환을 계산하고, 단계 106 에서 세계 좌표계 (XW YW ZW)에 대하여 표현된 3D 포인트 P의 좌표 (X, Y, Z)를 수신하는 것을 포함한다.
위에서 논의된 바와 같이, 카메라가 오브젝트를 바라보는 각도 및 포지션인 3D 오브젝트 포인트 P의 자세(posture)가 주어지면, f=1 투영은 자신의 6 자유도로부터 오브젝트의 고유한 1:1 실측 이미지를 제공하는데, 이러한 자유도는: 세계 및 카메라 좌표 참조 시스템 (XW YW ZW)와 (XC YC ZC) 사이의 상대적 방위 및 포지션을 정의하는 3 개의 각도 (κ φ Ω), 및 포지션 (TX TY TZ) 이다. 모델 파라미터 (κ φ Ω),(TX TY TZ)를 사용하여, 위에서 논의된 바와 같이 단계 108 에서 호모지니어스 좌표에서의 다음이 계산된다:
P = [X Y Z 1]T
[ X' Y' Z' ]T = [R3x3 T3x1][X Y Z 1]T
유니티 Z'로의 스케일링은 외부 모델 이미지 포인트 (x, y)를 제공하는데, 여기에서:
[x y 1]T = [X'/Z' Y'/Z' 1]T 
[X' Y' Z']T 이다.
그러면 외부 모델 이미지 포인트가 단계 110 에서 출력된다.
이제 도 8c 를 참조하면, 단계 104 에서 렌즈 왜곡 모델을 적용하는 것은 예시적으로, 단계 112 에서 외부 모델 이미지 포인트 (x, y)를 수신하는 것을 포함한다. 모델 파라미터, 즉 렌즈 기하학적 왜곡 파라미터 k1 및 k2를 사용하면, 단계 114 는 r, r', 및 왜곡된 이미지 포인트 (x', y')를 계산하는 것을 예시적으로 포함한다. 몇 가지 실시예에서, 예를 들어 이미징 디바이스의 렌즈의 어안(fisheye)에 따라, 파라미터 k1 및 k2가 확장될 수도 있다는 것이 이해되어야 한다. 사실상, 위에서 논의된 바와 같이, 가장 단순한 형태에서, 기하학적 왜곡은 완전 방사상 변위로서 모델링될 수 있다. 외부 모델 이미지 포인트 (x, y)는 방사상 좌표 (r, θ)로 표현될 수 있는데, 여기에서 r2=x2+y2 이고 tanθ=y/x이며, x 및 y는 이미지 중심 (0, 0)에 대하여 취해진다. r을 알면 새로운 왜곡된 거리 r'가 다음과 같이 주어진다:
r' = r + k1 r3 + k2 r5 + …(확장될 수 있음),
여기에서 k1 및 k2는 렌즈 기하학적 왜곡 파라미터이다. 왜곡된 이미지 포인트 (x' y')는 θ 를 알고 유사한 삼각형 성질을 사용하여 계산될 수 있다:
(x', y') = (r'cosθ, r'sinθ),
또는 (x', y') = (x r'/r, y r'/r)
그러면 왜곡된 이미지 포인트 (x', y')가 단계 116 에서 출력된다.
일 실시예에서, 렌즈 왜곡은 (0, 0) 이미지 중심에서 1:1 f=1 척도로 모델링된다. 또한, 아래에서 더욱 상세히 논의되는 바와 같이, f가 f 척도에서 처리되는 내부 카메라 모델 및 렌즈 왜곡으로부터 인수분해(factored)될 수 있다는 것이 이해되어야 한다.
이제 도 8d 를 참조하면, 내부 카메라 모델을 획득하는 단계 106 은 단계 118 에서 왜곡된 이미지 포인트 (x', y')를 수신하는 것을 예시적으로 포함한다. 왜곡된 이미지 포인트 (x', y')로부터 그리고 내부 카메라 모델 5 자유도, 즉 α 및 β(화상면 틸트 각도), f, 및 이미지 중심 좌표 (CX, CY)로부터, 다음이 단계 120 에서 계산된다:
u = f(cosβ x' + sinβ sinα y'+ sinβ cosα)
v = f(cosα y' - sinα)
w = - sinβ x' + cosβ sinα y' + cosβ cosα
x" = (u/w + CX)
y" = (v/w + CY)
여기에서 (x", y")는 카메라 내부 화상면 상의 이미지 포인트이고, 이것은 단계 122 에서 출력될 수도 있다.
위에서 논의된 바와 같이, f는 내부 카메라 모델로부터 인수분해될 수 있다. 내부 카메라 모델의 근사화를 생성하기 위하여, 작은 각도 α 및 β에 대하여, 근사화 cosθ~1 및 sinθ~θ을 사용할 수 있다. sin 및 cos에 대한 다른 급수 근사화도 가능하다는 것이 이해되어야 한다. 아래에서 수학식 12 로부터 알 수 있는 바와 같이, h33은 유니티가 되고, h13= fβ 및 h23= -fα을 대체하면 이미지 중심의 보정을 생성하며, h11 및 h22는 f가 되고 x 및 y에서 동일한 척도를 제공하며, h12= fαβ는 이미지 내에 스큐의 등가를 생성한다. h31= -β 및 h32= α는 이전에 지적된 것처럼 제로가 될 수 없다. 이들은 이미지에 w'=1+ yα - xβ에 의한 리스케일링이 있는 경우 이미지 중심으로부터 x 및 y 방향으로 멀어지는 원근 보정을 제공하는데, x 및 y는 이미지 중심에 대하여 측정된다.
또한 위에서 논의된 바와 같이, 렌즈 왜곡은 화상면 척도 f에 대하여 모델링될 수 있다. 화상면 척도에 따라서 렌즈 왜곡을 모델링하기 위하여, ZC 방향으로 f에 위치되고, (0, 0)가 중심이며, 및 렌즈축 ZC와 완벽하게 직교하는 투영의 가상의 중간면이 모델에 추가되어야 한다.
이러한 변환은 순수 스케일링 호모그래피 S f 로써 표현된다
우리는 S f 를 내부 카메라 모델의 H로부터 인수분해할 수 있다. 우리는 S f 스케일링을 외부 모델의 끝에 인가하여 (fx, fy)를 계산하고, 렌즈 왜곡 모델에 있는 (fx, fy)를 사용하며, 따라서 내부 카메라 모델에서 f = 1 로 설정할 수 있다. 그러면 렌즈 왜곡 파라미터는, 화상면이 보정되고 (0, 0) 이미지 중심 포지션을 가지고 가시선 ZC와 직각으로 다시 기울어지는 것처럼 f 척도에서와 같이 계산될 것이다.
렌즈 왜곡 모델링을 위한 요구 사항은, 이미지 중심에 대하여 완벽하게 가시선과 직교하는 평면에 대한 방사상 거리 r을 계산하는 것이다. 이렇게 하면 고정된 렌즈를 모델링할 때에 자유도가 추가되는데, 하지만 렌즈 왜곡의 f=1 1:1 실측 모델링은 렌즈 왜곡 파라미터를 f로부터 독립적으로 만들기 때문에 줌렌즈 애플리케이션에 대하여 유리하다.
이제 도 9a 를 참조하면, 이미징 디바이스를 모델링 및 캘리브레이션하기 위한 시스템(200)이 예시된다. 시스템(200)은 네트워크(204)를 통하여 액세스가능한 하나 이상의 서버(들)(202)를 포함한다. 예를 들어, 웹 서버, 애플리케이션 서버, 및 데이터베이스 서버에 대응하는 일련의 서버가 사용될 수도 있다. 이러한 서버는 모두 서버(202)라고 표시된다. 서버(202)는 네트워크(204)를 거쳐 통신하도록 적응되는 복수 개의 디바이스(206) 중 하나를 사용하여 사용자에 의하여 액세스될 수도 있다. 디바이스(206)는 인터넷, 공중 전화 교환망 (Public Switch Telephone Network; PSTN), 셀룰러 네트워크, 또는 당업자들에게 공지된 다른 네트워크를 거쳐 통신하도록 구성되는 임의의 디바이스, 예컨대 개인용 컴퓨터, 태블릿 컴퓨터, 개인 휴대용 단말기, 스마트 폰, 또는 기타 등등을 포함할 수도 있다. 비록 디바이스(206)와 별개이고 떨어져 있는 것으로 도시되지만, 서버(202)가 다운로드된 소프트웨어 애플리케이션, 펌웨어 애플리케이션, 또는 이들의 조합 중 하나로서 디바이스(206)와 통합될 수도 있다는 것이 이해되어야 한다. 또한 206 에서와 같은 여러 디바이스들이 서버(202)에 일시에 접속할 수도 있다는 것이 이해되어야 한다.
이미징 데이터는 캘리브레이션 및 이미지 보정을 위하여 사용되는 이미징 디바이스(207)에 의하여 획득될 수도 있다. 디바이스(207)는(도시된 바와 같이) 디바이스(206)와 별개일 수 도 있고 이와 일체형일 수도 있다. 이미징 데이터는 실세계 3D 오브젝트(미도시)의 하나 이상의 이미지, 예컨대 아래에서 더욱 상세히 논의되는 바와 같은 캘리브레이션 타겟을 포함할 수도 있다. 그러면 이미징 데이터는 서버(202)에서 처리되어 도 8a, 도 8b, 도 8c, 및 도 8d 를 참조하여 위에서 설명된 방식으로 이미징 디바이스(207)의 모델을 획득할 수도 있다. 이미징 데이터는 예시적으로 어떠한 오브젝트, 예컨대 공간 내에서의 이동이 모니터링되고 있는 이동하는 오브젝트에 대하여 실시간으로(예를 들어 초당 30 개의 이미지의 레이트로) 획득된다. 그러면, 서버(202)는 이미징 데이터를 처리하여 각각의 획득된 이미지의 각각의 포인트와 연관된 이미지 포인트를 결정할 수도 있다. 대안적으로는, 이미징 데이터는 이미지 내의 하나 이상의 관심 지점 중 각각의 하나와 연관된 이미지 포인트를 결정하도록 처리될 수도 있다.
서버(202)는 다른 것들 중에서 메모리(210)에 연결되고 실행되는 복수 개의 애플리케이션(212a 212n)을 가지는 프로세서(208)를 포함할 수도 있다. 본 명세서에서 제공된 애플리케이션(212a …212n)이 개별적인 엔티티로서 도시되고 설명되지만, 이들이 다양한 방법으로 결합되고 분리될 수도 있다는 것이 이해되어야 한다.
하나 이상의 데이터베이스(214)는 직접적으로 메모리(210) 내에 집적될 수도 있거나 그와 별개로 그리고 서버(202)로부터 원격으로(도시된 바와 같이) 제공될 수도 있다. 데이터베이스(214)로의 원격 액세스의 경우에, 액세스는 위에 표시된 바와 같이 임의의 타입의 네트워크(204)를 통하여 발생할 수도 있다. 본 명세서에서 설명되는 다양한 데이터베이스(214)는 컴퓨터에 의한 신속한 검색 및 취출을 위하여 조직화되는 데이터 또는 정보의 콜렉션으로서 제공될 수도 있다. 데이터베이스(214)는 다양한 데이터-처리 동작과 함께 데이터의 저장, 취출, 수정, 및 삭제를 용이하게 하도록 구성될 수도 있다. 데이터베이스(214)는 레코드로 세분될 수 있는 파일 또는 파일의 세트를 포함할 수도 있는데, 이들 각각은 하나 이상의 필드를 포함한다. 필드를 신속하게 검색, 재정렬, 그루핑, 및 선택하기 위하여, 데이터베이스 정보는 키워드 및 정렬 커맨드를 사용하는 질의를 통하여 취출될 수도 있다. 데이터베이스(214)는 데이터 저장 매체, 예컨대 하나 이상의 서버에 있는 데이터의 임의의 조직일 수도 있다.
일 실시예에서, 데이터베이스(214)는 안전한 웹 서버 및 데이터로의 액세스를 위하여 사용되는 프로토콜인 전송 계층 보안(Transport Layer Security; TLS)을 지원할 수 있는 하이퍼텍스트 전송 프로토콜 시큐어(Hypertext Transport Protocol Secure; HTTPS)이다. 안전한 웹 서버로의 또는 그로부터의 통신은 안전한 소켓 계층(Secure Sockets Layer; SSL)을 사용하여 보안화될 수도 있다. 사용자의 아이덴티티 증명은 모든 사용자에 대한 사용자명 및 패스워드를 사용하여 수행될 수도 있다. 다양한 레벨의 액세스 권한이 다수의 레벨의 사용자에게 제공될 수도 있다.
또는, 컴퓨터 네트워크 내의 디바이스가 정보를 교환하도록 하는 임의의 공지된 통신 프로토콜이 사용될 수도 있다. 프로토콜의 예는: IP(Internet Protocol), UDP(User Datagram Protocol), TCP(Transmission Control Protocol), DHCP(Dynamic Host Configuration Protocol), HTTP(Hypertext Transfer Protocol), FTP(File Transfer Protocol), Telnet(Telnet Remote Protocol), SSH(Secure Shell Remote Protocol)과 같다.
프로세서(208)에 의하여 액세스가능한 메모리(210)는 데이터를 수신 및 저장할 수도 있다. 메모리(210)는 메인 메모리, 예컨대 고속 랜덤 액세스 메모리 (RAM), 또는 보조 스토리지 유닛, 예컨대 하드 디스크, 플래시 메모리, 또는 자기적 테이프 드라이브일 수도 있다. 메모리(210)는 임의의 다른 메모리의 타입, 예컨대 독출전용 메모리 (ROM), 소거가능 프로그래밍가능 독출전용 메모리 (EPROM), 또는 비디오디스크 및 콤팩트 디스크와 같은 광학적 스토리지 미디어일 수도 있다.
프로세서(208)는 메모리(210)에 엑세스하여 데이터를 취출한다. 프로세서(208)는 데이터에 동작을 수행할 수 있는 임의의 디바이스일 수도 있다. 예들은 중앙 처리 유닛 (CPU), 프론트-엔드 프로세서, 마이크로프로세서, 및 네트워크 프로세서이다. 애플리케이션(212a …212n)은 프로세서(208)로 커플링되고 아래에서 좀 더 상세하게 설명되는 바와 같이 다양한 태스크를 수행하도록 구성된다. 출력은 디바이스(206)로 송신될 수도 있다.
도 9b 는 프로세서(208)에서 실행 중인 애플리케이션(212a)의 예시적인 실시예이다. 애플리케이션(212a)은 이미징 데이터를 이미징 디바이스(207)로부터 수신하고 그로부터 이미징 디바이스(207)에 의하여 캡쳐되는 바와 같은 실제 3D 세계 오브젝트의 포인트의 좌표를 획득하기 위한 수신 모듈(302), 도 8b 를 참조하여 예시되고 설명된 방법을 가능하게 하는 외부 모델 투영 모듈(304), 도 8c 를 참조하여 예시되고 설명된 방법을 가능하게 하는 렌즈 왜곡 보상 모듈(306), 도 8d 를 참조하여 예시되고 설명된 방법을 가능하게 하는 내부 모델 투영 모듈(308), 및 내부 모델 정의 모듈(308)에 의하여 계산된 바와 같은, 카메라 이미지 포인트의 좌표를 출력하기 위한 출력 모듈(310)을 포함할 수도 있다.
2.0
캘리브레이션
이제 도 10, 도 11, 및 도 12 를 참조하면, 캘리브레이션은 3D-2D 이미지 생성 프로세스를 모델링한다. 두 개의 캘리브레이션된 카메라로부터, 2D-3D 스테레오 쌍 반전 동작이 모델 정확도를 인증하기 위하여 사용된다.
2.1 실험적
셋업
제안된 실험적 셋업은 심지어 저해상도 단파장 적외선(short-wavelength infrared; SWIR) 영사기(imager)를 가지고도 실무에 사용가능하도록 의도된다. 블랙 아노다이징된 알루미늄(미도시)의 두 개의 90˚ 평면에, 두 개의 원 그리드(미도시)가 형성되어(예를 들어 음각되어), 도 10 에 도시된 바와 같이 SWIR 스펙트럼에서의 표면 발광 성질(surface emissive properties)을 변화시키고, 컬러 캘리브레이션을 위한 흑백 정보를 제공한다.
일부 공개된 접근법은 왜곡 및 격리를 방지하기 위하여 이미지의 중심부를 사용하고 일부 카메라 파라미터를 격리시킨다. 불행하게도, 이렇게 하면 파라미터 추정 편중도 역시 생긴다. 제안된 접근법에서, 이미지의 임의의 위치에서 취해진 임의의 타원 중심이 모델에 정합되어야 한다. 그러므로, 제안된 모델은 심지어 광각 렌즈에 대해서도 전체 이미지에 걸쳐 정확하다.
타원 중심이 이미지로부터 측정되면, 3D 실세계 타겟 포지션을 이미지 내의 그들의 2D 각각의 위치와 관련시키는 데이터 세트가 주어진다. 이들을 상관시키기 위하여 카메라 모델을 사용하면서, 레벤버그-마콰트 검색 알고리즘이 모델 파라미터를 계산하기 위하여 사용될 수도 있다. 레벤버그-마콰트 알고리즘과 다른 알고리즘이 적용할 수도 있다는 것이 이해되어야 한다. 예를 들면, 최대 하강(steepest descent) 또는 뉴턴 (Newton) 알고리즘이 사용될 수도 있다. 제안된 기법을 사용하여 획득된 정확도 개선이 편중이 없는 에러 기준들의 최소 제곱 합을 사용하게 했다. 에러는 모델 및 3D 데이터 세트로부터의 이미지 예측된(image predicted) 타겟 포지션으로부터 2D에서의 대응하는 실제 이미지 측정을 뺀 것으로서 정의된다.
캘리브레이션 타겟은 중심 이격을 위하여 2" 떨어진 1" 직경 원을 사용한다. 원을 사용하면 높은 픽셀수의 이미지에 대해서도 모서리가 검출되지 않게 되는데, 이에 대해서는 도 12 를 참조한다.
각각의 원은, 편중 또는 임의의 바람직한 에지 방위가 없는, 카메라 동작의 로컬 추정을 제공한다. 우리는 에지 검출에 있는 신호대잡음(S/N) 비율보다 정확한 타원 중심 위치 정확도에 더욱 관심이 있다. 타원 모델링에 대한 다양한 기법을 테스트하고 중심 편중 추정을 피하기 위하여 많은 연구가 필요했다. 이미지가 고화소이기 때문에, 에지 검출기 풋프린트는 예시적으로 3 x 3 픽셀 영역으로 제한된다.
제안된 기법이 저해상도 카메라에서도 사용될 것이 의도되기 때문에, 도 11 에 도시된 바와 같이 640x480 바이에르 패턴 포인트 그레이 연구 파이어플라이(Bayer Pattern Point Grey Research Firefly)TM 컬러 카메라가 예시적으로 선택되고, 이것의 공급된 f = 4mm 마이크로 렌즈가 테스트를 위하여 제공된다.
결국, 모멘트 기법이 글레어(glare) 및 반사를 다룰 수 없고, 따라서 필드 캘리브레이션을 위해서도 사용될 수 없다는 것이 결정된다. 우리는 일부 경우에서 1/4 내지 1/2 픽셀 중심 편중을 발견했다. 이러한 에러가 작다면, 형상 복구 프로세스로부터 이들을 제거하기 위하여 방대한 수학적 분석이 필요하지 않다; 이들은 인간의 눈에는 보이지 않는다.
반면에, 에지 그레디언트 감지 기법은 에지 방위가 수평 또는 수직 카메라 그리드 픽셀 어레이와 나란하지 않은 경우 서브 픽셀 위치 편중을 나타냈다. 결국에, 데버네이 (Devernay) [참조 문헌 1]에 의한 '비 최대 억제 (Non Maxima Suppression)' 서브 픽셀 연장에 대한 서브 픽셀 보정이 사용되었다. 2단계 프로세스에서, 단계 1 은 에지 포인트에 대한 초기 추정을 복원하여 에지 방위 편중에 대한 보상을 추가한다. 이러한 초기 세트에서, 타원 기하학적 구조의 제 1 추정이 계산된다. 단계 2 에서, 로컬 곡률을 추정하고 에지 위치를 보정하기 위하여 초기 타원 맞춤(initial ellipse fit)이 사용된다.
2.2 캘리브레이션 결과
동일한 실험 데이터를 사용하여, 파라미터 추정은 아래 표 1 에 보이는 바와 같이 두 개의 카메라 모델에 대하여 비교된다.
최좌측 카메라 파라미터 세트가 공개되고 우리의 실험 데이터에 대하여 테스트된 가장 정확한 모델로부터 획득된다. 최우측 세트가 제안된 모델로부터 계산되었고, 렌즈 모델은 순수 방사상 기하학적 왜곡으로서 취해졌으며, 내부 카메라 모델이 제안된 구현형태를 사용했다.
위의 표의 처음 6 줄은 외부 카메라 파라미터인, [R3x3 T3x1]을 계산하기 위하여 필요한 3 개의 각도 및 3 개의 포지션이다. 다음 5 줄은 내부 카메라 파라미터이다; 우리는 우리의 파라미터 표현을 도 5 의 일반적으로 사용되는 모델에 맞춤하도록 수정했다. 우리의 자유도는 다른 수학식을 사용한다. 그러면, 남은 두 개의 선분은 주렌즈(major lens) 기하학적 왜곡 파라미터 k1 및 k2를 나타낸다. 이러한 두 개는 거의 모든 모델에 존재하고 대부분의 어안 기하학적 왜곡을 설명한다.
위에서 논의된 바와 같이, a, b 및 s로부터, 카메라 픽셀 직교성, 및 f에서의 오류를 표시할 때 s = 0 이며 a= b = f라고 간주한다. 만일 픽셀이 수직이라면, 높이 척도는 폭 척도와 동일해야 하고, 양자 모두는 완벽하게 직각이어야 하며, a = b = f는 이미지 척도를 표시해야 한다.
제안된 모델로 스위칭하면, f의 에러는 10-3 mm로부터 10-10 mm로 감소한다. 처음에, f는 0.03 % 만큼 오차가 있었다. 비록 작아 보이지만, 모델 편중은 Y 방향에서 거의 2 개의 픽셀에 가깝게 이미지 중심 (CX, CY)을 천이시켰다. 동시에, 모든 외부 파라미터가 천이되었다. 모든 각도가 변경되었고, 오브젝트 거리 TZ는 0.3%의 오차를 가졌다: 거리 측정에서의 에러가 f에서의 에러에 비하여 10 배 증가되었다. 이것의 시스템적 거리 측정 에러: 1 m 거리에서의 3 mm 에러는 10 km 거리에서 30 m의 에러가 될 것이다. TX 및 TY에서의 에러 퍼센티지는 더욱 열악하여, 최좌측 모델이 렌즈축 ZC와 나란한 거리를 보전하려고 시도하는 것을 표시한다. 캘리브레이션된 스테레오 쌍으로부터, 3D 복구는 이미지 척도에서의 두 개의 픽셀과 등가인 에러를 나타낸다. 스테레오 3D 측정은 아래에서 더욱 상세히 논의될 것이다.
왜곡 파라미터 k1 및 k2를 고려하면(k1의 마이너스 부호는 배럴 왜곡을 의미함), 양자 모두가 과소 추정되었음을 알 수 있다. 이미지 중심으로부터 멀어질수록 어느 정도의 잔차 곡률이 존재한다. 이것은 하나의 픽셀보다 작을 수도 있는데, 하지만 이미지를 이어붙여서 다수의 픽쳐로부터 하나의 맵을 생성하려고 할 경우에 곡률은 누적될 것이다.
3.0 모델/
캘리브레이션
편중 영향
주된 모델 편중 영향은 3D 스캐너 애플리케이션에서 사용되는 바와 같이 스테레오 쌍으로부터의 3D 원격측정에 나타난다. 기본적으로 수학적 삼각측량 프로세스가 동일하기 때문에, 동일한 결론이 움직이는 카메라로부터의 3D 추출에 대해서도 역시 같게 유지된다.
3.1 스테레오 쌍으로부터의 3D의 복구
이전에 언급된 바와 같이, 카메라 모델에 제안된 보정을 수행하는 것을 무시하면 3D 삼각측량의 시스템적인 에러가 생기게 된다. 도 13 은 두 개의 동시 카메라 이미지를 사용하여 3D 내의 오브젝트를 측정하기 위하여 통상적으로 사용되는 스테레오 쌍을 도시한다. 삼각측량법에 대한 온전한 논의는 참조 문헌 [5]에 제공된다.
O 및 O'는 두 개의 카메라(미도시)의 광학적 중심이고, 양자 모두의 렌즈축들은 이미지 중심에서 화상면에 직각으로 각각 (CX, CY, f) 및 (CX', CY', f')에 투영하고(명확화를 위하여 도시되지 않음), 여기에서 도 4 에 도시된 바와 같이 (CX, CY)는 화상면의 원점이고 f는 O와 화상면 사이의 거리이다. 이와 유사하게, (CX', CY')는 화상면의 원점이고, f'는 O'와 화상면 사이의 거리이다.
카메라 둘 다 오브젝트(미도시) 상의 공통 포인트 M을 바라보고 있다. M은 양자 모두의 카메라 이미지에서 포인트 m 및 m'로 투영한다.
M이 공간 내의 어디에 있는지를 알아내기 위하여, 두 개의 선분이 O 및 O'로부터 그들의 각각의 카메라 이미지 포인트 m 및 m'를 거쳐 연장된다. 두 선분이 교차하는 M이 계산된다.
3D 정확도는 다음의 정확한 지식에 의존한다:
1.
광학적 중심 O 및 O'
2.
f 및 f'
3.
이미지 중심 (CX, CY) 및 (CX', CY')
4.
렌즈축 방위 ZC 및 ZC'
5.
이미지 포인트 m 및 m'의 정확도
6.
OM 및 O'M의 교점
3D 텔레메트리 정확도에 대한 첫 번째 4 개의 요구 사항은 카메라 캘리브레이션을 통하여 발견되고, 다섯 번째는 서브 픽셀 이미지 피쳐 추출로부터 발견된다. 마지막 요구 사항은 삼각측량 3D 복구 자체이다.
위에서 설명된 첫 번째 4 개의 에러 의존성, 즉 광학적 중심 O 및 O', f 및 f', 이미지 중심 (CX, CY) 및 (CX', CY'), 및 렌즈축 방위 ZC 및 ZC'는 위에서 논의된 발견된 카메라 모델 편중에 따른다.
비록 기울어진 축 가정이 f에 매우 작은 에러만 생기게 하지만, 이것은 이미지 중심 (CX, CY) 및 초점 O 및 O'에 큰 편중이 일어나게 할 것이다. O 및 O'가 위치가 어긋나기 때문에, M을 찾기 위한 삼각측량이 시스템적인 3D 에러를 제공한다. 제안된 캘리브레이션 예로부터, 1/4 픽셀 정확도로 취출할 수 있었기 때문에 광학적 중심 O 및 O'의 두 개의 픽셀 에러는 이미지 포인트 m 및 m'의 임의의 측정 에러를 좌우한다.
특징점 추출(m 및 m')은 캘리브레이션 시에 처리되어야 하는 에지 방위 편중 및 코너 검출 편중을 겪게 된다.
마지막으로, 삼각측량, 전통적인 특이값 분해(Singular Value Decomposition; SVD) 접근법이 그 안정성과 속도 때문에 사용되었다. 어떠한 것도 두 개의 선분이 공간에서 교차할 것이라고 보장하지 않는다. 그러므로, M은 두 선분 모두가 가장 가까운 포인트로서 추적된다.
우리의 연구의 과정에 걸쳐, 여러 편중 소스들이 정확도에 영향을 주는 것으로 측정되었고, 카메라 모델 편중이 가장 큰 기여 요소였다. 편중 소스(bias source)는 다음을 포함한다:
- 카메라/렌즈 모델
(이미지 중심 (CX, CY)에 대한 2 픽셀 에러)
- 서브 픽셀 에지 방위 편중
(1/4 픽셀 에지 천이)
- 서브 픽셀 코너 검출 편중
(1/4 픽셀 코너 오프셋)
- 고려되지 않은 색상 왜곡
(색에 대한 1/2 픽셀 에지 천이)
- 과소보상된 기하학적 왜곡
(1/2 픽셀 잔차 곡률은 검출되지 않기 쉽다)
- 서브 픽셀 레벨에서의 JPEG 이미지 필터링
(JPEG 품질 파라미터에 따라 변화함)
카메라 모델의 편중 이외에, 거의 모든 편중 소스는 특징점 추출 에러를 초래할 것이다. 이러한 편중 소스를 제거하면 큰 이점을 가져온다. 심지어 저해상도 바이에르 패턴 카메라로부터 카메라 내부 모델을 간단히 변경함으로써 광각 마이크로 렌즈를 사용하여 10-10 mm까지의 정확도로 f를 얻는 것이 주된 개선 내용이고, 이것은 정확한 줌렌즈 모델이 현재까지 불가능했었는지를 설명한다.
3.2 모델 편중: 전체(overall) 및 줌렌즈(zooming lens)
위에서 논의된 바와 같이, 모든 렌즈 파라미터는 기울어진 축 가정이라고 지칭되는 내부 카메라 모델 편중에 의하여 '오염된다(polluted)'. 편중은 3D 내부 카메라 화상면의 정확한 원근 모델에 대하여 기울어진 가정을 변경함으로써 제거될 수 있다.
3D 삼각측량에서, 스테레오 카메라로부터 또는 이동하는 카메라로부터, 그 영향은 이미지 척도 및 이미지 중심이 잘못되었기 때문에 삼각측량이 천이된다는 것이다.
표 1 에 예시된 예는 렌즈 왜곡 파라미터가 과소평가되었다는 것을 역시 나타내는데, k1의 마이너스 부호는 배럴 왜곡을 의미한다. 다수의 이미지를 이어 붙여서 하나의 맵을 생성할 때, 이것은 이미지마다의 곡률 누적을 초래한다.
거리 및 목표 측정도 역시 편중되고, 카메라가 스케일링된 측정을 제공하기 때문에 f에 대한 에러 퍼센티지에 관련된다.
이것은 또한 줌렌즈 카메라의 정확한 모델링을 방해한다. 줌렌즈에서, 초점 O는 렌즈축 ZC를 따라 이동한다. 캘리브레이션으로부터, O가 이미지 중심 (CX, CY)의 위치로부터 발견되고, 화상면과 직교하여 f만큼 떨어져 있다. 제안된 예는 그러한 파라미터들에서의 시스템적인 편중을 보여준다. 이것은 렌즈 메커니즘 내의 런아웃(run out)을 고려하면 더욱 열화되는데, 그 이유는 이것이 렌즈축 ZC를 이동시키기 때문이다.
카메라 모델에 제안된 수정을 가하지 않으면, 이제 줌렌즈를 모델링하는 것이 불가능해진다.
줌렌즈 카메라의 모델링은 공간 내에서의 초점 O의 변위를 도시하는 것을 포함한다. 이상적인 줌렌즈는 렌즈축 ZC 상에서 직선으로 이동하는 O를 가질 것인데, 엔트리 평면 f=1 도 함께 이동한다. 기계적 조립 에러가 발생하자마자, 포인트 O에 대한 선형 변위 관련성은 없어진다. 그러므로 줌렌즈의 기계적 품질을 평가하는 오직 하나의 방법은 이미지 중심 (CX, CY) 및 f에 대한 정확한 지식에 의존한다.
기계적 품질 거동은 또한 줌렌즈 트레이드오프(tradeoff)이다: 필요할 경우에는 추가되는 정확도를 얻기 위해 줌인하는데, 렌즈 메커니즘 내의 조립 공차에 대한 정확도를 잃게되는 손실이 있다.
3.3 기하학적 왜곡 제거 예
이제 도 14 를 참조하면, 위에서 논의된 이전에 캘리브레이션된 테스트 카메라를 사용하고, 렌즈 기하학적 왜곡이 수학식 16 과 같이 나타나는 제안된 알고리즘으로부터, 도 14 는 렌즈 왜곡이 이미지로부터 어떻게 제거되는지를 나타낸다. 색상 왜곡은 흑백 이미지에서는 보이지 않는다.
3.4 색상 왜곡
이제 1024 x 768 의 해상도에서 f = 4 mm 코스미카(Cosmicar)® C 마운트 렌즈로부터의 색상 왜곡을 예시하는 도 15 를 참조한다. 정확한 이미지 중심 (CX, CY)이 알려지면 색상 왜곡이 모델링될 수 있다. 거의 모든 이미지에서, 대상물이 완전히 흑백이고 컬러 카메라로 촬영되는 경우가 아니면 색상 왜곡은 거의 보이지 않는다. 참조 문헌 [2]는 각각의 RGB 컬러 채널이 독립적으로 모델링되는 모델을 제공한다.
도 15 에서, 색상 왜곡 타겟 변위가 50 배 확대된 상태로 도시된다. 타겟 포지션은 적색 녹색 및 청색(RGB) 카메라 컬러 채널에 대하여 도시되고, 3 의 클러스터에 의하여 그루핑된다. 'x' 또는 곱하기 부호 마커 심볼은 청색에서의 타겟 추출을 표시하고, '+' 또는 플러스 부호 마커 심볼은 적색에서의 타겟 추출을 나타내며, 및 도트 또는 포인트 마커 심볼은 녹색에서의 타겟 추출을 나타낸다. 가시 스펙트럼 확산은 녹색에 비하여 적색 타겟 중심을 밖으로 밀어내고, 청색 타겟 중심을 안으로 밀어넣는다. 도 15 의 그래프는 거의 방사상 움직임을 보여준다. 임의의 주어진 타겟 위치에 대한 적색 녹색 및 청색 중심을 연결하는 가상의 선분은 정렬되고 (500, 400) 픽셀 좌표에 인접한 원에 플러스 부호가 결합된 마커 심볼에 의하여 표시되는 이미지 중심을 향해 조준되는 경향이 있다.
도 16 및 도 17 에서 예시되는 다음 두 개의 그래프는, 청색 및 적색 색상 왜곡 모두가 이미지 중심에서 제로이고 기대된 바와 같이 원점 (0,0)에서 시작한다는 것을 나타낸다. 렌즈의 이론적 동작이 예측한 바와 같이, 색상 왜곡은 이미지 중심에서 제로여야 한다.
청색 및 적색 색채 모두의 왜곡은 중심으로부터 다른 방사상 거리에서 그들의 피크 값을 가진다. ±1/2 픽셀 이상으로부터, 색상 왜곡은 모델링될 수 있고, ±1/8 픽셀 미만이 될 수 있다.
이미지 중심 (CX, CY)으로부터 취해진 극좌표에서, 고려되지 않은 색상 왜곡이 에지 위치에 ±1/2 픽셀 에러를 생성하고, 오브젝트 컬러를 변경하거나 광원 스펙트럼을 변경한다. 이것이 바이에르 패턴 컬러 이미지로부터 RGB를 추출할 때 주의해야 하는 필요성을 강조하는데, 그 이유는 에지 감지가 색편중되기 때문이다.
3.5
바이에르
패턴 복구
이제 도 18 을 참조하면, 바이에르 패턴 색 카메라는, 도 18 의 픽셀 번호의 위첨자 R, G, 또는 B로 표시되는 바와 같이 각각의 주어진 픽셀에 대해 단일 색 신호인 적색, 녹색, 또는 청색을 제공한다. 누락된 색 정보는 이웃하는 픽셀 정보를 사용하여 보간된다.
가장 정확한 바이에르 패턴 보간 방식은 누락된 RGB 정보를 보간하기 위하여 에지 감지를 사용한다. 정확한 바이에르 패턴 복구는 불연속성을 피하도록 요구하기 때문에, 에지를 가로질려서 보간할 수는 없다.
2-단계 프로세스에서, 우리는 B 및 R 픽셀에서 우선 누락된 G 픽셀 값을 계산한다. 예를 들어, 적색 픽셀 R13 에서, 누락된 G13 값은 다음과 같이 계산된다:
(G12+G14)/2 에지가 수평이라면
(R13 > (R3 +R23)/2)
(G8 +G18)/2 에지가 수직이라면
(R13 >(R11+R15)/2)
(G12+G8+G14+G18)/4
의 경우
단계 2 에서, B 및 R에서의 에지가 G 에지와 동일한 화상면 위치에서 발견된다고 가정하고, 우리는 에지 감지를 위하여 공지된 G를 사용하여 누락된 B 및 R 값을 계산한다.
렌즈가 색상 왜곡을 도입하기 때문에, B로부터 G를 거쳐 R 픽셀로 스캔할 때에 바이에르 패턴 복구는 '색이 천이하는(colour shifting)' 에지 위치를 보상하기 위하여 적응되어야 한다.
3.6 광학적 시스템 디자인
트레이드오프
감시, 3D 원격측정법, 및 스캐너를 위하여, 카메라 캘리브레이션 편중을 제거해야할 필요성이 시연되었다. 하지만 이러한 기술의 다른 중요한 내용은 다음을 포함하지만 다음으로 제한되지 않는다:
1.
소프트웨어 접근법은 개방된 집적 아키텍처를 생성하고;
2.
광각 렌즈의 사용을 허용하거나 렌즈 크기를 줄이며;
3.
줌렌즈 카메라를 모델링하도록 하고;
4.
이미지 기하학적 왜곡 및 색상 왜곡 보정 알고리즘 계산 속도가 증가하고, 무손실 이미지 압축을 추가하며;
5.
색상 왜곡에 의하여 야기되는 바이에르 패턴 복구 에러를 제거한다.
소프트웨어가 정확도를 카메라 하드웨어의 성능을 넘어서 증가시키기 위한 유일한 대책으로 사용된다는 것에 주목해야 한다.
가능하게 하는 것(enabler)로서, 이러한 기술은:
- 정확도의 손실이 없이 카메라 화각을 증가시키기 위하여 광각 렌즈를 사용하는 것. 1/3 CCD f = 4mm 조합이 90 도 화각을 제공한다.
- 카메라의 낮은 해상도를 스펙트럼에 걸쳐 색상 왜곡 모델링 및 서브 픽셀 에지 측정을 추가함으로써 보상하는 것.
- 소형화: 대략적으로는 수소 분자의 크기인 10-10 mm까지 정확한 마이크로 렌즈 및 초점 거리 평가를 사용하여 캘리브레이션을 달성했다.
- SWIR-컬러-합성 이미지-레이더-LIDAR 사이의 센서 융합: 정확한 융합을 획득하기 위하여, 각각의 이미지 척도 및 이미지 중심이 알려져야 하고 이미지 왜곡이 제거되어야 한다.
디지털 이미지 래그(lag)가 인간 관찰자에게 불쾌함을 일으켜서 제안된 기하학적 왜곡 제거 4:1 단순화가 수행되어야 하게 한다. 캘리브레이션 편중으로부터의 잔차 3D 에러도 역시 인간에게 두통 또는 장시간 기기 사용 증후군과 같은 불쾌감을 줄 것이다. 군인의 비젼(vision)용으로 비전 증폭을 테스트한 결과, 실 생활에 대한 1/4 초의 합성 이미징 래깅(lagging)이 인간 관찰자를 불쾌하게 할 수 있다는 결론을 얻었다.
솔루션이 소프트웨어로 구현되기 때문에, 이것은 교차 플랫폼과 독립적이게 된다.
저해상도 이미지에서, 서브 픽셀 에지 추출 및 도시는 인간의 뇌가 해당 이미지를 해석하는 것을 돕는다. 저해상도 SWIR 이미지는 고해상도 컬러 이미지와 융합할 수 있다.
증강 현실에서, 컴퓨터가 생성한 이미지는 이상적인 원근 및 공지된 초점 길이를 가진다. 컴퓨터 생성 이미지가 완벽하게 f에 대한 설정값으로부터 생성된 핀홀이기 때문에, 왜곡에 대하여 카메라 이미지를 보정하고 합성 이미지와 동일한 척도로 맞춤시켜야 하는 이유가 된다.
위성으로부터의 지구 관찰 및 감시에서, 임의의 렌즈 시스템은 어느 정도의 레벨로 왜곡을 나타낼 것이다. 지구의 대기도 역시 렌즈 왜곡이 정확하게 알려지는 경우에만 보상될 수 있는 왜곡을 추가한다. 이미지를 이어붙일 때, 과소보상된 기하학적 왜곡은 곡률을 증가시킬 것이고, 기울어진 축 가정에 의하여 야기되는 바와 같은 편중된 원근은 형상 변경: 직교성의 상실, 수직성의 상실... 을 생성할 것이다.
서브 픽셀 에지 추출은 이미지 압축의 가장 효율적 수단이다. 렌즈 왜곡에 대하여 이미지를 보정하고 JPEG의 수정을 통하여, 추가된 30%의 무손실 이미지 압축도 역시 시연되었다.
제안된 접근법은 줌렌즈 원격측정법에 적합하고, 광각 렌즈 애플리케이션에서의 속도 및 정확도를 증가시키며, 시스템 소형화를 두 가지 방식으로 허용한다. 우선, 더 작은 렌즈 시스템으로부터 가산된 정확도를 제공함으로써, 그리고 둘째로, 소프트웨어를 통한 필터링은 더 간단한 광학기를 허용한다.
이것은 정확도, 속도, 비용, 크기, 무게, 유지보수 및 업그레이드 가능성에 대한 최선의 트레이드-오프를 제공한다.
4.0 결론
어떠한 자동화된 시스템도 자신의 기구보다 더 정확하지 않다. 디지털 카메라를 지능적 시스템(들)에서 측정 툴로서 사용하려면 카메라가 캘리브레이션되어야 한다.
정확도는 오직 소프트웨어를 통해서만 증가되는데, 그 이유는 상업적 렌즈는 f에서 10% 공차를 가질 수 있고, 소프트웨어가 서브 픽셀 레벨에서의 렌즈 왜곡을 보상하는 유일한 방법이기 때문이다.
기울어진 축 가정은 주된 편중을 생성하고, 카메라 화상면 3D 기하학적 구조: 수평 및 수직 이미지 척도가 동일하고 직각에 놓이는 것을 보유하는 화상면의 원근 모델에 의하여 대체되어야 한다. 기울어진 축 가정은 3D 삼각측량에 나타나는 캘리브레이션 편중을 도입하는데 이것은 이미지 중심이 위치가 어긋나게 때문이다. 위에서 논의된 예에서, 두 개의 픽셀 이미지 중심 편중이 삼각측량 프로세스의 다른 에러를 좌우하는데, 그 이유는 이미지 피쳐가 1/4 픽셀 정확도까지 추출될 수 있기 때문이다.
여러 서브 픽셀 편중이 발생할 수 있기 때문에 캘리브레이션을 위한 이미지 피쳐를 추출할 때는 주의하여야 한다. 서브 픽셀 편중 소스는 다음을 포함하지만 이들로 제한되지는 않는다:
- 서브 픽셀 에지 위치-방위 편중;
- 서브 픽셀 코너 검출 편중;
- 고려되지 않은 색상 왜곡;
- 과소보상된 기하학적 왜곡;
- 서브 픽셀 레벨에서의 JPEG 이미지 필터링.
내부 카메라 화상면의 원근 모델은 줌렌즈 내의 렌즈 초점의 변위의 위치를 측정하기 위하여 필요하다. 소프트웨어 보정 접근법은 광각 렌즈 애플리케이션에서의 속도 및 정확도를 증가시키며, 시스템 소형화를 두 가지 방식으로 허용한다. 우선, 더 작은 렌즈 시스템으로부터 가산된 정확도를 제공함으로써, 그리고 둘째로, 소프트웨어를 통한 필터링은 더 간단한 광학기를 허용한다. 소프트웨어 모델/캘리브레이션은 하드웨어 제한 조건을 넘어서 카메라 성능을 개선시키기 위한 유일한 기법이다.
비록 블록도에서는 별개의 데이터 신호 연결을 통하여 서로 통신하는 이산 컴포넌트들의 그룹으로서 도시되지만, 본 발명의 실시예는 하드웨어 및 소프트웨어 컴포넌트의 조합에 의하여 제공될 수 있다는 것이 당업자에게 이해될 것이고, 일부 컴포넌트들은 하드웨어 또는 소프트웨어 시스템의 주어진 기능 또는 동작에 의하여 구현되고, 도시되는 데이터 경로 중 많은 것들이 컴퓨터 애플리케이션 또는 운영 체제 내의 데이터 통신에 의하여 구현된다. 따라서 도시된 구조는 본 발명의 실시예를 효율적으로 교시하기 위하여 제공된다.
본 발명이 방법으로서 수행될 수 있고, 시스템, 및/또는 컴퓨터 판독가능 매체에 구현될 수 있다는 것에 주의해야 한다. 위에서 설명된 본 발명의 실시예는 오직 예시적인 것으로 의도된다. 그러므로 본 발명의 범위는 오직 첨부된 청구항들의 범위에 의해서만 한정되는 것으로 의도된다.
참조 문헌
[1] Frederic Devernay. A Non-Maxima Suppression Method for Edge Detection with Sub-Pixel Accuracy. INRIA: INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE. Report No. 2724, November 1995, 20 pages.
[2] Y. M. Harry Ng, C. P. Kwong. Correcting the Chromatic Aberration in Barrel Distortion of Endoscopic Images. Department of Automation and Computer Aided Engineering, Chinese University of Hong Kong. 6 pages
[3] Shawn Becker. Semiautomatic Camera Lens Calibration from Partially Known Structure. MIT: Massachusetts Institute of Technology.
http://alumni. media. mit. edu/~sbeck/results/Distortion/distortion. html ⓒ1994, 1995
[4] Konstantinos G. Derpanis. The Harris Corner Detector. October 2004, 2 pages.
[5] L. H. Hartley, P. Sturm. Triangulation. Proc. of the ARPA Image Understanding Workshop 1994, Monterey, CA 1994, pp. 957-966.
Claims (16)
- 캘리브레이션 및 이미지 보정에서 사용하기 위하여 이미징 디바이스를 모델링하는 컴퓨터-구현 방법으로서,
상기 이미징 디바이스의 초점에 위치된 원점을 가지는 제 1 3D 직교 좌표계를 정의하는 단계로서, 제 1 좌표계의 제 1 축은 상기 이미징 디바이스의 가시선의 방향에 따라 연장하는, 단계;
상기 초점으로부터 단위 거리(unitary distance)에 위치된 원점을 가지는 제 2 3D 직교 좌표계를 정의하는 단계로서, 제 2 좌표계의 제 1 축은 상기 가시선의 방향을 따라 연장하고, 상기 제 2 좌표계의 제 2 축 및 제 3 축은 상기 제 1 좌표계의 제 2 축 및 제 3 축과 각각 실질적으로 평행하며, 이를 통하여 상기 제 2 좌표계의 제 2 축 및 제 3 축은 상기 가시선과 직교하는(square with) 실측면(true scale plane)을 정의하는, 단계;
상기 초점으로부터의 초점 거리에 위치된 원점을 가지는 제 3 3D 좌표계를 정의하는 단계로서, 제 3 좌표계의 제 1 축은 상기 가시선의 방향에 따라 연장되고, 상기 제 3 좌표계의 제 2 축 및 제 3 축은 상기 제 2 좌표계의 제 2 축 및 제 3 축의 방위에 상대적으로 제 1 각도 및 제 2 각도만큼 각각 기울어지며, 이를 통하여 상기 제 3 좌표계의 제 2 축 및 제 3 축은 상기 가시선에 상대적인 화상면(image plane) 비직교성(off-squareness)을 정의하는, 단계;
상기 이미징 디바이스에 의하여 캡쳐된 실세계 3D 오브젝트의 포인트와 연관되는 3D 좌표의 세트를 수신하는 단계;
상기 포인트의 상기 실측면 상의 투영을 계산하여 평면 좌표의 제 1 세트를 획득하고, 상기 화상면 상으로의 투영을 계산하여 상기 평면 좌표의 제 2 세트를 획득하는 단계; 및
상기 3D 오브젝트의 포인트에 대응하는 이미지 포인트의 위치를 표시하는 평면 좌표의 제 2 세트를 출력하는 단계를 포함하는, 이미징 디바이스를 모델링하는 컴퓨터-구현 방법. - 제 1 항에 있어서,
상기 제 2 좌표계는, 상기 실측면이 상기 이미징 디바이스의 렌즈계로의 엔트리를 구축하고 상기 실측면 상의 투영이 상기 이미징 디바이스의 외부 모델의 출력을 표시하도록 정의되고, 상기 제 3 좌표계는, 상기 화상면이 상기 렌즈계로의 출력을 구축하고 상기 화상면 상의 투영이 상기 이미징 디바이스의 내부 모델의 출력을 표시하도록 정의되는, 이미징 디바이스를 모델링하는 컴퓨터-구현 방법. - 제 1 항에 있어서,
3D 좌표의 수신된 세트는 [x y z 1]T이고 상기 3D 오브젝트의 포인트의 상기 실측면 상의 투영은 다음과 같이 계산되며:
,
는 척도 등가 연산자(scale equivalent operator)이고 P1은 상기 제 1 좌표계에 대한 상기 실측면 상으로의 투영 연산을 정의하는, 이미징 디바이스를 모델링하는 컴퓨터-구현 방법.
- 제 3 항에 있어서,
상기 3D 오브젝트의 포인트의 상기 상으로의 투영은 다음과 같이 계산되고,
P f 는 상기 화상면 상으로의 투영 연산을 정의하고, f는 초점 거리이며, α는 제 1 각도이고, β는 제 2 각도이며, R(x, α)는 상기 화상면의 축 x에 대한 α 회전 행렬이고, 축 x는 α 회전이 수행되기 이전에 상기 제 2 좌표계의 제 2 축에 실질적으로 평행하게 정의되며, R(y, β)는 상기 화상면의 축 y에 대한 β 회전 행렬이고, 축 y는 β 회전이 수행되기 이전에 상기 제 2 좌표계의 제 3 축에 실질적으로 평행하게 정의되며, 상기 α 회전은, 상기 β 회전이 각도 α만큼 회전된 축 x에 상대적으로 수행되도록 최우측으로(rightmost) 계산되고,
h11 = cosβ,
h12 = sinβ sinα,
h13 = sinβ cosα,
h22 = cosα,
h23 = -sinα,
h31 = -sinβ,
h32 = cosβ sinα, 그리고
h33 = cosβ cosα인, 이미징 디바이스를 모델링하는 컴퓨터-구현 방법. - 제 4 항에 있어서,
상기 실측면과 상기 화상면 사이의 호모그래피(homography) H를 다음과 같이 결정하는 단계를 더 포함하고,
,
h31 및 h32는 상기 화상면 내의 x 및 y 척도에 원근 보정을 적용하는 비-제로 원소이고, 상기 평면 좌표의 제 2 세트 (x", y")는 상기 실측면 상의 상기 포인트의 이미지의 왜곡 포지션 (x', y')의 호모그래피 변환(homographic transformation)이며, 상기 호모그래피 변환은 다음과 같이 표현되고,
,
u = f(cosβ x' + sinβ sinα y' + sinβ cosα),
v = f(cosα y' - sinα),
w = -sinβ x' + cosβ sinα y' + cosβ cosα,
x" = u/w + CX, 및
y" = v/w + CY이고 (CX, CY)는 상기 제 3 좌표계의 원점의 포지션인, 이미징 디바이스를 모델링하는 컴퓨터-구현 방법. - 제 5 항에 있어서,
상기 호모그래피 H는 다음과 같이 결정되고,
근사화 cosθ~1 및 sinθ~θ가 작은 각도인 α 및 β에 대하여 사용되는, 이미징 디바이스를 모델링하는 컴퓨터-구현 방법. - 제 1 항에 있어서,
상기 실측면에서 상기 이미징 디바이스의 렌즈의 왜곡을 보상하는 단계를 더 포함하고, 상기 보상하는 단계는, 다음과 같이 정의되는 렌즈 왜곡 모델을 적용하는 것을 포함하며,
r' = r + k1 r3 + k2 r5 + …,
상기 평면 좌표의 제 1 세트는 극좌표(radial coordinates) (r, θ)로 표현되는 상기 실측면 상의 상기 포인트의 이미지의 무왜곡 포지션 (x, y)이고, r2=x2+y2 및 tanθ = y/x이며, (x', y')은 상기 포인트의 상기 화상면 상의 투영 이전에 상기 렌즈의 출력에서의 (x, y)의 왜곡 포지션을 나타내고, r'은 (x', y')에 기초하여 계산된 왜곡된 방사상 거리이며, k1 및 k2는 상기 렌즈의 기하학적 왜곡 파라미터인, 이미징 디바이스를 모델링하는 컴퓨터-구현 방법. - 캘리브레이션 및 이미지 보정에서 사용하기 위하여 이미징 디바이스를 모델링하는 시스템으로서,
메모리;
프로세서; 및
상기 메모리에 저장되는 적어도 하나의 애플리케이션을 포함하고, 상기 애플리케이션은,
상기 이미징 디바이스의 초점에 위치된 원점을 가지는 제 1 3D 직교 좌표계를 정의하는 것으로서, 제 1 좌표계의 제 1 축은 상기 이미징 디바이스의 가시선의 방향에 따라 연장하는, 것;
상기 초점으로부터 단위 거리(unitary distance)에 위치된 원점을 가지는 제 2 3D 직교 좌표계를 정의하는 것으로서, 제 2 좌표계의 제 1 축은 상기 가시선의 방향을 따라 연장하고, 상기 제 2 좌표계의 제 2 축 및 제 3 축은 상기 제 1 좌표계의 제 2 축 및 제 3 축과 각각 실질적으로 평행하며, 이를 통하여 상기 제 2 좌표계의 제 2 축 및 제 3 축은 상기 가시선과 직교하는(square with) 실측면(true scale plane)을 정의하는, 것;
상기 초점으로부터의 초점 거리에 위치된 원점을 가지는 제 3 3D 좌표계를 정의하는 것으로서, 제 3 좌표계의 제 1 축은 상기 가시선의 방향에 따라 연장되고, 상기 제 3 좌표계의 제 2 축 및 제 3 축은 상기 제 2 좌표계의 제 2 축 및 제 3 축의 방위에 상대적으로 제 1 각도 및 제 2 각도만큼 각각 기울어지며, 이를 통하여 상기 제 3 좌표계의 제 2 축 및 제 3 축은 상기 가시선에 상대적인 화상면(image plane) 비직교성(off-squareness)을 정의하는, 것;
상기 이미징 디바이스에 의하여 캡쳐된 실세계 3D 오브젝트의 포인트와 연관되는 3D 좌표의 세트를 수신하는 것;
상기 포인트의 상기 실측면 상의 투영을 계산하여 평면 좌표의 제 1 세트를 획득하고, 상기 화상면 상으로의 투영을 계산하여 상기 평면 좌표의 제 2 세트를 획득하는 것; 및
상기 3D 오브젝트의 포인트에 대응하는 이미지 포인트의 위치를 표시하는 평면 좌표의 제 2 세트를 출력하는 것을 위하여 상기 프로세서에 의하여 실행가능한, 이미징 디바이스를 모델링하는 시스템. - 제 8 항에 있어서,
상기 적어도 하나의 애플리케이션은, 상기 실측면이 상기 이미징 디바이스의 렌즈계로의 엔트리를 구축하고 상기 실측면 상의 투영이 상기 이미징 디바이스의 외부 모델의 출력을 표시하도록 상기 제 2 좌표계를 정의하고, 상기 화상면이 상기 렌즈계로의 출력을 구축하고 상기 화상면 상의 투영이 상기 이미징 디바이스의 내부 모델의 출력을 표시하도록 상기 제 3 좌표계를 정의하기 위하여 상기 프로세서에 의하여 실행가능한, 이미징 디바이스를 모델링하는 시스템. - 제 8 항에 있어서,
상기 적어도 하나의 애플리케이션은, 3D 좌표의 세트를 [x y z 1]T로서 수신하고 상기 3D 오브젝트의 포인트의 상기 실측면 상의 투영을 다음과 같이 계산하기 위하여 상기 프로세서에 의하여 실행가능하고,
,
는 척도 등가 연산자(scale equivalent operator)이고 P1은 상기 제 1 좌표계에 대한 상기 실측면 상으로의 투영 연산을 정의하는, 이미징 디바이스를 모델링하는 시스템.
- 제 10 항에 있어서,
상기 적어도 하나의 애플리케이션은, 상기 3D 오브젝트의 포인트의 상기 상으로의 투영을 다음과 같이 계산하기 위하여 상기 프로세서에 의하여 실행가능하고,
P f 는 상기 화상면 상으로의 투영 연산을 정의하고, f는 초점 거리이며, α는 제 1 각도이고, β는 제 2 각도이며, R(x, α)는 상기 화상면의 축 x에 대한 α 회전 행렬이고, 축 x는 α 회전이 수행되기 이전에 상기 제 2 좌표계의 제 2 축에 실질적으로 평행하게 정의되며, R(y, β)는 상기 화상면의 축 y에 대한 β 회전 행렬이고, 축 y는 β 회전이 수행되기 이전에 상기 제 2 좌표계의 제 3 축에 실질적으로 평행하게 정의되며, 상기 α 회전은, 상기 β 회전이 각도 α만큼 회전된 축 x에 상대적으로 수행되도록 최우측으로 계산되고,
h11 = cosβ,
h12 = sinβ sinα,
h13 = sinβ cosα,
h22 = cosα,
h23 = -sinα,
h31 = -sinβ,
h32 = cosβ sinα, 그리고
h33 = cosβ cosα인, 이미징 디바이스를 모델링하는 시스템. - 제 11 항에 있어서,
상기 적어도 하나의 애플리케이션은, 상기 실측면과 상기 화상면 사이의 호모그래피(homography) H를 다음과 같이 결정하기 위하여 상기 프로세서에 의하여 실행가능하고,
, h31 및 h32는 상기 화상면 내의 x 및 y 척도에 원근 보정을 적용하는 비-제로 원소이고, 상기 평면 좌표의 제 2 세트 (x", y")는 상기 실측면 상의 상기 포인트의 이미지의 왜곡된 포지션 (x', y')의 호모그래피 변환(homographic transformation)이며, 상기 호모그래피 변환은 다음과 같이 표현되고,
,
u = f(cosβ x' + sinβ sinα y' + sinβ cosα),
v = f(cosα y' - sinα),
w = -sinβ x' + cosβ sinα y' + cosβ cosα,
x" = u/w + CX, 및
y" = v/w + CY이고 (CX, CY)는 상기 제 3 좌표계의 원점의 포지션인, 이미징 디바이스를 모델링하는 시스템. - 제 12 항에 있어서,
상기 적어도 하나의 애플리케이션은 상기 호모그래피 H를 다음과 같이 결정하기 위하여 상기 프로세서에 의하여 실행가능하고,
근사화 cosθ~1 및 sinθ~θ가 작은 각도인 α 및 β에 대하여 사용되는, 이미징 디바이스를 모델링하는 시스템. - 제 8 항에 있어서,
상기 적어도 하나의 애플리케이션은, 실측면에서 상기 이미징 디바이스의 렌즈의 왜곡을 보상하기 위하여 상기 프로세서에 의하여 실행가능하고, 상기 보상은 다음과 같이 정의되는 렌즈 왜곡 모델을 적용하는 것을 포함하며,
r' = r + k1 r3 + k2 r5 + …,
상기 평면 좌표의 제 1 세트는 극좌표(radial coordinates) (r, θ)로 표현되는 상기 실측면 상의 상기 포인트의 이미지의 무왜곡 포지션 (x, y)이고, r2=x2+y2 및 tanθ = y/x이며, (x', y')은 상기 포인트의 상기 화상면 상의 투영 이전에 상기 렌즈의 출력에서의 (x, y)의 왜곡 포지션을 나타내고, r'은 (x', y')에 기초하여 계산된 왜곡된 방사상 거리이며, k1 및 k2는 상기 렌즈의 기하학적 왜곡 파라미터인, 이미징 디바이스를 모델링하는 시스템. - 제 8 항에 있어서,
상기 이미징 디바이스는, 줌렌즈(zooming lens) 카메라, 근적외선 이미징 디바이스, 단파장 적외선 이미징 디바이스, 장파장 적외선 이미징 디바이스, 레이더 디바이스, 광 검출 및 거리측정(ranging) 디바이스, 포물면 거울 망원 영사기(parabolic mirror telescope imager), 의학적 내시경 카메라, 컴퓨터 단층촬영 (Computed tomography) 스캐닝 디바이스, 위성 이미징 디바이스, 소나(sonar) 디바이스, 및 다중 스펙트럼 센서 융합 시스템 중 하나를 포함하는, 이미징 디바이스를 모델링하는 시스템. - 캘리브레이션 및 이미지 보정에서 사용하기 위하여 이미징 디바이스를 모델링하기 위하여 프로세서에 의하여 실행가능한 프로그램 코드를 저장하는 컴퓨터 판독가능 매체로서, 상기 프로그램 코드는:
상기 이미징 디바이스의 초점에 위치된 원점을 가지는 제 1 3D 직교 좌표계를 정의하는 것으로서, 제 1 좌표계의 제 1 축은 상기 이미징 디바이스의 가시선의 방향에 따라 연장하는, 것;
상기 초점으로부터 단위 거리(unitary distance)에 위치된 원점을 가지는 제 2 3D 직교 좌표계를 정의하는 것으로서, 제 2 좌표계의 제 1 축은 상기 가시선의 방향을 따라 연장하고, 상기 제 2 좌표계의 제 2 축 및 제 3 축은 상기 제 1 좌표계의 제 2 축 및 제 3 축과 각각 실질적으로 평행하며, 이를 통하여 상기 제 2 좌표계의 제 2 축 및 제 3 축은 상기 가시선과 직교하는(square with) 실측면(true scale plane)을 정의하는, 것;
상기 초점으로부터의 초점 거리에 위치된 원점을 가지는 제 3 3D 좌표계를 정의하는 것으로서, 제 3 좌표계의 제 1 축은 상기 가시선의 방향에 따라 연장되고, 상기 제 3 좌표계의 제 2 축 및 제 3 축은 상기 제 2 좌표계의 제 2 축 및 제 3 축의 방위에 상대적으로 제 1 각도 및 제 2 각도만큼 각각 기울어지며, 이를 통하여 상기 제 3 좌표계의 제 2 축 및 제 3 축은 상기 가시선에 상대적인 화상면(image plane) 비직교성(off-squareness)을 정의하는, 것;
상기 이미징 디바이스에 의하여 캡쳐된 실세계 3D 오브젝트의 포인트와 연관되는 3D 좌표의 세트를 수신하는 것;
상기 포인트의 상기 실측면 상의 투영을 계산하여 평면 좌표의 제 1 세트를 획득하고, 상기 화상면 상으로의 투영을 계산하여 상기 평면 좌표의 제 2 세트를 획득하는 것; 및
상기 3D 오브젝트의 포인트에 대응하는 이미지 포인트의 위치를 표시하는 평면 좌표의 제 2 세트를 출력하는 것을 위하여 실행가능한, 컴퓨터 판독가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CA2819956 | 2013-07-02 | ||
| CA2819956A CA2819956C (en) | 2013-07-02 | 2013-07-02 | High accuracy camera modelling and calibration method |
| PCT/CA2014/000534 WO2015000056A1 (en) | 2013-07-02 | 2014-07-02 | System and method for imaging device modelling and calibration |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160030228A true KR20160030228A (ko) | 2016-03-16 |
Family
ID=52142954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167003009A KR20160030228A (ko) | 2013-07-02 | 2014-07-02 | 이미징 디바이스 모델링 및 캘리브레이션을 위한 시스템 및 방법 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US9792684B2 (ko) |
| EP (1) | EP3017599A4 (ko) |
| JP (2) | JP2016531281A (ko) |
| KR (1) | KR20160030228A (ko) |
| CN (1) | CN105379264B (ko) |
| BR (1) | BR112015033020A2 (ko) |
| CA (1) | CA2819956C (ko) |
| RU (1) | RU2677562C2 (ko) |
| WO (1) | WO2015000056A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180094452A (ko) | 2017-02-15 | 2018-08-23 | 동명대학교산학협력단 | 벡터 콘텐츠 인증 보안을 위한 다중 스케일 곡률기반 벡터 데이터 해싱기술 |
| KR20190096237A (ko) * | 2018-02-08 | 2019-08-19 | 망고슬래브 주식회사 | 메모지 촬영 및 서버 공유 시스템, 방법 및 컴퓨터 판독가능 기록 매체 |
Families Citing this family (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9196039B2 (en) | 2014-04-01 | 2015-11-24 | Gopro, Inc. | Image sensor read window adjustment for multi-camera array tolerance |
| CN104469167B (zh) * | 2014-12-26 | 2017-10-13 | 小米科技有限责任公司 | 自动对焦方法及装置 |
| CN105678748B (zh) * | 2015-12-30 | 2019-01-15 | 清华大学 | 三维监控系统中基于三维重构的交互式标定方法和装置 |
| DE102016002186A1 (de) * | 2016-02-24 | 2017-08-24 | Testo SE & Co. KGaA | Verfahren und Bildverarbeitungsvorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes |
| EP3217355A1 (en) | 2016-03-07 | 2017-09-13 | Lateral Reality Kft. | Methods and computer program products for calibrating stereo imaging systems by using a planar mirror |
| US10922559B2 (en) * | 2016-03-25 | 2021-02-16 | Bendix Commercial Vehicle Systems Llc | Automatic surround view homography matrix adjustment, and system and method for calibration thereof |
| US10371512B2 (en) | 2016-04-08 | 2019-08-06 | Otis Elevator Company | Method and system for multiple 3D sensor calibration |
| EP3236286B1 (en) * | 2016-04-18 | 2023-01-25 | Otis Elevator Company | Auto commissioning system and method |
| DE102016217792A1 (de) * | 2016-09-16 | 2018-03-22 | Xion Gmbh | Justiersystem |
| CN106643669B (zh) * | 2016-11-22 | 2018-10-19 | 北京空间机电研究所 | 一种多镜头多探测器航空相机单中心投影转换方法 |
| JP7002007B2 (ja) * | 2017-05-01 | 2022-01-20 | パナソニックＩｐマネジメント株式会社 | カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム |
| US10777018B2 (en) * | 2017-05-17 | 2020-09-15 | Bespoke, Inc. | Systems and methods for determining the scale of human anatomy from images |
| WO2018230396A1 (ja) | 2017-06-15 | 2018-12-20 | 富士フイルム株式会社 | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 |
| CN107895347A (zh) * | 2017-07-20 | 2018-04-10 | 吉林大学 | 一种视觉自适应调节显示装置及方法 |
| WO2019039997A1 (en) * | 2017-08-25 | 2019-02-28 | Maker Trading Pte Ltd | GENERAL SYSTEM FOR MONOCULAR ARTIFICIAL VISION AND METHOD FOR IDENTIFYING LOCATIONS OF TARGET ELEMENTS |
| CN107632407B (zh) * | 2017-11-08 | 2020-02-04 | 凌云光技术集团有限责任公司 | 一种柱透镜成像系统的校准装置 |
| CN108169722A (zh) * | 2017-11-30 | 2018-06-15 | 河南大学 | 一种未知干扰影响下传感器的系统偏差配准方法 |
| CN108038888B (zh) * | 2017-12-19 | 2020-11-27 | 清华大学 | 混合相机系统的空间标定方法及装置 |
| US11061132B2 (en) | 2018-05-21 | 2021-07-13 | Johnson Controls Technology Company | Building radar-camera surveillance system |
| JP2020008434A (ja) * | 2018-07-09 | 2020-01-16 | オムロン株式会社 | ３次元測定装置及び方法 |
| CN109167992A (zh) * | 2018-08-08 | 2019-01-08 | 珠海格力电器股份有限公司 | 一种图像处理方法及装置 |
| CN109143207B (zh) * | 2018-09-06 | 2020-11-10 | 百度在线网络技术（北京）有限公司 | 激光雷达内参精度验证方法、装置、设备及介质 |
| CN111047643B (zh) * | 2018-10-12 | 2023-06-27 | 深圳富联富桂精密工业有限公司 | 单目测距装置 |
| CN109612384B (zh) * | 2018-11-01 | 2020-11-06 | 南京理工大学 | 一种基于频谱亚像素平移的倾斜像差校正补偿方法 |
| CN109506589B (zh) * | 2018-12-25 | 2020-07-28 | 东南大学苏州医疗器械研究院 | 一种基于结构光场成像的三维轮廓测量方法 |
| CN109901142B (zh) * | 2019-02-28 | 2021-03-30 | 东软睿驰汽车技术（沈阳）有限公司 | 一种标定方法及装置 |
| CN109949367B (zh) * | 2019-03-11 | 2023-01-20 | 中山大学 | 一种基于圆形投影的可见光成像定位方法 |
| CN111696047B (zh) * | 2019-03-14 | 2023-08-22 | 四川中测辐射科技有限公司 | 一种医用成像设备的成像质量确定方法及系统 |
| CN111913169B (zh) * | 2019-05-10 | 2023-08-22 | 北京四维图新科技股份有限公司 | 激光雷达内参、点云数据的修正方法、设备及存储介质 |
| CN110322519B (zh) * | 2019-07-18 | 2023-03-31 | 天津大学 | 一种用于激光雷达与相机联合标定的标定装置及标定方法 |
| CN110596720A (zh) * | 2019-08-19 | 2019-12-20 | 深圳奥锐达科技有限公司 | 距离测量系统 |
| CN111462245B (zh) * | 2020-01-09 | 2023-05-26 | 华中科技大学 | 一种基于矩形结构的变焦相机姿态标定方法和系统 |
| TWI709780B (zh) | 2020-01-21 | 2020-11-11 | 台灣骨王生技股份有限公司 | 紅外線鏡頭主動式成像校正裝置及方法 |
| CN111355894B (zh) * | 2020-04-14 | 2021-09-03 | 长春理工大学 | 一种新型自标定激光扫描投影系统 |
| CN111507902B (zh) * | 2020-04-15 | 2023-09-26 | 京东城市(北京)数字科技有限公司 | 一种高分辨率图像获取方法及装置 |
| CN113554710A (zh) * | 2020-04-24 | 2021-10-26 | 西门子(深圳)磁共振有限公司 | 医学影像系统中3d相机的标定方法、系统和存储介质 |
| CN111514476B (zh) * | 2020-04-30 | 2022-03-15 | 江苏瑞尔医疗科技有限公司 | 一种用于x射线图像引导系统中的校准方法 |
| CN111627072B (zh) * | 2020-04-30 | 2023-10-24 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
| JP2023113980A (ja) * | 2020-07-13 | 2023-08-17 | パナソニックＩｐマネジメント株式会社 | 楕円検出方法、カメラ校正方法、楕円検出装置、及びプログラム |
| CN112050752B (zh) * | 2020-09-02 | 2022-03-18 | 苏州东方克洛托光电技术有限公司 | 一种基于二次投影的投影仪标定方法 |
| CN111986197A (zh) * | 2020-09-09 | 2020-11-24 | 福州大学 | 基于轮廓统计特性的部分参考声纳图像应用质量评价方法 |
| CN112230204A (zh) * | 2020-10-27 | 2021-01-15 | 深兰人工智能(深圳)有限公司 | 激光雷达和相机的联合标定方法及装置 |
| CN112634152A (zh) * | 2020-12-16 | 2021-04-09 | 中科海微(北京)科技有限公司 | 基于图像深度信息的人脸样本数据增强方法及系统 |
| CN112883000B (zh) * | 2021-03-17 | 2022-04-15 | 中国有色金属长沙勘察设计研究院有限公司 | 一种形变监测雷达数据文件存储方法 |
| CN113177989A (zh) * | 2021-05-07 | 2021-07-27 | 深圳云甲科技有限公司 | 一种口内扫描仪标定方法及装置 |
| CN113284189A (zh) * | 2021-05-12 | 2021-08-20 | 深圳市格灵精睿视觉有限公司 | 畸变参数标定方法、装置、设备及存储介质 |
| CN113487594B (zh) * | 2021-07-22 | 2023-12-01 | 上海嘉奥信息科技发展有限公司 | 一种基于深度学习的亚像素角点检测方法、系统及介质 |
| CN113706607B (zh) * | 2021-08-18 | 2023-10-20 | 广东江粉高科技产业园有限公司 | 一种基于圆环阵列图的亚像素定位方法、计算机设备与装置 |
| TWI789012B (zh) * | 2021-09-14 | 2023-01-01 | 明俐科技有限公司 | 藉由抖色處理對即時影像進行校正的校正方法及校正裝置 |
| US11927757B1 (en) * | 2021-10-29 | 2024-03-12 | Apple Inc. | Electronic device display having distortion compensation |
| CN114167663B (zh) * | 2021-12-02 | 2023-04-11 | 浙江大学 | 一种包含渐晕去除算法的编码光圈光学成像系统 |
| CN114170314B (zh) * | 2021-12-07 | 2023-05-26 | 群滨智造科技(苏州)有限公司 | 一种基于智能3d视觉处理3d眼镜工艺轨迹执行方法 |
| CN115272471B (zh) * | 2022-08-30 | 2023-07-28 | 杭州微影软件有限公司 | 一种光心位置的确定方法、装置及设备 |
| CN116033733B (zh) * | 2022-08-30 | 2023-10-20 | 荣耀终端有限公司 | 一种显示设备的装配方法及显示设备 |
| CN116839499B (zh) * | 2022-11-03 | 2024-04-30 | 上海点莘技术有限公司 | 一种大视野微尺寸2d及3d测量标定方法 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000227547A (ja) * | 1999-02-05 | 2000-08-15 | Fuji Photo Film Co Ltd | 撮影レンズおよびこれを用いるカメラ |
| US6437823B1 (en) | 1999-04-30 | 2002-08-20 | Microsoft Corporation | Method and system for calibrating digital cameras |
| JP4501239B2 (ja) | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
| RU2199150C2 (ru) * | 2001-02-02 | 2003-02-20 | Курский государственный технический университет | Устройство калибровки оптикоэлектронной системы |
| KR100386090B1 (ko) | 2001-04-02 | 2003-06-02 | 한국과학기술원 | 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법 |
| US6995762B1 (en) | 2001-09-13 | 2006-02-07 | Symbol Technologies, Inc. | Measurement of dimensions of solid objects from two-dimensional image(s) |
| JP3624288B2 (ja) | 2001-09-17 | 2005-03-02 | 株式会社日立製作所 | 店舗管理システム |
| US7068303B2 (en) | 2002-06-03 | 2006-06-27 | Microsoft Corporation | System and method for calibrating a camera with one-dimensional objects |
| JP4147059B2 (ja) | 2002-07-03 | 2008-09-10 | 株式会社トプコン | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 |
| KR100576874B1 (ko) * | 2004-10-25 | 2006-05-10 | 삼성전기주식회사 | 회절광학소자를 이용한 광학계 |
| JP4681856B2 (ja) * | 2004-11-24 | 2011-05-11 | アイシン精機株式会社 | カメラの校正方法及びカメラの校正装置 |
| US8082120B2 (en) | 2005-03-11 | 2011-12-20 | Creaform Inc. | Hand-held self-referenced apparatus for three-dimensional scanning |
| ATE518113T1 (de) | 2005-03-11 | 2011-08-15 | Creaform Inc | Selbstreferenziertes system und vorrichtung zum dreidimensionalen scannen |
| DE102007045525A1 (de) * | 2007-09-24 | 2009-04-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bildsensor |
| CN101419705B (zh) | 2007-10-24 | 2011-01-05 | 华为终端有限公司 | 摄像机标定的方法及装置 |
| KR100966592B1 (ko) | 2007-12-17 | 2010-06-29 | 한국전자통신연구원 | 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법 |
| JP4751939B2 (ja) * | 2009-03-31 | 2011-08-17 | アイシン精機株式会社 | 車載カメラの校正装置 |
| US8223193B2 (en) | 2009-03-31 | 2012-07-17 | Intuitive Surgical Operations, Inc. | Targets, fixtures, and workflows for calibrating an endoscopic camera |
| ES2758734T3 (es) * | 2009-05-05 | 2020-05-06 | Kapsch Trafficcom Ag | Procedimiento para calibrar la imagen de una cámara |
| US8223230B2 (en) * | 2009-05-08 | 2012-07-17 | Qualcomm Incorporated | Systems, methods, and apparatus for camera tuning and systems, methods, and apparatus for reference pattern generation |
| CN101727671B (zh) * | 2009-12-01 | 2012-05-23 | 湖南大学 | 基于路面共线三点及其平行线的单摄像机标定方法 |
| JP4763847B1 (ja) * | 2010-08-30 | 2011-08-31 | 楽天株式会社 | 画像変換装置、画像処理装置、ならびに、画像処理システム |
| CN102466857B (zh) * | 2010-11-19 | 2014-03-26 | 鸿富锦精密工业（深圳）有限公司 | 取像镜头 |
| US8711275B2 (en) * | 2011-05-31 | 2014-04-29 | Apple Inc. | Estimating optical characteristics of a camera component using sharpness sweep data |
| CN103827917B (zh) | 2011-07-25 | 2017-06-09 | 科英布拉大学 | 用于使用棋盘图案的一幅或多幅图像的自动相机校准的方法和装置 |
-
2013
- 2013-07-02 CA CA2819956A patent/CA2819956C/en active Active
-
2014
- 2014-07-02 RU RU2016103197A patent/RU2677562C2/ru not_active IP Right Cessation
- 2014-07-02 EP EP14820593.3A patent/EP3017599A4/en not_active Withdrawn
- 2014-07-02 US US14/898,016 patent/US9792684B2/en active Active
- 2014-07-02 KR KR1020167003009A patent/KR20160030228A/ko not_active Application Discontinuation
- 2014-07-02 WO PCT/CA2014/000534 patent/WO2015000056A1/en active Application Filing
- 2014-07-02 JP JP2016522146A patent/JP2016531281A/ja active Pending
- 2014-07-02 BR BR112015033020A patent/BR112015033020A2/pt not_active IP Right Cessation
- 2014-07-02 CN CN201480038248.5A patent/CN105379264B/zh not_active Expired - Fee Related
-
2019
- 2019-04-04 JP JP2019072152A patent/JP6722323B2/ja active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180094452A (ko) | 2017-02-15 | 2018-08-23 | 동명대학교산학협력단 | 벡터 콘텐츠 인증 보안을 위한 다중 스케일 곡률기반 벡터 데이터 해싱기술 |
| US11115190B2 (en) | 2017-02-15 | 2021-09-07 | Tongmyong University Industry-Academy Cooperation Foundation | Method of hashing vector data based on multi-scale curvature for vector content authentication |
| KR20190096237A (ko) * | 2018-02-08 | 2019-08-19 | 망고슬래브 주식회사 | 메모지 촬영 및 서버 공유 시스템, 방법 및 컴퓨터 판독가능 기록 매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2819956C (en) | 2022-07-12 |
| EP3017599A4 (en) | 2017-11-22 |
| CA2819956A1 (en) | 2015-01-02 |
| EP3017599A1 (en) | 2016-05-11 |
| RU2016103197A3 (ko) | 2018-05-17 |
| RU2677562C2 (ru) | 2019-01-17 |
| JP6722323B2 (ja) | 2020-07-15 |
| BR112015033020A2 (pt) | 2017-10-03 |
| US20160140713A1 (en) | 2016-05-19 |
| CN105379264B (zh) | 2017-12-26 |
| RU2016103197A (ru) | 2017-08-07 |
| JP2019149809A (ja) | 2019-09-05 |
| US9792684B2 (en) | 2017-10-17 |
| WO2015000056A1 (en) | 2015-01-08 |
| CN105379264A (zh) | 2016-03-02 |
| JP2016531281A (ja) | 2016-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6722323B2 (ja) | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 | |
| US11546576B2 (en) | Systems and methods for dynamic calibration of array cameras | |
| CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
| JP5472328B2 (ja) | ステレオカメラ | |
| Henrique Brito et al. | Radial distortion self-calibration | |
| DK3189493T3 (en) | PERSPECTIVE CORRECTION OF DIGITAL PHOTOS USING DEPTH MAP | |
| Nozick | Multiple view image rectification | |
| KR20040053877A (ko) | 디지털 카메라의 렌즈 왜곡 보정과 정사영상 생성방법 및이를 이용한 디지털 카메라 | |
| CN114485953A (zh) | 温度测量方法、装置及系统 | |
| CN110322514B (zh) | 一种基于多中心投影模型的光场相机参数估计方法 | |
| KR20150119770A (ko) | 카메라를 사용한 3차원 좌표 측정 장치 및 방법 | |
| Vupparaboina et al. | Euclidean auto calibration of camera networks: baseline constraint removes scale ambiguity | |
| CN111080689B (zh) | 确定面部深度图的方法和装置 | |
| Remondino et al. | Photogrammetric calibration of image sequences acquired with a rotating camera | |
| CN114792332A (zh) | 图像配准方法及装置 | |
| JP6103767B2 (ja) | 画像処理装置、方法、及びプログラム | |
| CN117218203A (zh) | 相机的标定方法、装置、设备及存储介质 | |
| CN116051916A (zh) | 训练数据获取方法、模型训练方法以及视差图像获取方法 | |
| Angst et al. | Radial Distortion Self-Calibration | |
| Heather et al. | Issues in advanced image registration for multi-UAV platform applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |