KR100702077B1

KR100702077B1 - 컴퓨터 화상 표시를 위한 실시간 광각 화상 정정 시스템및 방법

Info

Publication number: KR100702077B1
Application number: KR1020030041407A
Authority: KR
Inventors: 리우지쳉; 코헨마이클
Original assignee: 마이크로소프트 코포레이션
Priority date: 2002-06-28
Filing date: 2003-06-25
Publication date: 2007-04-02
Also published as: JP4279613B2; TW200402635A; US7058237B2; TWI273511B; JP2004038973A; CN1477597A; KR20040002682A; US20060033999A1; US7099521B2; CN1307596C; US7113650B2; US20060028735A1; ES2709942T3; EP1376467A3; EP1376467A2; EP1376467B1; US20040001146A1

Abstract

본 발명은 광각 카메라에 의하여 촬영된 화상에서의 왜곡 및 인식 문제를 완화하기 위한 실시간 광각 화상 정정 시스템 및 방법을 포함한다. 일반적으로, 실시간 광각 화상 정정 방법은 광각 화상의 픽셀 좌표로부터 워프 테이블(warp table)을 생성하고, 워프 테이블을 광각 화상에 적용하여 정정된 광각 화상을 생성한다. 이 정정은 공간 변화 균일 스케일링 함수{Spatially Varying Uniform(SVU) scaling function}의 매개 클래스를 사용하여 수행된다. SVU 스케일링 함수 및 스케일링 인자와 광각 화상 픽셀 좌표에서 수직 스케일링 및 수평 스케일링을 수행하기 위하여 사용된다. 수평 왜곡 정정은 적어도 2개의 서로 다른 스케일링 인자와 SVU 스케일링 함수를 사용하여 수행된다. 이 처리는 정정된 광각 화상을 제공하기 위하여 광각 화상에 적용될 수 있는 워프 테이블을 생성한다.

광각 화상, 스케일링, 워핑, 워프 테이블

Description

컴퓨터 화상 표시를 위한 실시간 광각 화상 정정 시스템 및 방법{REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING}

도 1은 본 발명에 따른 실시간 광각 화상 정정 시스템의 일반적인 개요를 나타내는 블록도.

도 2는 본 발명을 실행하는데 바람직한 계산 장치를 나타내는 블록도.

도 3은 도 1에 도시한 실시간 광각 화상 정정 시스템의 워프 테이블 생성 모듈의 세부 사항을 나타내는 블록도.

도 4는 도 1에 도시한 실시간 광각 화상 정정 시스템의 동작을 나타내는 일반적인 흐름도.

도 5는 도 3에 도시한 수직 스케일링 모듈의 세부 사항을 나타내는 흐름도.

도 6은 두개의 곡선 세트에 의한 워핑 함수의 결정에 대해 나타내는 도면.

도 7은 도 3에 도시한 수평 스케일링 모듈의 세부 사항을 나타내는 흐름도.

도 8은 도 3에 도시한 수평 왜곡 정정 모듈의 세부 사항을 나타내는 흐름도.

도 9는 예비 픽셀 좌표의 3개의 섹션으로의 분할에 대한 개념 및 수직 스케일링 함수를 나타내는 도면.

도 10a는 정정을 하지 않은 무도장의 사시도.

도 10b는 도 10a에 대하여 공간 변화 균일(Spatially Varying Uniform; SVU) 스케일링 함수를 적용한 후의 사시도.

도 11은 동작예에 따라 광각 카메라에 의하여 생성된 결과적인 원통 광각 화상을 나타내는 도면.

도 12는 소스 곡선 및 워핑 인자 α=0.3인 표적 곡선을 나타내는 도면.

도 13은 수평 왜곡 정정을 하지 않고 SVU 스케일링 워핑 함수를 적용한 결과로서, 동작예에 의한 예비 정정된 화상을 나타내는 도면.

도 14는 수평 왜곡 정정을 포함하는 SVU 스케일링 함수를 적용한 결과를 나타내는 도면.

도 15는 워핑 인자 α=0.2를 사용하여 동작예에 따른 정정된 광각 화상을 나타내는 도면.

도 16은 워핑 인자 α=0.4를 사용하여 동작예에 따른 정정된 광각 화상을 나타내는 도면.

도 17은 카메라 주위에서 회전하는 직사각형 물체의 사시도.

도 18a는 일반 시야 카메라에 의하여 촬영된 장면을 나타내고, 깊이 오인 개념을 나타내는 도면.

도 18b는 도 18a와 같은 장면을 광각 카메라에 의하여 촬영한 장면을 나타내는 도면.

도 19는 일반 원통 및 타원형 원통의 단면도의 2차원 도면.

도 20은 도 4에 도시한 실시간 광각 화상 정정 방법의 동작예를 나타내는 도 면.

<도면의 주요부분에 대한 부호의 설명>

100 실시간 광각 화상 정정 시스템

110 광각 화상

120 광각 화상 픽셀 좌표

130 정정된 광각 화상

140 워프 테이블 생성 모듈

150 워프 테이블

160 실시간 화상 워핑 시스템

본 발명은 일반적으로 컴퓨터를 이용한 화상 표시에 관한 것이며, 특히 광각 카메라에 의하여 촬영된 화상을 실시간으로 정정하여 왜곡 및 인식 문제를 완화시키는 시스템 및 방법에 관한 것이다.

광각 카메라는 종종 대형 장면을 촬영하기 위하여 사용된다. 광각 카메라는 전형적으로 대략 60도 이상의 시야를 갖는다. 또한 광각 카메라는 파노라마 카메라를 포함하는데, 이는 360도에 달하는 시야를 갖는 초광각 카메라이다.

광각 화상은 적어도 2가지 유형의 투영법을 이용하여 보여질 수 있다. 선형 원근법 투영(linear perspective projection)은 평면 필름 조각으로 투영되는 광각 렌즈에 의하여 촬영된 화상이다. 선형 원근법 투영은 형태를 유지하는 대신에 직선을 직선으로 유지한다. 이는 원근 변형을 야기한다. 화상의 관찰자가 그 시점을 투영 중심에 위치시키면 화상은 변형되지 않고 정확하게 보인다. 그러나, 작은 시야로 광각 화상을 보면, 물체가 회전함에 따라 화상면에서의 약간의 변형되고 화상 크기가 약간 커졌다고 관찰자는 생각하게 된다. 이는 물체가 가장자리 부분에서 신장되어 보이기 때문이다. 화상면의 변형이나 크기의 변화가 예상보다 크면 사용자는 그 장면이 정확하지 않으며, 마치 장면이 관찰자 주위에서 물결치는 것처럼 느끼게 되는데, 이는 특히 파노라마 화상을 보는 경우 그렇다.

원통도법(cylindrical projection)은 곡선 모양의 필름과 회전 슬릿 렌즈(rotating slit lens)를 갖는 광각 카메라를 사용하여 만들어진다. 원통도법은 형태를 유지함에 있어서 선형도법(linear projection)보다 좋다. 또한, 원통도법은 외관상 물결치듯 움직이는 현상(swimming motion)을 완화시킨다. 원통도법은 선형도법보다 외관상 개선되지만, 왜곡 및 인식 문제가 존재한다. 특히 원형도법은 직선을 필요 이상으로 곡선이 되도록 한다. 또한, 원통도법은 파노라마 화상을 볼 때 머리를 돌리는 것과 같은 착각을 거의 완벽하게 제거한다.

광각 화상에서의 왜곡 및 만곡(curvature) 문제는 시야 불일치에 의하여 야기된다. 특히, 컴퓨터 모니터의 제한된 시청 크기 및 표준 시청 거리 때문에 화상이 보여질 때에 화상에 의하여 정해지는 각은 근본적으로 장면을 화상면으로 투영한 카메라의 시야보다 작다. 이 불일치가 많은 왜곡 및 인식 문제의 원인이 된다.

화상을 볼 때의 시야가 작음으로써 야기되는 것과 관련된 문제는 깊이의 오 인(misperception of depth)이다. 광각 화상은 가까운 물체와 멀리 있는 물체간의 깊이 차이를 과장한다. 장면에 있는 물체의 깊이에 대한 중요한 시각적 단서는 가까운 거리와 먼 거리에 있는 서로 유사한 물체의 화상 크기의 비율이다{이를 깊이 축소 비율(depth foreshortening ratio)이라 한다}. 시야가 작으면 축소 비율도 작아지게 된다. 예를 들어, 두 사람이 나란히 서 있는 장면이 있으며, 그 중 한 사람은 다른 사람보다 카메라로부터 약간 멀리 떨어져 있다고 가정한다. 그 장면이 일반 시야(대략 60도) 카메라에 의하여 촬영되고, 또한 같은 장면이 광각 시야 카메라에 의하여 촬영된 경우, 장면에 있는 물체의 크기는 다를 것이다. 특히, 일반 시야 카메라에서는 카메라로부터 멀리 있는 사람은 카메라에 가깝게 있는 다른 사람보다 약간 멀리 있는 것으로 보일 것이다. 그러나, 광각 시야 카메라에서는 카메라로부터 멀리 있는 사람은 다른 사람보다 훨씬 작게 보일 것이다. 이 과장된 크기 차이 때문에, 카메라로부터 멀리 있는 사람은 실제 그 사람이 있는 곳보다 더 멀리 있는 것으로 보인다. (비디오 회의 장면과 같은) 깊은 장면의 광각 화상이 컴퓨터 모니터 상에서 보여질 때, 일반적으로 관찰자의 시야는 실제 화상의 시야보다 훨씬 작다. 따라서, 관찰자에 의하여 인식되는 깊이는 실제 깊이보다 훨씬 깊다.

이러한 왜곡 및 인식 문제를 명백히 나타낸 응용례는 비디오 회의 시스템에 관한 것이다. 광각 카메라는 회의실에 있는 모든 참석자를 포함하는 화상을 촬영하여 전송하는 비디오 회의 시스템에서 종종 사용된다. 그러나, 비디오 회의를 시 청할 때 광각 화상은 그 회의실의 깊이를 과장한다는 한가지 문제점이 있다. 이는 화상의 중앙에 있는 사람(보통 카메라로부터 가장 멀리 있는 사람)은 지나치게 축소되어 회의실에 있는 다름 사람과 비교하여 아주 작게 보이게 한다.

이러한 왜곡 및 인식 문제는 현재의 파노라마 표시 소프트웨어로 광각 화상을 볼 때 더욱 두드러진다. 사용자가 머리를 돌리면 물체는 한쪽 가장자리에서 이미 신장되어 보이고, 그 물체가 중앙을 지나면 그 거리에 따라서 축소된다. 그리고, 다른 가장자리에서 다시 신장된다. 따라서, 시야가 돌아감에 따라, 고체가 변형되어 보이고 물결치듯 보이게 된다.

따라서, 광각 카메라에 의하여 촬영된 화상의 왜곡 및 인식 문제를 완화하기 위한 실시간 정정 시스템 및 방법이 요구된다.

여기에 개시된 본 발명은 광각 카메라에 의하여 촬영된 광각 화상에서의 왜곡 및 인식 결함의 실시간 정정을 제공하기 위한 시스템 및 방법을 포함한다. 실시간 광각 화상 정정 시스템 및 방법은 매개 워핑 함수(parametric warping function)의 클래스를 사용하여 광각 화상에서의 왜곡 및 인식 오류를 효과적이고 능률적으로 정정한다. 또한, 이 시스템은 비디오 회의용에서와 같은 깊이 오류를 정정한다. 깊이 오류의 정정은 보다 유용하고 의미 있는 비디오 회의 표시를 가능하게 한다. 게다가 매개 워핑 함수는 광각 화상을 볼 때에 발생하는 스위밍 현상 가공물(artifact)을 제거하기 위하여 사용될 수 있다.

일반적으로 실시간 광각 화상 정정 방법은 결함이 있는 광각 화상을 입력하 여, 과장된 깊이 및 수평 왜곡을 정정하고, 정정된 광각 화상을 출력한다. 광각 카메라와 관련된 대부분의 문제를 극복함으로써 발생하는 새로운 왜곡의 발생을 최소화하도록 설계된 워핑 함수의 클래스를 이용하여 이러한 정정이 행해진다. 이 새로운 워핑 함수의 클래스는 공간 변화 균일 스케일링 함수(Spatially Varying Uniform Scaling function)를 포함한다. 일반적으로, 지엽적 레벨의 스케일링은 전체적인 환경을 유지한 채 수행된다. 비디오 회의용에 있어서, 각 개인에 대해서는 왜곡됨이 없이 회의실의 환경은 유지한 채 워프에 의하여 멀리 있는 사람을 줌인(zoom in)하는 것을 의미한다.

실시간 광각 정정 방법은 광각 화상의 픽셀 좌표의 수신과 그 광각 화상의 픽셀 좌표의 수직 및 수평 스케일링의 수행을 포함한다. 스케일링은 매개 화상 워핑 함수를 사용하여 수행된다. 이 스케일링은 수직선은 직선으로 유지하고 수평선은 왜곡된 화상에 해당하는 예비 워프 테이블(preliminary warp table)을 제공한다. 이를 정정하기 위하여 본 방법은 예비 워프 테이블에 대한 수평 왜곡 정정의 수행을 포함한다. 얻어지는 결과물은 정정된 화상 픽셀 좌표를 본래의 화상 픽셀 좌표에 매핑시킨 워프 테이블이다. 즉, 워프 테이블은 새로운 정정된 광각 화상 내의 본래의 픽셀 좌표의 각각의 위치를 나타낸다. 워프 테이블을 사용함으로써 정정된 광각 화상은 본래의 광각 화상으로부터 실시간으로 구성된다. 정정된 광각 화상은 사실상 왜곡 및 인식 문제로부터 자유롭다.

수직 스케일링은 매개 화상 워핑 함수 및 워핑 인자를 이용하여, 화상의 각 수직 주사선에 대하여 개별적으로 수행된다. 주 스케일링 인자는 소스 곡선, 워핑 인자, 소스 곡선 및 워핑 인자로부터 계산된 표적 곡선(target curve)을 이용하여 계산된다. 본 발명의 한 형태는 사용자에 의하여 정의된 워핑 인자 및 소스 곡선을 포함한다. 주 스케일링 인자는 픽셀 좌표를 수직 방향으로 스케일링하는데 사용된다. 실질적 의미에 있어서는, 이 수직 스케일링은 광각 화상을 선택된 수직 주사선에 대하여 주 스케일링 인자의 양만큼 수직으로 "신장(stretching)"시킨다. 수직 주사선의 수평 스케일링도 수행되는데 이는 종횡비(aspect ratio)를 유지하기 위하여 같은 주 스케일링 인자를 사용한다. 수직 스케일링과 유사하게, 수평 스케일링은 실질적으로는, 광각 화상의 수직 주사선을 주 스케일링 인자의 양만큼 수평으로 지엽적으로 "신장시키는 것"이라고 생각할 수 있다. 실질적으로, 본래의 광각 화상에 수직 및 수평 스케일링을 적용함으로써 예비 정정된 화상을 얻게 된다. 계산을 신속하게 하기 위하여, 예비 정정된 화상의 예비 픽셀 좌표를 본래의 화상 픽셀 좌표에 맵핑시킨 예비 워프 테이블을 생성한다.

수평 왜곡은 픽셀 좌표의 위치에 따라서 예비 워프 테이블을 섹션으로 나눔으로써 정정된다. 이 섹션의 각각은 서로 다른 스케일링 인자를 사용하여 수직으로 스케일링된다. 본 발명의 일 형태에 있어서, 제1 섹션은 하측 소스 곡선과 상측 소스 곡선 사이에 위치한 픽셀에 해당하는 픽셀 좌표를 포함하도록 정의된다. 주 스케일링 인자는 이 섹션의 픽셀 좌표를 수직으로 스케일링하기 위하여 사용된다. 다른 섹션의 픽셀 좌표는 제2 스케일링 인자를 이용하여 스케일링되는데, 이는 주 스케일링 인자와 다른 값을 갖는다. 연속성을 유지하기 위하여, 각 섹션은 평활화 함수(smoothing function)를 이용하여 연결된다. 예비 워프 테이블의 픽셀 좌표에 대하여 수평 왜곡 정정 처리가 수행되면, 워프 테이블이 생성된다. 이 워프 테이블을 사용하여 광각 화상의 실시간 워핑을 수행함으로써 정정된 광각 화상을 실시간으로 생성한다.

본 발명에 따른 실시간 광각 화상 정정 시스템은 광각 화상의 실시간 정정 및 표시를 제공하기 위하여 상술한 방법을 사용한다.

[실시예]

이하의 본 발명에 따른 상세한 설명에 있어서, 첨부된 도면이 참조되며, 이 도면은 본 발명의 일부를 형성한다. 도면에 있어서는 본 발명을 실현하는 특정 예를 나타내는 방법으로 도시한다. 본 발명의 사상을 벗어나지 않고 다른 실시예가 구현될 수 있으며 구조적인 변화가 있을 수 있다는 것을 이해하여야 한다.

1. 일반적 개괄

본 발명은 왜곡되지 않고 정정된 광각 화상이 출력되도록 광각 화상을 처리 및 획득하기 위한 실시간 광각 화상 정정 시스템 및 방법을 포함한다. 실시간 광각 화상 정정 시스템 및 방법은 전통적인 광각 화상을 열화시키는 신장, 만곡 왜곡(curvature distortion) 및 과장된 깊이 문제없이 광각 화상을 보기 위하여 사용될 수 있다. 광각 화상의 정정은 새로운 매개 워핑 함수의 클래스를 사용하여 행해진다. 본 발명의 일 형태에 있어서, 이러한 매개 워핑 함수는 지엽적인 스케일링 관점을 유지하고 깊이 오인을 정정하는 공간 변화 균일(SVU) 스케일링 함수이다. SVU 스케일링 함수 및 스케일링 인자는 화상의 픽셀 좌표의 수직 스케일링 및 수평 스케일링을 수행하기 위하여 사용된다. 이는 예비 정정된 화상의 픽셀 위치 를 본래의 픽셀 좌표에 맵핑시킨 예비 워프 테이블을 생성한다. 예비 정정된 화상은 가상의 화상이며 실제로 구현되지 않는다. 그러나, 예비 정정된 화상은 수직선은 직선으로 유지되나, 수평선은 왜곡된다. 이 수평 왜곡은 SVU 스케일링 함수 및 최소한 2개의 서로 다른 스케일링 인자를 사용하여 수평 왜곡 정정을 수행함으로써 정정된다. 이 처리는 워프 테이블을 산출한다. 워프 테이블은 정정된 광각 화상의 위치를 왜곡된 광각 화상의 본래의 픽셀 좌표에 맵핑시킨다. 워프 테이블을 사용하여 정정된 광각 화상이 본래의 광각 화상으로부터 실시간으로 구현된다.

도 1은 본 발명에 따른 실시간 광각 화상 정정 시스템(100)의 일반적인 개요를 나타내는 블록도이다. 일반적으로 시스템(100)은 광각 화상(110)을 획득하고, 광각 화상 내의 각각의 픽셀의 좌표에 대응하는 광각 화상 픽셀 좌표(120)를 입력한다. 광각 화상 픽셀 좌표(120)는 실시간 광각 화상 정정 시스템(100)에 의하여 처리되고 정정된 광각 화상(130)이 출력된다.

광각 화상(110)은 (예컨대 정지 카메라에 의한) 하나의 화상일 수도 있고, (예컨대 비디오 카메라에 의한) 연속된 화상의 일부일 수도 있다. 광각 화상(110)에서의 각 픽셀의 좌표는 광각 화상 픽셀 좌표(120)를 생성하기 위하여 획득된다. 예를 들어, 직각 좌표계에서 픽셀 좌표(120)는 광각 화상(110) 내의 각 픽셀의 (x,y)위치이다. 실시간 광각 화상 정정 모듈(100)은 워프 테이블 생성 모듈(140), 워프 테이블(150) 및 실시간 화상 워핑 시스템(160)을 포함한다.

워프 테이블 생성 모듈(140)은 매개 화상 워핑 함수를 사용하여 워프 테이블(150)을 생성하기 위하여 사용된다. 광각 화상 픽셀 좌표(120)는 워프 테이 블(150)을 생성하기 위하여 처리된다. 워프 테이블 생성 모듈(140)의 세부 사항에 대해서는 후술한다. 워프 테이블(150)은 정정된 광각 화상(130)에 있어서의 위치에 대응하도록 배열된 광각 화상 픽셀 좌표(120)를 포함한다. 따라서, 워프 테이블(150)은 광각 화상 픽셀 좌표(120)에 대하여 정정된 광각 화상(130)에서의 새로운 위치를 결정한다.

워프 테이블(150)이 일단 생성되면 광각 화상(110)이 실시간 워핑 시스템(160)의 입력으로 수신된다. 실시간 화상 워핑 시스템(160)은 워프 테이블(150)을 광각 화상(110)에 적용하여 정정된 광각 화상(130)을 생성한다. 정정된 광각 화상(130)의 각 위치에 대하여 워프 테이블(150)에 포함된 픽셀 좌표에 위치한 광각 화상(110)의 RGB 값을 획득함으로써 실시간 워핑 시스템(160)은 정정된 광각 화상(130)을 생성한다. 따라서, 광각 픽셀 좌표(120)에서의 RGB 값은 정정된 광각 화상(130)에 재배치된다. 새로운 위치는 워프 테이블(150)을 사용하여 결정된다.

워프 테이블의 생성에 있어서 정정된 광각 화상(130)을 생성하기 위하여 필요한 것은 워핑 테이블(150)을 광각 화상(110)에 적용하는 것뿐이므로, 이는 신속하게 행해질 수 있어서 워핑 처리는 실시간으로 행해진다. 요약하면, 실시간 광각 화상 정정 시스템(100)은 광각 화상 픽셀 좌표(120)를 처리함으로써 워프 테이블을 생성하고, 그 워프 테이블(150)을 이용하여 광각 화상(110)으로부터 정정된 광각 화상(130)을 생성한다.

2. 동작 환경의 예시

본 발명에 따른 실시간 광각 화상 정정 시스템(100)은 컴퓨터 환경에서 동작하도록 설계된다. 이하에서는 본 발명이 구현될 수 있는 적절한 컴퓨터 환경에 대한 간략하고 일반적인 설명을 제공한다.

도 2는 본 발명을 실행하기에 적절한 컴퓨터 장치를 나타내는 블록도이다. 반드시 요구되는 것은 아니나, 컴퓨터에 의하여 실행되는 프로그램 모듈과 같은 컴퓨터 실행 가능한 명령어의 일반적인 내용으로 본 발명에 대하여 설명한다. 일반적으로 프로그램 모듈은 특정 작업을 수행하거나 특정 추상적 데이터 유형을 구현하는 루틴(routine), 프로그램(program), 객체(object), 구성요소(component), 데이터 구조(data structure) 등을 포함한다. 게다가 본 기술에 대하여 능통한 사람이라면 본 발명은 개인용 컴퓨터, 서버 컴퓨터, 핸드핼드 장치, 멀티 프로세서 시스템, 마이크로 프로세서 기반 또는 프로그램 가능한 가전제품, 네트워크 PC, 미니 컴퓨터, 대형 고속 컴퓨터(mainframe computer) 등을 포함하는 다양한 컴퓨터 시스템 형태로 실현될 수 있다는 것을 알 수 있을 것이다. 통신 네트워크를 통하여 연결된 원격 처리 장치(remote processing device)에 의하여 작업이 수행되는 분산 컴퓨터 환경(distributed computing environment)에서도 본 발명은 실현될 수 있다. 분산 컴퓨터 환경에 있어서, 프로그램 모듈은 메모리 저장 창치를 포함하는 로컬 및 원격 컴퓨터 저장 매체 양쪽에 설치될 수 있다.

도 2를 참조하면, 본 발명을 구현하는 시스템 예는 범용 컴퓨터 장치(200)를 포함한다. 특히, 컴퓨터 장치(200)는 프로세싱 유닛(202), 시스템 메모리(204) 및 시스템 메모리(204)를 포함한 다양한 시스템 구성요소를 프로세싱 유닛(202)으로 연결하는 시스템 버스(206)를 포함한다. 시스템 버스(206)는 메모리 버스 또는 메모리 컨트롤러, 주변장치 버스(peripheral bus) 및 임의의 다양한 버스 아키택처(architecture)를 사용하는 로컬 버스를 포함하는 여러 유형의 버스 구조 중 어느 것이라도 좋다. 시스템 메모리는 읽기 전용 기억장치{read only memory; ROM(210)} 및 임의 액세스 기억장치{random access memory; RAM(212)}를 포함한다. 컴퓨터 장치(200) 내의 요소간에서 정보를 전송하도록 하는 기본 루틴을 포함하는 기본 입출력 시스템{basic input/output system; BIOS(214)}은 시동시와 같은 때에 ROM(210)에 저장된다. 컴퓨터 장치(200)는 하드디스크에 기록하거나 이로부터 판독하기 위한 하드디스크 드라이버(216), 이동 가능한 마그네틱 디스크(220)에 기록하거나 이로부터 판독하기 위한 마그네틱 디스크 드라이버(218) 및 CD-ROM 또는 다른 광학 매체와 같이 이동 가능한 광 디스크(224)에 기록하거나 이로부터 판독하기 위한 광 디스크 드라이버(222)를 더 포함한다. 하드디스크 드라이버(216), 마그네틱 디스크 드라이버(218) 및 광 디스크 드라이버(222)는 각각 하드디스크 드라이브 인터페이스(226), 마그네틱 디스크 드라이브 인터페이스(228) 및 광 디스크 드라이브 인터페이스(230)에 의하여 시스템 버스(206)에 연결되어 있다. 그 드라이브 및 관련 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 및 컴퓨터 장치(200)의 다른 데이터의 비휘발성 저장 장치를 제공한다.

여기서 설명하는 예시적 환경은 하드디스크, 이동 가능한 마그네틱 디스크(220) 및 이동 가능한 광 디스크(224)를 사용하나, 마그네틱 카세트, 플래시 메모리 카드, 디지털 비디오 디스크, 베르누이 카트리지(Bernoulli cartridge), RAM, ROM 등과 같이 컴퓨터에 의하여 액세스 가능한 데이터를 저장할 수 있는 다른 유형의 컴퓨터 판독 가능 매체가 본 동작 환경 예에서 사용될 수 있다는 것을 본 기술에 대하여 능통한 자라면 이해할 것이다.

운영 체제(232), 1 이상의 어플리케이션 프로그램(234), {광각 화상 디워핑(de-warping) 시스템(100)과 같은} 다른 프로그램 모듈(236) 및 프로그램 데이터(238)를 포함한 많은 프로그램 모듈은 하드디스크, 마그네틱 디스크(220), 광 디스크(224), ROM(210) 또는 RAM(212)에 저장될 수 있다. (도시하지 않은) 사용자는 키보드(240) 및 위치지정 장치(pointing device; 242)와 같은 입력 장치를 통하여 컴퓨터 장치(200)로 명령 및 정보를 입력할 수 있다. 또한, (비디오 카메라와 같은) 카메라(243)는 예컨대 마이크로폰, 조이스틱, 게임 패드, 위성 안테나(satellite dish), 스캐너 등을 포함한 다른 입력 장치(이에 대해서는 도시하지 않음)뿐만 아니라 컴퓨터 장치(200)에 연결될 수 있다. 이러한 다른 입력 장치는 시스템 버스(206)에 연결되는 시리얼 포트 인터페이스(serial port interface; 244)를 통하여 프로세싱 유닛(202)으로 종종 연결되는데, 직렬 포트, 게임 포트 또는 유니버설 시리얼 버스(universal serial bus; USB)와 같은 다른 인터페이스에 의하여 연결되어도 좋다. 모니터(246)(또는 다른 유형의 표시 장치)도 비디오 어댑터(248)와 같은 인터페이스를 통하여 시스템 버스(206)에 연결된다. 개인용 컴퓨터와 같은 컴퓨터 장치는 전형적으로 모니터(246)뿐만 아니라 스피커 및 프린터와 같은 다른 주변 출력 장치(도시하지 않음)를 포함한다.

컴퓨터 장치(200)는 원격 컴퓨터(250)와 같은 1 이상의 원격 컴퓨터로의 논 리적 접속을 이용하여 네트워크 환경에서 동작할 수 있다. 도 2에 있어서는 메모리 저장 장치(252)만이 도시되었지만, 원격 컴퓨터(250)는 다른 개인용 컴퓨터, 서버, 라우터(router), 네트워크 PC, 피어 장치(peer device) 또는 다른 일반 네트워크 노드(common network node)일 수 있으며, 전형적으로는 컴퓨터 장치(200)와 관련하여 상술한 요소를 전부 또는 많은 부분 포함한다. 도 2에 도시한 논리적 접속은 근거리 통신망(local area network; LAN; 254) 및 광역 통신망(wide area network; WAN; 256)을 포함한다. 이러한 네트워킹 환경은 사무실, 전사적 컴퓨터 네트워크(enterprise-wide computer network), 인트라넷 및 인터넷에 있어서 흔한 것이다.

LAN 네트워킹 환경에서 사용될 때에, 컴퓨터 장치(200)는 네트워크 인터페이스 또는 어댑터(258)를 통하여 로컬 네트워크(254)로 접속된다. WAN 네트워킹 환경에서 사용될 때에, 컴퓨터 장치(200)는 전형적으로 인터넷과 같은 광역 통신망(256)으로의 통신을 설정하기 위한 모뎀(260) 또는 다른 수단을 포함한다. 모뎀(260)은 내장형 또는 외장형일 수 있는데, 이는 직렬 포트 인터페이스(244)를 통하여 시스템 버스(206)로 접속된다. 네트워크 환경에서 컴퓨터 장치(200)와 관련되어 도시된 프로그램 모듈의 전부 또는 일부는 원격 메모리 저장 장치(252)에 저장될 수 있다. 도시한 네트워크 접속은 예시적인 것이며, 컴퓨터간의 통신 링크를 설정하기 위한 다른 방법이 사용될 수도 있다.

3. 시스템 세부 사항

일반적으로 실시간 광각 화상 정정 시스템(100)은 광각 화상(110)의 실시간 정정을 제공한다. 시스템(100)은 수직 및 수평 방향으로의 만곡 및 왜곡을 정정한다. 또한, 시스템(100)은 깊이와 스위밍 현상(swimming motion)과 같은 인식 문제를 정정한다.

도 3은 도 1에 도시한 워프 테이블 생성 모듈(140)의 세부 사항을 나타내는 블록도이다. 특히, 워프 테이플 생성 모듈(140)은 광각 화상 픽셀 좌표(120)를 입력하기 위한 입력 모듈(300)을 포함한다. 이러한 픽셀 좌표(120)는 광각 화상(110)에 있어서의 각 픽셀의 위치를 나타낸다. 화상(110)은 하나의 화상이거나 또는 비디오 카메라로부터의 비디오 시퀀스와 같은 연속 화상 중 하나일 수 있다는 것을 알아야 한다. 모듈(140)은 수직 스케일링 모듈(310)도 포함한다. 수직 스케일링 모듈(310)은 워핑 함수를 사용하여 광각 화상 픽셀 좌표(120)가 수직 방향으로 스케일링되도록 광각 화상 픽셀 좌표(120)의 각 수직 주사선을 처리한다. 개념적으로 이는 광각 화상(110)을 수직 방향으로 "신장(stretching)"하는 것으로 생각할 수 있다. 이 수직 스케일링은 광각 화상(110)의 과장된 깊이를 일부 정정한다.

워프 테이블 생성 모듈(140)은 또한 광각 화상 픽셀 좌표(120)를 수평 방향으로 스케일링하기 위하여 매개 화상 워핑 함수를 사용하는 수평 스케일링 모듈(320)을 포함한다. 수직 스케일링과 유사하게, 이는 개념적으로 광각 화상(110)을 수평 방향으로 "신장(stretching)"하는 것이라고 생각할 수 있다. 또한, 광각 화상(110)의 종횡비가 유지되도록 각 수직 주사선에 대하여 개별적으로 수평 스케일링이 수행된다.

수직 스케일링 모듈(310) 및 수평 스케일링 모듈(320)은 예비 픽셀 좌표를 본래의 픽셀 좌표에 맵핑시킨 예비 워프 테이블을 생성한다. 이 예비 워프 테이블은 예비 정정된 화상을 생성하기 위하여 사용될 수 있다. 실질상 이는 완성된 것이 아니며 예비 정정된 화상은 가상의 화상이다. 예비 정정된 화상은 수직선은 수직으로 유지되고 수평선은 왜곡되어 있는 성질을 갖는다.

이 수평 왜곡을 정정하기 위하여 수평 왜곡 모듈(330)도 워프 테이블 생성 모듈(140)에 포함된다. 수평 왜곡 모듈(330)은 예비 워프 테이블의 예비 픽셀 좌표를 위치에 따라 여러 값으로 수직 방향으로 스케일링한다. 워프 테이블 생성 모듈(140)의 출력은 워프 테이블(150)이다. 워프 테이블은 정정된 광각 화상(130)의 픽셀 좌표를 본래의 광각 화상 픽셀 좌표(120)에 맵핑시킨다.

4. 광각 화상 정정 동작의 개요

본 발명에 따른 실시간 광각 화상 정정 방법은 화상 워핑 함수의 매개 클래스를 사용한다. 이러한 매개 화상 워핑 함수는 촬영 장치(imaging apparatus)보다 작은 시야를 갖는 뷰어(viewer)에 의하여 야기되는 화상 인식 문제를 최소화하도록 한다. 화상 워핑 함수의 매개 클래스는 공간 변화 균일 스케일링 함수(Spatially Varying Uniform Scaling function) 또는 SVU 스케일링 함수라 한다. SVU 스케일링 함수는 종횡비를 유지하는 균일 스케일링 함수와 지엽적으로는 유사할 수 있으나, 스케일링 인자는 워프를 생성하는 화상에 걸쳐 변화한다. 또한, 등각(等角)의 투영 클래스는 로컬 균일 스케일링을 제공할 수 있으나, 이러한 함수는 시각적으로 어지럽게 하는 회전(rotation)을 초래한다. SVU 스케일링 함수는 파노라마 화상을 볼 때, 회전을 없애고 스위밍 현상을 제거한다.

도 4는 도 1에 도시한 실시간 광각 화상 정정 시스템(100)의 실시간 광각 화상 정정 방법의 동작을 나타내는 일반적인 흐름도이다. 일반적으로, 그 방법은 광각 화상 픽셀 좌표로부터 워프 테이블을 생성하고, 워프 테이블을 이용하여 광각 화상을 처리하여 정정된 광각 화상을 생성한다. 보다 구체적으로는, 광각 화상(110)의 광각 화상 픽셀 좌표(120)는 입력(400)으로서 수신된다. 다음으로, 워프 테이블(150)이 생성된다(410). 이 워프 테이블(150)은 광각 화상 픽셀 좌표(120)에서의 정정된 광각 화상 픽셀 좌표(130)의 위치를 결정하기 위하여 사용된다.

이하에서 상세히 설명하는 바와 같이, 워프 테이블(150)의 생성은 수직 스케일링, 수평 스케일링 및 수평 왜곡 정정을 포함한다. 수직 스케일링은 광각 화상(110)의 과장된 깊이를 정정한다. 과장된 깊이를 정정하기 위하여 광각 화상(110)의 중앙의 멀리 있는 물체 또는 사람은 카메라 가까이에 있는 물체 또는 사람과 비교하여 확대될 필요가 있다. 즉, 워핑 함수는 측면 부분보다 중앙 부분이 더 줌업(zoom up)되도록 하되, 지엽적으로는 균일 스케일링의 경우와 비슷하도록 하여야 한다. SVU 스케일링 함수는 수직선을 수직으로 유지한다.

광각 화상(110)의 종횡비를 유지하기 위하여 수평 스케일링도 수행한다. 구체적으로는 (SVU 스케일링 함수와 같은) 매개 화상 워핑 함수는 수평 스케일링을 수행하여 광각 화상(110)에 대한 각 수직 주사선의 새로운 폭을 생성하는데 사용된다. SVU 스케일링 함수는 수직선을 수직으로 유지하지만, 이는 일정량의 수직 방 향 절단을 야기한다. 시각적으로 이는 수평선이 비스듬하고 왜곡된 것으로 인식된다. 장면은 종종 방의 테이블과 천장과 같이 화상의 상부 또는 하부 부근에 수평 평면을 포함하는 경우가 있다. 이런 경우에 왜곡이 인식될 수 있다.

이 수직 방향 절단을 정정하기 위하여 실시간 광각 화상 정정 방법은 광각 화상(110)의 수평 왜곡을 정정하기 위한 수평 왜곡 정정의 수행을 더 포함한다. 일반적으로, 수직 스케일링의 균일성을 완화하고 광각 화상(110)에서의 수직 위치의 비선형적 스케일링(수직 주사선을 따라서와 같이)을 함으로써 의하여 행해진다. 수직 스케일링, 수평 스케일링 및 수평 왜곡 정정을 행한 후, 정정된 광각 화상(130)의 픽셀을 광각 화상(110)에 맵핑시킨 워프 테이블(150)이 생성된다.

워프 테이블(150)이 생성되면, 광각 화상(110)이 입력으로서 수신된다(420). 그 후, 광각 화상(110)은 실시간으로 워핑되어 정정된 광각 화상(130)을 생성한다. 워프 테이블은 왜곡 없는 광각 화상을 생성하기 위하여 정정된 광각 화상(130)의 각 위치에 대하여 광각 화상(110)의 픽셀이 어디에 있는지를 설정한다.

본 발명에 따른 실시간 광각 화상 정정 방법을 좀 더 완전히 이해하기 위하여 예를 든다. 도 20은 도 4에 도시한 실시간 광각 화상 방법의 동작의 예를 나타낸다. 특히, 광각 카메라(도시하지 않음)에 의하여 촬영된 비디오 회의의 장면을 포함하는 광각 화상(110)이 처리를 위하여 수신된다.

다음으로, 광각 화상(110) 내의 각 픽셀의 좌표가 결정된다. 이 예에 있어서, 수직축 Y 및 수평축 X로 이루어진 직각 좌표계가 광각 화상(110)에 적용된다. 소스 광각 화상의 폭은 w이다. 광각 화상(110)의 픽셀 "2000"은 픽셀 좌표 (x,y) 에 의하여 광각 화상 픽셀 좌표(120)로 나타낸다(2010). x는 X축에 따른 픽셀 "2000"의 수평 위치를 나타내고, y는 Y축에 따른 픽셀 "2000"의 수직 위치를 나타낸다.

정정된 화상(130) 내의 픽셀 좌표 "2010"의 위치를 결정하기 위하여 워프 테이블(150)이 생성된다. 도 20에 도시한 바와 같이, 워프 테이블은 수직축 Y' 및 수평축 X'를 포함하는 제2 직각 좌표계를 갖는다. 정정된 화상(130)의 폭은 w'이다. 이하에서 상세히 설명할 스케일링 인자 및 매개 화상 워핑 함수를 사용하여, 픽셀 좌표 "2010"은 정정된 화상 내의 위치에 배치되어 정정된 화상(130)에서의 픽셀 좌표 위치를 지정한다. 도 20에 도시한 바와 같이, 워프 테이블의 픽셀 좌표 "2010"의 위치는 정정된 픽셀 좌표(x',y')에 의하여 주어진다. x'는 X'축에 따른 픽셀 좌표 "2010"의 수평 위치를 나타내고, y'는 Y'축에 따른 픽셀 좌표 "2010"의 수직 위치를 나타냄을 다시 한번 유의하여야 한다.

정정된 화상(130)은 {광각 화상(110)의} 픽셀 "2000"의 위치를 정정된 화상(130)에 위치한 정정된 픽셀 "2020"으로 맵핑하는 워프 테이블을 이용하여 실시간으로 생성된다. 정정된 화상(130)에서의 픽셀 "2000"의 위치가 결정되면, 픽셀 "2000"의 RGB값이 정정된 화상(130)의 정정된 픽셀 "2020"에 적용될 수 있다. 이 방법에 있어서, 광각 화상(110)이 실시간으로 정정되어 일반적으로 광각 화상과 관련된 왜곡 및 다른 인식 문제가 가상적으로 해결된 정정된 화상(130)을 생성할 수 있다.

5. 세부 동작

실시간 광각 화상 정정 방법은 광각 화상을 실시간으로 처리하여 광각 화상과 관련된 왜곡 및 인식 문제를 정정한다. 정정 처리는 스케일링 인자를 포함하는 화상 워핑 함수의 매개 클래스를 이용하여 행해진다. 이러한 매개 화상 워핑 함수 및 스케일링 인자는 워프 테이블을 생성하기 위하여 사용되며, 이 워프 테이블은 직접 광각 화상에 적용된다. 본 발명의 일 형태에 있어서, 광각 화상은 원통도법에 의한 것이다. 또한, 본 발명의 한 형태에 있어서, 매개 화상 워핑 함수는 SVU 스케일링 함수이다.

수직 스케일링

도 5는 도 3에 "310"으로 도시한 수직 스케일링 모듈의 세부 사항을 나타내는 흐름도이다. 광각 픽셀 좌표(120)는 입력으로서 수신된다(500). 다음으로, (SVU 스케일링 함수와 같은) 매개 화상 워핑 함수는 스케일링 인자 및 곡선의 세트를 이용하여 결정된다. 특히, 소스 곡선은 워핑 인자(520)와 함께 지정된다(510). 이 소스 곡선 및 워핑 인자를 이용하여 표적 곡선이 계산된다(530).

도 6은 두 개의 곡선 세트 (1)소스 곡선 및 (2)표적 곡선에 의한 워핑 함수의 결정에 대하여 나타낸다. 본 발명의 한 형태에 있어서, 소스 곡선은 사용자에 의하여 간단한 사용자 인터페이스를 통하여 입력된다. 이 소스 곡선은 매개 화상 워핑 함수에 대한 파라미터를 제공한다. 사용자 인터페이스를 통하여 사용자는 두개의 3차의 곡선을 정의하도록 요구된다. 이 두개의 소스 곡선은 사람들의 머리 위 및 테이블의 가장자리와 같은 통상적인 (실세계) 수평 형태를 정의한다. 도 6 에 도시한 바와 갈이, 상측 소스 곡선 S_t 및 하측 소스 곡선 S_b를 지정한다.

워핑 인자 α도 사용자에 의하여 선택될 수 있는데, 이는 어느 정도 화상을 워핑하는지를 나타낸다. 워핑 인자 α는 0에서 1사이의 값이며, α=0은 워핑을 하지 않음을 말하고, α=1은 최대 워핑을 말한다. 개념적으로, α=0으로 지정하면 화상을 변경하지 않는 것을 말하고, α=1로 지정하면 소스 곡선 상의 픽셀을 끝부분까지 당기는 것을 말한다. 전형적으로 이상적인 워핑 인자는 대략 0에서 1의 중간 정도이다.

소스 곡선 및 워핑 인자가 지정되면, 표적 곡선이 계산된다(530). y=S_t(x) 및 y=S_b(x)를 각각 상측 및 하측 소스 곡선의 방정식이라 한다. (소스 곡선 상의 점이 옮겨가는) 두개의 표적 곡선은 소스 곡선 및 α에 의하여 결정된다. 엄밀하게 말하면, 상측 표적 곡선 T_t 및 하측 표적 곡선 T_b가 정의된다. 이 선의 방정식을 S_t(x)의 끝점 사이에서 y=y_t(x)로 정의하고, 하측 소스 끝을 연결하는 방정식을 y=y_b(x)로 정의하면, 상측 표적 곡선의 방정식은 T_t(x)=(1-α)S_t(x)+αy _t(x)이고, T_b(x)=(1-α)S_b(x)+αy_b(x)이다.

주 스케일링 인자 r(x)는 소스 곡선과 표적 곡선을 이용하여 계산된다(540). 특히, 도 6에 도시한 임의의 수직 주사선에서 A, B는 소스 곡선과의 교점을 나타내고, A', B'는 표적 곡선과의 교점을 나타낸다. SVU 스케일링 함수는 AB를 A'B'로 스케일링한다. 즉,

(1)

이다.

비율 r(x)는 수평 위치 x에서의 수직 주사선에 대한 주 스케일링 인자이다. 수직 주사선의 광각 픽셀 좌표(120)는 주 스케일링 인자 r(x)를 사용하여 수직 방향으로 스케일링된다(550).

수평 스케일링

종횡비를 유지하기 위하여 광각 픽셀 좌표(120)는 수평 방향으로도 스케일링된다. 이 수평 스케일링은 같은 주 스케일링 인자 r(x)를 이용한다. 즉, 종횡비를 유지하기 위하여 수직 스케일링과 마찬가지로 수직 주사선도 주 스케일링 인자 r(x)에 의하여 수평 방향으로 스케일링된다.

도 7은 도 3에 도시한 수평 스케일링 모듈의 세부 사항을 나타내는 흐름도이다. 수직 스케일링된 광각 픽셀 좌표가 입력으로서 수신된다(700). 주 스케일링 인자 r(x)를 사용하여, 수직 스케일링된 광각 픽셀 좌표가 수평 방향으로 스케일링된다(710). 수직 스케일링된 광각 픽셀 좌표(120)가 스케일링되면 예비 정정된 화상(preliminary corrected image)의 전체 폭 w'는

(2)

가 되며, 여기서 w는 광각(또는 소스) 화상(110)의 폭이다.

다음으로, 예비 워프 테이블이 생성된다(720). 예비 워프 테이블은 예비 픽셀 좌표를 포함한다. 예비 픽셀 좌표는 수직 및 수평 방향으로 스케일링된 광각 픽셀 좌표이다. 개념적으로, 예비 픽셀 좌표는 예비 정정된 화상을 구성하기 위하여 사용될 수 있다. 따라서 광각 화상(110)의 임의의 픽셀 (x,y)에 대하여 (x',y')는 예비 정정된 화상에서의 새로운 위치를 나타낸다. 이는

(3)

로 나타내어진다.

수학식(3)은 SVU 스케일링 함수의 순방향 맵핑식이다. SVU 스케일링 함수는 모든 지점에서 완벽하게 균일한 스케일링은 아니다. 모든 지점에서 완벽하게 균일하게 스케일링하는 함수는 전체 균일 스케일링 함수(uniform global scaling function) 밖에 없다는 것은 쉽게 증명할 수 있다.

SVU 스케일링 함수는 일반화된 원통 표면으로의 투영과 유사하다. 그러나, 부록 2에 나타낸 바와 같이 그러한 단순한 투영은 지엽적으로 균일한 스케일링을 생성하지 않는다. 지엽적인 균일 스케일링이 바람직한데, 지엽적 균일 스케일링의 결점은 예비 정정된 화상에서 물체가 신장된 것으로 보이게 된다는 점이다.

수평 왜곡 정정

광각 화상 픽셀 좌표(120)는 수직 및 수평 방향으로 스케일링되면, 얻어지는 예비 워프 테이블은 수평 왜곡을 위해 정정된다. 수평 왜곡 정정이 필요한 이유 는, (SVU 스케일링 함수와 같은) 화상 워핑 함수의 매개 클래스는 수직선은 수직으로 유지하지만 수평선은 왜곡을 일으키게 하기 때문이다. 이 문제를 최소화하기 위하여 스케일링의 균일성이 완화되고, 각 수직 주사선에 대하여 비선형적으로 스케일링된다.

도 8은 도 3에 도시한 수평 왜곡 모듈(330)의 세부사항을 도시하는 흐름도이다. 일반적으로, 모듈(330)은 예비 워프 테이블의 예비 픽셀 좌표를 섹션으로 분할하고, 각 섹션에 대하여 특정된 스케일링 인자에 따라 각 섹션을 수직 방향으로 스케일링한다. 스케일링 인자는 섹션마다 다를 수 있으며, 통상적으로는 적어도 한 섹션에 대해서는 다르다.

특히, 수평 왜곡 정정 모듈(330)은 처음에 예비 워프 테이블을 섹션으로 분할한다(800). 본 발명에 따른 일 형태에 있어서, 예비 정정된 화상은 개념적으로는 도 9에 도시한 바와 같이 분할된다. 도 9는 수직 스케일링 함수 및 예비 정정된 화상을 3개의 섹션으로 분할하는 개념도를 도시한다. 도 9에 있어서 y는 수직 방향임을 유의하여야 한다. 도 9를 참조하면, 제1 섹션(900)은 하측 소스 곡선 S_b와 상측 소스 곡선 S_t 사이에서 정의된다. 다른 섹션은 소스 곡선 밖의, 소스 곡선 아래쪽의 제2 섹션(910)과 소스 곡선 위쪽의 제3 섹션(920)을 포함하는 섹션을 포함한다.

소스 곡선 사이의 제1 섹션(900)에 위치하는 예비 픽셀 좌표는 주 스케일링 인자 r(x)를 이용하여 수직(y) 방향으로 스케일링된다(810). 이 수직 방향의 스케 일링은 상술한 것과 같이 행해진다. 소스 곡선의 밖의 섹션{제2 섹션(910) 및 제3 섹션(920)}에 위치하는 예비 픽셀 좌표는 수직 방향으로 덜 스케일링된다. 이는 처음에 정한 제2 스케일링 인자에 의하여 행해진다(820). 제2 스케일링 인자 s는 도 9에서 주 스케일링 인자 r(x)의 아래쪽에 도시되어 있다. 그 후, 소스 곡선 밖의 다른 섹션(910, 920)에 위치한 예비 픽셀 좌표는 제2 스케일링 인자를 이용하여 수직 방향으로 스케일링된다(830). (즉, 주 스케일링 인자 r(x)를 이용하여) 수평 스케일링이 동일하게 유지되어서 수직선은 직선으로 유지된다는 것을 유의하여야 한다. 섹션간의 연속성을 유지하기 위하여, 섹션간의 전이(transition)는 평활화 파라미터 w를 적용하여 만들어진다(840). 수직 스케일링 함수가 소스 곡선과 교차될 때 평활화 파라미터는 수직 스케일링 함수를 매끄럽게 하고, 다른 스케일링 인자와 매끄럽게 연결한다.

도 6 및 도 9를 참조하여 도 6에 도시한 x에서의 수직선을 검토한다. 도 9에 도시한 바와 같이, g(y)는 수직선상의 임의의 지점 y에서의 수직 스케일링 인자로 정의될 수 있는 수직 스케일링 함수이다. g(y)는 x에 종속된다는 것에 유의하여야 한다. 함수 g(y)는 두개의 파라미터, 즉, 제2 스케일링 인자 s와 평활화 파라미터 w에 의하여 조절된다. 소스 곡선으로부터 w/2 이상 떨어져 있는 수직 주사선 부분은 소스 곡선 사이에서는 주 스케일링 인자 r(x)에 의하여 스케일링되고, 소스 곡선 밖에서는 제2 스케일링 인자 s에 의하여 스케일링된다. 3개의 일정한 세그먼트는 [S_t-0.5w, S_t+0.5w]에서 두개의 3차의 스플라인(spline)에 의하여 붙여 진다. 각 3차의 스플라인은 양쪽 끝에서 기울기 0이며, s 및 r(x)의 값으로 끝난다.

평활화 파라미터 w는 소스 곡선의 연속성을 조절한다. 예를 들어, 장면이 소스 곡선에서 불연속하면 조작이 인식 가능하지 않도록 아주 작은 w를 선택할 수 있다. s=r(x)인 특수한 경우에 있어서 g(y)는 일정하게 되는데, 이는 수학식 (3)을 유도함에 있어서 가정한 것이다. 수평 왜곡 정정 함수가 예비 워프 테이블에 적용되면, 정정된 광각 화상(130)에서의 광각 픽셀 좌표의 위치를 포함하는 워프 테이블(150)이 생성된다(850). 워프 테이블(150)은 출력으로서 전송된다(860). 워프 테이블은 광각 화상(110)으로부터 정정된 광각 화상(130)을 구성하는데 사용된다.

광각 화상 표시 오인의 정정

스위밍 현상은 깊이 오인의 특수한 유형이라고 생각할 수 있다. 장면이 회전하면 좁은 시야를 갖는 관찰자는 물체가 시야와 교차할 때 물체의 크기의 예기치 않은 변화를 보게된다. 물체가 처음에 시야에 들어오면 기하학적 왜곡 때문에 물체가 지나치게 크게 보이고, 시야의 중앙에서는 과장되게 축소되었기 때문에 지나치게 작게 보이고, 시야를 벗어날 때 다시 지나치게 커진다. 그 결과 물체가 관찰자로부터 멀어졌다가 다시 가까워지는 것처럼 보인다. 즉, 물체가 "스위밍(swimming)"하는 것처럼 보인다.

SVU 스케일링 함수는 깊이 오인의 문제를 정정하는데 도움이 된다. 이는 파노라마 화상을 보여줄 때 대칭 SVU 스케일링 함수를 사용하여 실현된다. 하측 소 스 곡선은 상측 소스 곡선과 대칭이다. 소스 곡선은 화상의 구석을 지나며, 중앙 수직 주사선에서 최소(또는 최대)가 된다. 한 파라미터는 중앙점의 높이를 나타내고, 제2 파라미터는 상술한 워핑 인자 α이다.

스위밍 현상을 제거하는 실시간 광각 화상 정정 시스템 및 방법의 유효성을 시각적으로 도시하기 위하여 도 10a 및 10b를 도시한다. 도 10a 및 10b는 원근법 투영 및 100도의 시야로 파노라마로 무도장을 보여주는 스냅 샷을 도시한다. 도 10a는 아무런 정정 없이 무도장을 원근법 투영으로 도시한 것이다. 도 10b는 도 10a와 같은 장면에 SVU 스케일링 함수를 적용한 후 도시한 것이다. 도 10a 및 10b로부터 SVU 스케일링 함수를 사용하여 처리한 후에 화상은 별로 왜곡되지 않은 것을 볼 수 있다. 더욱 중요한 것은 도 10a의 장면이 원근법 투영으로 회전되면 심각한 신장 및 스위밍 현상이 벽 및 테이블에서 관찰된다는 것이다. SVU 스케일링 함수를 적용한 후, 아주 작은 신장만이 관찰되고 스위밍 현상은 실질적으로 제거된다. 그 결과 장면이 회전되어도 더욱 안정적으로 보인다.

6. 동작예 및 결과

이하의 동작예는 본 발명의 세부 동작을 설명하기 위하여 사용된다. 이 동작예는 도 4의 방법의 구현을 포함한다. 이 동작예는 본 발명이 동작하고 사용될 수 있는 한 방법에 지나지 않으며, 오로지 설명의 목적으로 제공된다.

이 동작예에서 본 발명에 따른 시스템 및 방법은 비디오 회의 환경에서 구현되었다. 비디오 회의 시스템은 멀리 있는 관찰자가 모든 참가자를 볼 수 있게 하기 위하여 넓은 시야를 표시할 수 있어야 한다. 전형적으로 이 참석자들은 테이블 에 둘러앉아 있다. 현재의 시스템은 틸트(tilt)/팬(pan)/줌(zoom) 카메라를 사용하여 방의 다른 부분을 볼 수 있도록 제공한다. 그러나 이 현재의 시스템은 완벽한 전체 개관은 제공할 수 없다. 또한 새로운 화자(話者)를 포함하고자 할 때 지연의 문제가 생긴다. 이러한 문제들을 완화시키기 위하여 본 발명에 따른 실시간 광각 화상 정정 시스템 및 방법이 사용되었다.

원통도법에 의한 광각 화상은 비디오 회의의 장면을 향해 설치된 광각 카메라를 사용하여 획득하였다. 도 11은 광각 카메라로부터 생성된 원통 광각 화상의 결과를 도시한다. 도 11에 있어서, 테이블에서 먼 끝쪽에 있는 사람은 지나치게 작다. 가장자리에서의 기하학적 왜곡이 원통도법에 의하여 정정되지만 깊이 오인의 면에서는 거의 개선되지 않는다. 테이블의 먼 끝쪽에 있는 사람은 아직도 카메라에 가까이 있는 사람보다 아주 작게 보인다.

도 11의 화상을 실시간 화상 정정 시스템 및 방법에 의하여 처리한 후의 결과가 도 12-16에 도시되어 있다. 도 12는 워핑 인자 α=0.3인 경우의 소스 곡선 및 표적 곡선을 도시한다. 도 13은 수평 왜곡 정정 없이 SVU 스케일링 함수를 사용하여 수직 및 수평 스케일링을 적용한 결과인 예비 정정된 화상을 도시한다. 도 14는 수평 왜곡 정정을 포함하여 SVU 스케일링 함수를 적용한 결과를 도시한다.

또한, 다른 워핑 인자 α를 이용한 몇몇 결과를 나타내었다. 특히 도 15는 워핑 인자 α=0.2인 경우의 결과를 도시한 것이다. 도 16은 워핑 인자 α=0.4인 경우의 결과를 도시한 것이다. 워핑 인자 α=0인 경우가 최소 워핑이며, 워핑 인자 α=1인 경우가 최대 워핑임을 알아야 한다.

본 발명에 대한 상술한 설명은 도해 및 설명의 목적으로 제공된 것이다. 본 발명이 상술한 세부 형태에 제한되거나 한정되는 것은 아니다. 상술한 내용에 비추어 많은 수정 및 변화가 가능하다. 본 발명의 사상은 본 발명에 대한 상세한 설명에 의하여 제한되는 것은 아니며 첨부된 청구항에 의하여 정해지는 것이다.

본 발명은 광각 카메라에 의하여 촬영된 화상에서의 왜곡 및 인식 문제를 완화한 실시간 광각 화상 정정 시스템 및 방법을 제공한다. 본 발명에 의하면, 광각 카메라에 의하여 촬영된 화상에서 종래에 문제가 되던 신장, 만곡 왜곡 및 과장된 깊이 문제를 해결하여 정정된 광각 화상을 실시간으로 제공할 수 있다.

부록 1

이하의 논의는 광각 화상에서의 명백한 왜곡의 원인에 대한 보다 수학적인 세부사항을 제공하기 위한 것이다.

형태 왜곡 및 비경직성(non-rigidity) 가공물

광각 화상에서 물체가 중앙으로부터 가장자리로 이동함에 따라 물체들은 왜곡되어 보인다. 도 17은 카메라 주위를 회전하는 직사각형 물체의 투시도를 도시한다. O는 투영 중앙이며, π는 투영면, f는 초점 거리이다. w, h를 각각 물체의 폭, 높이라 하자. 이 물체가 P₁으로부터 P₂로 회전한다고 가정하며, 이때 OP₁은 화상면에 수직이고 θ는 OP₁과 OP₂사이의 각이다. d=||OP₁||=||OP₂||라 하자. 위치 P₁에 대해 화상면 상의 폭 및 높이는 다음과 같다.

(4)

(5)

P₂에 대해 화상면 상의 폭 및 높이(P₂에 인접한 두 단의 길이)는 다음과 같다.

(6)

(7)

그러므로

(8)

(9)

(10)

이다.

식 (5) 및 (6)은 물체가 화상의 중앙에서 가장자리로 회전함에 따라 폭 및 높이가 증가하는 것을 보여준다. 시야각이 커질수록 증가하는 양은 더 커진다. 식 (7)은 물체가 화상 중앙에서 가장자리로 회전할 때 물체의 화상이 변형(신장)되는 것을 보여준다. 시야각이 커질수록 더 많이 변형되게 된다. 시야가 90도에 근접하면 변형 비율 w₂/h₂는 무한대로 접근한다.

화상을 관찰하는 사람이 눈을 O에 위치시킨 경우 원근 변형은 정확하고 화상은 변형되어 보이지 않는다. 그러나, 더 작은 시야로 광각 화상을 보는 경우 관찰자는 물체가 회전함에 따라 화상면에서의 약간의 변형뿐만 아니라 화상 크기의 약간의 증가를 인지한다. 이는 물체가 가장자리에서 신장되어 보이기 때문이다. 또한, 같은 각을 이루던 두 각이 더 이상 같은 값이 될 수 없기 때문이다. 화상면에서의 크기 및 변형의 변화가 예상보다 크면 사용자는 그 장면이 안정화되어 있지 않다고 느끼게 되고 마치 사용자 주변에서 물결치듯이 느껴진다.

깊이 오인

화상을 볼 때에 작은 시야에 의하여 야기되는 것과 관련된 문제는 깊이에 대 한 오인이다. 광각 화상은 가까이 있는 물체와 멀리 있는 물체간의 깊이의 상위를 과장한다. 장면에 있는 물체의 깊이에 대한 중요한 시각적 단서는 가까운 위치 및 먼 위치에 있는 유사한 물체의 화상 크기간의 비율{깊이 축소 비율(depth foreshortening ratio)이라 함}이다. 작은 시야의 경우 축소 비율도 작다. 한 명이 다른 한 명보다 카메라로부터 약간 멀리 떨어져 있는, 두 사람을 촬영한 사진에서 이는 명백하다. 도 18a 및 18b는 깊이 오인의 개념을 도시한다. 도 18a에서 장면은 일반 시야 카메라에 의하여 촬영되었다. 도 18b에서는 이 같은 장면이 광각 카메라에 의하여 촬영되었다. 도 18a와 18b를 비교하여 보면 알 수 있듯이, (도 18b에 도시한) 광각 카메라는 두 사람의 크기의 차이를 과장하며, 따라서 광각 카메라에 의하여 촬영된 사진에서 두 사람의 거리는 더 멀어 보인다. 비디오 회의용에 있어서 광각 카메라 화상은 결과적으로 멀리 있는 참석자를 장면에서 지나치게 작게 나타내게 된다.

부록 2

이하의 논의는 일반화된 원통 표면으로의 투영은 지엽적으로 균일한 스케일링을 생성하지 않는다는 것을 보여준다. 일반 원통 시계(view)를 타원형통에 투영하는 예를 고려한다. 도 19는 일반 원통과 타원형통의 단면도의 2차 도표를 도시한다. a와 b는 타원의 짧은 축과 긴 축을 나타낸다. 그리고 타원의 방정식은 x=a cos(θ)이고 z=b sin(θ)이다. 원의 방정식은 x=a cos(θ)이고 z=a sin(θ)이다. s'와 s는 각각 타원과 원의 호의 길이를 나타낸다.

그리고,

(11)

(12)

(13)

이다.

주어진 유한한 작은 dθ에 대하여 원 및 타원의 호의 길이는 각각 ds, ds'이다. 따라서 로컬 수평 스케일링은 ds'/ds=sqrt(a²sin²θ+b²cos²θ)/a이다. θ=π/2일 때, 로컬 수평 스케일링은 ds'/ds=1이고, 수직 스케일링(y축)은 b/a이다. 따라서, 수직 스케일링은 수평 스케일링보다 크고, 물체는 수직으로 신장되어 보일 것이다. θ=0일 때에는 정반대로 된다. 이때는 수직 스케일링은 1이고, 수평 스케일링은 b/a이다. 따라서 물체가 θ=0에 가까우면 수평으로 신장되어 보인다.

Claims

광각 화상으로부터 픽셀 좌표를 획득하는 단계(여기서 획득된 좌표를 이하 광각 화상 픽셀 좌표라 함);

매개 화상 워핑 함수를 상기 픽셀 좌표에 적용하여 워프 테이블을 생성하는 단계; 및

상기 워프 테이블을 사용하여 실시간으로 상기 광각 화상을 워핑하여 정정된 광각 화상을 생성하는 단계를 포함하며,

상기 매개 화상 워핑 함수는 스케일링 인자를 포함하는 공간 변화 균일(Spatially Varying Uniform; SVU) 스케일링 함수인 것을 특징으로 하는 광각 화상의 실시간 정정 방법.
삭제
제1항에 있어서,

상기 워프 테이블을 생성하는 단계는,

수직 스케일링된 광각 화상 픽셀 좌표를 생성하기 위하여 상기 매개 화상 워핑 함수를 사용하여 상기 광각 화상 픽셀 좌표를 수직으로 스케일링하는 단계;

예비 픽셀 좌표를 포함하는 예비 워프 테이블을 생성하기 위하여 상기 매개 화상 워핑 함수를 사용하여 상기 수직 스케일링된 광각 화상 픽셀 좌표를 수평으로 스케일링하는 단계; 및

워프 테이블을 생성하기 위하여 상기 매개 화상 워핑 함수를 사용하여 상기 예비 워프 테이블을 수평 왜곡 정정하는 단계

를 포함하는 것을 특징으로 하는 광각 화상의 실시간 정정 방법.
제3항에 있어서,

각 수직 주사선의 상기 수직 스케일링 단계는 주 스케일링 인자를 사용하여 상기 광각 화상 픽셀 좌표를 수직 방향으로 스케일링하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상의 실시간 정정 방법.
제4항에 있어서,

소스 곡선 및 표적 곡선을 사용하여 상기 주 스케일링 인자를 계산하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상의 실시간 정정 방법.
제5항에 있어서,

상기 소스 곡선을 특정하는 단계;

워핑 인자를 특정하는 단계; 및

상기 소스 곡선 및 상기 워핑 인자를 사용하여 상기 표적 곡선을 계산하는 단계

를 더 포함하는 것을 특징으로 하는 광각 화상의 실시간 정정 방법.
제6항에 있어서,

상기 소스 곡선은 하측 소스 곡선 및 상측 소스 곡선을 더 포함하는 것을 특징으로 하는 광각 화상의 실시간 정정 방법.
제6항에 있어서,

상기 표적 곡선은 하측 표적 곡선 및 상측 표적 곡선을 더 포함하는 것을 특징으로 하는 광각 화상의 실시간 정정 방법.
제3항에 있어서,

상기 수평 스케일링 단계는 각 수직 주사선에 대하여 주 스케일링 인자를 사용하여 광각 화상 픽셀 좌표를 수평 방향으로 스케일링하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상의 실시간 정정 방법.
제9항에 있어서,

상기 주 스케일링 인자는 상기 소스 곡선 및 표적 곡선을 사용하여 계산하는 것을 특징으로 하는 광각 화상의 실시간 정정 방법.
제4항에 있어서,

상기 수평 스케일링 단계는 상기 주 스케일링 인자를 사용하여 상기 수직 스 케일링된 광각 화상 픽셀 좌표를 수평으로 스케일링하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상의 실시간 정정 방법.
제3항에 있어서,

상기 수평 왜곡 정정 단계는,

상기 예비 워프 테이블을 복수의 섹션으로 분할하는 단계; 및

적어도 2개의 서로 다른 스케일링 인자를 사용하여 각 섹션에 포함된 상기 예비 픽셀 좌표를 수직 방향으로 스케일링하는 단계

를 더 포함하는 것을 특징으로 하는 광각 화상의 실시간 정정 방법.
제12항에 있어서,

상기 적어도 2개의 서로 다른 스케일링 인자는 주 스케일링 인자 및 제2 스케일링 인자를 포함하는 것을 특징으로 하는 광각 화상의 실시간 정정 방법.
제1항에 기재된 방법을 수행하는 컴퓨터 실행 가능한 명령어를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 매체.
광각 카메라에 의하여 촬영된 광각 화상의 왜곡을 정정하는 방법에 있어서,

상기 광각 화상의 픽셀 좌표에 대응하는 광각 픽셀 좌표를 입력하는 단계;

스케일링 인자를 포함하는 공간 변화 균일(SVU) 스케일링 함수를 사용하여 정정된 광각 픽셀 좌표를 포함하는 워프 테이블을 생성하는 단계; 및

상기 광각 화상에서의 과장된 깊이가 정정되어 있는 정정된 광각 화상을 생성하는 단계

를 포함하는 것을 특징으로 하는 광각 화상 왜곡의 정정 방법.
제15항에 있어서,

수평 왜곡을 정정하기 위하여 상기 스케일링 인자를 조절하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상 왜곡의 정정 방법.
제15항에 있어서,

상기 SVU 스케일링 함수를 결정하기 위하여 소스 곡선 및 표적 곡선을 정의하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상 왜곡의 정정 방법.
제17항에 있어서,

상기 소스 곡선은 사용자에 의하여 정의되는 것을 특징으로 하는 광각 화상왜곡의 정정 방법.
제15항에 있어서,

상기 광각 화상에 적용된 워프의 양을 특정하는 워핑 인자를 사용자가 정의하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상 왜곡의 정정 방법.
제16항에 있어서,

상기 스케일링 인자를 조절하는 단계는 수평 스케일링을 조절하기 위한 수직 스케일링 인자를 정의하는 단계를 포함하는 것을 특징으로 하는 광각 화상 왜곡의 정정 방법.
광각 화상의 실시간 정정 및 표시를 위한 컴퓨터 실행 가능한 명령어를 포함하는 컴퓨터 판독 가능 매체에 있어서,

상기 광각 화상에서 소스 곡선을 특정하는 단계;

광각 화상 픽셀 좌표에 적용된 워핑의 양에 대응하는 워핑 인자를 특정하는 단계;

상기 소스 곡선 및 상기 워핑 인자를 사용하여 표적 곡선을 계산하는 단계;

상기 소스 곡선 및 상기 표적 곡선을 사용하여 주 스케일링 인자를 계산하는 단계; 및

상기 광각 화상 픽셀 좌표를 스케일링하여 워프 테이블을 생성하기 위하여 주 스케일링 인자를 사용하는 단계

를 포함하여, 상기 광각 화상의 픽셀 좌표를 포함하는 워프 테이블을 생성하는 단계; 및

상기 워프 테이블을 상기 광각 화상에 적용하여 정정된 광각 화상을 생성하는 단계

를 포함하는 것을 특징으로 하는 컴퓨터 실행 가능한 명령어를 포함하는 컴퓨터 판독 가능한 매체.
제21항에 있어서,

상기 주 스케일링 인자를 사용하는 단계는,

상기 주 스케일링 인자를 사용하여 상기 광각 화상 픽셀 좌표의 각 수직 주사선을 수직으로 스케일링하는 단계; 및

상기 주 스케일링 인자를 사용하여 상기 광각 화상 픽셀 좌표를 수평으로 스케일링하는 단계

를 더 포함하는 것을 특징으로 하는 컴퓨터 실행 가능한 명령어를 포함하는 컴퓨터 판독 가능한 매체.
제21항에 있어서,

상기 워핑 인자는 0 이상 1 이하의 수인 것을 특징으로 하는 컴퓨터 실행 가능한 명령어를 포함하는 컴퓨터 판독 가능한 매체.
제21항에 있어서,

상기 소스 곡선은 상측 소스 곡선 및 하측 소스 곡선을 포함하며, 여기서 상기 상측 곡선은 상기 광각 화상의 상측에서의 수평 특징을 정의하고, 상기 하측 소스 곡선은 상기 광각 화상의 하측에서의 수평 특징을 정의하는 것을 특징으로 하는 컴퓨터 실행 가능한 명령어를 포함하는 컴퓨터 판독 가능한 매체.
매개 화상 워핑 함수 및 주 스케일링 인자를 사용하여 광각 화상의 각 수직 주사선의 픽셀 좌표를 수직으로 스케일링하는 단계;

상기 매개 화상 워핑 함수 및 상기 주 스케일링 인자를 사용하여 상기 광각 화상의 픽셀 좌표를 수평으로 스케일링하는 단계;

예비 픽셀 좌표를 포함하는 예비 워프 테이블을 생성하는 단계; 및

상기 매개 화상 워핑 함수 및 상기 주 스케일링 인자를 상기 예비 워프 테이블에 적용함으로써 워프 테이블을 생성하기 위하여 수평 왜곡을 정정하는 단계

를 포함하는 것을 특징으로 하는 광각 화상의 워핑 방법.
제25항에 있어서,

상기 워프 테이블을 상기 광각 화상에 적용하여 정정된 상기 광각 화상에서의 광각 화상의 픽셀 좌표의 위치를 결정하는 단계;

상기 광각 화상의 각 픽셀 좌표에 대한 RGB 값을 상기 정정된 광각 화상에 적용하는 단계

를 더 포함하는 것을 특징으로 하는 광각 화상의 워핑 방법.
제25항에 있어서,

상기 주 스케일링 인자는 사용자에 의하여 특정된 소스 곡선 및 상기 소스 곡선으로부터 계산된 표적 곡선을 사용하여 계산되는 것을 특징으로 하는 광각 화상의 워핑 방법.
제25항에 있어서,

상기 수평 왜곡을 정정하는 단계는 제2 스케일링 인자를 적용하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상의 워핑 방법.
예비 픽셀 좌표를 포함하는 예비 워프 테이블을 생성하기 위하여 공간 변화 균일(SVU) 스케일링 함수 및 주 스케일링 인자를 사용해서 광각 화상의 픽셀 좌표를 수직 및 수평으로 스케일링하는 단계;

상기 예비 워프 테이블을 각 섹션이 적어도 몇몇의 예비 픽셀 좌표를 포함하는, 복수의 섹션으로 분할하는 단계;

상기 주 스케일링 인자와 다른 제2 스케일링 인자를 특정하는 단계; 및

수평 왜곡을 정정하기 위하여 복수의 섹션 중 제1 섹션 세트의 예비 픽셀 좌표에 대해서는 상기 주 스케일링 인자를 사용하고, 복수의 섹션 중 제2 세트의 예비 픽셀 좌표에 대해서는 상기 제2 스케일링 인자를 사용하여 복수의 섹션을 각각 수직으로 스케일링하는 단계

를 포함하는 것을 특징으로 하는 광각 화상의 왜곡 및 인식 문제의 정정 방법.
제29항에 있어서,

하측 소스 곡선, 상측 소스 곡선, 하측 표적 곡선 및 상측 표적 곡선을 사용하여 주 스케일링 인자를 계산하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상의 왜곡 및 인식 문제의 정정 방법.
제30항에 있어서,

상기 하측 소스 곡선, 상기 상측 소스 곡선, 상기 하측 표적 곡선 및 상기 상측 표적 곡선은 3차의 곡선인 것을 특징으로 하는 광각 화상의 왜곡 및 인식 문제의 정정 방법.
제30항에 있어서,

상기 분할하는 단계는,

상기 상측 소스 곡선과 상기 하측 소스 곡선 사이에 위치하는 상기 광각 화상의 픽셀에 대응하는 예비 픽셀 좌표를 포함하는 제1 섹션을 생성하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상의 왜곡 및 인식 문제의 정정 방법.
제32항에 있어서,

상기 제1 섹션 세트는 상기 제1 섹션이고,

상기 수직으로 스케일링하는 단계는 상기 주 스케일링 인자를 사용하여 상기 제1 섹션을 수직 방향으로 스케일링하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상의 왜곡 및 인식 문제의 정정 방법.
제33항에 있어서,

상기 제2 섹션 세트는 상기 제1 섹션을 제외한 복수의 섹션을 각각 포함하고,

상기 수직으로 스케일링하는 단계는 상기 제2 스케일링 인자를 사용하여 상기 제2 섹션 세트를 수직 방향으로 스케일링하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상의 왜곡 및 인식 문제의 정정 방법.
제29항에 있어서,

평활화 함수를 사용하여 복수의 섹션 각각을 연결하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상의 왜곡 및 인식 문제의 정정 방법.
제29항에 있어서,

상기 예비 워프 테이블에 대해 수평 왜곡 정정을 수행하여 워프 테이블을 생성하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상의 왜곡 및 인식 문제의 정정 방법.
제36항에 있어서,

상기 워프 테이블을 사용하여 상기 광각 화상으로부터 정정된 광각 화상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 광각 화상의 왜곡 및 인식 문제의 정정 방법.
광각 화상에서 왜곡 및 인식 결점을 정정하기 위한 실시간 광각 화상 정정 시스템에 있어서,

각 픽셀의 광각 화상 내에서의 위치를 특정하는 워프 테이블;

매개 화상 워핑 함수를 사용하는 워프 테이블 생성 모듈;

상기 워프 테이블 생성 모듈로부터 생성된, 광각 화상 픽셀 좌표를 포함하는 워프 테이블; 및

상기 워프 테이블을 상기 광각 화상에 적용하여 정정된 광각 화상을 생성하는 실시간 화상 워핑 시스템

을 포함하는 것을 특징으로 하는 실시간 광각 화상 정정 시스템.
제 38항에 있어서,

상기 매개 화상 워핑 함수는 공간 변화 균일(SVU) 스케일링 함수인 것을 특징으로 하는 실시간 광각 화상 정정 시스템.
제38항에 있어서,

상기 워프 테이블 생성 모듈은 수직 및 수평 스케일링을 수행하기 위한 주 스케일링 인자를 더 포함하는 것을 특징으로 하는 실시간 광각 화상 정정 시스템.
제40항에 있어서,

상기 주 스케일링 인자를 계산하기 위하여 사용되는 소스 곡선 및 표적 곡선을 더 포함하는 것을 특징으로 하는 실시간 광각 화상 정정 시스템.
제38항에 있어서,

상기 워프 테이블 생성 모듈은,

수직 스케일링 및 수평 스케일링을 수행하기 위한 주 스케일링 인자; 및

수평 왜곡 정정을 수행하기 위한 제2 스케일링 인자

를 더 포함하는 것을 특징으로 하는 실시간 광각 화상 정정 시스템.
제38항에 있어서,

상기 워프 테이블 생성 모듈은,

상기 광각 화상 픽셀 좌표를 수신하는 입력 모듈;

상기 매개 화상 워핑 함수를 사용하여 상기 광각 화상 픽셀 좌표를 수직 방향으로 스케일링하는 수직 스케일링 모듈; 및

예비 워프 테이블을 생성하기 위하여 상기 매개 화상 워핑 함수를 사용해서 상기 광각 화상 픽셀 좌표를 수평 방향으로 스케일링하는 수평 스케일링 모듈

을 더 포함하는 것을 특징으로 하는 실시간 광각 화상 정정 시스템.
제43항에 있어서,

상기 예비 워프 테이블의 예비 픽셀 좌표를 그 위치에 따라 서로 다른 양만큼 수직으로 스케일링하는 수평 왜곡 정정 모듈을 더 포함하는 것을 특징으로 하는 실시간 광각 화상 정정 시스템.