KR20010101601A

KR20010101601A - 디지털 카메라에서 이미지 왜곡을 소프트웨어적으로보정하는 장치 및 그 방법

Info

Publication number: KR20010101601A
Application number: KR1020017009102A
Authority: KR
Inventors: 막시윌리엄; 라슈코볼스키올레그
Original assignee: 피터 엔. 데트킨; 인텔 코오퍼레이션
Priority date: 1999-01-21
Filing date: 2000-01-18
Publication date: 2001-11-14
Also published as: WO2000044181A1; JP2002535938A; EP1145568A1; AU2616700A; KR100425751B1; DE60032457T2; EP1145568B1; US6538691B1; DE60032457D1

Abstract

디지털 이미지 처리 방법과 장치는 디지털 이미지의 기하학적 왜곡을 보정한다. 이 방법은 테스트 패턴을 선택하고 이미지가 왜곡되지 않게 표시될 때까지 카메라의 왜곡 보정 계수를 수동으로 보정하는 카메라의 캘리브레이션법을 포함한다. 그런 다음 카메라 그리드로 실제 영상을 획득한다. 그런 다음 상기 왜곡 보정 계수를 이용하여 이 카메라 그리드를 왜곡시키므로, 왜곡 이미지를 보정하고 이미지 윤곽은 변형한다. 왜곡 보정 계수에 기초하여, 표시 창의 각 픽셀에 대한 카메라 그리드의 각 위치를 결정한다. 표시 창에 위치하는 각 픽셀의 휘도 값은 상기 위치로 정해진 카메라 그리드의 하나 이상의 픽셀에 기초하여 지정된다. 카메라의 값들을 표시 창에 매핑시키기 위한 포인트는 소정 이미지 크기에 대해서는 단지 한번만 결정되면 된다. 동일한 크기를 갖는 모든 이후의 왜곡될 이미지는 보간법과 이미 편집된 포인트를 이용하여 보정된다.

Description

디지털 카메라에서 이미지 왜곡을 소프트웨어적으로 보정하는 장치 및 그 방법 {SOFTWARE CORRECTION OF IMAGE DISTORTION IN DIGITAL CAMERAS}

디지털 카메라는 정지 영상(still photography)과 동영상(vedeophotography)용으로 위해 이용되고 획득한 디지털 이미지를 모니터와 같은 이미지 표시 장치로 전송할 수 있다. 카메라 광학 시스템의 단점과 타고난 제한으로 인하여, 모니터 상에 표시된 디지털 영상에는 기하학적 왜곡(geometrical distortion)이 나타난다. 이 기하학적 왜곡은 피사체가 카메라 렌즈 시스템의 광 축에 위치하지 않을 때 발생하는 광 수차(optical aberration)의 일종이다. 기하학적 왜곡은 렌즈로 입사하는 광선과 광 축이 만드는 각도에 의존한다. 도 1b는 도 1a에 도시한 피사체의 (+) 왜곡[핀 쿠션 왜곡(pincushion distortion)이라고도 칭함]을 도시하고, 도 1c는 역시 도 1a에 도시한 피사체의 (-) 왜곡[배럴 왜곡(barrel distortion)이라고도 칭함]을 도시한다

좀더 정교하고(complicated) 성능이 뛰어난 렌즈 시스템을 구비한 카메라를 장착하여 기하학적 왜곡을 줄일 수 있다. 그러나 성능이 뛰어난 렌즈를 이용하면, 카메라의 무게, 크기와 비용이 실제로 증가될 수 있다.

이미지의 기하학적 왜곡을 보상하기 위한 다른 방법은 이미지 표시 장치의 스크린 주위에 자석이나 마그네틱 코일을 설치하여 자기장을 생성시키는 것이다.

본 발명은 디지털 이미지 처리 분야에 관한 것으로, 더욱 상세하게는 디지털 이미지의 왜곡 보정(distortion correction)에 관한 것이다.

이 두 가지 해결책 모두는 카메라나 이미지를 보기 위해 이용되는 표시 장치에 대한 물리적으로나 기능적으로의 변경을 필연적으로 수반한다.

발명의 개요

본 발명의 방법 및 장치는 카메라로 획득하고 카메라 그리드(camera grid)의 픽셀들의 집합으로 표현되는 왜곡된 이미지로부터 기하학적 왜곡을 없앤 이미지를 재생성하기 위한 것이다. 카메라 그리드에 적용될 때 왜곡된 이미지의 왜곡을 실질적으로 제거하도록 하는 왜곡 보정 계수를 결정한다. 이 왜곡 보정 계수에 기초하여, 표시 창의 각 픽셀에 대한 카메라 그리드의 각 위치를 확인한다. 표시 창에 존재하는 각 픽셀에 대한 휘도 값은 상기 위치에 의해 정해진 카메라 그리드에 존재하는 하나 이상의 픽셀에 따라 정해진다.

본 발명의 부가적인 특징과 장점은 다음에 기재한 발명의 상세한 설명과 청구범위 그리고 첨부한 도면을 참조하면 더욱 명백해질 것이다.

본 발명은 예로서 예시한 것이고 첨부한 도면에 한정되지 않는다.

[도면의 상세한 설명]

도 1a는 정사각형 그리드(rectangular grid)로 표현되는 피사체를 도시하는 도면이다.

도 1b는 정사각형 그리드 이미지의 핀 쿠션 왜곡을 도시하는 도면이다.

도 1c는 정사각형 그리드 이미지의 배럴 왜곡을 도시하는 도면이다.

도 2는 실제 이미지 포인트와 왜곡된 이미지 포인트를 도시하는 도면이다.

도 3은 왜곡된 카메라 그리드, 카메라 그리드 그리고 표시 창의 경계를 도시하는 도면이다.

도 4는 왜곡을 보정하는 방법을 도시하는 도면이다.

도 5는 왜곡을 보정하는 방법의 순서도이다.

도 6은 본 발명의 실시예에서 이용된 처리 동작을 수행하기 위하여 이용될 수 있는 처리 시스템의 블록도이다.

디지털 이미지의 기하학적 왜곡을 보정하기 위한 방법과 장치를 기재한다. 다음의 상세한 설명에서, 본 발명을 완전히 이해하기 위하여 특정 계산법, 방정식, 파라미터 등과 같은 많은 특정 세부 사항(detail)을 기재한다. 그러나 본 발명을 실시하기 위하여 이러한 세부 사항은 필요하지 않을 수도 있다는 것은 당업자에겐 자명할 것이다. 다른 예에서, 잘 알려진 처리 단계는 본 발명을 쓸데없이 불명료하게 하는 것을 피하기 위하여 상세하게 기술하지 않는다.

디지털 카메라로 이미지를 획득하면, 이 이미지는 카메라의 광 축에 대한 피사체의 위치로 인해 왜곡될 수 있다. 도 2는 광 축을 벗어난(off-axis) 피사체로부터 출사하여 렌즈 시스템을 통과하는 입사 광선을 도시한다. 왜곡된 이미지의 위치를 정하기 위하여, 광 축을 벗어난 피사체 포인트로부터 출사하는 입사 광선에대한 광 추적 동작(ray tracing)을 실행한다. 포인트 P_D는 왜곡된 포인트이고, 포인트 P_O는 획득한 피사체에 왜곡이 없었다면, 획득하였을 피사체 포인트에 대한 정확한 위치이다. 거리 R_O는 포인트 P_O에서 렌즈 시스템의 광 축까지의 거리이고, 거리 R_D는 왜곡된 포인트 P_D에서 이 렌즈 시스템의 광 축까지의 거리이다. 이상적인 포인트(ideal point) P_D에서 왜곡된 포인트 P_D지의 편차는 거리 △r이다. 그러므로 왜곡된 포인트 P_D의 위치는 다음의 [식 1]로 정해진다.

[식 1]

R_D= R_O+ △r = R_O+ CR_O ³

파라미터 C는 사용되는 카메라의 왜곡 보정 계수(distortion correction factor) 특성을 나타낸다. 배럴 왜곡인 경우에, 파라미터 C는 - 값으로 가정하고, 핀 쿠션 왜곡인 경우에, 파라미터 C는 + 값으로 가정한다.

카메라에 대한 파리미터 C의 값은 다음에 설명하는 카메라 캘리브레이션(calibration)법을 이용하여 구할 수 있다: 먼저, 사용자는 정사각형이나 그리드와 같은 테스트 패턴을 선택할 수 있고, 그런 다음 카메라가 이 테스트 패턴을 획득하며, 획득한 테스트 이미지를 모니터와 같은 이미지 표시 장치 상에 표시할 수 있고, 그런 다음 사용자는 이 표시된 이미지가 어떠한 기하학 왜곡도 갖지 않을 때까지 즉, (왜곡이 없을 경우 직선으로 되는) 구부러진 선 이 직선으로될 때까지 수동으로 파라미터 C를 조정할 수 있다. 예를 들면 스크롤 바(scroll bar)와 같은 소프트웨어로 구현된 툴(tool)을 이용하여 이 파리미터 C를 수동으로 조정할 수 있다. 본 발명의 다른 실시예에서, 이 이미지의 중심에서 테스트 이미지의 코너를 방사상으로 드래깅하여(dragging) 즉, 이미지의 윤곽을 변형시키고 이미지의 내용을 보정하는 것과 같은 이 이미지에 대한 다른 모든 코너의 위치를 역시 변경하는 동작으로 파리미터 C를 조정한다.

이미지의 왜곡 레벨과 파라미터 C 사이에는 직접적인 관계가 있다. 파라미터 C의 크기는 피사체와 렌즈 시스템의 광 축 사이의 입사각에 의존한다. 큰 입사각은 큰 왜곡 레벨에 대응하고 결과적으로, 파라미터 C의 큰 절대값에 대응한다.

일반적으로, 소정 카메라에 대한 파라미터 C는 변하지 않는다. 그러므로 파라미터 C는 특정 카메라에 대해 한번 정해지는 것으로 충분하다. 파라미터 C는 특정 카메라를 공장에서 개발하는 동안 정해질 수 있으므로, 사용자는 임의대로 카메라 캘리브레이션법을 찾을 수 있다.

디지털 카메라는 센서들로 빛을 모으고(collect) 이러한 센서들의 내용은 정사각형 그리드 상에 기억된다. 컴퓨터 모니터와 유사하게, 이미지를 표시하는 픽셀들의 휘도 값은 카메라 그리드 상의 불연속적인(discrete) 포인트들에서 알려져 있다. 카메라 그리드와 모니터 그리드 간의 유사성으로 인하여 디지털 이미지를 용이하게 보정할 수 있다. 이 유사성은 모니터 그리드의 불연속적인 픽셀들에 대한 값을 카메라 그리드의 불연속적인 포인트들로 매핑하는 처리나 그 반대 처리를 가능하게 한다. 이 매핑 처리에서, 모니터 픽셀의 수와 카메라 포인트의 수가 동일할 필요는 없다는 것을 주목해야 한다.

본 발명은 다음의 단계를 이용하여 기하학적 왜곡을 보정한다. 먼저, 보정된 (왜곡되지 않는) 이미지를 얻기 위하여 카메라 그리드를 왜곡, 바꾸어 말하면, 이미지의 윤곽을 변형하고, 한편으로는 이미지의 내용을 보정한다; 두 번째로, 모니터 그리드 픽셀은 카메라 그리드 포인트로 매핑된다. 왜곡된 카메라 그리드 포인트를 모니터 그리드 픽셀로 매핑하는 반대 처리를 할 수 있지만 일단 카메라 그리드가 왜곡되면 카메라 그리드 포인트는 일정한 간격을 유지하지 않기 때문에 훨씬 복잡한 계산 알고리즘을 수반한다. 일정한 간격을 유지하지 않는 카메라 그리드에서 모니터 포인트의 위치를 찾아야 할 경우 계산의 복잡도는 증가한다.

도 3은 왜곡된 이미지를 갖는 정사각형 카메라 그리드(16), 보정된 이미지를 갖는 왜곡된 카메라 그리드(14) 그리고 모니터 창(18)을 도시한다. 본 발명의 일 실시예에서, 모니터 창(18)은 왜곡된 카메라 그리드(14)의 경계 내에 배치될 수 있는 최대 표시 창이다. 카메라 그리드(16)에 대한 네 개의 직교 좌표(cartesian coordinate) X_d ^e, -X_d ^e, Y_d ^e, -Y_d ^e가 선택된다. 이들 좌표의 크기는 좌표계의 원점(origin)과 각 카메라 그리드(16)의 좌, 우, 상, 하 에지들 간의 거리를 나타낸다. 윗첨자 "e"는 카메라 그리드의 에지를 지칭하고 반면에, 아래 첨자 "d"는 카메라 그리드(16)의 왜곡된 포인트를 지칭한다. 유사하게, 모니터 그리드의 네 좌표는 X₀ ^L, X₀ ^R, Y₀ ^T, Y₀ ^B이다. 이들 좌표의 크기는 렌즈 시스템의 광 축과 모니터그리드의 좌, 우, 상, 하 경계들 간의 거리를 나타낸다.

이 광 축은 획득한 이미지의 포인트(0_x, 0_y)를 통과한다. 반대로, 좌표계의 원점은 카메라 그리드의 중심과 획득한 이미지의 중심과 일치한다. 왜곡이 카메라 이미지의 중심에 대해 대칭일 경우, 포인트(O_x, Oy)는 좌표계의 중심이 되고, 광 축은 좌표계의 원점과 일치한다. 그러므로, 카메라 정사각형의 경계는 좌표계에 대해 항상 대칭이지만, 광 축이 좌표계의 원점을 통과하지 않을 경우엔 모니터 정사각형의 경계는 좌표계에 대해 대칭이 아니다.

카메라 그리드의 네 좌표를 알기 때문에, 최대 표시 창(18)의 X₀ ^L, X₀ ^R, Y₀ ^T, Y₀ ^B는 [식 1]을 이용하여 구할 수 있다.

X₀ ^L의 크기는 [식 1]에서 R_D를 -X_d ^e로 치환하고 R_O를 (X_o ^L- 0_x)로 치환한 다음의 [식 2a]로 구할 수 있다.

[식 2a]

-X_d ^e= (X_o ^L-0_x) + C(X_o ^L- 0_x)³

유사하게, X₀ ^R의 크기는 [식 1]에서 R_D를 X_d ^e로 치환하고 R_O를 (X_o ^R- 0_x)로 치환한 다음의 [식 2b]로 구할 수 있다.

[식 2b]

X_d ^e= (X_o ^R- 0_x) + C(X_o ^R- 0_x)³

Y₀ ^T의 크기는 [식 1]에서 R_D를 Y_d ^e로 치환하고 R_O를 (Y_o ^T- 0_y)로 치환한 다음의 [식 2c]로 구할 수 있다.

[식 2c]

Y_d ^e= (Y_o ^T- 0_y) + C(Y_o ^T- 0_y)³

Y₀ ^B의 크기는 [식 1]에서 R_D를 -Y_d ^e로 치환하고 R_O를 (Y_o ^E- 0_y)로 치환한 다음의 [식 2c]로 정할 수 있다.

[식 2d]

-Y_d ^e= (Y_o ^B- 0_y) + C(Y_o ^B- 0_y)³

X₀ ^L, X₀ ^R, Y₀ ^T, Y₀ ^B의 크기를 산출하기 위하여 수치 해법(numerical technique)이나 분석 해법(analytical technique)을 이용하여 [식 2a] 내지 [식 2d]의 근을 구할 수 있다.

모니터 그리드의 가로 좌표 X₀는 산출된 X₀ ^L과 X₀ ^R의 크기 사이에 동일한 간격을 유지하며 위치하는 반면에, 모니터 그리드의 세로 좌표 Y₀는 산출된 Y₀ ^T과 X₀ ^B의 크기 사이에 동일한 간격을 유지하며 위치하다.

일단 최대 표시 창의 불연속적인 포인트(X₀, Y₀)가 정해지면, 왜곡된 카메라 그리드의 보정된 이미지는 동일한 간격을 유지하는 모니터 그리드 포인트를 휘도 값을 알고 있는 원래 이미지(original image)에 대한 알려지지 않은 카메라 그리드 포인트(X_d, Y_d)로 매핑시켜 재구성될 수 있다.

왜곡 보정 계수에 따라서, 표시 창의 각 픽셀에 대한 카메라 그리드의 각 위치를 확인한다.

왜곡이 광축에서 방사상(radial)인 왜곡이라고 가정하면, 포인트 (X₀, Y₀), (X_d, Y_d), (O_x, O_y) 모두는 동일 선 상에 존재한다. 도 4를 참조하면, R_O는 광 축과 표시 창(DW)에서 선택한 포인트(P_O) 사이의 거리를 나타낸다. 포인트 P_D는 이미지가 보정된 후 포인트 P_O가 카메라 그리드(CG)에서 각각 조정된 위치이다. 세그먼트 R_D는 광 축과 포인트 P_D사이의 거리를 나타낸다. 카메라 그리드(CG)의 포인트 P1은 왜곡이 없었을 경우 즉, 파라미터 C가 0일 경우의 P₀와 동일한 위치를 나타낸다. 양(quantity) △r은 왜곡 보정 계수에 따라 위치 P_D로 포인트 P1을 오프셋(offset)시키기 위해 이용되는 변위 벡터(displacement vector)이다. 카메라 그리드(X_d, Y_d) 상의 포인트 어레이는 표시 창(DW)의 각 포인트(X₀, Y₀)마다 대응하는 변위 벡터(△r)를 계산하고, 이 변위 벡터의 값에 기초하여 카메라 그리드의 위치 P_D로표시 창 포인트를 오프셋(offset)시키며, 표시 창(DW)의 포인트(X₀, Y₀)에서 표시되는 픽셀 휘도 값을 정하기 위하여 P_D를 둘러싸는 픽셀들을 보간하여(interpolating) 정해진다.

이렇게 함으로써, 직선 방정식과 [식 1]을 이용하여 포인트(X_d, Y_d) 어레이를 정할 수 있다. 직선 방정식을 이용하여, X_d와 Y_d를 다음 [식 3]의 관계식으로 나타낼 수 있다.

[식 3]

Y_d= mX_d+ b

여기서, 파라미터 m은 직선의 기울기를 나타내고, 파라미터 b는 상수이다. 파라미터 m은 다음의 [식 4a]로부터 구할 수 있고, 파라미터 b는 [식 4b]로부터 구할 수 있다.

[식 4a]

m = (Y₀- O_y)/(X₀- O_x)

[식 4b]

b = O_y- O_xm

피타고라스 정의를 이용하면, [식 1]을 [식 5]에서와 같이, "X_d"와 "Y_d" 좌표의 항으로 나타낼 수 있다.

[식 5]

R_D ²= X_d ²+ Y_d ²= (R_O+ CR_O ³)²= A

[식 3]의 Y_d를 [식 5]에 대입하면 [식 6]이 된다.

[식 6]

(m²+ 1)X_d ²+ 2mbX_d+ (b²- A) = 0

[식 3]과 [식 6]은 카메라 그리드 포인트(X_d, Y_d)의 어레이를 찾기 위하여 수치적으로나 해석적으로 근을 구할 수 있는 방정식계를 형성한다. 예를 들면, [식 6]은 2차식(quadratic formular)을 이용하여 X_d를 구할 수 있고, Y_d는 [식 3]을 이용하여 구할 수 있으며 결과값은 [식 6]으로부터 구할 수 있다.

각 포인트(X_d, Y_d)의 휘도 값은 카메라 그리드의 원래 이미지 포인트 주변의 알고 있는 값들을 보간하여 구한다. 선택한 모니터 그리드 포인트(X_o, Y_o)의 픽셀 휘도 값은 그 모니터 그리드 포인트(X_o, Y_o)에 대응하는 카메라 그리드 포인트(X_d, Y_d)의 휘도 값으로 정해진다. 바람직한 보간법은 3차 스플라인 보간법(cubic spline interpolation)이지만, 선형 보간법(linear interpolation), 대수 보간법(logarithmic interporation), 라그랑즈 보간법(Lagrange interpolation)등과 같은 다른 보간법도 픽셀 휘도 값을 구하기 위하여 이용할 수 있다.

소정의 이미지 크기에 대해 카메라 그리드 포인트들(X_d, Y_d)의 집합은 한번만계산되면 된다는 것을 주목해야 한다. 모니터 그리드 포인트를 알고 나면, 동일한 크기를 갖는 이후의 모든 왜곡된 이미지는 보간법과 미리 편집된(pre-complied) 카메라 그리드 포인트(X_d, Y_d)를 이용하여 보정된다. 디폴트 이미지 크기(default corrected image size)는 카메라 그리드의 크기와 동일하지만, 사용자는 보정된 이미지마다 상이한 크기를 선택할 수 있다.

도 5는 본 발명에 따른 동작 순서를 보여주는 순서도이다. 정사각형 카메라 그리드(CG)는 왜곡된 이미지를 보여준다. 파라미터(C)를 추정(estimating)하는 동안, 카메라 그리드(CG)는 보정된 이미지를 생성하기 위하여 왜곡된다. 점선(dash line)으로 도시한 최대 표시 창은 왜곡된 카메라 그리드(DCG)의 경계 내에서 꼭 맞도록 생성된다. 다음, 표시 창(DW)의 포인트들은 카메라 그리드(CG)의 포인트들로 매핑되고, 표시 창의 픽셀에 대한 휘도는 카메라 그리드의 원래 이미지 포인트로부터의 값들을 보간하여 구한다. 결과적으로, 왜곡되지 않은 정사각형의 이미지가 된다.

도 6은 본 발명의 실시예에서 이용되는 처리 동작을 수행하기 위하여 이용될 수 있는 처리 시스템(100)의 블록도를 도시한다. 처리 시스템(100)은 각각 처리부(110), 메모리(120), 사용자 제어부(130), 표시 장치(140), 각 버스 구조물(bus structure, 160)에 연결된 통신 장치(150)를 포함한다.

처리부(110)는 하나 이상의 범용 프로세서, 하나 이상의 디지털 신호 프로세서 또는 명령들의 시퀀스를 실행할 수 있는 소정의 다른 장치를 포함할 수 있다.

메모리(120)는 시스템 메모리, 비휘발성 기억 장치, 착탈 가능한 기억 매체(removable storage media)를 포함할 수 있다. 착탈 가능한 기억 매체는 예를 들면, 컴팩트 디스크, 플로피 디스크나 다른 착탈 가능한 기억 장치일 수 있다. 이미지 메모리(124)와 이미 기술한 왜곡 보정 동작을 수행하기 위한 명령들의 시퀀스들을 포함하는 프로그램 코드부(122)는 처리 시스템(100)이 판독할 수 있는 착탈 가능한 기억 매체에 기억될 수 있고, 본 명세서에서 기술한 발명의 실시예에 따라서 처리 시스템을 동작시키는데 이용될 수 있다. 비휘발성 기억 장치는 자기 테이프(magnetic tape), 자기 디스크, 광 디스크, 전기적으로 소거 및 기록 가능한 프로그래머블 판독 전용 메모리(electrically erasable programmable read only memory, EEPROM)나 다른 모든 컴퓨터 판독 가능한 매체(computer-readable medium)와 같은 장치일 수 있다.

사용자 제어부(130)는 마우스, 키보드, 트랙 볼(trackball), 스타일러스(stylus)이거나 표시 장치(140) 상에 표시된 이미지와 다른 구성요소(elements)를 조작할 수 있는 다른 모든 장치일 수 있다.

통신 장치(150)는 모뎀, 지역 네트워크 카드(area network card)나 컴퓨터 네트워크에 처리 시스템(100)을 연결할 수 있는 다른 모든 장치일 수 있다. 예를 들면 월드 와이드 웹(World Wide Web)이나 다른 네트워크 상의 서버 컴퓨터로부터 이미지나 텍스트를 얻을 수 있거나, 본 발명의 실시예를 구현하기 위하여 처리부에 의해 실행될 수 있는 갱신된 프로그램 코드 또는 기능 확장 프로그램 코드(function-extending program code)를 수신하기 위하여 데이터 신호로 변조된반송파를 생성하거나 수신하기 위해 통신 장치(150)를 이용할 수 있다.

본 발명의 일 실시예에서, 위에서 기술한 처리 시스템(100)은 범용 컴퓨터 시스템일 수 있다. 그러나 본 발명의 실시예들은 그 적용 분야를 컴퓨터 시스템으로 한정하지 않는다. 그러므로, 이미 기술한 방법은 디지털 카메라에 설치된 처리 시스템(100)으로 실행될 수 있다. 카메라는 정지 영상이나 동영상 모두를 위하여 이용할 수 있다. 이미 기술한 방법 다음에, 카메라 내장형 사용자 제어부(130)로 왜곡 계수(C)를 수동으로 조정하여 카메라의 캘리브레이션을 실행할 수 있다. 카메라의 사용자 제어부는 버튼(button)이나 슬라이딩 장치(slides)일 수 있다. 화상(picture)은 메모리(120)에 기억될 수 있고, 카메라에 내장된 이미지 표시 장치(camera built-in image display unit, 140) 상에 표시될 수 있다. 이미 기술한 식들은 카메라의 프로그램 코드부(122)에 포함되어, 분리된 외부 컴퓨터와 모니터를 필요로 하지 않고 카메라 자신이 이미지를 보정할 수 있다. 부가적으로, 이미 기술한 방법은 터치 감응형 스크린(touch sensitive screen)으로 구현될 수 있는 표시 장치(140)와 사용자 제어부(230)가 포토 키오스크(photo kiosk) 내부에 내장될 수 있다.

본 발명의 일 실시예에서, 전원이 처리 시스템(100)으로 인가되면, 프로그램 코드는 처리부(110)에 의해 비휘발성 기억 장치나 착탈 가능한 기억 장치로부터 시스템 메모리로 로딩된다. 그런 다음 처리부(110)는 이미 기술한 왜곡 보정 동작을 포함하는 명령들의 시퀀스들을 실행한다.

본 발명의 일 실시예를 구현하기 위하여 처리 시스템을 기술할 때, 이미 기술한 각각의 처리 동작은 이미 언급한 동작을 실행하기 위하여 하드 와이어드 로직(hard-wired logic)을 포함하는 특정한 하드웨어 구성요소나 프로그래밍된 처리 구성요소와 하드 와이어드 로직의 소정 조합물로 실행시킬 수 있다는 것을 주목해야 한다. 본 명세서에서 기재한 어떤 것도 본 명세서에서 하드웨어 구성요소들의 특정 조합물로 언급한 동작들을 실행시키는 하나의 실시예로 본 발명을 한정하기 위하여 설계된 것은 없다.

이미 기술한 명세서에서 본 발명은 특정적인 실시예를 참조하여 기술하였다. 그러나 첨부한 청구범위에 기재된 본 발명의 범위나 본질을 벗어나지 않고 이 특정 실시예로부터 변형되거나 변경된 다양한 변형이나 변경이 이루어질 수 있다는 것은 자명하다. 따라서 명세서와 도면은 한정적인 의미보다는 예시적인 의미로 간주된다.

Claims

카메라로 획득하고 카메라 그리드의 픽셀들의 집합으로 표현되는 왜곡된 이미지로부터 기하학적 왜곡(geometrical distortion)이 없는 이미지를 재생성하는 방법에 있어서,

카메라 그리드에 적용될 때 왜곡된 이미지의 왜곡을 실제로 보정하도록 하는 왜곡 보정 계수(distortion correction factor)를 결정하는 단계,

상기 왜곡 보정 계수에 기초하여, 표시 창의 각 픽셀에 대한 카메라 그리드의 각 위치를 확인하는(identifying) 단계, 그리고

상기 위치로 정해진(indicated) 카메라 그리드에 존재하는 하나 이상의 픽셀에 기초하여 상기 표시 창의 각 픽셀에 대한 휘도 값을 지정하는 단계

를 포함하는 이미지 재생성 방법.
제1항에 있어서,

상기 왜곡 보정 계수 결정 단계는 상기 이미지의 기하학적 왜곡을 보정하기 위하여 상기 표시 창 상에 표시된 상기 이미지의 윤곽을 왜곡시키도록 상기 왜곡 보정 계수를 정하기 위한 사용자의 입력 동작이 이루어지는 단계를 포함하는,

이미지 재생성 방법.
제1항에 있어서,

상기 휘도값 지정 단계는 선형 보간법(linear interpolation), 3차 스플라인 보간법(cubic spline interpolation), 라그랑즈 보간법(Lagrange interporation) 그리고 대수 보간법(logarithmic interpolation)으로 이루어지는 군으로부터 선택된 보간법을 이용하여 상기 카메라 그리드에 존재하는 픽셀들의 휘도값을 결정하는 단계를 포함하는 이미지 재생성 방법.
카메라로 획득하고 제1 카메라 그리드의 픽셀들의 집합으로 표현되는 왜곡된 이미지로부터 기하학적 왜곡이 없는 이미지를 재생성하는 방법에 있어서,

상기 왜곡된 이미지의 내용을 보정하기 위하여 상기 제1 카메라 그리드의 형상을 조정하는 단계,

상기 표시 창의 선택된 각 픽셀에 대하여, 상기 왜곡된 카메라 그리드와 상기 제1 카메라 그리드 간의 차이에 따라서 상기 표시 창의 선택된 픽셀과 상기 제1 카메라 그리드의 대응하는 픽셀 간의 거리 벡터(displacement vector)를 계산하는 단계, 그리고

상기 거리 벡터에 따라서 상기 제1 카메라 그리드의 상기 대응하는 픽셀로부터 오프셋(offset)되는 상기 제1 카메라 그리드의 적어도 하나의 픽셀에 기초하여 상기 표시 창의 선택된 각 픽셀의 휘도를 지정하는 단계

를 포함하고,

상기 카메라 그리드 형상 조정 단계의 결과로서 왜곡된 카메라 그리드가 생성되는

이미지 재생성 방법.
제4항에 있어서,

상기 제1 카메라 그리드 형상 조정 단계는 상기 이미지가 보정될 때까지 상기 이미지의 중심으로 상기 이미지의 코너를 방사상으로 드래깅함으로써 수행되는 이미지 재생성 방법.
제4항에 있어서,

상기 제1 카메라 그리드 형상 조정 단계는 소프트웨어로 구현된 툴을 이용하여 수행되는 이미지 재생성 방법.
제6항에 있어서, 상기 소프트웨어로 구현된 툴이 스크롤 바(scroll bar)인 이미지 재생성 방법.
제4항에 있어서,

상기 휘도 지정 단계는 선형 보간법, 3차 스플라인 보간법, 라그랑즈 보간법 그리고 대수 보간법으로 이루어지는 군으로부터 선택된 보간법을 이용하여 상기 제1 카메라 그리드에 존재하는 픽셀의 휘도를 결정하는 단계를 포함하는 이미지 재생성 방법.
카메라로 획득하고 왜곡된 이미지로부터 기하학적 왜곡을 보정하기 위한 명령들로 이루어진 프로그램을 포함하는 하나 이상의 컴퓨터로 판독 가능한 매체를 포함하는 제조물에 있어서,

상기 명령들로 이루어진 상기 프로그램은 처리 장치에 의해 실행될 때, 상기 처리 장치가

상기 왜곡된 이미지의 기하학적 왜곡을 보정하기 위하여 이미지 표시 장치 상에 표시된 상기 왜곡된 이미지의 윤곽을 왜곡시키도록 왜곡 보정 계수를 정하기 위한 사용자의 입력 동작이 이루어지도록 하고,

상기 왜곡 보정 계수에 기초하여, 표시 창의 각 픽셀에 대한 왜곡된 이미지의 각 위치를 확인하도록 하고,

상기 위치에 의해 정해진 왜곡된 이미지에 존재하는 하나 이상의 픽셀에 기초하여 상기 표시 창의 각 픽셀에 대한 휘도 값을 지정함으로써 상기 왜곡된 이미지로부터 기하학적 왜곡이 없는 이미지를 재생성하도록 하며,

상기 기하학적 왜곡이 없는 이미지를 표시하도록 하는

제조물
상기 제9항에 있어서,

상기 이미지 재생성 동작은 상기 왜곡된 이미지의 대응하는 이웃 픽셀들에 대한 보간(interpolation)으로부터 상기 표시 창의 상기 픽셀들에 대한 휘도를 결정하는 단계를 포함하는 제조물.
이미지의 기하학적 왜곡을 보정하는 방법에 있어서,

상기 이미지의 상기 기하학적 왜곡을 보정하기 위하여 이미지 표시 장치 상에 표시된 상기 이미지의 윤곽을 왜곡시키도록 왜곡 보정 계수를 정하기 위한 사용자의 입력 동작이 이루어지는 단계, 그리고

상기 이미지의 상기 기하학적 왜곡을 보정하기 위한 상기 사용자의 입력 동작에 응답하여 상기 왜곡 보정 계수를 조정하는 단계

를 포함하는

왜곡 보정 방법.
제11항에 있어서,

상기 왜곡 보정 계수는 상기 이미지가 보정될 때까지 상기 이미지의 중심으로 상기 이미지의 코너를 방사상으로 드래깅함으로써 조정되는 왜곡 보정 방법.
제11항에 있어서,

상기 왜곡 보정 계수는 소프트웨어로 구현된 툴을 이용하여 조정되는 왜곡 보정 방법.
제13항에 있어서,

상기 소프트웨어로 구현된 툴이 스크롤 바(scroll bar)인 왜곡 보정 방법.
카메라로 획득하고 카메라 그리드에 의해 표현되는 왜곡된 이미지의 기하학적 왜곡을 보정하기 위한 명령들로 이루어진 프로그램을 포함하는 하나 이상의 컴퓨터로 판독 가능한 매체를 구비하는 제조물에 있어서,

상기 명령들로 이루어진 상기 프로그램은 처리 장치에 의해 실행될 때, 상기 처리 장치가

상기 카메라 그리드로 적용될 때, 상기 왜곡된 이미지의 왜곡을 실제로 보정하도록 하는 왜곡 보정 계수를 결정하도록 하고,

상기 왜곡 보정 계수에 기초하여, 표시 창의 각 픽셀에 대한 상기 카메라 그리드의 각 위치를 확인하도록 하고

상기 위치에 의해 정해진 카메라 그리드에 존재하는 하나 이상의 픽셀에 기초하여 상기 표시 창의 각 픽셀에 대한 휘도 값을 지정하도록 하는

제조물
제15항에 있어서,

상기 왜곡 보정 계수를 결정하는 동작은 상기 이미지의 기하학적 왜곡을 보정하기 위하여 상기 표시 창 상에 표시된 상기 이미지의 윤곽을 왜곡시키도록 상기 왜곡 보정 계수를 정하기 위한 사용자의 입력 동작이 이루어지는 것은 포함하는 제조물.
제15항에 있어서,

상기 휘도값 지정 동작은 선형 보간법, 3차 스플라인 보간법, 라그랑즈 보간법 그리고 대수 보간법으로 이루어지는 군으로부터 선택된 보간법을 이용하여 상기 카메라 그리드에 존재하는 픽셀의 휘도를 결정하는 단계를 포함하는 제조물.
왜곡된 이미지의 기하학적 왜곡을 보정하기 위하여 이미지 표시 장치 상에 표시된 상기 왜곡된 이미지의 윤곽을 사용자가 왜곡시킬 수 있도록 하는 사용자 제어 수단,

하나 이상의 프로세서를 구비하는 처리 수단, 그리고

상기 하나 이상의 프로세서에 연결되고, 프로그램 코드를 기억하고 있는 하나 이상의 메모리를 포함하고,

상기 하나 이상의 메모리는 상기 하나 이상의 프로세서에 의해 실행될 때 상기 하나 이상의 프로세서가

상기 왜곡된 이미지에 적용할 때, 상기 왜곡된 이미지의 왜곡을 실제로 보정하도록 하는 왜곡 보정 계수를 반복적으로 조정하고,

상기 왜곡 보정 계수에 기초하여, 표시 창의 각 픽셀에 대한 상기 왜곡된 이미지의 각 위치를 확인하고,

상기 위치로 정해진 왜곡된 이미지의 하나 이상의 픽셀에 기초하여 상기 표시 창의 각 픽셀에 대한 휘도 값을 지정함으로써 상기 왜곡된 이미지로부터 기하학적 왜곡이 없는 이미지를 재생성하도록 하는 장치.
제18항에 있어서,

상기 이미지 재생성 동작은 상기 왜곡된 이미지의 대응하는 이웃 픽셀들에 대한 보간으로부터 상기 표시 창에 존재하는 상기 픽셀의 휘도를 결정하는 단계를 포함하는 장치.
제19항에 있어서,

이미지 표시 수단을 추가로 포함하는 장치.