KR100653200B1

KR100653200B1 - 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치

Info

Publication number: KR100653200B1
Application number: KR1020060002169A
Authority: KR
Inventors: 김근호; 김도균; 정석윤; 이희세; 코누신 안톤; 베즈네베츠 블라디미르
Original assignee: 삼성전자주식회사
Priority date: 2006-01-09
Filing date: 2006-01-09
Publication date: 2006-12-05
Also published as: JP2007183948A; US20070159527A1; US7899270B2; JP4435145B2

Abstract

본 발명은 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및 장치에 관한 것으로서, 상기 파노라마 영상 제공 방법에서는 평면 방향으로 기울어진 각도(a)와 깊이 방향으로 휜 각도(b)를 기반으로 정의된 매트릭스 H(a,b)와 카메라 파라메터 내부 매트릭스K에 따라 정해지는 매트릭스 HF를 소스 이미지 벡터 (x,y)에 적용하여 틸팅 벡터를 생성한다. 또한, 상기 카메라 파라메터 매트릭스K를 이용하여 소스 이미지 2D 벡터 (x,y)를 지평면의 원점으로부터 거리가 1인 망막상 평면 위의3D 벡터 (X,Y,W)로 변환한다. 마지막으로 망막상 평면의 이미지의 폭과 FOV의 각도를 이용하여 와핑된 이미지 폭(WIW)을 예측하고, 일정 각도에 해당하는 망막상 평면 이미지의 폭 방향의 픽셀의 적합한 개수를 각도에 맞추어 원기둥에 투영하여, 상기 변환된 벡터 (X,Y,W)와 상기 와핑된 이미지 폭(WIW)을 기반으로 정의된 값에 따라 와핑 벡터를 생성한다.

파노라마 이미지, 틸팅, 와핑, 스티칭, 블렌딩, 쉬어 교정, 렌더링

Description

기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및 장치{Method and Apparatus for Providing Panoramic View with Geometry Correction}

도 1은 교차로에서 실사를 얻는 과정을 설명하기 도면이다.

도 2는 일반적인 렌즈왜곡 교정 기술을 설명하기 위한 도면이다.

도 3은 렌즈의 굴절로 왜곡된 영상과 틸팅된 카메라로 찍은 영상의 예들을 나타내는 사진이다.

도 4는 파노라마 영상의 광학 중심점을 설명하기 위한 도면이다.

도 5는 일반적인 와핑 기술을 설명하기 위한 도면이다.

도 6은 본 발명의 일실시예에 따른 파노라마 영상 제공 방법을 설명하기 위한 흐름도이다.

도 7은 본 발명의 일실시예에 따른 틸팅 방법을 설명하기 위한 도면이다.

도 8은 본 발명의 일실시예에 따른 틸팅 방법을 실현하는 장치의 일례이다.

도 9는 본 발명의 일실시예에 따른 틸팅 전후의 이미지 스티칭된 사진이다.

도 10은 3차원 영상을 실린더로 투영시키는 방법을 설명하기 위한 도면이다.

도 11은 본 발명의 일실시예에 따른 와핑 방법을 실현하는 장치의 일례이다.

도 12는 본 발명의 일실시예에 따른 넓이(폭) 방향 교정 전후의 사진이다.

도 13은 본 발명의 일실시예에 따른 이미지 스티칭을 설명하기 위한 도면이 다.

도 14는 본 발명의 일실시예에 따른 색 블렌딩을 설명하기 위한 도면이다.

도 15는 본 발명의 일실시예에 따른 쉬어 교정을 설명하기 위한 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

810: 틸팅전 영상 이미지 평면

820: 틸팅후 영상 이미지 평면

900: 틸팅 장치

1100: 와핑 장치

본 발명은 파노라마 영상을 제공하는 방법에 관한 것으로서, 더욱 상세하게는 틸팅(tilting)과 와핑(warping)에 대한 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및 이를 실현하는 장치에 관한 것이다. 여기서, 틸팅에 대한 기하 정보를 교정하는 방법은 파노라마 영상뿐 아니라 영상을 연결하여 영상을 확장시키는 많은 다른 방법에 적용될 수 있다.

오늘날 보편화된 네비게이션(navigation) 시스템, 이동 통신 단말기, PDA 등을 통하여 위치 기반 서비스를 제공하는 데 있어서, 서비스 제공 지역에 대한 실사(real scene)를 기반으로 좀 더 현실에 가까운 영상 정보를 제공할 수 있다.

예를 들어, 도 1과 같이, 차량이 교차로에서 A->B->C 방향으로 진행함에 따 라, 길안내를 위한 영상 정보가 X 위치의 삼각대(tripod)(110)에서 카메라를 이용하여 회전하면서 찍은 주위의 이미지들(111)로부터 Y 위치의 삼각대(120)에서 찍은 주위의 이미지들(121)로 바뀌어야 할 필요가 있다.

그러나, 도 2와 같이, 카메라를 이용하여 찍은 사진의 영상(220)은 실제 눈으로 볼 때의 영상(210)과 차이가 있다. 즉, 도 3의 310에서도 볼 수 있듯이, 수직으로 표시되어야 할 빌딩 모습이 렌즈의 굴절 방향으로 휘어져 보일 수 있다. 이는 카메라에서 실제 3D 물체의 상을 찍을 때, 광학계와 관련하여 렌즈의 굴절로 왜곡된 효과가 반영되어 나타나기 때문이다. 이와 같이 휘어져 보이는 영상(220)은 반대로 230과 같이 틸팅시킴으로써 실제 눈으로 볼 때의 영상(210)과 같이 정상적인 모습으로 교정될 수 있다.

또한, 도 3의 320과 같이 카메라의 기울기(tilting)에 의해 수직으로 표시되어야 할 빌딩 모습이 깊이 방향으로 휘거나(같은 폭의 물체가 위 아래에서 다른 폭으로 보임) 평면 방향으로 기울어져(바로 서 있는 물체가 좌우로 기울어져 보임) 보일 수 있다.

그러나, 현재까지의 틸팅 교정 기술로서 캐논(Canon)에서는 카메라를 이용하여 찍은 사진 영상(220)의 몇 개의 포인트를 체크하여 회전(rotation)시키거나 전이(translation)하는 방법을 사용하고 있지만, 깊이 방향으로의 교정이 반영되지 않아 아직도 실제와 차이나는 영상을 표시하는 문제점이 있다.

또한, MS(마이크로소프트)에서는 깊이 정보를 반영하여 원근법에 의한 와핑 변환(perspective warping transformation)을 적용하는 방법을 사용하지만, 이 방 법은 동일 거리의 물체에 대하여 어느 정도 효과가 있으나, 불완전한 깊이 정보로 인하여 거리가 달라지면 에러가 발생한다는 문제점이 있음을 결과로부터 추정할 수 있다.

이외에도, 파노라마 영상을 제공하기 위하여 도 1과 같이 삼각대에서 회전하는 카메라로부터 찍은 이미지들을 모아 붙여, 도 4와 같이 하나의 광학 중심 O에서 예상되는 가상의 3D 실린더 형태의 영상으로 투영시키는 방법을 사용한다. 이때 실린더 형태로 완성된 파노라마 영상이 사용자의 위치 변동에 따라서 제공될 수 있다.

그러나, 실린더로 투영을 위한 일반적인 와핑 기술에서는, 정확하게 실린더 위로 투영되지 못하고, 도 5와 같이 이미지 평면 위의 점들 A~F가 a~f로 투영되는 것과 같이, 가장 자리 부분이 실린더 안쪽으로 축소 변환됨에 따라 사진의 물체가 작고 뚱뚱하게 나타나도록 만드는 문제점이 있다.

따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 파노라마 영상이 정상적으로 제공되도록 하기 위하여 틸팅 및 와핑과 관련된 기하 정보를 교정하는 방법을 제공하는 데 있다. 특히, 본 발명의 틸팅 방법은 파노라마뿐 아니라 두 장 이상의 영상을 스티칭하여 확장하기 위한 모든 경우에 적용될 수 있다.

본 발명의 다른 목적은, 상기 틸팅 및 와핑과 관련된 기하 정보를 교정하는 방법을 실현하는 장치를 제공하는 데 있다.

상기와 같은 본 발명의 목적을 달성하기 위한 본 발명에 따른 파노라마 영상을 제공하는 방법은, 카메라로 삼각대를 이용하여 순서대로 촬영한 복수의 픽셀들에 대한 소스 이미지 및 각 픽셀의 위치 벡터를 수신하는 단계; 상기 소스 이미지의 평면 방향으로 기울어진 각도, 깊이 방향으로 휜 각도, 상기 카메라의 파라메터 매트릭스, 및 위치 교정 매트릭스를 기반으로 상기 소스 이미지의 위치 벡터를 틸팅시키기 위한 변환 매트릭스를 생성하는 단계; 및 상기 변환 매트릭스로부터 상기 소스 이미지의 위치 벡터에 대한 틸팅 벡터를 얻어 상기 소스 이미지를 상기 틸팅 벡터로 위치시켜서 기하학적으로 틸팅시키는 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 파노라마 영상을 제공하는 방법은 상기 소스 이미지 또는 상기 틸팅된 이미지에 대한 사이즈와 일정 FOV(field of view), 및 상기 카메라의 파라메터 매트릭스를 기반으로 와핑 벡터를 얻어 상기 소스 이미지 또는 상기 틸팅된 이미지를 상기 와핑 벡터로 위치시켜서 기하학적으로 와핑시키는 단계를 더 포함하는 것을 특징으로 한다.

상기 틸팅을 위한 변환 매트릭스는, 상기 평면 방향으로 기울어진 각도와 상기 깊이 방향으로 휜 각도를 기반으로 정의된 매트릭스, 상기 카메라의 파라메터 매트릭스의 역 매트릭스, 및 상기 교정 매트릭스에 따라 정해지는 것을 특징으로 한다.

또한, 상기 와핑에 있어서, 상기 카메라 파라메터 매트릭스를 이용하여 상기 와핑을 위한 입력 이미지를 지평면의 원점으로부터 거리가 1인 망막상 평면 위의 영상으로 변환하고, 상기 이미지 사이즈와 이미지 헤더정보 내의 FOV의 각도로부터 와핑된 이미지 폭을 예측하여, 상기 변환된 3D 벡터와 상기 와핑된 이미지 폭을 기반으로 정의된 값에 따라 상기 와핑 벡터를 생성하는 것을 특징으로 한다. 여기서 중요한 것은 망막상 평면 위 영상을 원기둥으로 와핑할 때 중심 각도와 주변 각도에 와핑되는 픽셀의 넓이가 달라질 수 있다.

상기와 같은 본 발명의 다른 목적을 달성하기 위한 본 발명의 일면에 따른 파노라마 영상을 위한 틸팅 장치는, 평면 방향으로 기울어진 각도와 깊이 방향으로 휜 각도를 입력받아 복수의 원소값들을 계산하여 일정 매트릭스를 생성하는 기본 변환 매트릭스 생성부; 이미지를 촬영하는 카메라의 파라메터 매트릭스를 입력받아 그 역 매트릭스를 생성하는 역매트릭스 생성부; 상기 기본 변환 매트릭스 생성부에서 생성된 매트릭스와 상기 역매트릭스 생성부에서 생성된 매트릭스를 곱하는 제1 곱셈기; 상기 카메라의 파라메터 매트릭스와 상기 제1 곱셈기에서 출력되는 매트릭스를 곱하는 제2 곱셈기; 위치 교정 매트릭스와 상기 제2 곱셈기에서 출력되는 매트릭스를 곱하여 최종 변환 매트릭스를 생성하는 제3 곱셈기; 및 상기 카메라로 촬영한 소스 이미지의 위치 벡터와 상기 제3 곱셈기에서 출력되는 최종 변환 매트릭스를 곱하여 상기 소스 이미지의 틸팅 벡터를 생성하는 제4 곱셈기를 포함하고, 상기 틸팅 벡터에 따라 상기 소스 이미지를 기하학적으로 틸팅시키는 것을 특징으로 한다.

상기와 같은 본 발명의 다른 목적을 달성하기 위한 본 발명의 일면에 따른 파노라마 영상을 위한 와핑 장치는, 소스 이미지의 일정 폭(width)과 FOV(Field of View)로부터 와핑된 이미지의 폭을 계산하는 와핑 폭 설정부; 상기 소스 이미지에 대한 입력 사이즈로부터 일정 행에 대한 가장 좌측의 픽셀의 각도와 가장 우측 픽셀의 각도를 구하는 각 획득부; 이미지를 촬영하는 카메라의 파라메터 매트릭스를 입력받아 그 역 매트릭스를 생성하는 역매트릭스 생성부; 상기 역매트릭스 생성부에서 생성된 매트릭스와 상기 카메라로 촬영한 소스 이미지의 위치 벡터를 기반으로 한 벡터를 곱하는 곱셈기; 상기 곱셈기 출력의 한 원소 값으로부터 소스 픽셀의 각도을 계산하는 탄젠트 계산부; 상기 와핑 폭 설정부에서 계산된 상기 와핑된 이미지의 폭과 상기 각 계산부에서 계산된 각도들을 이용하여 상기 탄젠트 계산부에서 계산된 상기 소스 픽셀의 각도로부터 상기 소스 이미지에 대한 와핑 벡터의 한 좌표값을 결정하는 제1 좌표 결정부; 및 상기 곱셈기 출력의 원소값들을 기반으로 상기 와핑 벡터의 다른 좌표값을 결정하는 제2 좌표 결정부 를 포함하고, 상기 와핑 벡터에 따라 상기 소스 이미지를 기하학적으로 와핑시키는 것을 특징으로 한다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

네비게이션 시스템, 이동 통신 단말기, PDA 등을 통하여 위치 기반 서비스를 제공하는 데 있어서 좀 더 현실에 가까운 지리적 영상 정보를 제공하기 위하여, 본 발명에서는 서비스 제공 지역에 대한 실사(real scene)를 기반으로 한다. 예를 들어, 도 1과 같이 교차로의 주위에 설치되는 복수의 카메라에서 삼각대(tripod)를 이용하여 주위 경관이 촬영될 수 있다(S610).

본 발명에서는, 먼저, 카메라로부터 얻어진 이미지의 왜곡(distortion)/ 틸팅(tilting)을 교정한다(S620). 여기서, 카메라로부터 얻어진 이미지는 디지털 카메라 등에서 실사된 VGA 등 일정 규격의 해상도를 가지는 이미지를 말한다. 또한, 아날로그 카메라로부터 얻은 사진이 준비된 경우에 소정 장치에 의하여 디지털 사진으로 변환시켜 사용할 수도 있다.

또한, 여기서 이미지의 처리는 흑백 디지털 데이터의 처리일 수도 있으나, 바람직하게는 R, G, B 삼색의 디지털 이미지 데이터를 처리한다고 가정된다.

상기 카메라로부터 얻어진 이미지는, 도 9의 910과 같이, 같은 폭의 물체가 위/아래에서 다른 폭으로 보이는 것과 같이 깊이 방향으로 휘어 보일 수 있고, 또한, 바로 서 있는 물체가 좌/우로 올라가 보이듯이 평면 방향으로 기울어져 보일 수 있다.

본 발명에서는 이미지 왜곡/틸딩의 교정 처리를 위하여, 틸팅을 위한 변환 매트릭스(HF)를 이용한다. 즉, 상기 틸팅을 위한 변환 매트릭스를 이용하여 입력된 소스 이미지의 위치 벡터에 대한 틸팅 벡터를 얻을 수 있고, 이때 상기 소스 이미지의 각 픽셀 데이터를 상기 틸팅 벡터로 위치시켜서 기하학적으로 틸팅시키게 된다.

도 7은 본 발명의 일실시예에 따른 틸팅 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 소스 이미지(710)을 틸팅된 이미지(720)로 교정하여 이미지가 바르게 보일 수 있도록 하기 위한 본 발명에서는, 상기 소스 이미지(710)가 평면 방향으로 기울어진 각도(b)와 깊이 방향으로 휜 각도(a)를 일정 값들로 가정하여 상기 틸팅을 위한 변환 매트릭스(HF)를 예측한다. 상기 틸팅을 위한 변환 매트릭스(HF)에 의하여 소스 이미지(710)의 각 픽셀의 위치(D2)가 틸팅된 위치(D1)로 옮겨진다. 도 7에서, 선분 PA-PB는 지평면과 평행한 선과 같이, 일정 기준되는 선을 나타낸다.

이를 위하여, 카메라로 촬영한 복수의 픽셀들을 가지는 소스 이미지(710)가 입력되면, [수학식 1]과 같이, 상기 소스 이미지의 평면 방향으로 기울어진 각도(b), 깊이 방향으로 휜 각도(a), 상기 카메라의 파라메터 매트릭스(K) 및 위치 교정 매트릭스(V)를 기반으로 하여 상기 틸팅을 위한 변환 매트릭스(HF)를 생성한다. [수학식 1]에서 상기 V, K, H(a,b)는 모두 3D 정방형 매트릭스이다.

[수학식 1]

HF = VKH(a,b)Inv(K)

[수학식 1]에 따른 변환 매트릭스(HF)은 소스 이미지(710) 상의 한점 P(x,y)에 대응되는 카메라 망막상의 점 Retinal P = Inv(K)*P를 매트릭스 H(a,b)에 의하여 변환시키는 함수로서, 상기 카메라의 파라메터 매트릭스(K) 및 위치 교정 매트릭스(V)에 의하여 좀 더 정확하게 틸팅이 캘리브레이션 됨을 나타낸다.

이와 같이 상기 틸팅을 위한 변환 매트릭스(HF)의 생성과 그를 이용한 소스 이미지(710)의 각 픽셀의 위치 (x,y)(예를 들어, D2)를 틸팅 벡터(위치) (x', y')( 예를 들어, D1)로 변환시키기 위한 본 발명의 일실시예에 따른 틸팅 장치(800)가 도 8에 도시되어 있다.

도 8을 참조하면, 상기 틸팅 장치(800)는 기본 변환 매트릭스 생성부(810), 역매트릭스 생성부(820), 제1 곱셈기(830), 제2 곱셈기(840), 제3 곱셈기(850), 및 제4 곱셈기(860)를 포함한다.

상기 틸팅을 위한 변환 매트릭스(HF)의 생성을 위하여, 먼저, 상기 기본 변환 매트릭스 생성부(810)는 상기 평면 방향으로 기울어진 각도(b)와 상기 깊이 방향으로 휜 각도(a)를 입력받아 [수학식 2]과 같이 복수의 원소값들을 3D 정방형의 기본 매트릭스 H(a,b)를 계산한다.

[수학식 2]

상기 역매트릭스 생성부(820)는 [수학식 3]과 같은 상기 카메라의 파라메터 매트릭스(K)를 입력받아 그 역 매트릭스 Inv(K)를 계산한다. [수학식 3]에서, f는 카메라 촛점 거리이고, (cx,cy)는 보통 소스 이미지의 중심을 가리키나 다른 주요 포인트(principal point)일 수도 있다.

[수학식 3]

상기 제1 곱셈기(830)는 상기 기본 매트릭스 H(a,b)와 상기 역 매트릭스 Inv(K)를 곱한다. 상기 제2 곱셈기(840)는 상기 제1 곱셈기(830)의 출력 매트릭스와 상기 카메라의 파라메터 매트릭스(K)를 곱한다. 이에 따라, 상기 제3 곱셈기(850)가 상기 제2 곱셈기(840)의 출력 매트릭스와 [수학식 4]와 같은 상기 교정 매트릭스(V)를 곱함으로써, 상기 틸팅을 위한 변환 매트릭스(HF)가 얻어진다. [수학식 4]에서 (tx,ty)는 카메라 위치가 서로 다름을 교정하기 위한 일정 위치 값들이다.

[수학식 4]

이와 같이 최종적으로 얻어진 상기 틸팅을 위한 변환 매트릭스(HF)와 소스 이미지(710)의 각 픽셀의 위치 (x,y)를 상기 제4 곱셈기(860)에서 곱함으로써, 틸팅 벡터(x', y')가 얻어질 수 있다.

이와 같은 상기 최종 변환 매트릭스(HF)에 따라 소스 이미지(710)의 위치를 틸팅 벡터 위치로 변환시킴으로써, 도 9의 920과 같이 사진 속의 빌딩 들이 기울어지거나 휨 없이 바르게 보이도록 할 수 있다.

또한, 본 발명에서는 위와 같이 틸팅된 이미지를 와핑(warping)하는 종래와 다른 방법을 제안한다(도 6의 S630). 아래에서 기술될 와핑 단계의 소스 이미지는 S620 단계에서 틸팅된 이미지인 것으로 가정될 수 있다. 그러나, 이에 한정 되지 않으며, S620 단계가 생략되는 경우에 본래의 소스 이미지에 대하여 와핑될 수 있다.

도 1과 같이 삼각대에서 회전하는 카메라로부터 찍은 이미지들을 모아 붙여서, 하나의 광학 중심 O에서 예상되는 가상의 3D 실린더 형태의 영상으로 투영시킨 파노라마 영상을 제공하기 위한, 본 발명에 따른 와핑 기술에서는, 도 12의 1210과 같이 이미지의 가장 자리 부분이 실린더 안쪽으로 축소 변환됨에 따라 사진의 물체가 작고 뚱뚱하게 나타나는 문제를 해결한다.

도 10은 와핑을 위하여3차원 영상을 실린더로 투영시키는 방법을 설명하기 위한 도면이다. 도 10을 참조하면, 망막상 평면 이미지(1010)를 실린더(1020) 상의 와핑된 이미지로 교정하여 이미지가 정상적으로 보일 수 있도록 하기 위한 본 발명에서는, 실린더의 원점에서 잘라 지평면(Ground Plane: GP)의 원점(O)에서 본 것으로 가정된 망막상 평면(retinal plane)(z=1)(1010) 위의3D 벡터 M(X,Y,W)는 소스 이미지의3차원 평면의 점들 (X,Y,Z)을 망막상 평면으로 계산한 벡터이다. 또한, 소스 이미지 사이즈(폭/높이)로부터 와핑된 이미지 폭(Waped Image Width: WIW)의 예측은 영상에 대한 소정 헤더 정보를 이용한다. 이에 따라, 상기 망막상 평면(retinal image plane)(1010) 위로 옮겨진 3D 벡터와 상기 와핑된 이미지 폭을 기반으로 정의된 값에 따라, 망막상 평면 이미지(1010)의 위치 벡터 M(x, y)가 상기 원점(O)으로부터 거리가 1(OH=1)인 실린더(1020) 상의 와핑된 위치 P(x', y')로 옮겨진다.

특히, 본 발명에서는 소스 이미지 사이즈(폭/높이)를 기반으로 상기 와핑된 이미지 폭(WIW)을 예측하여 수평 방향으로 이미지를 축소 시킴으로써, 소스 이미지(1010)를 실린더(1030) 표면으로 와핑 시킬 때 나타날 수 있는 작고 뚱뚱하게 보이는 이미지를 정상적으로 보이게 한다. 일반적인 와핑 방법에서는 이미지의 중심 부분과 가장 자리 부분 사이에서 수평 방향으로 일정 각도 당 매핑되는 픽셀의 수가 다름으로 인하여 작고 뚱뚱하게 보이는 이미지를 나타내지만, 본 발명에서는 이를 해결하고자 한다.

이를 위하여, 카메라로 촬영한 복수의 픽셀들을 가지는 소스 이미지(1010)가 입력되면, 그 사이즈(폭/높이), 중심 부근의 두 픽셀 위치들, 및 카메라의 파라메터 매트릭스(K)를 기반으로 와핑 벡터 (x',y')를 얻어 상기 소스 이미지를 상기 와핑 벡터로 위치시켜서 기하학적으로 와핑시키게 된다.

상기 카메라 파라메터 매트릭스(K)를 이용하여 상기 소스 이미지의 2D 위치 벡터(x,y)를 망막상 평면(1020)위의3D 벡터 (X,Y,W)로 변환하는 과정, 상기 이미지 사이즈로부터 와핑된 이미지 폭(WIW)을 예측하는 과정, 및 상기 변환된 3D 벡터 (X,Y,W)와 상기 와핑된 이미지 폭(WIW)을 기반으로 정의된 θ값 및 Mp~C 거리 값 등에 따라 상기 와핑 벡터 (x',y')를 얻는 과정은, 도 11에 도시된 본 발명의 일실시예에 따른 와핑 장치(1100)에 의하여 실현될 수 있다.

도 11을 참조하면, 상기 와핑 장치(1100)는 와핑 폭 설정부(1170), 각 계산부(1110), 역매트릭스 생성부(1120), 곱셈기(1130), 탄젠트 계산부(1150), x'좌표 결정부(1160), 및 y'좌표 결정부(1140)를 포함한다.

상기 와핑 폭 설정부(1170)는 소스 이미지의 FOV(field of View)와 이미지의 넓이로부터 와핑된 이미지의 폭(WIW)을 계산한다. 즉, 도 11의 해상도 계산부(1171)는 소스 이미지의 FOV(field of View)와 이미지의 넓이로부터 반지름(R)을 계산한다. 상기 해상도 계산부(1171)에서 반지름 R의 계산은 소스 이미지의 넓이의 반 값(width/2)을 FOV/2의 탄젠트 값으로 나누는 것에 의하여 이루어질 수 있다. 도 11의 폭 결정부(1172)는 카메라의 시야각(Field Of View: FOV)을 상기 반지름(R)에 FOV를 곱해서 라디안(radian) 값으로 변환한 값을 상기 와핑된 이미지의 폭(WIW)으로서 결정할 수 있다.

상기 각 획득부(1110)는 상기 소스 이미지의 입력 사이즈(폭/높이)로부터 상기 소스 이미지의 중심 행에서의 가장 좌측의 픽셀의 각도(θmin)와 가장 우측 픽셀의 각도(θmax)를 구한다. 여기서 계산되는 각도들은 지평면(GP)의 원점(O)에서 본 각도이다.

상기 역매트릭스 생성부(1120)는 [수학식 3]과 같은 상기 카메라의 파라메터 매트릭스(K)를 입력받아 그 역 매트릭스 Inv(K)를 생성한다.

상기 곱셈기(1130)는 상기 역매트릭스 생성부(1120)에서 생성된 역 매트릭스 Inv(K)와 상기 소스 이미지의 위치 벡터를 기반으로 한 벡터 (x,y,1)를 곱한다. 이에 따라 [수학식 5]와 같이, 상기 소스 이미지에 평행한 망막상 평면(1020) 위의3D 벡터 (X,Y,W)가 얻어진다.

[수학식 5]

상기 탄젠트 계산부(1150)는 상기 곱셈기(1130) 출력의 한 원소 값 X으로부터 소스 픽셀 x의 각도을 계산한다. 이에 따라, 상기 x'좌표 결정부(1160)는, [수학식 6]과 같이, 상기 와핑 폭 설정부(1170)에서 계산된 상기 와핑된 이미지의 폭(WIW)과 상기 각 계산부(1110)에서 계산된 각도들(θmin,θmax)을 이용하여 상기 탄젠트 계산부(1150)에서 계산된 상기 소스 픽셀 x의 각도(θ)로부터 f(θ)를 계산하여 상기 소스 이미지에 대한 와핑 벡터의 한 좌표값 x'을 결정한다. 이와 같이 하여 이미지의 중심 부분과 가장 자리 부분 사이에서 수평 방향으로 일정 각도 당 매핑되는 픽셀의 수가 일정하도록 보정될 수 있다.

[수학식 6]

상기 y'좌표 결정부(1140)는 [수학식 6]과 같이 상기 곱셈기(1130) 출력의 원소값들을 기반으로 상기 와핑 벡터의 다른 좌표값 y'을 결정한다.

이와 같이 얻어지는 상기 와핑 벡터 (x', y')로 소스 이미지(1010)의 각 픽셀의 위치 (x,y)가 전환되면서, 도 12의 1220에서 볼 수 있듯이, 사진 속의 인물이나 빌딩 등이 뚱뚱하게 보이지 않고 정상적으로 보이게 할 수 있다.

이하, 본 발명의 중심 사항은 아니지만, 본래의 소스 이미지 또는 위에서 기술한 바와 같은 기법으로 틸팅되거나 와핑된 이미지는 후속프로세서에서 더 처리될 수 있다.

도 13은 본 발명의 일실시예에 따라 후속적으로 실시될 수 있는 이미지 스티칭(stitching)을 설명하기 위한 도면이다. 예를 들어, 파노라마 이미지를 제공하기 위하여 여러 장소 또는 위치의 카메라로부터 실사된 이미지들은 위에서 기술한 바와 같이 가상의 실린더 상으로 모아 붙여져 정합(registration)된다(도 6의 S640). 이때, 도 13의 1310과 같이, 두 이미지 씩 그 폭의 1/4~3/4(25~75%) 사이에서 겹쳐보고, 그 높이의 0~1/8(0~12.5%) 사이에서 겹쳐보아, 그 데이터들의 SSD(Sum of Square Difference) 값으로부터 그 값이 최소되는 위치를 찾는 방식을 사용할 수 있다. 즉, 두 이미지 데이터 사이의 차이가 최소되는 위치에서, 도 13의 1320과 같이 겹쳐 놓으면, 파노라마 이미지가 완성될 수 있다.

도 14는 본 발명의 일실시예에 따라 후속적으로 실시될 수 있는 색 블렌딩(color blending)을 설명하기 위한 도면이다. 도 13과 같은 이미지 스티칭 시에 두 이미지에서 서로 겹쳐지는(overlapped) 같은 이미지 부분이라 하더라도 사진을 획득한 환경의 차이로 컬러 정보가 급격하게 변할 수 있다. 이때 겹친 부분의 색 블 렌딩을 통하여 두 이미지가 원활히 이어질 수 있도록 한다(도 6의 S650). 예를 들어, 도 14에서, A에서 C까지 폭을 가지는 제1 이미지(1410)와 B에서 D까지 폭을 가지는 제2 이미지(1420)를 서로 잇는 과정에서, 두 이미지의 겹치는 부분 B~C 에 대하여, 양 쪽 이미지(데이터)에 리니어한(linear) 가중치 w₁(x), w₂(x)를 주어 처리한다.

도 15는 본 발명의 일실시예에 따른 쉬어 교정을 설명하기 위한 도면이다. 위와 같이 실린더 상으로 옮겨진 이미지들의 스티칭 또는 색 블렌딩 후에, 해당 파노라마 이미지는, 도 15의 1510과 같이, 기울어져 있을 수 있고, 위아래에 지저분한 노이즈 이미지가 나타날 수 있다. 이때, 실린더 형태로 말았을 때 시작점과 끝점이 서로 만나도록 1520과 같이 기울기를 맞추어 연결시키고, 1530과 같이 서로 만나는 부분에서 중복 이미지는 잘라 내고 노이즈 이미지를 버린다(도 6의 S660).

이와 같이 파노라마 이미지 제공을 위하여, 입력 소스 이미지에 대한 틸팅 교정, 와핑, 이미지 스티칭, 색 블렌딩, 및 쉬어 교정 등이 처리되면, 처리된 이미지 데이터는 네비게이션 시스템, 이동 통신 단말기, PDA 등의 소정 메모리에 데이터베이스화 될 수 있고, 위치 기반 서비스 제공시 소정 렌더링을 통하여 LCD(Liquid Crystal Display) 등에 깨끗한 파노라마 이미지를 제공할 수 있게 된다(도 6의 670).

위에서 기술한 바와 같이, 본 발명의 일실시예에 따른 파노라마 영상을 제공하는 방법에서는, 평면 방향으로 기울어진 각도(b)와 깊이 방향으로 휜 각도(a)를 기반으로 정의된 매트릭스 H(a,b)와 카메라 파라메터 벡터K에 따라 정해지는 매트릭스 HF를 소스 이미지 벡터 (x,y)에 적용하여 틸팅 벡터 (x',y')를 생성한다. 또한, 상기 카메라 파라메터 벡터K를 이용하여 소스 이미지 2D 벡터 (x,y)를 지평면의 원점으로부터 거리가 1인 망막상 평면위의3D 벡터 (X,Y,W)로 변환하고, 소스 이미지 폭(Width)와 FOV로부터 와핑된 이미지 폭(WIW)을 예측하여, 상기 변환된 벡터 (X,Y,W)에 상기 와핑된 이미지 폭(WIW)을 기반으로 정의된 값에 따라 와핑 벡터 (x',y')를 생성한다.

본 명세서에서 개시된 방법 및 장치에서 사용되는 기능은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

상술한 바와 같이 본 발명에 따른 파노라마 영상을 제공하는 방법 및 장치에서는, 교차로 등에서 회전하는 카메라로부터의 실사 기반 영상 데이터에 대하여 특히 틸팅 및 와핑과 관련된 기하 정보를 정밀하게 교정함으로써, 좀 더 자연스럽고 현실에 가까운 영상을 제공할 수 있다. 이러한 틸팅 방법은 파노라마 영상뿐 아니라 두 장 이상의 영상을 스티칭하는 모든 경우에 적용 가능하다. 이에 따라, 네비게이션 시스템, 이동 통신 단말기, PDA 등의 영상 데이터 처리에 적용하여 좀 더 정확하고 실감나는 영상과 함께 위치 기반 서비스를 제공할 수 있는 효과가 있다.

Claims

카메라로 촬영한 복수의 픽셀들에 대한 소스 이미지 및 각 픽셀의 위치 벡터를 수신하는 단계;

상기 소스 이미지의 평면 방향으로 기울어진 각도, 깊이 방향으로 휜 각도, 상기 카메라의 파라메터 매트릭스, 및 위치 교정 매트릭스를 기반으로 상기 소스 이미지의 위치 벡터를 틸팅시키기 위한 변환 매트릭스를 생성하는 단계; 및

상기 변환 매트릭스로부터 상기 소스 이미지의 위치 벡터에 대한 틸팅 벡터를 얻어 상기 소스 이미지를 상기 틸팅 벡터로 위치시켜서 기하학적으로 틸팅시키는 단계

를 포함하는 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제1항에 있어서, 상기 변환 매트릭스는,

상기 평면 방향으로 기울어진 각도와 상기 깊이 방향으로 휜 각도를 기반으로 정의된 매트릭스, 상기 카메라의 파라메터 매트릭스의 역 매트릭스, 및 상기 교정 매트릭스에 따라 정해지는 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제1항에 있어서, 상기 변환 매트릭스 생성 단계는,

상기 평면 방향으로 기울어진 각도와 상기 깊이 방향으로 휜 각도로부터 복수의 원소값들을 계산하여 기본 매트릭스를 생성하는 단계;

상기 카메라의 파라메터 매트릭스로부터 그 역 매트릭스를 생성하는 단계;

상기 기본 매트릭스와 상기 카메라의 파라메터 매트릭스의 역 매트릭스를 제1 곱셈하는 단계;

상기 카메라의 파라메터 매트릭스와 상기 제1 곱셈된 결과를 제2 곱셈하는 단계; 및

상기 교정 매트릭스와 상기 제2 곱셈된 결과를 제3 곱셈하여 최종 변환 매트릭스를 생성하는 단계

를 포함하는 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제1항에 있어서, 상기 틸팅을 위한 변환 매트릭스는,

수학식

HF = VKH(a,b)Inv(K)

(여기서, HF는 변환 매트릭스, K는 카메라의 파라메터 매트릭스, V는 위치 교정 매트릭스, Inv(K)는 K의 역 매트릭스, H(a,b)는 변환 기본 매트릭스, a는 깊이 방향으로 휜 각도, b는 평면 방향으로 기울어진 각도,)

에 의하여 결정되는 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제4항에 있어서, 상기 V, K, H(a,b)는 모두 3D 정방형 매트릭스인 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제4항에 있어서,

상기 수학식에

(여기서, f는 카메라 촛점 거리, (cx,cy)는 보통 이미지의 중심을 가리키나 다른 주요 포인트일 수 있음, (tx,ty)는 카메라 위치별 교정을 위한 일정 값들)

을 적용하는 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제1항에 있어서,

상기 소스 이미지 또는 상기 틸팅된 이미지에 대한 사이즈와 이미지의 FOV, 및 상기 카메라의 파라메터 매트릭스를 기반으로 와핑 벡터를 얻는 단계; 및

상기 소스 이미지 또는 상기 틸팅된 이미지를 상기 와핑 벡터로 위치시켜서 기하학적으로 와핑시키는 단계

를 더 포함하는 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제7항에 있어서,

상기 카메라 파라메터 매트릭스를 이용하여 상기 와핑을 위한 입력 이미지의 2D 위치 벡터를 지평면의 원점으로부터 거리가 1인 망막상 평면위의3D 벡터로 변환하고, 상기 이미지 사이즈로부터 와핑된 이미지 폭을 예측하여, 상기 변환된 3D 벡터와 상기 와핑된 이미지 폭을 기반으로 정의된 값에 따라 상기 와핑 벡터를 생성하는 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제7항에 있어서, 상기 와핑 벡터의 계산은,

상기 와핑을 위한 입력 이미지의 폭 및 FOV로부터 와핑된 이미지의 폭을 계산하는 단계;

상기 이미지 사이즈로부터 일정 행에 대한 가장 좌측의 픽셀의 각도와 가장 우측 픽셀의 각도를 구하는 단계;

상기 카메라의 파라메터 매트릭스로부터 그 역 매트릭스를 계산하는 단계;

상기 카메라의 파라메터 매트릭스의 역 매트릭스와 상기 와핑을 위한 입력 이미지의 위치 벡터를 기반으로 한 벡터를 곱하는 단계;

상기 곱셈 결과의 한 원소 값으로부터 소스 픽셀의 각도를 계산하는 단계;

상기 와핑된 이미지의 폭과 상기 일정 행에 대한 가장 좌측의 픽셀의 각도와 가장 우측 픽셀의 각도를 이용하여 상기 소스 픽셀의 각도로부터 상기 와핑 벡터의 한 좌표값을 결정하는 단계; 및

상기 곱셈 결과의 원소값들을 기반으로 상기 와핑 벡터의 다른 좌표값을 결 정하는 단계

를 포함하는 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제9항에 있어서, 상기 와핑된 이미지의 폭 계산을 위한 상기 두 픽셀 위치들은 상기 입력 이미지의 중심 픽셀과 상기 중심 픽셀에 수평으로 이웃하는 픽셀인 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제9항에 있어서, 상기 가장 좌측의 픽셀의 각도와 상기 가장 우측 픽셀의 각도를 구하기 위한 상기 일정 행은 상기 입력 이미지의 중심 행인 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제7항에 있어서, 상기 와핑 벡터는,

수학식

(여기서, (x,y)는 와핑을 위한 입력 이미지의 2D 위치 벡터, (X,Y,W)는 지평면의 원점으로부터 거리가 1인 망막상 평면위의3D 벡터, WarpedImageWidth는 와핑된 이미지 폭, (x',y')는 와핑 벡터)

에 의하여 결정되는 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제7항에 있어서,

상기 틸팅된 이미지 또는 상기 와핑된 이미지에 대하여 스티칭, 색 블렌딩, 또는 쉬어 교정 중 어느 하나 이상을 더 처리한 후 렌더링에 이용하는 것을 특징으로 하는 파노라마 영상을 제공하는 방법.
제 1항 내지 제 13항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.
평면 방향으로 기울어진 각도와 깊이 방향으로 휜 각도를 입력받아 복수의 원소값들을 계산하여 일정 매트릭스를 생성하는 기본 변환 매트릭스 생성부;

이미지를 촬영하는 카메라의 파라메터 매트릭스를 입력받아 그 역 매트릭스를 생성하는 역매트릭스 생성부;

상기 기본 변환 매트릭스 생성부에서 생성된 매트릭스와 상기 역매트릭스 생성부에서 생성된 매트릭스를 곱하는 제1 곱셈기;

상기 카메라의 파라메터 매트릭스와 상기 제1 곱셈기에서 출력되는 매트릭스 를 곱하는 제2 곱셈기;

위치 교정 매트릭스와 상기 제2 곱셈기에서 출력되는 매트릭스를 곱하여 최종 변환 매트릭스를 생성하는 제3 곱셈기; 및

상기 카메라로 촬영한 소스 이미지의 위치 벡터와 상기 제3 곱셈기에서 출력되는 최종 변환 매트릭스를 곱하여 상기 소스 이미지의 틸팅 벡터를 생성하는 제4 곱셈기

를 포함하고,

상기 틸팅 벡터에 따라 상기 소스 이미지를 기하학적으로 틸팅시키는 것을 특징으로 하는 파노라마 영상을 위한 틸팅 장치.
소스 이미지의 일정 폭 및 FOV로부터 와핑된 이미지의 폭을 계산하는 와핑 폭 설정부;

상기 소스 이미지에 대한 입력 사이즈로부터 일정 행에 대한 가장 좌측의 픽셀의 각도와 가장 우측 픽셀의 각도를 구하는 각 획득부;

이미지를 촬영하는 카메라의 파라메터 매트릭스를 입력받아 그 역 매트릭스를 생성하는 역매트릭스 생성부;

상기 역매트릭스 생성부에서 생성된 매트릭스와 상기 카메라로 촬영한 소스 이미지의 위치 벡터를 기반으로 한 벡터를 곱하는 곱셈기;

상기 곱셈기 출력의 한 원소 값으로부터 소스 픽셀의 각도을 계산하는 탄젠트 계산부;

상기 와핑 폭 설정부에서 계산된 상기 와핑된 이미지의 폭과 상기 각 계산부에서 계산된 각도들을 이용하여 상기 탄젠트 계산부에서 계산된 상기 소스 픽셀의 각도로부터 상기 소스 이미지에 대한 와핑 벡터의 한 좌표값을 결정하는 제1 좌표 결정부; 및

상기 곱셈기 출력의 원소값들을 기반으로 상기 와핑 벡터의 다른 좌표값을 결정하는 제2 좌표 결정부

를 포함하고,

상기 와핑 벡터에 따라 상기 소스 이미지를 기하학적으로 와핑시키는 것을 특징으로 하는 파노라마 영상을 위한 와핑 장치.