KR20210152950A

KR20210152950A - 디지털 이미지 정렬

Info

Publication number: KR20210152950A
Application number: KR1020210072476A
Authority: KR
Inventors: 에드팜 빅터; 위안 송; 포버그 요한; 야코벨스 빅터스
Original assignee: 엑시스 에이비
Priority date: 2020-06-09
Filing date: 2021-06-04
Publication date: 2021-12-16
Also published as: KR102414362B1; EP3923241B1; CN113781369B; JP2022003769A; TW202147253A; EP3923241A1; US20210383501A1; TWI800835B; JP7166390B2; CN113781369A; US11610282B2

Abstract

본 발명은 디지털 카메라(10) 및 디지털 이미지(40a, 40b)를 정렬하는 방법(30)에 관한 것이다. 상기 방법은: 장면(20)의 제1 및 제2 영역(200a, 200b)을 나타내는 제1 및 제2 이미지(40a, 40b)를 포함하는 이미지를 수신하는 단계(S300), 상기 영역은 제1 방향(X)을 따라 중첩되고 변위됨; 변환을 이용하여 상기 이미지를 정렬하는 단계(S302); 이미지들 간의 오버랩(402)에 대한 디스패리티 값을 결정하는 단계(S304); 제2 방향(Y)을 따라 동일한 위치를 가지며 제1 임계값보다 낮은 변동성을 나타내고 제2 임계값보다 높은 평균을 나타내는 디스패리티 값을 갖는 제1 이미지에서 픽셀 블록을 식별함으로써(S308) 오정렬을 식별하는 단계(S306); 상기 제1 이미지에서 식별된 픽셀 블록 및 제2 이미지에서 일치하는 픽셀 블록에 대한 변환을 조절하는 단계(S310); 및 상기 조절된 변환을 이용하여 상기 이미지를 재정렬하는 단계(S312)를 포함한다.

Description

디지털 이미지 정렬{ALIGNING DIGITAL IMAGES}

본 발명은 디지털 이미지를 정렬하는 방법에 관한 것이다. 본 발명은 또한 디지털 이미지를 정렬하도록 구성된 디지털 카메라에 관한 것이다.

파노라마 이미지화(panoramic imaging)는 묘사된 장면의 확대된 시야(field of view)를 갖는 이미지를 생성하기 위한 잘 알려진 기술이다. 이러한 기술에서, 카메라로 캡처된 여러 이미지를 결합하여 하나의 파노라마 이미지로 스티치(stich)한다.

장면의 파노라마 이미지화에서 일반적인 문제는 시차(parallax)와 관련된다. 상기 장면은 일반적으로 서로 다른 위치 및/또는 방향에서 카메라에 의해 묘사되며, 이는 서로 다른 이미지에서 물체의 위치가 분명하게 전환(shift)하는 것으로 나타난다. 여러 이미지를 파노라마 이미지로 결합할 때의 접근법은 특정 거리, 예를 들어 상기 장면에서 관심 영역까지의 거리에서 시차를 최소화하는 것일 수 있다. 이는 상기 장면에서 이러한 영역에 대해 여러 이미지 간의 오정렬(misalignment)을 감소시키게 한다. 그러나, 장면은 일반적으로 3차원이므로, 이들은 시차가 최소화되지 않는 다른 거리에서 특징부(feature)를 포함할 수 있다. 이는 이러한 거리에 대해 여러 이미지 간의 오정렬로 나타날 수 있고, 이는 결과적으로 의심스러운 품질을 갖는 파노라마 이미지를 생성할 수 있다. 예를 들어, 이러한 기술의 목적인 단일 카메라 대신, 여러 대의 카메라를 사용하여 파노라마 이미지를 캡처하는 것이 사용자에게 명백할 수 있다. 이러한 효과는 파노라마 이미지를 생성하는 카메라에 더 가까운 물체에 대해 나타날 수 있다. 예를 들어, 카메라에 가까운 직선은 일반적으로 파노라마 이미지에서 오정렬되어 파노라마 이미지의 품질을 저하시킬 수 있다. 파노라마 이미지가 예를 들어 물체 감지, 이미지-콘텐츠 분석 또는 다른 자동 이미지 처리 알고리즘에 사용되는 경우 파노라마 이미지에서의 오정렬도 문제가 될 수 있다.

단일 또는 임의의 조합으로 기술 분야에서 상기 식별된 결함 및 단점 중 하나 이상을 완화, 경감 또는 제거하는 것이 목적이다.

제1 양태에 따르면, 디지털 이미지를 정렬하기 위한 방법이 제공된다. 상기 방법은: 장면의 제1 영역을 묘사하는 제1 디지털 이미지 및 상기 장면의 제2 영역을 묘사하는 제2 디지털 이미지를 포함하는 디지털 이미지를 수신하는 단계, 상기 제1 및 제2 영역은 중첩되고 제1 방향을 따라 변위됨; 변환(transformation)을 사용하여 상기 디지털 이미지를 정렬하는 단계, 여기서 상기 제1 및 제2 디지털 이미지는 중첩(overlap)됨; 상기 제1 디지털 이미지와 상기 제2 디지털 이미지 사이의 중첩에 대한 디스패리티 값(disparity value)을 결정하는 단계, 상기 중첩에 대한 각각의 디스패리티 값은 상기 제1 디지털 이미지에서의 픽셀 블록과 상기 제2 디지털 이미지에서의 일치하는 픽셀 블록 사이에서, 제1 방향에 수직인 제2 방향을 따른 상대 변위(relative displacement)를 나타냄; 상기 제2 방향을 따라 동일한 위치를 가지며 제1 미리 결정된 임계값보다 낮은 변동성(variability)을 나타내고 제2 미리 결정된 임계값보다 높은 평균(average)을 나타내는 디스패리티 값의 분포를 갖는 상기 제1 디지털 이미지에서의 픽셀 블록을 식별함으로써 상기 디지털 이미지 간의 오정렬을 식별하는 단계; 상기 제1 디지털 이미지에서의 식별된 픽셀 블록 및 상기 제2 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대한 변환을 조절하는 단계; 및 상기 식별된 오정렬을 보상하기 위해 상기 조절된 변환을 사용하여 상기 디지털 이미지를 재정렬하는 단계;를 포함한다.

일관되게 높은 평균 디스패리티를 나타내는 행 또는 열(상기 장면에서의 제1 영역 및 제2 영역 사이의 변위 방향에 따라 다름)이 오정렬될 수 있음이 발견되었다. 따라서, 상기 디지털 이미지 간의 오정렬은 디스패리티 값이 낮은 정도(상기 제1 미리 결정된 값에 대해)로 변하고 높은 평균값(상기 제2 미리 결정된 값에 대해)을 갖는 상기 제1 디지털 이미지에서의 픽셀 블록의 행/열로서 식별될 수 있다. 정확하게 정렬된 행/열은 상기 디지털 이미지의 일치하는 픽셀 블록이 상기 디지털 이미지 간의 중첩에서 실질적으로 동일한 위치(상기 제1 및 제2 방향을 따라)를 가질 수 있음을 나타내는 낮은 평균 디스패리티를 가질 수 있다. 또한, 큰 정도(예를 들어, 상기 제1 미리 결정된 값에 대해)로 변하는 높은 평균 디스패리티를 나타내는 행/열은 깊이가 변하는 상기 장면에서의 특징부(즉, 상기 카메라로부터의 다양한 거리)에 해당할 수 있고, 이러한 행/열은 따라서 정확하게 정렬될 수 있다. 이에 따라, 상기 디지털 이미지 간의 오정렬을 식별하고 이들을 보상함으로써, 실제 묘사된 장면과 더 일치하는 장면의 재생이 허용된다. 또한, 상기 디지털 이미지를 재정렬하는 단계는 상기 디지털 이미지의 향상된 이미지 처리(예를 들어, 물체 감지)를 허용할 수 있다.

"디스패리티 값"이라는 단어는 픽셀 블록과 이의 일치하는 픽셀 블록이 두개의 디지털 이미지 사이에서 전환되는 정도와 방향을 나타내는 값으로 이해되어야 한다.

"픽셀 블록"이라는 단어는 디지털 이미지의 하나 이상의 픽셀로 이해되어야 한다. 따라서, 픽셀 블록은 디지털 이미지의 단일 픽셀 또는 다중 픽셀(예를 들어, 매크로블록)일 수 있다. 상기 픽셀 블록은 디스패리티 값을 결정하는데 사용되는 알고리즘에 기초하여 결정될 수 있음을 이해할 것이다. 예를 들어, 디스패리티 값이 픽셀 레벨에서 결정되는 경우 픽셀 블록은 단일 픽셀일 수 있다.

상기 방법은 상기 재정렬된 디지털 이미지를 스티칭하여, 스티칭된 디지털 이미지를 형성하는 단계를 더 포함할 수 있다.

이에 따라 상기 실제 장면과 더 일치하는 장면을 묘사하는 스티칭된 디지털 이미지가 허용될 수 있다.

상기 제1 디지털 이미지에서의 식별된 픽셀 블록 및 상기 제2 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대한 변환은 픽셀 블록과 관련된 디스패리티 값에 기초하여 조절될 수 있다.

따라서, 변환 및 따라서 디지털 이미지의 국부적 조절이 허용될 수 있다. 이는 상기 디지털 이미지의 다른 부분(즉, 오정렬된 것으로 식별되지 않는 픽셀 블록)에 대한 조절된 변환의 영향을 감소시킬 수 있다. 따라서 재정렬된 디지털 이미지는 실제 묘사된 장면에 더 일치하는 장면의 향상된 표현(representation)을 제공할 수 있다.

상기 변환은 투영(projection) 거리에서 공통 투영 표면에 상기 디지털 이미지의 투영을 포함할 수 있고; 상기 변환을 조절하는 단계는 상기 제1 디지털 이미지에서의 식별된 픽셀 블록 및 상기 제2 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대한 투영 거리를 국부적으로 조절하여 상기 픽셀 블록에 대한 제2 방향을 따른 상대 변위를 감소시키는 단계를 포함할 수 있다.

따라서, 변환 및 따라서 상기 디지털 이미지의 국부적 조절이 허용될 수 있다. 이는 상기 디지털 이미지의 다른 부분(즉, 오정렬된 것으로 식별되지 않는 픽셀 블록)에 대한 상기 조절된 변환의 영향을 감소시킬 수 있다. 따라서 상기 재정렬된 디지털 이미지는 상기 실제 묘사된 장면에 더 일치하는 상기 장면의 향상된 표현을 제공할 수 있다.

상기 디지털 이미지를 수신하는 단계는 상기 디지털 이미지를 캡처하는 단계를 포함할 수 있으며, 상기 제1 및 제2 디지털 이미지는 동시에 캡처될 수 있다.

따라서, 상기 제1 및 제2 디지털 이미지 각각은 동일한 시점에서 상기 장면을 묘사한다. 따라서, 움직이는 물체(예를 들어, 자동차)는 상기 실제 장면 내의 동일한 위치에서 상기 제1 및 제2 디지털 이미지에서 묘사될 수 있다. 이는 차례로 상기 디지털 이미지 간의 개선된 정렬을 허용할 수 있다.

상기 디지털 이미지를 수신하는 단계는: 제1 이미지 센서를 사용하여 상기 제1 디지털 이미지를 캡처하는 단계; 및 제2 이미지 센서를 사용하여 상기 제2 디지털 이미지를 캡처하는 단계를 포함할 수 있다.

두개의 이미지 센서를 사용하여 상기 제1 및 제2 디지털 이미지를 캡처함으로써, 상기 장면의 더 큰 부분이 상기 디지털 이미지로 묘사될 수 있다.

상기 변환은 상기 제1 및 상기 제2 이미지 센서 사이의 상대적 거리 및/또는 상기 제1 및 상기 제2 이미지 센서의 상대적 배향(orientation)에 기초할 수 있다.

이에 따라, 상기 디지털 이미지를 정렬하기 위한 좋은 시작점이 제공될 수 있으며, 이에 따라 상기 디지털 이미지를 정렬할 때 필요한 계산 리소스의 레벨이 감소될 수 있다.

상기 변환은 호모그래피(homography)일 수 있다.

호모그래피는 상기 디지털 이미지의 우수한 정렬을 제공할 수 있으며, 이에 따라 상기 디지털 이미지를 정렬하는 것과 관련된 계산 리소스의 레벨이 감소될 수 있다. 호모그래피가 미리 결정될 수 있고, 이에 의해 상기 디지털 이미지를 정렬할 때 필요한 계산 리소스의 레벨이 더 감소될 수 있다는 것이 또한 인지될 수 있다.

상기 제1 방향은 수평 방향과 평행할 수 있고, 상기 제2 방향은 수직 방향과 평행할 수 있다. 따라서, 수평 방향(예를 들어, 상기 장면에서의 수평선)을 따라 연장된 특징부의 오정렬이 식별되고 후속적으로 보상될 수 있다.

상기 디지털 이미지는 상기 장면의 제3 영역을 묘사하는 제3 디지털 이미지를 더 포함할 수 있고, 상기 제1 및 제3 영역은 중첩될 수 있으며 상기 제1 방향을 따라 변위될 수 있고; 여기서, 상기 디지털 이미지를 정렬하는 단계 후에, 상기 제1 및 제3 디지털 이미지가 중첩될 수 있으며; 여기서 상기 디스패리티 값은 상기 제1 및 제3 디지털 이미지 간의 추가 중첩에 대해 추가로 결정될 수 있고, 상기 추가 중첩에 대한 각각의 디스패리티 값은 상기 제1 디지털 이미지에서의 픽셀 블록과 상기 제2 또는 제3 디지털 이미지에서의 일치하는 픽셀 블록 사이의 제2 방향을 따른 상대 변위를 나타낼 수 있으며; 및 상기 변환은 상기 제1 디지털 이미지에서의 상기 식별된 블록 및 상기 제3 이미지에서의 이들의 일치하는 픽셀 블록에 대해 추가로 조절될 수 있다. 상기 디지털 이미지를 수신하는 단계는 제3 이미지 센서를 사용하여 상기 제3 이미지를 캡처하는 단계를 포함할 수 있다.

상기 디지털 이미지 간의 오정렬을 식별할 때 하나 이상의 중첩을 사용함으로써, 오정렬을 잘못 식별할 위험을 줄일 수 있다. 예를 들어, 하나의 중첩에서 행/열에 대한 디스패리티 분포는 그 자체로 오정렬로 (잘못) 식별될 수 있는 평균 및 변동성을 나타낼 수 있으며, 추가 중첩을 포함할 때, 행/열에 대한 디스패리티 분포(중첩 및 추가 중첩 모두에 대한 디스패리티 값을 현재 포함)는 오정렬이 아닌 것으로 (올바르게) 식별될 수 있는 평균 및 변동성을 나타낸다. 다르게 말하면, 오정렬을 식별하기 위해, 중첩과 추가 중첩 모두에 존재될 필요가 있다. 이에 따라 오정렬의 식별이 개선될 수 있으며 결국 상기 재정렬된 디지털 이미지에 의해 묘사된 장면이 실제 장면과 더 일치하도록 할 수 있다.

제3 디지털 이미지를 더 포함하는 상기 디지털 이미지에 의해, 상기 장면의 더 큰 부분이 묘사될 수 있다는 것이 또한 인지될 수 있다.

제2 양태에 따르면 디지털 카메라가 제공된다. 상기 디지털 카메라는: 장면의 제1 영역을 묘사하는 제1 디지털 이미지 및 상기 장면의 제2 영역을 묘사하는 제2 디지털 이미지를 포함하는 디지털 이미지를 캡처하도록 구성된 적어도 하나의 이미지 센서, 상기 장면의 제1 및 제2 영역은 중첩되고 제1 방향을 따라 변위됨; 및 상기 제1 및 제2 디지털 이미지가 중첩되도록 변환을 사용하여 상기 디지털 이미지를 정렬하도록 구성된 정렬 기능(alignment function), 상기 제1 및 제2 디지털 이미지 간의 중첩에 대한 디스패리티 값을 결정하도록 구성된 디스패리티 기능(disparity function), 상기 중첩에 대한 각각의 디스패리티 값은 상기 제1 디지털 이미지에서의 픽셀 블록과 상기 제2 디지털 이미지에서의 일치하는 픽셀 블록 사이에서, 상기 제1 방향에 수직인 제2 방향을 따른 상대 변위를 나타냄, 상기 제2 방향을 따라 동일한 위치를 가지며 제1 미리 결정된 임계값보다 낮은 변동성을 나타내고 제2 미리 결정된 임계값보다 더 높은 평균을 나타내는 디스패리티 값의 분포를 갖는 상기 제1 디지털 이미지에서의 픽셀 블록을 식별함으로써 상기 디지털 이미지 간의 오정렬을 식별하도록 구성된 오정렬 기능(misalignment function), 상기 제1 디지털 이미지에서 식별된 픽셀 블록 및 상기 제2 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대한 변환을 조절하도록 구성된 조절 기능(adjustment function), 및 상기 식별된 오정렬을 보상하기 위한 상기 조절된 변환을 사용하여 상기 디지털 이미지를 재정렬하도록 구성된 재정렬 기능(realignment function);을 실행하도록 구성된 회로를 포함한다.

적용 가능한 경우, 제1 양태의 전술한 특징은 이러한 제2 양태에도 적용된다. 과도한 반복을 피하기 위해, 위의 내용을 참고한다.

상기 회로는 상기 재정렬된 디지털 이미지를 스티칭하여, 스티칭된 이미지를 형성하도록 구성된 스티칭 기능(stitching function)을 실행하도록 추가로 구성될 수 있다.

상기 정렬 기능은 상기 디지털 이미지를 공통 투영 표면에 투영하도록 추가로 구성될 수 있고, 상기 조절 기능은 상기 제1 디지털 이미지에서의 식별된 픽셀 블록 및 상기 제2 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대한 투영 거리를 국부적으로 조절하도록 추가로 구성될 수 있다.

상기 적어도 하나의 이미지 센서는 상기 제1 디지털 이미지를 캡처하도록 구성된 제1 이미지 센서 및 상기 제2 디지털 이미지를 캡처하도록 구성된 제2 이미지 센서를 포함할 수 있다.

제3 양태에 따르면, 비-일시적 컴퓨터 판독 가능 저장 매체가 제공된다. 상기 비-일시적 컴퓨터 판독 가능 저장 매체는 처리 능력을 갖는 장치에서 실행될 때, 제1 양태에 따른 방법을 수행하는 프로그램 코드 부분을 포함한다.

제1 양태 및 제2 양태의 전술한 특징은 적용 가능한 경우, 이러한 제3 양태에도 적용된다. 과도한 반복을 피하기 위해, 위의 내용을 참고한다.

본 개시 내용의 추가 적용 범위는 아래에 제공된 상세한 설명으로부터 명백해질 것이다. 그러나, 본 발명 개념의 바람직한 변형예를 나타내는 동안, 상세한 설명 및 특정 실시예는 단지 예시로서 주어진 것으로 이해되어야 하며, 이는 본 발명의 개념의 범위 내에서 다양한 변경 및 수정이 이러한 상세한 설명으로부터 당업자에게 명백할 것이기 때문이다.

따라서, 본 발명의 개념은 설명된 방법의 특정 단계 또는 설명된 시스템의 구성 요소 부분에 제한되지 않으며, 이러한 방법 및 시스템은 다양할 수 있음을 이해할 것이다. 또한 본 발명에서 사용된 용어는 특정 실시 형태들을 설명하기 위한 것이며 제한하려는 의도가 아님을 이해할 것이다. 명세서 및 첨부된 청구 범위에서 사용된 바와 같이, "하나", "하나의", "그" 및 "상기"라는 관사는 문맥이 명확하게 달리 지칭하지 않는 한 하나 이상의 요소가 존재하는 것을 의미하는 것으로 의도된다는 점에 유의해야 한다. 따라서, 예를 들어 "유닛" 또는 "상기 유닛"에 대한 언급은 여러 장치 등을 포함할 수 있다. 또한, "포함하는", "이루어지는", "함유하는" 및 유사한 문구는 다른 요소 또는 단계를 배제하지 않는다.

이제, 본 발명의 변형예를 나타내는 첨부된 도면을 참고하여, 본 발명 개념의 상기 및 다른 양태가 보다 상세히 설명될 것이다. 도면은 본 발명을 특정 변형예로 제한하는 것으로 간주되어서는 안되며; 대신 그들은 발명 개념을 설명하고 이해하는데 사용된다.
도면에 도시된 바와 같이, 층 및 영역의 크기는 예시적인 목적을 위해 과장되며, 따라서 본 발명 개면의 변형예의 일반적인 구조를 예시하기 위해 제공된다. 동일한 참고 번호는 전체에 걸쳐 동일한 요소를 지칭한다.
도 1은 디지털 카메라가 장면을 묘사하는 하나의 예시적인 시나리오를 도시한다.
도 2a는 도 1에서의 디지털 카메라에 의해 캡처된 장면의 제1 디지털 이미지 및 제2 디지털 이미지를 도시한다.
도 2b는 변환을 사용하여 정렬될 때 도 2a의 제1 디지털 이미지 및 제2 디지털 이미지를 도시한다.
도 2c는 조절된 변환을 사용하여 재정렬될 때 도 2b의 제1 디지털 이미지 및 제2 디지털 이미지를 도시한다.
도 3은 디지털 이미지를 정렬하는 방법의 순서도이다.

이제, 본 발명의 개념의 현재 바람직한 변형예가 도시되는 첨부된 도면을 참고하여 본 발명의 개념이 이하에서 보다 완전하게 설명될 것이다. 그러나, 이러한 발명의 개념은 여러 가지 상이한 형태로 구현될 수 있으며 본 발명에 설명된 변형예에 제한되는 것으로 해석되어서는 안되고; 오히려, 이들 변형예는 철저함과 완전성을 위해 제공되며, 본 발명 개념의 범위를 당업자에게 완전히 전달한다.

하기에서, 디지털 이미지를 정렬하기 위한 방법(30)이 도 1 및 도 2a-c에 도시된 예시적인 시나리오와 도 3에 예시된 순서도를 참고하여 설명될 것이다. 도 1에서, 디지털 카메라(10)는 장면(20)의 파노라마 이미지를 생성하도록 배치된다. 도 1에서의 디지털 카메라(10)는 제1 이미지 센서(104a) 및 제2 이미지 센서(104b)를 포함한다. 디지털 카메라가 제1 방향(예를 들어, 수평 방향을 따라)을 따라 변위되는 적어도 2개의 디지털 이미지를 캡처할 수 있는 경우, 본 발명의 개념은 단일 이미지 센서 또는 2개 이상의 이미지 센서를 포함하는 디지털 카메라에 적용될 수 있음을 인지한다. 이는 예를 들어, 장면의 다른 영역을 묘사하도록 구성된 2개 이상의 이미지 센서를 포함하는 카메라를 사용하여 달성될 수 있다. 대안으로, 장면의 다른 영역을 묘사하도록 구성된 단일 이미지 센서를 포함하는 카메라가 사용될 수 있다. 이러한 카메라는 예를 들어, 이의 축을 중심으로 회전할 수 있고/있거나 장면의 다른 부분을 단일 이미지 센서에 이미지화하도록 구성된 이미지화 광학 장치(예를 들어, 카메라 렌즈)를 포함할 수 있다. 또한, 본 발명의 개념이 디지털 카메라를 참고하여 설명될 것이지만, 예를 들어 이미지화 능력이 없는 장치, 예를 들어 컴퓨터에서 구현될 수 있다는 것이 또한 이해된다. 이러한 경우, 컴퓨터는 다른 장치, 예를 들어 카메라 및/또는 컴퓨터 판독 가능 저장 매체로부터 디지털 이미지를 수신(S300)할 수 있다.

이제, 디지털 카메라(10)와 디지털 카메라(10)에 의해 묘사된 장면(20)을 도시하는 도 1로 돌아간다. 도 1에 도시된 장면(20)은 제1 빌딩(210), 제2 빌딩(220) 및 벽(230)을 포함한다. 제1 빌딩(210)과 제2 빌딩(220)은 벽(230)보다 디지털 카메라(10)로부터 방향(Z)을 따라 더 먼 거리에 위치된다. 도 1에 도시된 장면(20)은 좌표계로 나타낼 수 있고, 카메라(10)의 위치는 좌표계의 원점에 해당할 수 있다. 제1 및 제2 이미지 센서(102a, 102b) 각각은 좌표계의 원점에 대해 각각의 위치에 해당할 수 있는 장면(20)에서 위치를 갖는다. 또한, 제1 빌딩(210), 제2 빌딩(220) 및 벽(230) 각각은 좌표계의 원점에 대해 각각의 위치에 해당할 수 있는 장면(20)에서 위치를 갖는다.

도 1에 도시된 바와 같이, 제1 카메라 렌즈(104a)는 제1 이미지 센서(102a)에서 장면(20)의 제1 영역(200a)을 이미지화하도록 구성되고, 제2 카메라 렌즈(104b)는 제2 이미지 센서(102b)에서 장면(20)의 제2 영역(200b)을 이미지화하도록 구성된다. 이러한 예에서, 제1 및 제2 이미지 센서(102a, 102b)는 서로 다른 방향에서 장면(20)을 묘사하므로, 제1 및 제2 영역(200a, 200b)은 수평 방향(X)을 따라 변위된다. 수평 방향(X)은 거리(Z)에 수직일 수 있다. 도 1에서 더 알 수 있는 바와 같이, 제1 이미지 센서(102a)와 관련된 시야(FOV)는 제2 이미지 센서(102b)와 관련된 FOV와 부분적으로 중첩되고, 따라서 제1 영역(200a) 및 제2 영역(200b)은 중첩 부분(202)을 갖는다. 제1 이미지 센서(102a)는 장면(20)의 제1 영역(200a)을 묘사하는 제1 디지털 이미지(40a)를 캡처(S320)하도록 구성되고, 제2 이미지 센서(102b)는 장면(20)의 제2 영역(200b)을 묘사하는 제2 디지털 이미지(40b)를 캡처(S322)하도록 구성된다. 제1 및 제2 이미지 센서(102a, 102b)는 디지털 이미지를 동시에 캡처(S318)하도록 구성될 수 있다. 도 1에 도시된 바와 같이, 디지털 카메라(10)는 회로(110)를 더 포함할 수 있다. 회로(110)는 디지털 카메라(10)의 하나 이상의 기능을 제어하도록 구성된다. 회로(110)는 비-일시적 컴퓨터 판독 가능 저장 매체(112)를 포함할 수 있다. 회로(110)는 처리 능력(114)(예를 들어, 처리 유닛)을 포함할 수 있다. 비-일시적 컴퓨터 판독 가능 저장 매체(112)는 회로(110)에 의해 실행될 때, 디지털 카메라(10)의 하나 이상의 기능을 수행하는 프로그램 코드 부분을 저장하도록 구성될 수 있다. 특히, 비-일시적 컴퓨터 판독 가능 저장 매체(112)는 이러한 예에서 나중에 설명될 하나 이상의 기능을 저장할 수 있다. 디지털 카메라(10)의 기능 중 하나 이상은 하드웨어 및/또는 소프트웨어로 구현될 수 있다. 비-일시적 컴퓨터 판독 가능 저장 매체(112)는 디지털 카메라(10)에 의해 캡처된 디지털 이미지 및/또는 회로(110)에 의해 실행되는 임의의 기능의 결과를 저장하도록 추가로 구성될 수 있다. 회로(110)는 데이터 버스(미도시)를 추가로 포함할 수 있다. 회로(110)는 데이터 버스를 통해 내부적으로 통신하도록 구성될 수 있다. 회로(110)는 데이터 버스를 통해 제1 이미지 센서(102a), 제2 이미지 센서(102b), 제1 카메라 렌즈(104a) 및 제2 카메라 렌즈(104b) 중 하나 이상과 통신하도록 추가로 구성될 수 있다.

카메라(10)에 의해 캡처된 장면(10)의 제1 및 제2 디지털 이미지(40a, 40b)가 도 2a에 도시된다. 제1 디지털 이미지(40a)에서, 제1 빌딩(210) 및 벽(230)의 일부가 보인다. 제2 디지털 이미지(40b)에서, 제1 빌딩(210), 제2 빌딩(220) 및 벽(230)의 일부가 보인다. 제1 및 제2 디지털 이미지(40a, 40b)는 서로 다른 방향에서 장면(20)을 이미지화하기 때문에, 왜곡된 것처럼 보인다(예를 들어, 수평선이 기울어져 보인다). 장면(20)의 파노라마 이미지는 제1 디지털 이미지(40a)와 제2 디지털 이미지(40b)를 스티칭함으로써 생성될 수 있다. 실제 장면(20)과 더 일치하는 파노라마 이미지를 생성하기 위해, 제1 및 제2 디지털 이미지(40a, 40b)는 변환을 사용하여 정렬(S302)된다. 이러한 예에서와 같이, 변환은 제1 및 제2 이미지 센서(102a, 102b) 사이의 상대적 거리에 기초할 수 있다. 변환은 또한 제1 및 제2 이미지 센서(102a, 102b)의 상대적 배향에 추가로 기초할 수 있다. 제1 및 제2 이미지 센서(102a, 102b)의 상대적 위치 및 상대적 배향을 인지함으로써, 제1 및 제2 디지털 이미지(40a, 40b)가 서로 관련되는 방법을 결정할 수 있다. 예를 들어, 제1 및 제2 디지털 이미지(40a, 40b)가 디지털 카메라(10)로부터 특정 거리(좌표계)에서 어느 정도 중첩되는지를 결정할 수 있다. 정렬은 회로(110)가 실행하도록 구성된 정렬 기능(120)에 의해 구현된다.

도 2b는 변환을 사용하여 정렬될 때 제1 및 제2 디지털 이미지(40a, 40b)를 도시한다. 도 2b에 도시된 바와 같이, 제1 및 제2 디지털 이미지(40a, 40b)는 중첩되고, 이러한 중첩(402)은 장면(20)의 제1 및 제2 영역(200a, 200b) 사이의 중첩(202)에 해당한다. 이러한 특정 예에서, 변환은 디지털 이미지(40a, 40b)가 변환을 사용하여 정렬될 때 제1 및 제2 빌딩(210, 220)이 왜곡되지 않은 것처럼 보이도록 구성된다. 이러한 변환은 디지털 이미지(40a, 40b)를 공통 투영 표면에 투영하는 단계를 포함할 수 있다. 공통 투영 표면은 디지털 이미지(40a, 40b)가 투영되는, 전술한 좌표계에 위치된 수학적 평면일 수 있다. 공통 투영 표면은 도 2b의 예에 도시된 바와 같이 평편한 표면일 수 있다. 그러나, 당업자는 공통 투영 표면이 상이한 형상을 가질 수 있고, 공통 투영 표면은 예를 들어 원통형 표면 또는 구형 표면일 수 있음을 인지한다. 당업계에 공지된 바와 같이, 사용될 수 있는 다수의 상이한 투영 표면이 있으며, 선택된 투영 표면은 이미지 센서(102a, 102b) 및 이와 관련된 FOV의 위치 및/또는 방향에 의해 결정될 수 있다. 공통 투영 표면은 카메라(10)와 장면(20)에서의 제1 및 제2 빌딩(210, 220) 사이의 Z를 따른 거리에 해당하는 거리에서 좌표계에 위치될 수 있으며, 이에 따라 Z를 따른 이러한 거리에서 정렬된 위치에서의 오정렬(예를 들어, 시차 효과로 인한)은 적어도 감소되거나, 바람직하게 최소화된다. 좌표계에서 공통 투영 표면의 위치는 예를 들어, 디지털 카메라(10)의 설치 동안 수동으로 설정될 수 있고, 및/또는 카메라(10)를 사용하는 동안 동적으로 설정될 수 있다. 좌표계에서 공통 투영 표면의 위치는 카메라(10)의 사용자에 의해 설정되고 및/또는 카메라(10)에 하드-코딩(hard-coded)될 수 있다. 회로(110)는 분석 기능을 실행하도록 추가로 구성될 수 있다. 분석 기능은 장면(20)에서 물체를 감지하고 카메라(10)와 감지된 물체 사이의 거리를 감지하도록 구성될 수 있으며, 정렬 기능(120)은 좌표계에서 공통 투영 표면의 위치를 설정하도록 구성될 수 있어 좌표계의 원점(즉, 카메라(10)에 해당하는 좌표계에서의 위치)과 좌표계에서의 공통 투영 표면 사이의 거리가 카메라(10)와 장면(20)에서 감지된 물체 사이의 Z를 따른 거리에 해당한다. 변환은 예를 들어, 호모그래피(homography)일 수 있다. 호모그래피는 제1 디지털 이미지(40a)에서의 픽셀 블록의 위치와 제2 디지털 이미지(40b)에서의 일치하는 픽셀 블록의 위치 사이의 관계에 대한 정보(예를 들어, 벡터 필드)를 포함할 수 있다. 그러나, 벽(230)이 공통 투영 표면보다 카메라(10)로부터 Z를 따라 더 작은 거리에 있기 때문에, 벽(230)의 부분(232)은 제1 및 제2 디지털 이미지(40a, 40b) 사이의 중첩(402)에서 오정렬된다(예를 들어, 시차로 인해).

오정렬을 식별(S306)하기 위해, 제1 및 제2 디지털 이미지(40a, 40b) 사이의 중첩(402)에 해당하는 디스패리티 값이 결정(S304)된다. 도 2b에 도시된 예에서, 오정렬은 오정렬된 수평선(즉, 벽(230)의 부분(232)의 수평 특징부)이다. 중첩(402)에 대한 각각의 디스패리티 값은 제1 디지털 이미지(40a)에서의 픽셀 블록과 제2 디지털 이미지(40b)에서의 일치하는 픽셀 블록 사이의 제2 방향(Y)을 따른 상대 변위를 나타낸다. 중첩(402)에 대한 디스패리티 값은 당업계에 알려진 기술 중 하나를 사용하여 결정될 수 있다. 중첩(402)에 대한 디스패리티 값은 제1 디지털 이미지(40a)에서의 픽셀 블록을 제2 디지털 이미지(40b)에서의 픽셀 블록과 비교함으로써 결정될 수 있다. 예를 들어, 제1 디지털 이미지(40a)에서의 픽셀 블록에 대한 최상의 일치인 제2 방향(Y)을 따른 제2 디지털 이미지(40b)에서의 픽셀 블록(즉, 제1 디지털 이미지(40a)에서의 픽셀 블록과 제2 디지털 이미지(40b)에서의 제1 방향(X)을 따라 동일한 위치를 가짐)이 결정될 수 있다. 두 픽셀 블록의 비교는 블록에서의 픽셀 값 사이의 절대 차이의 합계(SAD)를 계산하는 단계를 포함할 수 있다. 가장 일치하는 픽셀 블록은 가장 작은 SAD와 관련된 픽셀 블록일 수 있다. 그런 다음 디스패리티 값은 제1 디지털 이미지(40a)에 대한 픽셀 블록의 제2 방향(Y)을 따른 위치와 제2 디지털 이미지(40b)에 대한 일치하는 픽셀 블록의 제2 방향(Y)을 따른 위치 사이의 차이로서 결정될 수 있다. 예를 들어, 도 2b에 도시된 중첩(402)에서 볼 수 있는 바와 같이, 제1 빌딩(210)과 관련된 특징부는 제2 방향(Y)를 따라 작은(또는 심지어 존재하지 않는) 변위를 갖는다. 제1 빌딩(210)의 특정 특징부에 해당하는 제1 디지털 이미지(40a)에서의 픽셀 블록 및 제2 디지털 이미지(40b)에서의 일치하는 픽셀 블록(즉, 제1 빌딩(210)의 동일한 특정 특징부에 해당함)은 제2 방향(Y)을 따라 작은(또는 존재하지 않는) 정도로 변위되며, 따라서 관련된 디스패리티 값은 작다. 그러나, 도 2b에 도시된 바와 같이, 벽(230)과 관련된 특징부(232)는 제2 방향(Y)을 따라 더 큰 변위를 갖는다. 벽(230)의 특정 특징부에 해당하는 제1 디지털 이미지(40a)에서의 픽셀 블록 및 제2 디지털 이미지(40b)에서의 일치하는 픽셀 블록(즉, 벽(230)의 동일한 특정 특징부에 해당함)이 제2 방향(Y)을 따라 크게 변위되고, 따라서 관련된 디스패리티 값이 크다. 디스패리티 값은 예를 들어, 특징부가 제1 디지털 이미지(40a)와 제2 디지털 이미지(40b) 사이의 제2 방향(Y)을 따라 변위되는 픽셀 또는 픽셀 블록의 수일 수 있다. 제1 및 제2 디지털 이미지(40a, 40b) 사이의 중첩(402)에 대한 디스패리티 값은 디스패리티 매트릭스(matrix)로 나타낼 수 있다. 디스패리티 매트릭스의 각각의 요소는 디스패리티 매트릭스에서 매트릭스 요소의 위치에 해당하는 제1 디지털 이미지(40a)에서의 위치에 대해 결정된 디스패리티 값일 수 있다. 디스패리티 값의 결정은 회로(110)가 실행하도록 구성된 디스패리티 기능(122)에 의해 구현된다.

제1 및 제2 디지털 이미지(40a, 40b) 사이의 오정렬은 제2 방향(Y)을 따라 동일한 위치를 갖고 제1 미리 결정된 임계값보다 낮은 변도성을 나타내며 제2 미리 결정된 임계값보다 높은 평균을 나타내는 디스패리티 값의 분포를 갖는 제1 디지털 이미지(40a)에서의 픽셀 블록을 식별(S308)함으로써 식별된다(S306). 이러한 예에서, 제2 방향(Y)을 따라 동일한 위치를 갖는 제1 디지털 이미지(40a)에서의 픽셀 블록은 제1 디지털 이미지(40a)에서의 픽셀 블록의 행이다. 제1 디지털 이미지(40a)에서의 행에 대해, 관련된 디스패리티 값이 분배되고 이들 디스패리티 값의 평균 및 변동성(예를 들어, 표준 편차 등)이 결정될 수 있다. 제1 디지털 이미지(40a)에서의 행은 변동성이 제1 미리 결정된 값보다 낮고 평균이 제2 미리 결정된 값보다 큰 경우 오정렬로 식별된다. 예를 들어, 평균과 변동성 사이의 비율이 제3 미리 결정된 값보다 큰 경우 오정렬이 식별될 수 있다. 즉, 제1 디지털 이미지(40a)에서의 행은 관련된 디스패리티 값이 상대적으로 높고 제1 및 제2 미리 결정된 임계값에 비해 상대적으로 낮은 정도로 변하는 경우 오정렬로 식별된다. 오정렬 선의 경우, 도 2b에 나타낸 예에서 볼 수 있는 바와 같이, 디스패리티 값은 일반적으로 크고 낮은 변동성을 나타낸다. 이러한 방식으로, 제1 및 제2 디지털 이미지(40a, 40b) 사이의 중첩(402)에서 오정렬을 식별하는 것이 가능할 수 있다. 또한, 중첩(402)에서의 오정렬은 카메라(10)로부터 미리 결정된 최대 거리보다 작은 거리에 대해서만 식별될 수 있다. 오정렬의 식별은 회로(110)가 실행하도록 구성된 오정렬 기능(124)에 의해 구현된다. 이러한 특정 경우에서, 벽(230)의 부분(232)에 해당하는 제1 디지털 이미지(40a)의 행은 오정렬로 식별된다.

변환은 식별된 오정렬과 관련된 픽셀 블록(즉, 제1 디지털 이미지(40a)에서의 식별된 픽셀 블록 및 제2 디지털 이미지(40b)에서의 이들의 일치하는 픽셀 블록)에 대해 조절(S310)된다. 식별된 픽셀 블록에 대한 변환은 이들 픽셀 블록과 관련된 디스패리티 값에 기초하여 조절될 수 있다. 예를 들어, 변환은 제1 디지털 이미지(40a)에서의 식별된 픽셀 블록 및 제2 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대한 투영 거리를 국부적으로 조절(S316)함으로써 조절될 수 있다. 이전에 설명된 바와 같이, 시차 효과는 공통 투영 표면까지의 거리에 의해, 영향을 받고, 특히 감소될 수 있다. 이러한 방식으로, 이들 픽셀 블록에 대한 제2 방향을 따른 상대 변위가 감소될 수 있다(즉, 제1 및 제2 디지털 이미지(40a, 40b) 사이의 오정렬이 감소됨). 변환의 조절은 높은 평균 디스패리티 값에 대한 조절이 낮은 평균 디스패리티 값에 대한 것보다 상대적으로 크도록 제1 디지털 이미지(40a)에서의 식별된 픽셀 블록과 관련된 평균 디스패리티 값에 기초할 수 있다. 평균 디스패리티 값에 기초한 변환의 조절은 예를 들어, 룩업 테이블에 의해 미리 결정될 수 있다. 룩업 테이블은 변환 조절을 갖는 평균 디스패리티 값과 관련된 정보를 포함할 수 있다. 예를 들어, 룩업 테이블은 공통 투영 표면이 조절되어야 하는 거리를 갖는 평균 디스패리티 값에 관한 정보를 포함할 수 있다. 대안으로 또는 추가로, 변환은 반복적으로 조절될 수 있고 각각의 반복에 대해 업데이트된 디스패리티 값이 결정될 수 있다. 변환은 업데이트된 디스패리티 값의 평균이 미리 결정된 임계 범위 내에 있을 때까지 반복적으로 조절될 수 있다. 변환이 호모그래피인 경우, 변환의 조절은 식별된 오정렬과 관련된 픽셀 블록에 대해, 변환을 설명하는 벡터 필드(vector field)를 조절하는 단계를 포함할 수 있다. 벡터 필드가 조절되는 정도는 높은 평균 디스패리티 값에 대한 조절이 낮은 평균 디스패리티 값에 대한 조절보다 상대적으로 크도록 제1 디지털 이미지(40a)에서의 식별된 픽셀 블록과 관련된 평균 디스패리티 값에 기초할 수 있다. 평균 디스패리티 값에 기초한 벡터 필드의 조절은 예를 들어, 룩업 테이블에 의해 결정될 수 있다. 룩업 테이블은 벡터 필드의 조절을 갖는 평균 디스패리티 값과 관련된 정보를 포함할 수 있다. 대안으로 또는 추가로, 벡터 필드는 반복적으로 조절될 수 있고 각각의 반복에 대해 업데이트된 디스패리티 값이 결정될 수 있다. 벡터 필드는 업데이트된 디스패리티 값의 평균이 미리 결정된 임계 범위 내에 있을 때까지 반복적으로 조절될 수 있다. 변환의 조절은 회로(110)가 실행하도록 구성된 조절 기능(126)에 의해 구현된다. 제1 및 제2 디지털 이미지(40a, 40b)는 식별된 오정렬을 보상하기 위해 조절된 변환을 사용하여 재정렬(S312)된다. 재정렬은 회로(110)가 실행하도록 구성된 재정렬 기능(128)에 의해 구현된다.

도 2c는 조절된 변환을 사용하여 재정렬된 후의 도 2b의 제1 및 제2 디지털 이미지(40a, 40b)를 도시한다. 도 2c에 도시된 바와 같이, 재정렬된 디지털 이미지(600)에서 오정렬이 보상되어, 실제 장면(20)과 더 일치하는 결합된 디지털 이미지를 허용한다. 특히, 중첩(402)에서 벽(230)의 부분(232)은 도 2b에 도시된 정렬된 디지털 이미지(500)와 비교하여 도 2c의 재정렬된 디지털 이미지(600)에 대해 더 낮은 정도로 제2 방향(Y)을 따라 변위된다. 도 2c에 도시된 재정렬된 디지털 이미지(600)는 스티칭(S314)되어 스티칭된 이미지를 형성할 수 있다. 스티칭은 회로(110)가 실행하도록 구성된 스티칭 기능(130)에 의해 구현될 수 있다. 스티칭된 이미지는 비-일시적 컴퓨터 판독 가능 저장 매체(112)에 저장될 수 있다.

2개 이상의 디지털 이미지가 사용되는 경우 오정렬의 식별이 더욱 향상될 수 있음을 알 수 있다. 예를 들어, 장면(20)의 제3 영역을 묘사하는 제3 디지털 이미지가 캡처(S324)될 수 있고(예를 들어, 제3 이미지 센서를 포함하는 카메라에 의해), 제3 영역이 제1 영역(200a)과 중첩될 수 있으며 수평 방향(X)을 따라 변위될 수 있다. 디지털 이미지를 정렬한 후, 제1 및 제3 디지털 이미지가 중첩될 수 있고, 디스패리티 값은 제1 및 제3 디지털 이미지 간의 추가 중첩에 대해 추가로 결정될 수 있다. 추가 중첩에 대한 각각의 디스패리티 값은 제1 디지털 이미지에서의 픽셀 블록과 제2 또는 제3 디지털 이미지에서의 일치하는 픽셀 블록 사이의 제2 방향(Y)을 따른 상대 변위를 나타낼 수 있으며, 변환은 제1 디지털 이미지에서의 식별된 블록 및 제3 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대해 추가로 조절될 수 있다. 이러한 경우, 예를 들어 제1 디지털 이미지(40a)에서의 행을 따른 오정렬과 관련된 더 많은 데이터(즉, 디스패리티 값)가 이용 가능할 수 있으며, 이는 차례로 오정렬의 개선된 식별을 허용할 수 있다는 것을 알 수 있다. 구체적인 예로서, 제1 및 제2 디지털 이미지 사이의 중첩에 대한 관련된 디스패리티 값의 분포의 평균 및 변동성이 행이 오정렬되었음을 잘못 나타내는 제1 디지털 이미지에서 행을 고려한다. 제3 디지털 이미지를 포함함으로써, 제1 및 제2 디지털 이미지 사이의 중첩 및 제1 및 제3 디지털 이미지 사이의 추가 중첩에 대한 관련된 디스패리티 값 분포의 평균 및 변동성은 행이 실제로 정렬되었음을 올바르게 나타낼 수 있다.

당업자는 본 발명의 개념이 전술한 바람직한 변형예에 결코 제한되지 않음을 인지한다. 반대로, 첨부된 청구항의 범위 내에서 많은 수정 및 변경이 가능하다.

예를 들어, 본 발명 개념은 두개의 디지털 이미지가 수평 방향으로 변위되는 것을 참고하여 설명되었다. 그러나, 당업자는 본 발명의 개념이 디지털 카메라의 다른 구성에 적용될 수 있음을 인지하고 그 방법을 이해한다. 예를 들어, 디지털 이미지는 수직 방향 또는 수직 및 수평 방향의 조합을 따라 변위될 수 있다.

또한, 방법의 단계는 특정 순서로 수행되도록 설명된다. 그러나, 특정 단계는 설명된 것과 다른 순서로 수행될 수 있음을 이해할 것이다. 방법의 단계 중 하나 이상은 동시에 추가로 수행될 수 있다.

추가로, 개시된 변형예에 대한 변형은 도면, 개시 내용 및 첨부된 청구 범위의 연구로부터, 청구된 발명을 실시하는 당업자에 의해 이해되고 영향을 받을 수 있다.

Claims

장면의 제1 영역을 묘사하는 제1 디지털 이미지와 장면의 제2 영역을 묘사하는 제2 디지털 이미지를 포함하는 디지털 이미지를 수신하는 단계, 상기 제1 및 제2 영역은 중첩되고 제1 방향을 따라 변위됨;
변환을 사용하여 상기 디지털 이미지를 정렬하는 단계, 여기서 상기 제1 및 제2 디지털 이미지는 중첩됨;
상기 제1 및 상기 제2 디지털 이미지 사이의 중첩에 대해 디스패리티 값을 결정하는 단계, 상기 중첩에 대한 각각의 디스패리티 값은 상기 제1 디지털 이미지에서의 픽셀 블록과 상기 제2 디지털 이미지에서의 일치하는 픽셀 블록 사이에서, 제1 방향에 수직인 제2 방향을 따른 상대 변위를 나타냄;
상기 제2 방향을 따라 동일한 위치를 가지며 제1 미리 결정된 임계값보다 낮은 변동성을 나타내고 제2 미리 결정된 임계값보다 높은 평균을 나타내는 디스패리티 값의 분포를 갖는 상기 제1 디지털 이미지에서의 픽셀 블록을 식별함으로써 상기 디지털 이미지 간의 오정렬을 식별하는 단계;
상기 제1 디지털 이미지에서의 식별된 픽셀 블록 및 상기 제2 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대한 변환을 조절하는 단계; 및
상기 식별된 오정렬을 보상하기 위해 상기 조절된 변환을 사용하여 상기 디지털 이미지를 재정렬하는 단계;를 포함하는 디지털 이미지를 정렬하기 위한 컴퓨터 구현 방법.
제1항에 있어서,
상기 재정렬된 디지털 이미지를 스티칭하여, 스티칭된 디지털 이미지를 형성하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 디지털 이미지에서의 식별된 픽셀 블록 및 상기 제2 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대한 변환은 상기 픽셀 블록과 관련된 디스패리티 값에 기초하여 조절되는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 변환은 투영 거리에서 공통 투영 표면에 상기 디지털 이미지의 투영을 포함하고;
여기서 상기 변환을 조절하는 단계는 상기 제1 디지털 이미지에서의 식별된 픽셀 블록 및 상기 제2 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대한 상기 투영 거리를 국부적으로 조절하는 단계를 포함하여, 상기 디지털 이미지를 재정렬하는 단계 후에 상기 픽셀 블록에 대해 상기 제2 방향을 따른 상대 변위를 감소시키는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 디지털 이미지를 수신하는 단계는 상기 디지털 이미지를 캡처하는 단계를 포함하고, 상기 제1 및 제2 디지털 이미지는 동시에 캡처되는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 디지털 이미지를 수신하는 단계는:
제1 이미지 센서를 사용하여 상기 제1 디지털 이미지를 캡처하는 단계; 및
제2 이미지 센서를 사용하여 상기 제2 디지털 이미지를 캡처하는 단계를 포함하는 것을 특징으로 하는 방법.
제6항에 있어서, 상기 변환은 상기 제1 및 제2 이미지 센서 사이의 상대적 거리와 상기 제1 및 제2 이미지 센서의 상대적 배향 중 적어도 하나에 기초하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 변환이 호모그래피인 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 방향은 수평 방향과 평행하고, 상기 제2 방향은 수직 방향과 평행한 것을 특징으로 하는 방법.
제1항에 있어서,
상기 디지털 이미지는 상기 장면의 제3 영역을 묘사하는 제3 디지털 이미지를 더 포함하고, 상기 제1 및 제3 영역은 중첩되고 상기 제1 방향을 따라 변위되며;
상기 디지털 이미지를 정렬하는 단계 후에, 상기 제1 및 제3 디지털 이미지가 중첩되고;
상기 디스패리티 값은 상기 제1 및 제3 디지털 이미지 사이의 추가 중첩에 대해 추가로 결정되며, 상기 추가 중첩에 대한 각각의 디스패리티 값은 상기 제1 디지털 이미지에서의 픽셀 블록과 상기 제2 또는 제3 디지털 이미지에서의 일치하는 픽셀 블록 사이의 제2 방향을 따른 상대적 변위를 나타내며; 및
상기 변환은 상기 제1 디지털 이미지에서의 식별된 블록 및 상기 제3 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대해 추가로 조절되는 것을 특징으로 하는 방법.
장면의 제1 영역을 묘사하는 제1 디지털 이미지 및 상기 장면의 제2 영역을 묘사하는 제2 디지털 이미지를 포함하는 디지털 이미지를 캡처하도록 구성된 적어도 하나의 이미지 센서, 상기 장면의 제1 및 제2 영역은 중첩되고 제1 방향을 따라 변위됨; 및
상기 제1 및 제2 디지털 이미지가 중첩되도록 변환을 사용하여 상기 디지털 이미지를 정렬하도록 구성된 정렬 기능,
상기 제1 및 제2 디지털 이미지 사이의 중첩에 대한 디스패리티 값을 결정하도록 구성된 디스패리티 기능, 상기 중첩에 대한 각각의 디스패리티 값은 상기 제1 디지털 이미지에서의 픽셀 블록과 상기 제2 디지털 이미지에서의 일치하는 픽셀 블록 사이에서, 상기 제1 방향에 수직인 제2 방향을 따른 상대 변위를 나타냄,
상기 제2 방향을 따라 동일한 위치를 가지며 제1 미리 결정된 임계값보다 낮은 변동성을 나타내고 제2 미리 결정된 임계값보다 높은 평균을 나타내는 디스패리티 값의 분포를 갖는 상기 제1 디지털 이미지에서의 픽셀 블록을 식별함으로써 상기 디지털 이미지 간의 오정렬을 식별하도록 구성된 오정렬 기능,
상기 제1 디지털 이미지에서의 상기 식별된 픽셀 블록 및 상기 제2 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대한 변환을 조절하도록 구성된 조절 기능, 및
상기 식별된 오정렬을 보상하기 위해 상기 조절된 변환을 사용하여 상기 디지털 이미지를 재정렬하도록 구성된 재정렬 기능을 실행하도록 구성된 회로;를 포함하는 디지털 카메라.
제11항에 있어서, 상기 회로는:
상기 재정렬된 디지털 이미지를 스티칭하여 스티칭된 이미지를 형성하도록 구성된 스티칭 기능을 실행하도록 추가로 구성되는 것을 특징으로 하는 디지털 카메라.
제11항에 있어서, 상기 정렬 기능은 상기 디지털 이미지를 공통 투영 표면에 투영하도록 추가로 구성되고;
상기 조절 기능은 상기 제1 디지털 이미지에서의 식별된 픽셀 블록 및 상기 제2 디지털 이미지에서의 이들의 일치하는 픽셀 블록에 대한 투영 거리를 국부적으로 조절하도록 추가로 구성되어, 상기 디지털 이미지의 재정렬 후 상기 픽셀 블록에 대해 제2 방향을 따른 상대적 변위를 감소시키는 것을 특징으로 하는 디지털 카메라.
제11항에 있어서, 상기 적어도 하나의 이미지 센서는 상기 제1 디지털 이미지를 캡처하도록 구성된 제1 이미지 센서 및 상기 제2 디지털 이미지를 캡처하도록 구성된 제2 이미지 센서를 포함하는 것을 특징으로 하는 디지털 카메라.
처리 능력을 갖는 장치에서 실행될 때, 제1항에 따른 방법을 수행하는 프로그램 코드 부분을 포함하는 비-일시적 컴퓨터 판독 가능 저장 매체.