KR101775273B1 - 이미지들 사이의 상관관계 획득 방법 및 시스템 - Google Patents

Abstract

이미지들 사이의 상관관계(correlation coefficient) 획득 방법은 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계; 및 상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 단계를 포함한다.

Description

이미지들 사이의 상관관계 획득 방법 및 시스템{METHOD AND SYSTEM FOR ACQUIRING CORRELATION COEFFICIENT BETWEEN IMAGES}

아래의 실시예들은 이미지들 사이의 상관관계(correlation coefficient) 획득 시스템 및 그 방법에 관한 것으로, 이미지들 사이의 상관관계를 획득하기 위한 계산을 간략화하는 기술에 대한 것이다.

기존의 깊이를 결정하는 기술은 샤프 채널의 광 신호로부터 생성되는 샤프 이미지 및 블러 채널의 광 신호로부터 생성되는 블러 이미지 사이의 블러 크기 변화를 기초로 이미지에서의 깊이(이하, 이미지에서의 깊이는 카메라와 피사체 사이의 깊이(거리)를 의미함)를 결정한다.

이 때, 기존의 깊이를 결정하는 기술은 복수의 블러 채널들의 광 신호들로부터 생성되는 복수의 이미지들을 기반으로, 복수의 블러 이미지들 중 어느 하나의 블러 이미지를 선택하여 샤프 이미지와 비교함으로써, 깊이 정확도를 향상시킬 수 있다.

이러한 경우, 복수의 블러 이미지들 중 샤프 이미지와 비교되는 어느 하나의 블러 이미지는 복수의 블러 이미지들 각각과 샤프 이미지 사이의 상관관계에 기초하여 선택된다.

여기서, 복수의 블러 이미지들 각각과 샤프 이미지 사이의 상관관계는 복수의 블러 이미지들 각각의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 토대로 획득되는데, 이와 같은 곱셈합의 계산은 그 복잡도가 높은 단점이 있다.

이에, 아래의 실시예들은 복수의 블러 이미지들 각각에 대해 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하기 위한 곱셈합의 계산을 낮은 복잡도의 계산으로 대체하는 기술을 제안한다.

또한, 아래의 실시예들은 멀티 애퍼처 카메라 시스템에서의 깊이 결정 기술뿐만 아니라, 이미지들 사이의 상관관계를 요구하는 다양한 기술에서 이용 가능한, 이미지들 사이의 상관관계를 획득하기 위한 계산을 간략화하는 방법을 제안한다.

일실시예들은 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하기 위한 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합의 계산을 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱(multiplication of summations)의 계산으로 대체함으로써, 낮은 복잡도의 계산으로 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하는 기술을 제공한다.

특히, 일실시예들은 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합의 계산을 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현함으로써, 하드웨어를 기반으로 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱의 계산을 수행하는 기술을 제공한다.

일실시예에 따르면, 이미지들 사이의 상관관계(correlation coefficient) 획득 방법은 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계; 및 상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 단계를 포함한다.

상기 이미지들 사이의 상관관계 획득 방법은 상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현하는 단계를 더 포함할 수 있다.

상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는 상기 하드웨어적으로 구현된 구성부를 이용하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계일 수 있다.

상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현하는 단계는 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합산 계산으로 각각 대체하는 구성부와, 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값의 합셈 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값의 곱셈 계산으로 대체하는 구성부를 하드웨어적으로 구현하는 단계를 포함할 수 있다.

상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하는 단계; 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하는 단계; 및 상기 제1 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 사이의 합셈곱을 계산하는 단계를 포함할 수 있다.

상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수는 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계의 복잡도를 최소화하도록 적응적으로 조절될 수 있다.

상기 이미지들 사이의 상관관계 획득 방법은 상기 제1 이미지를 블러링하는 단계를 더 포함하고, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계는 상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계를 포함하며, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는 상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계를 포함할 수 있다.

상기 탐색 윈도우는 상기 제1 이미지 또는 상기 제2 이미지 중 어느 하나의 이미지에서 임의의 픽셀을 중심으로 미리 설정된 개수의 픽셀들을 포함하는 영역일 수 있다.

일실시예에 따르면, 이미지들 사이의 상관관계(correlation coefficient) 획득 시스템은 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 추출부; 및 상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 계산부를 포함한다.

상기 계산부는 상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하도록 하드웨어적으로 구현될 수 있다.

상기 계산부는 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하고, 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링함으로써, 상기 제1 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 사이의 합셈곱을 계산할 수 있다.

상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수는 상기 계산부의 복잡도를 최소화하도록 적응적으로 조절될 수 있다.

상기 이미지들 사이의 상관관계 획득 시스템은 상기 제1 이미지를 블러링하는 블러링부를 더 포함하고, 상기 추출부는 상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하며, 상기 계산부는 상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산한다.

일실시예에 따르면, 이미지들 사이의 상관관계(correlation coefficient)에 기반하는 멀티 애퍼처 카메라의 깊이 결정 방법은 샤프 이미지 및 복수의 블러 이미지들을 획득하는 단계; 상기 샤프 이미지의 탐색 윈도우와 상기 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득하는 단계; 상기 획득된 상관관계에 기초하여 상기 복수의 블러 이미지들 중 어느 하나의 블러 이미지를 선택하는 단계; 상기 샤프 이미지를 블러링하는 단계; 및 상기 블러링된 샤프 이미지의 탐색 윈도우와 상기 선택된 어느 하나의 블러 이미지의 탐색 윈도우를 비교하여 상기 탐색 윈도우에서의 깊이를 결정하는 단계를 포함하고, 상기 샤프 이미지의 탐색 윈도우와 상기 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득하는 단계는 상기 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 상기 복수의 블러 이미지들 각각의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계; 및 상기 샤프 이미지의 탐색 윈도우와 상기 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 샤프 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 복수의 블러 이미지들 각각의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 단계를 포함한다.

일실시예들은 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하기 위한 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합의 계산을 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱(multiplication of summations)의 계산으로 대체함으로써, 낮은 복잡도의 계산으로 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하는 기술을 제공할 수 있다.

특히, 일실시예들은 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합의 계산을 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현함으로써, 하드웨어를 기반으로 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱의 계산을 수행하는 기술을 제공할 수 있다.

도 1은 일실시예에 따른 이미지들 사이의 상관관계에 기반하는 멀티 애퍼처 카메라의 깊이 결정 방법을 나타낸 플로우 차트이다.
도 2a 내지 2c는 일실시예에 따른 이미지들 사이의 상관관계를 획득하는 과정을 하드웨어적으로 구현한 도면이다.
도 3a 내지 3c는 일실시예에 따른 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합의 계산을 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱의 계산으로 대체하는 하드웨어 구성부를 설명하기 위한 도면이다.
도 4는 일실시예에 따른 상관관계 획득 방법을 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 상관관계 획득 시스템을 나타낸 블록도이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 일실시예에 따른 이미지들 사이의 상관관계에 기반하는 멀티 애퍼처 카메라의 깊이 결정 방법을 나타낸 플로우 차트이다.

도 1을 참조하면, 일실시예에 따른 멀티 애퍼처 카메라의 깊이 결정 방법은 샤프 애퍼처, 블러 애퍼처, 이미지 센서 및 깊이 결정부를 포함하는 멀티 애퍼처 카메라에 의해 다음과 같이 수행된다.

샤프 애퍼처는 샤프 채널의 광 신호를 유입시킨다(110).

블러 애퍼처는 샤프 채널과 다른 파장대의 복수의 블러 채널들 각각의 광 신호를 유입시킨다(120). 예를 들어, 샤프 애퍼처는 IR 채널의 광 신호를 유입시키고, 블러 애퍼처는 R 채널, G 채널 또는 B 채널 중 적어도 두 개 이상 채널의 광 신호를 유입시킬 수 있다. 그러나 샤프 채널 및 복수의 블러 채널들 각각은 이에 제한되거나 한정되지 않고, 서로 각기 다른 다양한 파장대로 설정될 수 있다. 또한, 샤프 애퍼처 및 블러 애퍼처는 하나의 필터 상에 형성되거나, 복수의 필터들 각각에 분리되어 형성될 수도 있다.

이미지 센서는 샤프 채널의 광 신호 및 복수의 블러 채널들 각각의 광 신호를 처리하여 샤프 이미지 및 복수의 블러 이미지들을 생성하고, 깊이 결정부는 이미지 센서로부터 샤프 이미지 및 복수의 블러 이미지들을 획득한다(130).

이어서, 깊이 결정부는 샤프 이미지의 탐색 윈도우와 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득한다(140).

이 때, 탐색 윈도우는 샤프 이미지 및 복수의 블러 이미지들 각각에서 임의의 픽셀을 중심으로 미리 설정된 개수의 픽셀들을 포함하는 영역으로서, 깊이를 결정하기 위하여 샤프 이미지 및 복수의 블러 이미지들 각각에서 순차적으로 이동되며 탐색되는 영역을 의미한다. 예를 들어, 탐색 윈도우는 샤프 이미지 및 복수의 블러 이미지들 각각에서 복수의 라인들 별로 수평 방향으로 이동되며 탐색될 수 있고, 복수의 라인들 중 하나의 라인에 대한 수평 방향의 이동/탐색이 끝난 뒤에, 다음 라인에 대한 수평 방향의 이동/탐색이 수행될 수 있다.

그 다음, 깊이 결정부는 획득된 상관관계에 기초하여 복수의 블러 이미지들 중 어느 하나의 블러 이미지를 선택한다(150).

그 다음, 깊이 결정부는 샤프 이미지를 블러링한 뒤(160), 블러링된 샤프 이미지의 탐색 윈도우와 선택된 어느 하나의 블러 이미지의 탐색 윈도우를 비교하여 탐색 윈도우에서의 깊이를 결정한다(170).

일실시예에 따른 깊이 결정부는 140 단계에서, 샤프 이미지의 탐색 윈도우와 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 복수의 블러 이미지들 별로 블러 이미지의 탐색 윈도우에 포함되는 성분값들 및 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산한다.

즉, 깊이 결정부는 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 블러 이미지의 탐색 윈도우에 포함되는 성분값들을 사이의 곱셈합을 계산하는 기존의 경우와 달리, 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 블러 이미지의 탐색 윈도우에 포함되는 성분값들을 사이의 합셈곱을 계산함으로써, 복수의 블러 이미지들 각각에 대해 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하는 연산의 복잡도를 현저히 낮출 수 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.

특히, 깊이 결정부는 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 블러 이미지의 탐색 윈도우에 포함되는 성분값들을 사이의 곱셈합의 계산을 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 블러 이미지의 탐색 윈도우에 포함되는 성분값들을 사이의 합셈곱의 계산으로 대체하는 하드웨어 구성부를 기반으로 상술한 합셈곱의 계산을 수행함으로써, 복수의 블러 이미지들 각각에 대해 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하는 연산을 간략화할 수 있다.

이하, 깊이 결정부는 상관관계 획득 시스템을 포함함으로써, 후술되는 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 블러 이미지의 탐색 윈도우에 포함되는 성분값들을 사이의 곱셈합의 계산을 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 블러 이미지의 탐색 윈도우에 포함되는 성분값들을 사이의 합셈곱의 계산으로 대체할 수 있다.

또한, 깊이 결정부는 샤프 이미지를 블러링하는 160 단계를 140 단계 이전에 수행함으로써, 140 단계에서, 블러링된 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 복수의 블러 이미지들 각각의 탐색 윈도우에 포함되는 성분값들을 사이의 합셈곱을 계산함으로써, 블러링된 샤프 이미지의 탐색 윈도우와 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득할 수도 있다.

도 2a 내지 2c는 일실시예에 따른 이미지들 사이의 상관관계를 획득하는 과정을 하드웨어적으로 구현한 도면이다.

도 1을 참조하여 상술한 샤프 이미지의 탐색 윈도우와 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계는 수학식 1과 같이 계산될 수 있다.

<수학식 1>

수학식 1에서,

는 복수의 블러 이미지들 중 j번째 블러 이미지의 탐색 윈도우와 샤프 이미지의 탐색 윈도우 사이의 상관관계를 나타내고, X는 샤프 이미지의 탐색 윈도우에 포함되는 성분값을 나타내며,

는 j번째 블러 이미지의 탐색 윈도우에 포함되는 성분값을 나타낸다.

수학식 1로부터 복수의 블러 이미지들 중 샤프 이미지의 탐색 윈도우와 가장 잘 매칭되는 j번째 블러 이미지에서의 상관관계가 수학식 2와 같이 수정되더라도 같은 탐색 결과를 갖는다.

<수학식 2>

또한, 탐색 윈도우내의 데이터가 M개인 경우, 수학식 2는 수학식 3과 같이 표현된다.

<수학식 3>

수학식 3에서, x는 샤프 이미지의 탐색 윈도우에 포함되는 성분값을 나타내고,

는 j번째 블러 이미지의 탐색 윈도우에 포함되는 성분값을 나타내며,

는

를 나타내고,

는

를 나타내며,

는

는 나타내고,

는

를 나타낸다.

따라서, 샤프 이미지의 탐색 윈도우 및 j번째 블러 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위해서는, 샤프 이미지의 탐색 윈도우에 포함되는 성분값과 j번째 블러 이미지의 탐색 윈도우에 포함되는 성분값 사이의

,

,

및

가 계산되어야 한다.

도 2a 내지 2c를 참조하면, 상관관계 획득 시스템은 샤프 이미지의 탐색 윈도우 및 j번째 블러 이미지의 탐색 윈도우 사이의 상관관계를 획득하는 연산을 위한 하드웨어 구성부(210, 220, 230)를 도면과 같이 구현한다.

구체적으로, 샤프 이미지의 탐색 윈도우 및 j번째 블러 이미지의 탐색 윈도우 사이의 상관관계 r은 그 값이 0 이상 1 이하인 경우, 도 2a에 도시된 바와 같이 구현된 하드웨어 구성부(210)를 통하여 획득될 수 있고, 그 값이 -1 이상 1 이하인 경우, 도 2b에 도시된 바와 같이 구현된 하드웨어 구성부(220)를 통하여 획득될 수 있다.

또한, 복수의 블러 이미지들 중 샤프 이미지의 탐색 윈도우와 가장 잘 매칭되는 j번째 블러 이미지에서의 상관관계 r'은 그 값이 0 이상인 경우, 도 2c에 도시된 바와 같이 구현된 하드웨어 구성부(230)를 통하여 획득될 수 있다.

여기서, 샤프 이미지의 탐색 윈도우 및 블러 이미지의 탐색 윈도우 각각은 이미지에서 임의의 픽셀(m, n)을 중심으로 미리 설정된 개수의 픽셀들을 포함하는 (2N+1)*(2N+1) 영역을 의미한다.

이에, 수학식 3에서 샤프 이미지의 탐색 윈도우에 포함되는 성분값은 샤프 이미지의 탐색 윈도우에 포함되는 픽셀들 각각의 성분값으로 표현될 수 있고, 블러 이미지의 탐색 윈도우에 포함되는 성분값 역시 블러 이미지의 탐색 윈도우에 포함되는 픽셀들 각각의 성분값으로 표현될 수 있다. 이에 수학식 3은 수학식 4와 같이 표현된다.

<수학식 4>

수학식 4에서, i 및 j는 픽셀 (m, n)을 중심으로 각각 x축 방향 및 y축 방향으로 N개의 픽셀까지의 픽셀 위치를 나타내고, x 및 y는 각각의 픽셀 위치에서의 성분값을 나타낸다.

즉, 샤프 이미지의 탐색 윈도우 및 블러 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위해서는 샤프 이미지의 탐색 윈도우에 포함되는 성분값들(픽셀들 각각의 성분값)과 블러 이미지의 탐색 윈도우에 포함되는 성분값들(픽셀들 각각의 성분값) 사이의

,

,

및

가 수학식 5와 같이 계산되어야 한다.

<수학식 5>

이 때,

,

,

및

중 연산의 복잡도는

가 가장 높기 때문에,

연산을 간략화하면, 샤프 이미지의 탐색 윈도우 및 블러 이미지의 탐색 윈도우 사이의 상관관계를 획득하는 과정 자체의 복잡도를 현저히 낮출 수 있다.

따라서, 일실시예들에 따른 상관관계 획득 시스템은 해당 연산을 간략화하기 위한 구성부를 하드웨어적으로 구현함으로써, 샤프 이미지의 탐색 윈도우 및 블러 이미지의 탐색 윈도우 사이의 상관관계를 획득하는 과정의 복잡도 저감을 도모한다. 이에 대한 상세한 설명은 도 3a 내지 3c를 참조하여 기재하기로 한다.

도 3a 내지 3c는 일실시예에 따른 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합의 계산을 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱의 계산으로 대체하는 하드웨어 구성부를 설명하기 위한 도면이다.

도 3a를 참조하면, 기존의 깊이를 결정하는 기술에서

는 도면과 같은 하드웨어 구성부(310)로서 구현될 수 있다. 따라서, 하드웨어 구성부(310)에 요구되는 연산장치는 가산기보다 많은 숫자의 곱셈기를 포함하기 때문에, 연산의 복잡도가 높게 된다.

예를 들어, 도면과 같이, 탐색 윈도우에 해당하는 (2N+1)*(2N+1) 영역에서 N이 4의 값을 갖는 경우,

를 계산하는 하드웨어 구성부(310)는 9개의 곱셈기 및 8개의 가산기를 포함하도록 구현될 수 있다.

이에, 일실시예에 따른 상관관계 획득 시스템은 다음과 같은 특성을 이용하여,

연산을 간략화할 수 있다. 구체적으로, 수학식 6과 같이, 두 개의 인접한 데이터들이 벡터에서 높은 상관관계를 갖는다면, 두 개의 인접한 데이터들을 페어링함으로써, 두 개의 인접한 데이터들의 곱셈합의 계산은 합셈곱의 계산으로 대체될 수 있다.

<수학식 6>

수학식 6에서,

및

와

및

는 인접한 두 데이터들을 나타낸다. 또한, 수학식 6을 네 개의 인접한 데이터들이 벡터에서 높은 상관관계를 갖는 경우로 확장하면, 수학식 7이 도출될 수 있고, 결론적으로, P 개의 인접한 데이터들이 벡터에서 높은 상관관계를 갖는 경우로 확장하면, 수학식 8이 도출될 수 있다.

<수학식 7>

<수학식 8>

즉, 탐색 윈도우에 해당하는 (2N+1)*(2N+1) 영역에서 P 개의 인접한 데이터들로 페어링되는 경우, 상관관계 획득 시스템은

연산을 데이터들의 합셈곱으로 계산하기 위하여, 2N(2P-1)P개의 가산기를 필요로 하고, 1+(2N/P)개의 곱셈기를 필요로 한다. 따라서, 상관관계 획득 시스템은 가산기보다 적은 숫자의 곱셈기를 포함하기 때문에, 연산의 복잡도를 현저히 낮출 수 있다.

예를 들어, 도 3b를 참조하면, 탐색 윈도우에 해당하는 (2N+1)*(2N+1) 영역에서 N이 4의 값을 갖고, 샤프 이미지의 탐색 윈도우에 포함되는 픽셀들 중 2 개의 인접한 픽셀들 각각의 성분값이 페어링되고, 블러 이미지의 탐색 윈도우에 포함되는 픽셀들 중 2개의 인접한 픽셀들 각각의 성분값이 페어링되는 경우,

를 계산하는 하드웨어 구성부(320)는 도면과 같이 샤프 이미지의 탐색 윈도우에 포함되는 성분값들(페어링되는 인접한 픽셀들 각각의 성분값)과 블러 이미지의 탐색 윈도우에 포함되는 성분값들(페어링되는 인접한 픽셀들 각각의 성분값) 사이의 합셈곱의 계산을 수행하도록 간략화되어 구현될 수 있다.

이러한 경우,

를 계산하는 하드웨어 구성부(320)는 5개의 곱셈기 및 12개의 가산기를 포함하도록 구현될 수 있다.

다른 예를 들어, 도 3c를 참조하면, 탐색 윈도우에 해당하는 (2N+1)*(2N+1) 영역에서 N이 4의 값을 갖고, 샤프 이미지의 탐색 윈도우에 포함되는 픽셀들 중 4 개의 인접한 픽셀들 각각의 성분값이 페어링되고, 블러 이미지의 탐색 윈도우에 포함되는 픽셀들 중 4개의 인접한 픽셀들 각각의 성분값이 페어링되는 경우,

를 계산하는 하드웨어 구성부(330)는 도면과 같이 샤프 이미지의 탐색 윈도우에 포함되는 성분값들(페어링되는 인접한 픽셀들 각각의 성분값)과 블러 이미지의 탐색 윈도우에 포함되는 성분값들(페어링되는 인접한 픽셀들 각각의 성분값) 사이의 합셈곱의 계산을 수행하도록 간략화되어 구현될 수 있다.

이러한 경우,

를 계산하는 하드웨어 구성부(330)는 3개의 곱셈기 및 14개의 가산기를 포함하도록 구현될 수 있다.

여기서, 샤프 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 인접한 픽셀들의 개수 및 블러 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 인접한 픽셀들의 개수는 도면에 도시된 경우로 제한되거나 한정되지 않고, 샤프 이미지의 탐색 윈도우에 포함되는 성분값들과 블러 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계의 복잡도를 최소화하도록 적응적으로 조절될 수 있다.

상술한 바와 같은 상관관계 획득 방법은 멀티 애퍼처 카메라 시스템에서의 깊이 결정 기술뿐만 아니라, 이미지들 사이의 상관관계를 요구하는 다양한 기술에서 이용될 수 있다. 따라서, 상술한 샤프 이미지 및 블러 이미지는 각각 샤프하고, 블러된 이미지를 의미할 뿐만 아니라, 서로 다른 두 개의 이미지들을 의미할 수 있다. 즉, 샤프 이미지는 제1 이미지로서 이해되고, 블러 이미지는 제2 이미지로서 이해될 수 있다.

도 4는 일실시예에 따른 상관관계 획득 방법을 나타낸 플로우 차트이다.

도 4를 참조하면, 일실시예에 따른 상관관계 획득 방법은 도 1을 참조하여 기재된 깊이 결정 방법의 단계 중 샤프 이미지의 탐색 윈도우와 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득하는 단계에서 수행될 수 있다. 따라서, 상관관계 획득 방법은 깊이 결정부에 포함되는 상관관계 획득 시스템에 의해 수행되는 것으로 기재한다. 이하, 제1 이미지는 샤프 이미지를 의미하고, 제2 이미지는 복수의 블러 이미지들 중 선택된 어느 하나의 블러 이미지를 의미한다.

그러나 이에 제한되거나 한정되지 않고, 일실시예에 따른 상관관계 획득 방법은 멀티 애퍼처 카메라 시스템에서의 깊이 결정 기술뿐만 아니라, 이미지들 사이의 상관관계를 요구하는 다양한 기술에서 이용될 수 있다.

이하, 탐색 윈도우는 제1 이미지 또는 제2 이미지 중 어느 하나의 이미지에서 임의의 픽셀을 중심으로 미리 설정된 개수의 픽셀들을 포함하는 영역을 의미한다.

상관관계 획득 시스템은 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출한다(410).

그 후, 상관관계 획득 시스템은 제1 이미지의 탐색 윈도우와 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산한다(420).

이 때, 도면에는 도시되지 않았지만, 상관관계 획득 시스템은 410 단계 이전에, 제1 이미지의 탐색 윈도우와 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현할 수 있다. 예를 들어, 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합의 계산을 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부는 도 3b 또는 3c에 도시된 구성부와 같이 구현될 수 있다. 더 구체적인 예를 들면, 상관관계 획득 시스템은 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산을 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합산 계산으로 각각 대체하는 구성부와, 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값의 합셈 계산을 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값의 곱셈 계산으로 대체하는 구성부를 하드웨어적으로 구현할 수 있다.

따라서, 420 단계에서, 상관관계 획득 시스템은 하드웨어적으로 구현된 구성부를 이용하여, 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산할 수 있다.

구체적으로, 상관관계 획득 시스템은 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하고, 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링한 뒤, 제1 이미지의 탐색 윈도우에 포함되는 페어링된 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 페어링된 성분값들 사이의 합셈곱을 계산할 수 있다.

이 때, 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 인접한 픽셀들의 개수 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 인접한 픽셀들의 개수는 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계의 복잡도를 최소화하도록 적응적으로 조절될 수 있다.

또한, 상관관계 획득 시스템은 410 단계 이전에, 제1 이미지를 블러링하는 단계를 더 포함함으로써, 410 단계에서 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출할 수 있고, 420 단계에서 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산할 수도 있다.

이러한 경우 역시 마찬가지로, 420 단계에서 상관관계 획득 시스템은 하드웨어적으로 구현된 구성부를 이용하여 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산할 수 있다.

이와 같이 수행되는 상관관계 획득 방법은 컴퓨터와 결합하는 컴퓨터 프로그램의 형태로 구현될 수도 있다.

도 5는 일실시예에 따른 상관관계 획득 시스템을 나타낸 블록도이다.

도 5를 참조하면, 일실시예에 따른 상관관계 획득 시스템은 추출부(510) 및 계산부(520)를 포함한다.

추출부(510)는 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출한다.

계산부(520)는 제1 이미지의 탐색 윈도우와 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산한다.

이 때, 계산부(520)는 상관관계 획득 시스템은 410 단계 이전에, 제1 이미지의 탐색 윈도우와 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하도록 하드웨어적으로 구현될 수 있다. 예를 들어, 계산부(520)는 도 3b 또는 3c에 도시된 구성부와 같이 구현될 수 있다. 더 구체적인 예를 들면, 계산부(520)는 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산을 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합산 계산으로 각각 대체하고, 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값의 합셈 계산을 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값의 곱셈 계산으로 대체하도록 하드웨어적으로 구현될 수 있다.

구체적으로, 계산부(520)는 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하고, 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링한 뒤, 제1 이미지의 탐색 윈도우에 포함되는 페어링된 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 페어링된 성분값들 사이의 합셈곱을 계산할 수 있다.

이 때, 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 인접한 픽셀들의 개수 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 인접한 픽셀들의 개수는 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계의 복잡도를 최소화하도록 적응적으로 조절될 수 있다.

또한, 상관관계 획득 시스템은 추출부(510)보다 먼저 동작하여, 제1 이미지를 블러링하는 블러링부(도면에는 도시되지 않음)를 더 포함함으로써, 추출부(510)로 하여금 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하도록 하고, 계산부(520)로 하여금 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하도록 할 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

1. 이미지들 사이의 상관관계(correlation coefficient) 획득 방법에 있어서,
   제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계; 및
   상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 단계
   를 포함하고,
   상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는
   상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하는 단계;
   상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하는 단계; 및
   상기 제1 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 사이의 합셈곱을 계산하는 단계
   를 포함하는 상관관계 획득 방법.
2. 제1항에 있어서,
   상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현하는 단계
   를 더 포함하는 상관관계 획득 방법.
3. 제2항에 있어서,
   상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는
   상기 하드웨어적으로 구현된 구성부를 이용하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계인, 상관관계 획득 방법.
4. 제2항에 있어서,
   상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현하는 단계는
   상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합산 계산으로 각각 대체하는 구성부와, 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값의 합셈 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값의 곱셈 계산으로 대체하는 구성부를 하드웨어적으로 구현하는 단계
   를 포함하는 상관관계 획득 방법.
5. 삭제
6. 제1항에 있어서,
   상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수는
   상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계의 복잡도를 최소화하도록 조절되는, 상관관계 획득 방법.
7. 제1항에 있어서,
   상기 제1 이미지를 블러링하는 단계
   를 더 포함하고,
   상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계는
   상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계
   를 포함하며,
   상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는
   상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계
   를 포함하는 상관관계 획득 방법.
8. 제1항에 있어서,
   상기 탐색 윈도우는
   상기 제1 이미지 또는 상기 제2 이미지 중 어느 하나의 이미지에서 임의의 픽셀을 중심으로 미리 설정된 개수의 픽셀들을 포함하는 영역인, 상관관계 획득 방법.
9. 컴퓨터와 결합하여, 이미지들 사이의 상관관계(correlation coefficient) 획득 방법을 실행시키기 위해 기록매체에 저장된 컴퓨터 프로그램에 있어서,
   상기 상관관계 획득 방법은
   제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계; 및
   상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 단계
   를 포함하고,
   상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는
   상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하는 단계;
   상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하는 단계; 및
   상기 제1 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 사이의 합셈곱을 계산하는 단계
   를 포함하는 기록매체에 저장된 컴퓨터 프로그램.
10. 제9항에 있어서,
    상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는
    상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 하드웨어 구성부를 이용하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계인, 기록매체에 저장된 컴퓨터 프로그램.
11. 이미지들 사이의 상관관계(correlation coefficient) 획득 시스템에 있어서,
    제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 추출부; 및
    상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 계산부
    를 포함하고,
    상기 계산부는
    상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하고, 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링함으로써, 상기 제1 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 사이의 합셈곱을 계산하는 상관관계 획득 시스템.
12. 제11항에 있어서,
    상기 계산부는
    상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하도록 하드웨어적으로 구현되는, 상관관계 획득 시스템.
13. 삭제
14. 제11항에 있어서,
    상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수는
    상기 계산부의 복잡도를 최소화하도록 조절되는, 상관관계 획득 시스템.
15. 제11항에 있어서,
    상기 제1 이미지를 블러링하는 블러링부
    를 더 포함하고,
    상기 추출부는
    상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하며,
    상기 계산부는
    상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는, 상관관계 획득 시스템.

Images