KR101775273B1 - 이미지들 사이의 상관관계 획득 방법 및 시스템 - Google Patents

이미지들 사이의 상관관계 획득 방법 및 시스템 Download PDF

Info

Publication number
KR101775273B1
KR101775273B1 KR1020160044679A KR20160044679A KR101775273B1 KR 101775273 B1 KR101775273 B1 KR 101775273B1 KR 1020160044679 A KR1020160044679 A KR 1020160044679A KR 20160044679 A KR20160044679 A KR 20160044679A KR 101775273 B1 KR101775273 B1 KR 101775273B1
Authority
KR
South Korea
Prior art keywords
image
search window
component values
component
pixels
Prior art date
Application number
KR1020160044679A
Other languages
English (en)
Inventor
박현상
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020160044679A priority Critical patent/KR101775273B1/ko
Application granted granted Critical
Publication of KR101775273B1 publication Critical patent/KR101775273B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

이미지들 사이의 상관관계(correlation coefficient) 획득 방법은 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계; 및 상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 단계를 포함한다.

Description

이미지들 사이의 상관관계 획득 방법 및 시스템{METHOD AND SYSTEM FOR ACQUIRING CORRELATION COEFFICIENT BETWEEN IMAGES}
아래의 실시예들은 이미지들 사이의 상관관계(correlation coefficient) 획득 시스템 및 그 방법에 관한 것으로, 이미지들 사이의 상관관계를 획득하기 위한 계산을 간략화하는 기술에 대한 것이다.
기존의 깊이를 결정하는 기술은 샤프 채널의 광 신호로부터 생성되는 샤프 이미지 및 블러 채널의 광 신호로부터 생성되는 블러 이미지 사이의 블러 크기 변화를 기초로 이미지에서의 깊이(이하, 이미지에서의 깊이는 카메라와 피사체 사이의 깊이(거리)를 의미함)를 결정한다.
이 때, 기존의 깊이를 결정하는 기술은 복수의 블러 채널들의 광 신호들로부터 생성되는 복수의 이미지들을 기반으로, 복수의 블러 이미지들 중 어느 하나의 블러 이미지를 선택하여 샤프 이미지와 비교함으로써, 깊이 정확도를 향상시킬 수 있다.
이러한 경우, 복수의 블러 이미지들 중 샤프 이미지와 비교되는 어느 하나의 블러 이미지는 복수의 블러 이미지들 각각과 샤프 이미지 사이의 상관관계에 기초하여 선택된다.
여기서, 복수의 블러 이미지들 각각과 샤프 이미지 사이의 상관관계는 복수의 블러 이미지들 각각의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 토대로 획득되는데, 이와 같은 곱셈합의 계산은 그 복잡도가 높은 단점이 있다.
이에, 아래의 실시예들은 복수의 블러 이미지들 각각에 대해 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하기 위한 곱셈합의 계산을 낮은 복잡도의 계산으로 대체하는 기술을 제안한다.
또한, 아래의 실시예들은 멀티 애퍼처 카메라 시스템에서의 깊이 결정 기술뿐만 아니라, 이미지들 사이의 상관관계를 요구하는 다양한 기술에서 이용 가능한, 이미지들 사이의 상관관계를 획득하기 위한 계산을 간략화하는 방법을 제안한다.
일실시예들은 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하기 위한 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합의 계산을 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱(multiplication of summations)의 계산으로 대체함으로써, 낮은 복잡도의 계산으로 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하는 기술을 제공한다.
특히, 일실시예들은 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합의 계산을 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현함으로써, 하드웨어를 기반으로 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱의 계산을 수행하는 기술을 제공한다.
일실시예에 따르면, 이미지들 사이의 상관관계(correlation coefficient) 획득 방법은 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계; 및 상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 단계를 포함한다.
상기 이미지들 사이의 상관관계 획득 방법은 상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현하는 단계를 더 포함할 수 있다.
상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는 상기 하드웨어적으로 구현된 구성부를 이용하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계일 수 있다.
상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현하는 단계는 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합산 계산으로 각각 대체하는 구성부와, 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값의 합셈 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값의 곱셈 계산으로 대체하는 구성부를 하드웨어적으로 구현하는 단계를 포함할 수 있다.
상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하는 단계; 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하는 단계; 및 상기 제1 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 사이의 합셈곱을 계산하는 단계를 포함할 수 있다.
상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수는 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계의 복잡도를 최소화하도록 적응적으로 조절될 수 있다.
상기 이미지들 사이의 상관관계 획득 방법은 상기 제1 이미지를 블러링하는 단계를 더 포함하고, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계는 상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계를 포함하며, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는 상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계를 포함할 수 있다.
상기 탐색 윈도우는 상기 제1 이미지 또는 상기 제2 이미지 중 어느 하나의 이미지에서 임의의 픽셀을 중심으로 미리 설정된 개수의 픽셀들을 포함하는 영역일 수 있다.
일실시예에 따르면, 이미지들 사이의 상관관계(correlation coefficient) 획득 시스템은 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 추출부; 및 상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 계산부를 포함한다.
상기 계산부는 상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하도록 하드웨어적으로 구현될 수 있다.
상기 계산부는 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하고, 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링함으로써, 상기 제1 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 사이의 합셈곱을 계산할 수 있다.
상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수는 상기 계산부의 복잡도를 최소화하도록 적응적으로 조절될 수 있다.
상기 이미지들 사이의 상관관계 획득 시스템은 상기 제1 이미지를 블러링하는 블러링부를 더 포함하고, 상기 추출부는 상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하며, 상기 계산부는 상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산한다.
일실시예에 따르면, 이미지들 사이의 상관관계(correlation coefficient)에 기반하는 멀티 애퍼처 카메라의 깊이 결정 방법은 샤프 이미지 및 복수의 블러 이미지들을 획득하는 단계; 상기 샤프 이미지의 탐색 윈도우와 상기 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득하는 단계; 상기 획득된 상관관계에 기초하여 상기 복수의 블러 이미지들 중 어느 하나의 블러 이미지를 선택하는 단계; 상기 샤프 이미지를 블러링하는 단계; 및 상기 블러링된 샤프 이미지의 탐색 윈도우와 상기 선택된 어느 하나의 블러 이미지의 탐색 윈도우를 비교하여 상기 탐색 윈도우에서의 깊이를 결정하는 단계를 포함하고, 상기 샤프 이미지의 탐색 윈도우와 상기 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득하는 단계는 상기 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 상기 복수의 블러 이미지들 각각의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계; 및 상기 샤프 이미지의 탐색 윈도우와 상기 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 샤프 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 복수의 블러 이미지들 각각의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 단계를 포함한다.
일실시예들은 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하기 위한 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합의 계산을 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱(multiplication of summations)의 계산으로 대체함으로써, 낮은 복잡도의 계산으로 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하는 기술을 제공할 수 있다.
특히, 일실시예들은 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합의 계산을 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현함으로써, 하드웨어를 기반으로 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱의 계산을 수행하는 기술을 제공할 수 있다.
도 1은 일실시예에 따른 이미지들 사이의 상관관계에 기반하는 멀티 애퍼처 카메라의 깊이 결정 방법을 나타낸 플로우 차트이다.
도 2a 내지 2c는 일실시예에 따른 이미지들 사이의 상관관계를 획득하는 과정을 하드웨어적으로 구현한 도면이다.
도 3a 내지 3c는 일실시예에 따른 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합의 계산을 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱의 계산으로 대체하는 하드웨어 구성부를 설명하기 위한 도면이다.
도 4는 일실시예에 따른 상관관계 획득 방법을 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 상관관계 획득 시스템을 나타낸 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일실시예에 따른 이미지들 사이의 상관관계에 기반하는 멀티 애퍼처 카메라의 깊이 결정 방법을 나타낸 플로우 차트이다.
도 1을 참조하면, 일실시예에 따른 멀티 애퍼처 카메라의 깊이 결정 방법은 샤프 애퍼처, 블러 애퍼처, 이미지 센서 및 깊이 결정부를 포함하는 멀티 애퍼처 카메라에 의해 다음과 같이 수행된다.
샤프 애퍼처는 샤프 채널의 광 신호를 유입시킨다(110).
블러 애퍼처는 샤프 채널과 다른 파장대의 복수의 블러 채널들 각각의 광 신호를 유입시킨다(120). 예를 들어, 샤프 애퍼처는 IR 채널의 광 신호를 유입시키고, 블러 애퍼처는 R 채널, G 채널 또는 B 채널 중 적어도 두 개 이상 채널의 광 신호를 유입시킬 수 있다. 그러나 샤프 채널 및 복수의 블러 채널들 각각은 이에 제한되거나 한정되지 않고, 서로 각기 다른 다양한 파장대로 설정될 수 있다. 또한, 샤프 애퍼처 및 블러 애퍼처는 하나의 필터 상에 형성되거나, 복수의 필터들 각각에 분리되어 형성될 수도 있다.
이미지 센서는 샤프 채널의 광 신호 및 복수의 블러 채널들 각각의 광 신호를 처리하여 샤프 이미지 및 복수의 블러 이미지들을 생성하고, 깊이 결정부는 이미지 센서로부터 샤프 이미지 및 복수의 블러 이미지들을 획득한다(130).
이어서, 깊이 결정부는 샤프 이미지의 탐색 윈도우와 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득한다(140).
이 때, 탐색 윈도우는 샤프 이미지 및 복수의 블러 이미지들 각각에서 임의의 픽셀을 중심으로 미리 설정된 개수의 픽셀들을 포함하는 영역으로서, 깊이를 결정하기 위하여 샤프 이미지 및 복수의 블러 이미지들 각각에서 순차적으로 이동되며 탐색되는 영역을 의미한다. 예를 들어, 탐색 윈도우는 샤프 이미지 및 복수의 블러 이미지들 각각에서 복수의 라인들 별로 수평 방향으로 이동되며 탐색될 수 있고, 복수의 라인들 중 하나의 라인에 대한 수평 방향의 이동/탐색이 끝난 뒤에, 다음 라인에 대한 수평 방향의 이동/탐색이 수행될 수 있다.
그 다음, 깊이 결정부는 획득된 상관관계에 기초하여 복수의 블러 이미지들 중 어느 하나의 블러 이미지를 선택한다(150).
그 다음, 깊이 결정부는 샤프 이미지를 블러링한 뒤(160), 블러링된 샤프 이미지의 탐색 윈도우와 선택된 어느 하나의 블러 이미지의 탐색 윈도우를 비교하여 탐색 윈도우에서의 깊이를 결정한다(170).
일실시예에 따른 깊이 결정부는 140 단계에서, 샤프 이미지의 탐색 윈도우와 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 복수의 블러 이미지들 별로 블러 이미지의 탐색 윈도우에 포함되는 성분값들 및 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산한다.
즉, 깊이 결정부는 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 블러 이미지의 탐색 윈도우에 포함되는 성분값들을 사이의 곱셈합을 계산하는 기존의 경우와 달리, 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 블러 이미지의 탐색 윈도우에 포함되는 성분값들을 사이의 합셈곱을 계산함으로써, 복수의 블러 이미지들 각각에 대해 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하는 연산의 복잡도를 현저히 낮출 수 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
특히, 깊이 결정부는 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 블러 이미지의 탐색 윈도우에 포함되는 성분값들을 사이의 곱셈합의 계산을 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 블러 이미지의 탐색 윈도우에 포함되는 성분값들을 사이의 합셈곱의 계산으로 대체하는 하드웨어 구성부를 기반으로 상술한 합셈곱의 계산을 수행함으로써, 복수의 블러 이미지들 각각에 대해 블러 이미지와 샤프 이미지 사이의 상관관계를 획득하는 연산을 간략화할 수 있다.
이하, 깊이 결정부는 상관관계 획득 시스템을 포함함으로써, 후술되는 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 블러 이미지의 탐색 윈도우에 포함되는 성분값들을 사이의 곱셈합의 계산을 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 블러 이미지의 탐색 윈도우에 포함되는 성분값들을 사이의 합셈곱의 계산으로 대체할 수 있다.
또한, 깊이 결정부는 샤프 이미지를 블러링하는 160 단계를 140 단계 이전에 수행함으로써, 140 단계에서, 블러링된 샤프 이미지의 탐색 윈도우에 포함되는 성분값들 및 복수의 블러 이미지들 각각의 탐색 윈도우에 포함되는 성분값들을 사이의 합셈곱을 계산함으로써, 블러링된 샤프 이미지의 탐색 윈도우와 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득할 수도 있다.
도 2a 내지 2c는 일실시예에 따른 이미지들 사이의 상관관계를 획득하는 과정을 하드웨어적으로 구현한 도면이다.
도 1을 참조하여 상술한 샤프 이미지의 탐색 윈도우와 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계는 수학식 1과 같이 계산될 수 있다.
<수학식 1>
Figure 112016035030686-pat00001

수학식 1에서,
Figure 112016035030686-pat00002
는 복수의 블러 이미지들 중 j번째 블러 이미지의 탐색 윈도우와 샤프 이미지의 탐색 윈도우 사이의 상관관계를 나타내고, X는 샤프 이미지의 탐색 윈도우에 포함되는 성분값을 나타내며,
Figure 112016035030686-pat00003
는 j번째 블러 이미지의 탐색 윈도우에 포함되는 성분값을 나타낸다.
수학식 1로부터 복수의 블러 이미지들 중 샤프 이미지의 탐색 윈도우와 가장 잘 매칭되는 j번째 블러 이미지에서의 상관관계가 수학식 2와 같이 수정되더라도 같은 탐색 결과를 갖는다.
<수학식 2>
Figure 112016035030686-pat00004

또한, 탐색 윈도우내의 데이터가 M개인 경우, 수학식 2는 수학식 3과 같이 표현된다.
<수학식 3>
Figure 112016035030686-pat00005

수학식 3에서, x는 샤프 이미지의 탐색 윈도우에 포함되는 성분값을 나타내고,
Figure 112016035030686-pat00006
는 j번째 블러 이미지의 탐색 윈도우에 포함되는 성분값을 나타내며,
Figure 112016035030686-pat00007
는
Figure 112016035030686-pat00008
를 나타내고,
Figure 112016035030686-pat00009
는
Figure 112016035030686-pat00010
를 나타내며,
Figure 112016035030686-pat00011
는
Figure 112016035030686-pat00012
는 나타내고,
Figure 112016035030686-pat00013
는
Figure 112016035030686-pat00014
를 나타낸다.
따라서, 샤프 이미지의 탐색 윈도우 및 j번째 블러 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위해서는, 샤프 이미지의 탐색 윈도우에 포함되는 성분값과 j번째 블러 이미지의 탐색 윈도우에 포함되는 성분값 사이의
Figure 112016035030686-pat00015
,
Figure 112016035030686-pat00016
,
Figure 112016035030686-pat00017
및
Figure 112016035030686-pat00018
가 계산되어야 한다.
도 2a 내지 2c를 참조하면, 상관관계 획득 시스템은 샤프 이미지의 탐색 윈도우 및 j번째 블러 이미지의 탐색 윈도우 사이의 상관관계를 획득하는 연산을 위한 하드웨어 구성부(210, 220, 230)를 도면과 같이 구현한다.
구체적으로, 샤프 이미지의 탐색 윈도우 및 j번째 블러 이미지의 탐색 윈도우 사이의 상관관계 r은 그 값이 0 이상 1 이하인 경우, 도 2a에 도시된 바와 같이 구현된 하드웨어 구성부(210)를 통하여 획득될 수 있고, 그 값이 -1 이상 1 이하인 경우, 도 2b에 도시된 바와 같이 구현된 하드웨어 구성부(220)를 통하여 획득될 수 있다.
또한, 복수의 블러 이미지들 중 샤프 이미지의 탐색 윈도우와 가장 잘 매칭되는 j번째 블러 이미지에서의 상관관계 r'은 그 값이 0 이상인 경우, 도 2c에 도시된 바와 같이 구현된 하드웨어 구성부(230)를 통하여 획득될 수 있다.
여기서, 샤프 이미지의 탐색 윈도우 및 블러 이미지의 탐색 윈도우 각각은 이미지에서 임의의 픽셀(m, n)을 중심으로 미리 설정된 개수의 픽셀들을 포함하는 (2N+1)*(2N+1) 영역을 의미한다.
이에, 수학식 3에서 샤프 이미지의 탐색 윈도우에 포함되는 성분값은 샤프 이미지의 탐색 윈도우에 포함되는 픽셀들 각각의 성분값으로 표현될 수 있고, 블러 이미지의 탐색 윈도우에 포함되는 성분값 역시 블러 이미지의 탐색 윈도우에 포함되는 픽셀들 각각의 성분값으로 표현될 수 있다. 이에 수학식 3은 수학식 4와 같이 표현된다.
<수학식 4>
Figure 112016035030686-pat00019

수학식 4에서, i 및 j는 픽셀 (m, n)을 중심으로 각각 x축 방향 및 y축 방향으로 N개의 픽셀까지의 픽셀 위치를 나타내고, x 및 y는 각각의 픽셀 위치에서의 성분값을 나타낸다.
즉, 샤프 이미지의 탐색 윈도우 및 블러 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위해서는 샤프 이미지의 탐색 윈도우에 포함되는 성분값들(픽셀들 각각의 성분값)과 블러 이미지의 탐색 윈도우에 포함되는 성분값들(픽셀들 각각의 성분값) 사이의
Figure 112016035030686-pat00020
,
Figure 112016035030686-pat00021
,
Figure 112016035030686-pat00022
및
Figure 112016035030686-pat00023
가 수학식 5와 같이 계산되어야 한다.
<수학식 5>
Figure 112016035030686-pat00024
Figure 112016035030686-pat00025
Figure 112016035030686-pat00026
Figure 112016035030686-pat00027

이 때,
Figure 112016035030686-pat00028
,
Figure 112016035030686-pat00029
,
Figure 112016035030686-pat00030
및
Figure 112016035030686-pat00031
중 연산의 복잡도는
Figure 112016035030686-pat00032
가 가장 높기 때문에,
Figure 112016035030686-pat00033
연산을 간략화하면, 샤프 이미지의 탐색 윈도우 및 블러 이미지의 탐색 윈도우 사이의 상관관계를 획득하는 과정 자체의 복잡도를 현저히 낮출 수 있다.
따라서, 일실시예들에 따른 상관관계 획득 시스템은 해당 연산을 간략화하기 위한 구성부를 하드웨어적으로 구현함으로써, 샤프 이미지의 탐색 윈도우 및 블러 이미지의 탐색 윈도우 사이의 상관관계를 획득하는 과정의 복잡도 저감을 도모한다. 이에 대한 상세한 설명은 도 3a 내지 3c를 참조하여 기재하기로 한다.
도 3a 내지 3c는 일실시예에 따른 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 곱셈합의 계산을 블러 이미지의 성분값들과 샤프 이미지의 성분값들 사이의 합셈곱의 계산으로 대체하는 하드웨어 구성부를 설명하기 위한 도면이다.
도 3a를 참조하면, 기존의 깊이를 결정하는 기술에서
Figure 112016035030686-pat00034
는 도면과 같은 하드웨어 구성부(310)로서 구현될 수 있다. 따라서, 하드웨어 구성부(310)에 요구되는 연산장치는 가산기보다 많은 숫자의 곱셈기를 포함하기 때문에, 연산의 복잡도가 높게 된다.
예를 들어, 도면과 같이, 탐색 윈도우에 해당하는 (2N+1)*(2N+1) 영역에서 N이 4의 값을 갖는 경우,
Figure 112016035030686-pat00035
를 계산하는 하드웨어 구성부(310)는 9개의 곱셈기 및 8개의 가산기를 포함하도록 구현될 수 있다.
이에, 일실시예에 따른 상관관계 획득 시스템은 다음과 같은 특성을 이용하여,
Figure 112016035030686-pat00036
연산을 간략화할 수 있다. 구체적으로, 수학식 6과 같이, 두 개의 인접한 데이터들이 벡터에서 높은 상관관계를 갖는다면, 두 개의 인접한 데이터들을 페어링함으로써, 두 개의 인접한 데이터들의 곱셈합의 계산은 합셈곱의 계산으로 대체될 수 있다.
<수학식 6>
Figure 112016035030686-pat00037
Figure 112016035030686-pat00038
Figure 112016035030686-pat00039
Figure 112016035030686-pat00040

수학식 6에서,
Figure 112016035030686-pat00041
및
Figure 112016035030686-pat00042
와
Figure 112016035030686-pat00043
및
Figure 112016035030686-pat00044
는 인접한 두 데이터들을 나타낸다. 또한, 수학식 6을 네 개의 인접한 데이터들이 벡터에서 높은 상관관계를 갖는 경우로 확장하면, 수학식 7이 도출될 수 있고, 결론적으로, P 개의 인접한 데이터들이 벡터에서 높은 상관관계를 갖는 경우로 확장하면, 수학식 8이 도출될 수 있다.
<수학식 7>
Figure 112016035030686-pat00045

<수학식 8>
Figure 112016035030686-pat00046

즉, 탐색 윈도우에 해당하는 (2N+1)*(2N+1) 영역에서 P 개의 인접한 데이터들로 페어링되는 경우, 상관관계 획득 시스템은
Figure 112016035030686-pat00047
연산을 데이터들의 합셈곱으로 계산하기 위하여, 2N(2P-1)P개의 가산기를 필요로 하고, 1+(2N/P)개의 곱셈기를 필요로 한다. 따라서, 상관관계 획득 시스템은 가산기보다 적은 숫자의 곱셈기를 포함하기 때문에, 연산의 복잡도를 현저히 낮출 수 있다.
예를 들어, 도 3b를 참조하면, 탐색 윈도우에 해당하는 (2N+1)*(2N+1) 영역에서 N이 4의 값을 갖고, 샤프 이미지의 탐색 윈도우에 포함되는 픽셀들 중 2 개의 인접한 픽셀들 각각의 성분값이 페어링되고, 블러 이미지의 탐색 윈도우에 포함되는 픽셀들 중 2개의 인접한 픽셀들 각각의 성분값이 페어링되는 경우,
Figure 112016035030686-pat00048
를 계산하는 하드웨어 구성부(320)는 도면과 같이 샤프 이미지의 탐색 윈도우에 포함되는 성분값들(페어링되는 인접한 픽셀들 각각의 성분값)과 블러 이미지의 탐색 윈도우에 포함되는 성분값들(페어링되는 인접한 픽셀들 각각의 성분값) 사이의 합셈곱의 계산을 수행하도록 간략화되어 구현될 수 있다.
이러한 경우,
Figure 112016035030686-pat00049
를 계산하는 하드웨어 구성부(320)는 5개의 곱셈기 및 12개의 가산기를 포함하도록 구현될 수 있다.
다른 예를 들어, 도 3c를 참조하면, 탐색 윈도우에 해당하는 (2N+1)*(2N+1) 영역에서 N이 4의 값을 갖고, 샤프 이미지의 탐색 윈도우에 포함되는 픽셀들 중 4 개의 인접한 픽셀들 각각의 성분값이 페어링되고, 블러 이미지의 탐색 윈도우에 포함되는 픽셀들 중 4개의 인접한 픽셀들 각각의 성분값이 페어링되는 경우,
Figure 112016035030686-pat00050
를 계산하는 하드웨어 구성부(330)는 도면과 같이 샤프 이미지의 탐색 윈도우에 포함되는 성분값들(페어링되는 인접한 픽셀들 각각의 성분값)과 블러 이미지의 탐색 윈도우에 포함되는 성분값들(페어링되는 인접한 픽셀들 각각의 성분값) 사이의 합셈곱의 계산을 수행하도록 간략화되어 구현될 수 있다.
이러한 경우,
Figure 112016035030686-pat00051
를 계산하는 하드웨어 구성부(330)는 3개의 곱셈기 및 14개의 가산기를 포함하도록 구현될 수 있다.
여기서, 샤프 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 인접한 픽셀들의 개수 및 블러 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 인접한 픽셀들의 개수는 도면에 도시된 경우로 제한되거나 한정되지 않고, 샤프 이미지의 탐색 윈도우에 포함되는 성분값들과 블러 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계의 복잡도를 최소화하도록 적응적으로 조절될 수 있다.
상술한 바와 같은 상관관계 획득 방법은 멀티 애퍼처 카메라 시스템에서의 깊이 결정 기술뿐만 아니라, 이미지들 사이의 상관관계를 요구하는 다양한 기술에서 이용될 수 있다. 따라서, 상술한 샤프 이미지 및 블러 이미지는 각각 샤프하고, 블러된 이미지를 의미할 뿐만 아니라, 서로 다른 두 개의 이미지들을 의미할 수 있다. 즉, 샤프 이미지는 제1 이미지로서 이해되고, 블러 이미지는 제2 이미지로서 이해될 수 있다.
도 4는 일실시예에 따른 상관관계 획득 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 일실시예에 따른 상관관계 획득 방법은 도 1을 참조하여 기재된 깊이 결정 방법의 단계 중 샤프 이미지의 탐색 윈도우와 복수의 블러 이미지들 각각의 탐색 윈도우 사이의 상관관계를 획득하는 단계에서 수행될 수 있다. 따라서, 상관관계 획득 방법은 깊이 결정부에 포함되는 상관관계 획득 시스템에 의해 수행되는 것으로 기재한다. 이하, 제1 이미지는 샤프 이미지를 의미하고, 제2 이미지는 복수의 블러 이미지들 중 선택된 어느 하나의 블러 이미지를 의미한다.
그러나 이에 제한되거나 한정되지 않고, 일실시예에 따른 상관관계 획득 방법은 멀티 애퍼처 카메라 시스템에서의 깊이 결정 기술뿐만 아니라, 이미지들 사이의 상관관계를 요구하는 다양한 기술에서 이용될 수 있다.
이하, 탐색 윈도우는 제1 이미지 또는 제2 이미지 중 어느 하나의 이미지에서 임의의 픽셀을 중심으로 미리 설정된 개수의 픽셀들을 포함하는 영역을 의미한다.
상관관계 획득 시스템은 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출한다(410).
그 후, 상관관계 획득 시스템은 제1 이미지의 탐색 윈도우와 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산한다(420).
이 때, 도면에는 도시되지 않았지만, 상관관계 획득 시스템은 410 단계 이전에, 제1 이미지의 탐색 윈도우와 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현할 수 있다. 예를 들어, 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합의 계산을 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부는 도 3b 또는 3c에 도시된 구성부와 같이 구현될 수 있다. 더 구체적인 예를 들면, 상관관계 획득 시스템은 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산을 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합산 계산으로 각각 대체하는 구성부와, 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값의 합셈 계산을 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값의 곱셈 계산으로 대체하는 구성부를 하드웨어적으로 구현할 수 있다.
따라서, 420 단계에서, 상관관계 획득 시스템은 하드웨어적으로 구현된 구성부를 이용하여, 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산할 수 있다.
구체적으로, 상관관계 획득 시스템은 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하고, 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링한 뒤, 제1 이미지의 탐색 윈도우에 포함되는 페어링된 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 페어링된 성분값들 사이의 합셈곱을 계산할 수 있다.
이 때, 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 인접한 픽셀들의 개수 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 인접한 픽셀들의 개수는 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계의 복잡도를 최소화하도록 적응적으로 조절될 수 있다.
또한, 상관관계 획득 시스템은 410 단계 이전에, 제1 이미지를 블러링하는 단계를 더 포함함으로써, 410 단계에서 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출할 수 있고, 420 단계에서 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산할 수도 있다.
이러한 경우 역시 마찬가지로, 420 단계에서 상관관계 획득 시스템은 하드웨어적으로 구현된 구성부를 이용하여 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산할 수 있다.
이와 같이 수행되는 상관관계 획득 방법은 컴퓨터와 결합하는 컴퓨터 프로그램의 형태로 구현될 수도 있다.
도 5는 일실시예에 따른 상관관계 획득 시스템을 나타낸 블록도이다.
도 5를 참조하면, 일실시예에 따른 상관관계 획득 시스템은 추출부(510) 및 계산부(520)를 포함한다.
추출부(510)는 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출한다.
계산부(520)는 제1 이미지의 탐색 윈도우와 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산한다.
이 때, 계산부(520)는 상관관계 획득 시스템은 410 단계 이전에, 제1 이미지의 탐색 윈도우와 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하도록 하드웨어적으로 구현될 수 있다. 예를 들어, 계산부(520)는 도 3b 또는 3c에 도시된 구성부와 같이 구현될 수 있다. 더 구체적인 예를 들면, 계산부(520)는 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산을 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합산 계산으로 각각 대체하고, 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값의 합셈 계산을 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값의 곱셈 계산으로 대체하도록 하드웨어적으로 구현될 수 있다.
구체적으로, 계산부(520)는 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하고, 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링한 뒤, 제1 이미지의 탐색 윈도우에 포함되는 페어링된 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 페어링된 성분값들 사이의 합셈곱을 계산할 수 있다.
이 때, 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 인접한 픽셀들의 개수 및 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 인접한 픽셀들의 개수는 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계의 복잡도를 최소화하도록 적응적으로 조절될 수 있다.
또한, 상관관계 획득 시스템은 추출부(510)보다 먼저 동작하여, 제1 이미지를 블러링하는 블러링부(도면에는 도시되지 않음)를 더 포함함으로써, 추출부(510)로 하여금 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하도록 하고, 계산부(520)로 하여금 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하도록 할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 이미지들 사이의 상관관계(correlation coefficient) 획득 방법에 있어서,
    제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계; 및
    상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 단계
    를 포함하고,
    상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는
    상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하는 단계;
    상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하는 단계; 및
    상기 제1 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 사이의 합셈곱을 계산하는 단계
    를 포함하는 상관관계 획득 방법.
  2. 제1항에 있어서,
    상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현하는 단계
    를 더 포함하는 상관관계 획득 방법.
  3. 제2항에 있어서,
    상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는
    상기 하드웨어적으로 구현된 구성부를 이용하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계인, 상관관계 획득 방법.
  4. 제2항에 있어서,
    상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 구성부를 하드웨어적으로 구현하는 단계는
    상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합산 계산으로 각각 대체하는 구성부와, 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 곱셈 계산 결과값의 합셈 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값 사이의 합셈 계산 결과값의 곱셈 계산으로 대체하는 구성부를 하드웨어적으로 구현하는 단계
    를 포함하는 상관관계 획득 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수는
    상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계의 복잡도를 최소화하도록 조절되는, 상관관계 획득 방법.
  7. 제1항에 있어서,
    상기 제1 이미지를 블러링하는 단계
    를 더 포함하고,
    상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계는
    상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계
    를 포함하며,
    상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는
    상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계
    를 포함하는 상관관계 획득 방법.
  8. 제1항에 있어서,
    상기 탐색 윈도우는
    상기 제1 이미지 또는 상기 제2 이미지 중 어느 하나의 이미지에서 임의의 픽셀을 중심으로 미리 설정된 개수의 픽셀들을 포함하는 영역인, 상관관계 획득 방법.
  9. 컴퓨터와 결합하여, 이미지들 사이의 상관관계(correlation coefficient) 획득 방법을 실행시키기 위해 기록매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 상관관계 획득 방법은
    제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 단계; 및
    상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 단계
    를 포함하고,
    상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는
    상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하는 단계;
    상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하는 단계; 및
    상기 제1 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 사이의 합셈곱을 계산하는 단계
    를 포함하는 기록매체에 저장된 컴퓨터 프로그램.
  10. 제9항에 있어서,
    상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계는
    상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하는 하드웨어 구성부를 이용하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는 단계인, 기록매체에 저장된 컴퓨터 프로그램.
  11. 이미지들 사이의 상관관계(correlation coefficient) 획득 시스템에 있어서,
    제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하는 추출부; 및
    상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위하여, 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱(multiplication of summations)을 계산하는 계산부
    를 포함하고,
    상기 계산부는
    상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링하고, 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 인접한 픽셀들 각각의 성분값을 페어링함으로써, 상기 제1 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 상기 페어링된 성분값들 사이의 합셈곱을 계산하는 상관관계 획득 시스템.
  12. 제11항에 있어서,
    상기 계산부는
    상기 제1 이미지의 탐색 윈도우와 상기 제2 이미지의 탐색 윈도우 사이의 상관관계를 획득하기 위한 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 곱셈합(summation of multiplications)의 계산을 상기 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱의 계산으로 대체하도록 하드웨어적으로 구현되는, 상관관계 획득 시스템.
  13. 삭제
  14. 제11항에 있어서,
    상기 제1 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수 및 상기 제2 이미지의 탐색 윈도우에 포함되는 픽셀들 중 각각의 성분값이 페어링되는 상기 인접한 픽셀들의 개수는
    상기 계산부의 복잡도를 최소화하도록 조절되는, 상관관계 획득 시스템.
  15. 제11항에 있어서,
    상기 제1 이미지를 블러링하는 블러링부
    를 더 포함하고,
    상기 추출부는
    상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들 및 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들을 추출하며,
    상기 계산부는
    상기 블러링된 제1 이미지의 탐색 윈도우에 포함되는 성분값들과 상기 제2 이미지의 탐색 윈도우에 포함되는 성분값들 사이의 합셈곱을 계산하는, 상관관계 획득 시스템.
KR1020160044679A 2016-04-12 2016-04-12 이미지들 사이의 상관관계 획득 방법 및 시스템 KR101775273B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160044679A KR101775273B1 (ko) 2016-04-12 2016-04-12 이미지들 사이의 상관관계 획득 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160044679A KR101775273B1 (ko) 2016-04-12 2016-04-12 이미지들 사이의 상관관계 획득 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101775273B1 true KR101775273B1 (ko) 2017-09-06

Family

ID=59925604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160044679A KR101775273B1 (ko) 2016-04-12 2016-04-12 이미지들 사이의 상관관계 획득 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101775273B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563739A (zh) * 2023-07-07 2023-08-08 中铁九局集团第一建设有限公司 基于计算机视觉的公路施工进度检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163739A (ja) 2004-12-06 2006-06-22 Casio Comput Co Ltd 最大相関位置検出装置、最大相関位置検出方法、および最大相関位置検出処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163739A (ja) 2004-12-06 2006-06-22 Casio Comput Co Ltd 最大相関位置検出装置、最大相関位置検出方法、および最大相関位置検出処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563739A (zh) * 2023-07-07 2023-08-08 中铁九局集团第一建设有限公司 基于计算机视觉的公路施工进度检测方法
CN116563739B (zh) * 2023-07-07 2023-09-22 中铁九局集团第一建设有限公司 基于计算机视觉的公路施工进度检测方法

Similar Documents

Publication Publication Date Title
US10282824B2 (en) Method and system for eliminating stripe noise in infrared images
US9454807B2 (en) Methods and systems for denoising images
Aslantas et al. A pixel based multi-focus image fusion method
CN106991650B (zh) 一种图像去模糊的方法和装置
CN103473743B (zh) 一种获取图像深度信息的方法
JP5874039B2 (ja) ステレオ画像処理装置及びステレオ画像処理方法
US9449371B1 (en) True motion based temporal-spatial IIR filter for video
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
JP5976665B2 (ja) 画像の並列処理方法および装置
US10687076B2 (en) Refining motion vectors in video motion estimation
CN109791695A (zh) 基于图像块的运动向量确定所述块的方差
CN103886553A (zh) 图像非局部均值去噪方法和系统
KR101341871B1 (ko) 비디오 디블러링 방법 및 그 장치
Veerakumar et al. Impulse noise removal using adaptive radial basis function interpolation
CN106683043A (zh) 一种多通道光学探测系统的并行图像拼接方法、装置
KR101775273B1 (ko) 이미지들 사이의 상관관계 획득 방법 및 시스템
US20090316994A1 (en) Method and filter for recovery of disparities in a video stream
KR102268027B1 (ko) 딥러닝 기반 영상의 안개 제거 방법, 이를 수행하기 위한 기록 매체 및 장치
Hyun et al. Hardware-friendly architecture for a pseudo 2D weighted median filter based on sparse-window approach
Gowri et al. 2D Image data approximation using Savitzky Golay filter—Smoothing and differencing
CN108573478B (zh) 中值滤波方法及装置
KR101546200B1 (ko) 다중 스펙트럼 영상의 대칭점 매칭 방법 및 장치
Araneda et al. A compact hardware architecture for digital image stabilization using integral projections
JP4854042B2 (ja) 画像生成方法、画像生成装置、および画像生成プログラム
KR20170077429A (ko) 동영상 분석 기반 주목도 지도 생성 방법 및 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160412

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170105

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170821

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170830

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170830

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200629

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee