KR100576942B1 - 방향 필터링을 이용한 스테레오 영상의 정합 시스템 및 그방법 - Google Patents

방향 필터링을 이용한 스테레오 영상의 정합 시스템 및 그방법 Download PDF

Info

Publication number
KR100576942B1
KR100576942B1 KR1020030090603A KR20030090603A KR100576942B1 KR 100576942 B1 KR100576942 B1 KR 100576942B1 KR 1020030090603 A KR1020030090603 A KR 1020030090603A KR 20030090603 A KR20030090603 A KR 20030090603A KR 100576942 B1 KR100576942 B1 KR 100576942B1
Authority
KR
South Korea
Prior art keywords
filtering
value
displacement
images
matching
Prior art date
Application number
KR1020030090603A
Other languages
English (en)
Other versions
KR20050058659A (ko
Inventor
김재철
구본기
추창우
최병태
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020030090603A priority Critical patent/KR100576942B1/ko
Publication of KR20050058659A publication Critical patent/KR20050058659A/ko
Application granted granted Critical
Publication of KR100576942B1 publication Critical patent/KR100576942B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 방향 필터링을 이용한 스테레오 영상의 정합 시스템 및 그 방법에 관한 것으로, 특히 본 발명의 방법은 두 개의 영상으로부터 화소 사이의 밝기값 차이의 크기(DS)를 계산하는 단계와, DS값을 서로 다른 방향을 가지는 n(n>2)개의 방향 필터를 사용하여 필터링하는 단계와, DS값을 합산 필터링하여 합산 필터링 연산값(S(i, j, z))을 구하고 최소화 필터링으로 합산 필터링 연산값(S(i, j, z))들 중에서 최소값MF(i, j, z)을 구하되, 서로 다른 두 가지 크기를 갖는 윈도우를 적용하여 두 개의 최소화 값(MFS, MFL)을 구하는 단계와, 방향 필터링된 값(
Figure 112005074142119-pat00001
)과 최소값(MF(i, j, z))을 해석하여 두 영상간의 기준 화소 p(x,y)의 변위를 결정하여 정합을 수행하는 단계와, 정합된 화소 p(x,y)에 대한 대응 관계를 나타내는 변위 영상을 출력하는 단계를 포함한다. 이를 통해, 본 발명은 필터가 물체의 윤곽선을 걸쳐서 존재함에 따라 발생하는 물체 윤곽선의 뭉개어짐 현상을 개선하고 밝기값 정보가 부족한 영역에서의 정합 모호성을 최소화하여 정확한 정합 결과를 출력할 수 있다.
스테레오 영상 정합, 방향 필터링, 필터 크기, SAD-MF

Description

방향 필터링을 이용한 스테레오 영상의 정합 시스템 및 그 방법{STEREO IMAGE MATCHING SYSTEM AND METHOD BY USING DIRECTIONAL FILTERING}
도 1은 본 발명에 따른 방향 필터링을 이용한 스테레오 영상의 정합 시스템을 나타낸 구성도,
도 2는 본 발명의 스테레오 영상의 정합 방법에 사용된 방향 필터의 개념도,
도 3은 본 발명에 따른 방향 필터링을 이용한 스테레오 영상의 정합 시스템의 SAD-MF 연산 과정을 설명하기 위한 도면,
도 4는 본 발명에 따른 방향 필터링을 이용한 스테레오 영상의 정합 방법을 나타낸 흐름도.
< 도면의 주요 부분에 대한 부호의 설명>
10 : 영상 입력부
20 : AD(Absolute Difference)부
30 : 방향 필터링부
40 : SAD-MF(Sum of Absolute Difference-Minimum Filtering)부
50 : 필터링 결과 해석 및 정합부
60 : 변위 영상 출력부
본 발명은 두 장의 영상 사이의 대응 관계를 찾는 스테레오 영상(stereo image)의 정합 기술에 관한 것으로서, 특히 두 장의 영상 내에 모든 화소(pixel)의 대응 관계를 찾는 방향 필터링을 이용한 스테레오 영상의 정합 시스템 및 그 방법에 관한 것이다.
두 장의 영상 사이에 대응 관계가 있다고 가정하면, 이들 영상 내에 존재하는 물체의 3차원 정보를 추출할 수 있다. 그러므로 스테레오 영상의 정합(stereo image matching) 방법은 두 영상사이의 대응 관계를 찾아냄으로써, 두 영상의 2차원 영상으로부터 물체의 3차원 정보를 추출하는데 이용된다.
한편, 기본적인 조밀한 스테레오 영상의 정합(dense stereo image matching) 방법은 기준 영상내 화소의 밝기값을 다른 영상의 화소들의 밝기값들과 비교하여 밝기값의 차이가 가장 적은 화소를 기준 영상의 화소에 정합시키는 것이다. 이때, 하나의 화소만으로는 밝기값에 대한 정보가 부족하기 때문에, 비교 대상의 다른 영상내에 화소를 중심으로 고정된 크기의 사각형 윈도우(window)를 설정하고, 사각형 윈도우 영역에 속하는 전체 화소들 간의 밝기값 차이를 비교함으로써, 두 영상 사이의 정합을 이룬다. 보통 이러한 정합 방법을 고정 윈도우의 정합 방법(fixed window matching)이라고 부른다.
하지만 이러한 고정 윈도우의 정합 방법은 크게 다음과 같은 두 가지 문제를 발생시키는 것으로 알려져 있다.
첫째 물체 윤곽선의 뭉개짐(blurring) 현상이고, 둘째는 영상 내의 밝기 변동이 적은 영역에서의 정합 모호성이 발생되는 것이다. 윤곽선의 뭉개짐 현상은 윈도우의 크기가 커서 윈도우가 물체와 배경 또는 서로 다른 두 물체의 경계선 상에 걸쳐서 존재 할 경우 정확한 정합 결과를 제공하지 못함으로써 발생하게 되는 현상이다. 그리고 정합의 모호성은 윈도우의 크기가 작아서 윈도우 내에 충분한 밝기값 변동 정보를 담지 못할 경우에 발생하는 것이다.
정확한 정합을 이루기 위해서는 윤곽선 부근의 화소들에는 작은 크기의 윈도우가 적용되고, 밝기값 변동이 적은 영역의 화소들에는 큰 크기의 윈도우가 적용되어야 한다. 하지만, 영상 내의 모든 화소에 같은 크기의 윈도우를 적용하는 고정 윈도우의 정합 방법으로는 이것이 불가능하기 때문에 상기 윤곽선의 뭉개짐 및 정합의 모호성의 두 가지 문제가 발생하는 것이다. 그러므로 고정 윈도우의 정합 방법의 문제점을 해결하기 위하여 윈도우의 크기나 형태를 화소에 따라 다르게 적용하려는 방법들이 제안되어왔다.
첫째 각 화소마다 최적의 윈도우를 계산하고 이렇게 구한 윈도우로부터 정합을 수행하는 방법이다. 이러한 첫 번째 방법은 각 화소마다 최적의 윈도우를 계산하기 때문에 정확한 결과를 얻을 수 있으나, 윈도우를 결정하기 위한 계산량이 많아 최적의 윈도우를 결정하는 기준에 따라 정합 결과가 크게 달라질 수 있는 문제점이 있다.
둘째 일정한 크기와 형태를 가지는 여러 개의 기본 윈도우(temple window)들을 미리 정하여 놓고, 이들을 이용하여 각각 정합을 수행한 뒤에, 수행 결과 중 최 적의 결과를 보이는 것으로 정합을 결정하는 방법이다. 이러한 두 번째 방법은 미리 정해진 기본 윈도우들을 적용하여 정합을 하기 때문에 최적의 윈도우 결정을 위한 별도의 계산이 필요 없는 장점이 있으며 기본 윈도우들을 적용하여 정합 결과를 얻는 과정을 각 윈도우 각각에 대해 병렬적으로 처리할 수 있기 때문에 계산 시간에 있어서 상기 첫 번째 방법보다 유리하다. 하지만 두 번째 방법역시 첫 번째 방법에 비해 적용할 수 있는 윈도우의 크기나 형태에 제약이 있기 때문에 정확한 결과를 제공하는데에 상대적으로 한계가 있다.
한편 상술한 두 번째 방법의 범주에 속하는 대표적인 기법으로SAD-MF(Sum of Absolute Difference Minimum Filter) 방법이 있다. 이 SAD-MF 방법은 일정한 크기의 고정 윈도우를 미리 정하고 정한 윈도우를 정합 대상 화소를 포함하는 범위 내에서 이동시키면서 가장 밝기값의 차이가 적게 나는 이동 지점에서의 정합 결과를 택하는 것이다. 이러한 정합 결과는 화소 간의 밝기차이를 계산하고, 정해진 윈도우를 이용하여 합산 필터링(summation filtering)을 수행한 뒤에, 필터링한 결과에 대해 다시 정해진 윈도우를 이용하여 최소값 필터링(minimum filtering)을 수행함으로서 얻는다.
그러므로 SAD-MF를 이용한 정합 방법은 기존의 영상 처리 소프트웨어들에 구현되어 있는 영상 필터링 알고리즘을 이용하여 쉽게 구현할 수 있고 고속 연산이 가능하다는 장점이 있다. 또한 윈도우의 위치를 이동하면서 정합을 수행하기 때문에 윈도우가 물체의 경계선 상에 걸치는 것을 막음으로써 고정 윈도우 기법에서 발생하였던 물체 윤곽선의 뭉개짐 현상을 상당히 개선할 수 있다. 그러나 윈도우의 크기가 여전히 고정되어 있기 때문에 영상에 맺힌 물체의 크기가 작거나 서로 다른 원근을 가지는 셋 이상의 물체가 경계를 이루고 있을 경우에는 윈도우가 여전히 물체의 경계선을 포함하게 되는 문제가 있었다.
본 발명의 목적은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 두 영상의 밝기값 차이를 설정된 간격의 n(n>2)개 이상의 방향을 갖는 방향 필터로 필터링을 수행하는 방향 필터링부와, 밝기값 정보에 따라서 작은 크기 필터 및 큰 크기 필터로 각각 합산 필터링 및 최소화 필터링(SAD-MF) 연산을 수행하는 SAD-MF부를 구비함으로써 필터가 물체의 윤곽선을 걸쳐서 존재함에 따라 발생하는 물체 윤곽선의 뭉개어짐 현상을 개선하고 밝기값 정보가 부족한 영역에서의 정합 모호성을 최소화하여 정확한 정합 결과를 출력하는 방향 필터링을 이용한 스테레오 영상의 정합 시스템을 제공하는데 있다.
본 발명의 다른 목적은 n(n>2)개 이상의 방향을 갖는 방향 필터에 의해 두 영상의 밝기값 차이를 필터링하고 밝기값 정보에 따라서 SAD-MF부의 작은 크기 필터 및 큰 크기 필터에서 각각 합산 필터링 및 최소화 필터링(SAD-MF) 연산을 수행함으로써 필터가 물체의 윤곽선을 걸쳐서 존재함에 따라 발생하는 물체 윤곽선의 뭉개어짐 현상을 개선하고 밝기값 정보가 부족한 영역에서의 정합 모호성을 최소화하여 정확한 정합 결과를 출력하는 방향 필터링을 이용한 스테레오 영상의 정합 방법을 제공하는데 있다.
상기 목적을 달성하기 위하여 본 발명은 입력된 두 개 영상의 화소를 정합하여 이의 대응 관계를 갖는 변위 영상을 출력하는 스테레오 영상의 정합 시스템에 있어서, 두 개의 영상을 입력받는 영상 입력부와, 영상 입력부를 통해 입력된 두 개의 영상으로부터 화소 사이의 밝기값 차이의 크기(DS)를 계산하는 AD부와, AD부의 DS값을 서로 다른 방향을 가지는 n(n>2)개의 방향 필터를 사용하여 필터링하는 방향 필터링부와, AD부의 DS값을 합산 필터링하여 합산 필터링 연산값(S(i, j, z))을 구하고 최소화 필터링으로 합산 필터링 연산값(S(i, j, z))들 중에서 최소값MF(i, j, z)을 구하되, 서로 다른 두 가지 크기를 갖는 윈도우를 적용하여 두 개의 최소화 값(MFS, MFL)을 구하는 SAD-MF부와, 방향 필터링부에서 구한 값(
Figure 112005074142119-pat00002
)과 SAD-MF부에서 구한 최소값(MF(i, j, z))을 해석하여 두 영상간의 기준 화소 p(x,y)의 변위를 결정하여 정합을 수행하는 필터링 결과 해석 및 정합부와, 필터링 결과 해석 및 정합부에서 정합된 화소 p(x,y)에 대한 대응 관계를 나타내는 변위 영상을 출력하는 변위 영상 출력부를 포함한다.
상기 다른 목적을 달성하기 위하여 본 발명은 입력된 두 개 영상의 화소를 정합하여 이의 대응 관계를 갖는 변위 영상을 출력하는 스테레오 영상의 정합 방법에 있어서, 두 개의 영상으로부터 화소 사이의 밝기값 차이의 크기(DS)를 계산하는 단계와, DS값을 서로 다른 방향을 가지는 n(n>2)개의 방향 필터를 사용하여 필터링하는 단계와, DS값을 합산 필터링하여 합산 필터링 연산값(S(i, j, z))을 구하고 최소화 필터링으로 합산 필터링 연산값(S(i, j, z))들 중에서 최소값MF(i, j, z)을 구하되, 서로 다른 두 가지 크기를 갖는 윈도우를 적용하여 두 개의 최소화 값(MFS, MFL)을 구하는 단계와, 방향 필터링된 값(
Figure 112005074142119-pat00003
)과 최소값(MF(i, j, z))을 해석하여 두 영상간의 기준 화소 p(x,y)의 변위를 결정하여 정합을 수행하는 단계와, 정합된 화소 p(x,y) 에 대한 대응 관계를 나타내는 변위 영상을 출력하는 단계를 포함한다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 설명하고자 한다.
도 1.은 본 발명에 따른 방향 필터링을 이용한 스테레오 영상의 정합 시스템을 나타낸 구성도이다. 도 1을 참조하면, 본 발명의 정합 시스템은 영상 입력부(10), AD(Absolute Difference)부(20), 저장부(30), 방향 필터링(directional filtering)부(40), SAD-MF(Sum of Absolute Difference Minimum Filter)부(50), 필터링 결과 해석 및 정합부(60), 변위 영상 출력부(70)로 구성된다.
영상 입력부(10)는 두 개의 영상, 예컨대 좌측 및 우측 영상(2, 4)을 입력받아 이를 AD부(20)에 전달한다. 이때 영상 입력부(10)에 입력되는 두 개의 영상(2, 4)은 디지털 카메라나 캠코더 등으로 촬영되거나 인화된 사진을 스캐닝한 디지털 영상이다. 그리고 두 개의 영상(2, 4)이 수평 이동만을 한 것으로 교정(rectification)되어 있다고 가정한다. 이러한 가정은 스테레오 영상의 정합 분야에서 영상내 각 화소의 대응 관계를 다른 영상의 1차원 수평 주사선(scan-line)내에서만 찾도록 하기 때문에, 스테레오 영상의 정합 과정을 간단하게 만들기 위함이다.
AD부(20)는 영상 입력부(10)를 통해 입력된 두 개의 좌측 및 우측 영상(2, 4)으로부터 화소 사이의 밝기값(
Figure 112003047535641-pat00004
) 차이의 크기(DS(j, j, z))를 계산한 다. 이때, 두 영상의 각 화소 사이의 밝기값 차이의 크기인 (DS(j, j, z))를 일반적으로 변위 공간(Disparity Space, 이하 DS 라 함)라고 일컫는다.
저장부(30)는 AD부(20)에서 계산된 두 영상의 화소 밝기값의 차이인 DS 를 3차원 배열의 데이터 구조로 저장한다.
방향 필터링부(40)는 서로 다른 방향을 가지는 12개의 방향 필터(directional filter)를 사용하여 상기 DS 를 필터링(
Figure 112003047535641-pat00005
)한다. 이때 12개의 방향 필터는 예컨대 15˚간격을 갖으며 각 방향 필터의 크기는 임의로 결정할 수 있다. 그러므로 본 발명의 시스템은 12가지의 서로 다른 방향을 갖는 방향 필터링부(14)에 의해 영상내 물체의 윤곽선에 걸쳤을 경우 물체 윤곽선이 뭉개지는 현상을 최대한 완화시킬 수 있다. 여기서 방향 필터는 일반적으로 사용되는 정사각형 필터와는 달리, 특정 방향으로만 필터링이 적용되는 필터를 일컫는다.
SAD-MF부(50)는 AD부(20)에서 계산한 DS 에 상자 필터(box filter)를 적용하여 합산 필터링을 수행하여 상자 필터에 의한 합산 필터링 연산값(S(i, j, z))을 구한다. 이때 상자 필터는 모든 격자에서의 값이 1인 필터로서, 합산 필터링 연산에 일반적으로 사용되는 필터이다. 그리고 SAD-MF부(50)는 합산 필터링 연산값(S(i, j, z))들 중에서 최소값(MF(i, j, z))을 찾는 최소화 필터링을 수행한다.
한편 영상에 맺힌 물체의 크기가 방향 필터의 크기보다 작아 필터가 물체의 윤곽선에 걸쳐 있거나, 밝기값의 변동이 적어 정합의 모호성이 존재하는 영역의 경우에는 방향 필터만으로 정확한 정합 결과를 제공하기가 어렵다. 이에 본 발명에 서는 SAD-MF부(50)를 통해 합산 필터링 및 최소화 필터링 연산(SAD-MF)을 서로 다른 두 가지 크기를 갖는 윈도우를 적용하여 필터링 연산값(
Figure 112003047535641-pat00006
)을 구한다. 따라서 방향 필터링부(40)의 결과로부터 이러한 정합 결과의 모호성이 존재하더라도 SAD-MF부(50)에서 서로 다른 두 가지 크기의 윈도우에 대해 합산 필터링 및 최소화 필터링 연산(SAD-MF)을 수행함으로써 방향 필터만으로 해결하기가 어려운 정합 결과의 모호성을 해결할 수 있다.
필터링 결과 해석 및 정합부(60)는 방향 필터링부(40)에서 계산된
Figure 112003047535641-pat00007
와 SAD-MF부(50)에서 계산된
Figure 112003047535641-pat00008
를 해석하고, 해석된 결과를 이용하여 두 영상의 기준 화소 p(x,y) 에 대한 변위값(Z)를 결정하여 정합을 수행한다. 해석된 결과를 이용한 정합 과정에 대해서는 이후 도 4를 참조하여 설명하기로 한다.
그리고 변위 영상 출력부(70)는 필터링 결과 해석 및 정합부(60)에서 정합된 두 영상간의 화소 p(x,y)에 대한 대응 관계, 즉 변위값(Z)을 갖는 변위 영상(disparity image)(80)을 출력한다. 이때 변위값(Z)은 두 영상에서 서로 정합이 이루어진 두 화소 사이의 수평 거리를 의미하며 보통 변위값이 클수록 물체와 카메라로부터의 거리는 가깝고, 변위값이 작을수록 거리는 멀다. 그러므로 변위 영상 출력부(70)의 변위 영상(80)을 통해 입력된 두 영상간의 대응점 관계를 알 수 있으며 그 대응점에 해당하는 3차원 점의 카메라로부터의 거리를 알 수 있다.
한편 본 발명의 방향 필터링을 이용한 스테레오 영상의 정합 시스템은 방향 필터링부(40) 및 SAD-MF부(50)의 필터링 연산이 각각 병렬로 진행되기 때문에 고속 연산의 수행이 가능하다.
도 2는 본 발명의 스테레오 영상의 정합 방법에 사용된 방향 필터의 개념도로서, 본 발명에 사용된 방향 필터에서 θ는 방향 필터의 수평방향에 대해 기울어진 각도를 나타내고, ω는 기울어진 방향에 대한 필터의 원점으로부터의 길이를 나타낸다.
도 3은 본 발명에 따른 방향 필터링을 이용한 스테레오 영상의 정합 시스템의 SAD-MF 연산 과정을 설명하기 위한 도면으로서, SAD-MF 연산을 3 ×3 윈도우에 대해 적용한 예를 나타내고 있다. 도 3에서 점선으로 되어 있는 부분이 영상을 나타내고 색깔이 칠해진 부분은 3 ×3 윈도우내 영상의 화소를 나타내는 것이다.
본 발명의 SAD-MF부는 색깔이 칠해진 영상의 화소를 중심으로 각각 3 ×3 윈도우가 적용되어 합산 필터링 연산을 수행하고, 이들 연산값중에서 최소값을 찾는 최소화 필터링 연산을 수행하여 윈도우의 중심에 겹쳐지는 X 표시가 되어 있는 중심 화소의 MF 값을 결정한다.
도 4는 본 발명에 따른 방향 필터링을 이용한 스테레오 영상의 정합 방법을 나타낸 흐름도이다. 도 1 내지 도 4를 참조하여 본 발명에 따른 방향 필터링을 이용한 스테레오 영상의 정합 시스템의 정합 과정을 설명하면 다음과 같다.
영상 입력부(10)는 두 개의 영상, 예컨대 좌측 및 우측 영상(2, 4)을 입력받아 이를 AD부(20)에 전달한다.(S10)
AD부(20)는 입력된 두 개의 좌측 및 우측 영상(2, 4)으로부터 화소 사이의 밝기값(
Figure 112003047535641-pat00009
) 차이의 크기(DS(j, j, z))를 다음 수학식 1과 같이 계산한다.(S12)
Figure 112003047535641-pat00010
수학식 1에서
Figure 112003047535641-pat00011
는 우측 카메라에서 촬영된 우측 영상(4)의 화소 p(i,j) 에서의 화소의 밝기값을 나타내고,
Figure 112003047535641-pat00012
는 좌측 카메라에서 촬영된 좌측 영상(2)의 화소 p(i+z,j) 에서의 화소의 밝기값을 나타낸다. 이때 우측과 좌측 방향은 카메라에서 물체를 바라보는 방향을 기준으로 구분한 것이다.
그리고 수학식 1에서 z는 우측 영상(4)의 화소 p(i,j) 의 변위이다. 또한 X, Y는 입력 영상의 가로와 세로의 크기를 각각 나타내는 것이고, n은 두 영상(2, 4)에서 발생할 수 있는 변위의 최대값을 나타낸 것이다.
한편 3차원 상의 물체가 우측 영상(4)에 맺힌 상이 좌측 영상(2)에 맺힌 상에 대해 일반적으로 좌측에 위치하기 때문에 변위 z의 값은 0보다 크거나 같다고 가정하였다.
이와 같이 계산된 밝기값의 차이(DS(j, j, z))는 3차원 배열의 데이터 구조로 저장부(30)에 저장된다.
방향 필터링부(40)는 상기 AD부(20)의 DS 에 대해 방향 필터를 이용하여 필터링을 수행한다.(S14) 본 발명의 실시예에서 사용한 방향 필터를 수학식으로 표현하면 다음과 같다.
Figure 112003047535641-pat00013
수학식 2에서 θ는 방향 필터의 수평방향에 대해 기울어진 각도를 나타내고, ω는 기울어진 방향에 대한 필터의 원점으로부터의 길이를 나타낸다. 일반 보통 필터는 윈도우 내의 정수 격자점에 대한 값을 가진다. 하지만 본 발명의 수학식 2에서 윈도우 (x, y)는 일반적인 정수값이 아니므로 주변의 가장 가까운 정수 격자점 4개에 대해 이중 선형 보간(bilinear interpolation)을 적용하여 방향 필터값을 계산한다.
이러한 DS 에 대한 필터링 결과값(DF(i,j,z))은 다음 수학식3으로 나타낼 수 있다.
Figure 112003047535641-pat00014
수학식 3에서 p,q는 각각 필터의 원점으로부터의 가로와 세로의 길이를 나타낸다.
본 발명의 시스템에서 방향 필터링부(40)는 15°간격으로 12개의 방향 필터를 사용하였으며 이때 각 방향 필터의 크기는 임의로 결정할 수 있다. 이에 따라, 수학식 3에서 필터의 결과값(DF(i,j,z))은 각각의 12개의 필터에 대해 12가지가 제공된다.
이하 본 실시예의 설명에서는 기울어진 각도가 θi인 방향 필터
Figure 112003047535641-pat00015
를 적용하여 계산한 필터링 결과값 DFi 를 예로 든다. 여기서 θi은 15°×(i-1)이고, i=1, 2, … 12이다.
SAD-MF부(50)는 일반적인 SAD-MF 연산을 수행하는데(S16), 우선 AD부(20)에서 계산한 DS 에 상자 필터(box filter)를 적용하여 합산 필터링을 수행한다. 상자 필터는 모든 격자에서의 값이 1인 필터로서, 합산 필터링 연산에 일반적으로 사용되는 필터이다. 상자 필터에 의한 합산 필터링 연산값(S(i, j, z))을 구하면 다음 수학식 4와 같다.
Figure 112003047535641-pat00016
수학식 4에서 p, q는 각각 상자 필터의 원점으로부터의 가로와 세로의 길이를 나타낸다. 합산 필터링을 수행한 뒤, SAD-MF부(50)는 합산 필터링 연산값(S(i, j, z))들 중에서 최소값(MF(i, j, z))을 찾는 최소화 필터링을 수행한다. 이를 수학식으로 나타내면 다음과 같다.
Figure 112003047535641-pat00017
수학식 5에서의 p, q는 각각 상자 필터의 원점으로부터의 가로와 세로의 길이를 나타낸다.
더욱이 본 발명의 정합 시스템은 SAD-MF부(50)에서 서로 다른 두 가지 크기의 윈도우로 합산 필터링 및 최소화 필터링 연산을 수행한다. 예컨대 본 발명의 SAD-MF부(50)에 적용되는 서로 다른 두 가지 크기의 윈도우를 갖는 필터에서 작은 크기의 경우 수학식 4 및 5의 p, q를 각각 1로, 큰 크기의 경우 p, q를 10으로 정한다. 이러한 SAD-MF부(50)의 두 가지 크기의 필터 설정은 당업자에 의해 변경이 가능하다. 이하 설명에서는 SAD-MF부(50)에서 구한 작은 크기의 필터에 의한 연산 결과값을
Figure 112003047535641-pat00018
로 큰 크기의 필터에 의한 연산 결과값을
Figure 112003047535641-pat00019
로 표기하여 구분한다.
그러므로 본 발명의 정합 시스템은 SAD-MF부(50)를 통해 방향 필터만으로는 해결하기가 어려운 정합 영역에 대한 정합의 모호성을 해결한다. 즉, 밝기값의 변동이 적은 정합 영역의 경우, 방향 필터만으로는 충분한 밝기값 변동 정보를 반영할 수 없기 때문에 정합의 모호성이 발생 할 수 있으나, 본 발명의 SAD-MF(50)는 방향 필터가 물체의 윤곽선을 걸쳐서 존재하여 밝기값의 변동이 클 경우 작은 크기의 윈도우를 갖는 필터를 이용하여 SAD-MF 연산을 수행하고, 밝기값의 변동이 작을 경우 큰 크기의 윈도우를 갖는 필터를 이용한 SAD-MF 연산을 수행하기 때문에 보다 정확한 정합 결과를 제공한다.
필터링 결과 해석 및 정합부(60)는 방향 필터링부(40)에서 계산된
Figure 112003047535641-pat00020
와 SAD-MF부(50)에서 작은 크기의 필터 및 큰 크기의 필터로 각각 계산된
Figure 112003047535641-pat00021
를 해석하고, 해석 결과를 이용하여 다음과 같이 두 개의 영상내 기준 화소 p(x,y) 에 대한 정합을 수행한다.(S18) 여기서 해석한다는 의미는
Figure 112003047535641-pat00022
및
Figure 112003047535641-pat00023
가 제공하는 값들의 크기를 아래와 1), 2), 3과 같이 비교하고, 이들 값들의 신뢰도를 분석하여
Figure 112003047535641-pat00024
및
Figure 112003047535641-pat00025
중 어떤 곳에서 제공되는 값으로 최종 변위를 결정할 것인가를 판단하는 것이다.
1) 필터링 결과 해석 및 정합부(60)는 두 개의 영상내 기준 화소 p(x,y) 을 12개의 방향 필터로 각각 방향 필터링된 결과값 DFi(x, y, z) (i=1, 2, … 12)에 대해 각각
Figure 112003047535641-pat00026
를 계산한다. 이때
Figure 112003047535641-pat00027
는 각 방향에서 구해진 기준 화소 p(x,y)의 변위에 해당하고, 12개의 방향 필터링된 값들 중에서 가장 적은 DFi(x, y, z)값이 된다.
1-1) 먼저
Figure 112003047535641-pat00028
가 모든 i에 대해 동일하다면, 필터링 결과 해석 및 정합부(60)는 두 영상내 기준 화소 p(x,y) 에 대한 정합(즉 대응 관계)을 나타내는 변위값(Z)을 12 방향에 대해 모두 동일한 값을 갖는
Figure 112003047535641-pat00029
로 결정하여 변위 영상 출력부(70)에 전달한다.
1-2) 만약
Figure 112003047535641-pat00030
가 모든 i에 대해 서로 동일하지 않으며
Figure 112003047535641-pat00031
의 최소값
Figure 112003047535641-pat00032
과 최대값
Figure 112003047535641-pat00033
의 차이가 1이하라면(
Figure 112003047535641-pat00034
), 필터링 결과 해석 및 정합부(60)는 기준 화소 p(x,y) 의 변위값(Z)을
Figure 112003047535641-pat00035
로 결정한다.
1-3) 만약
Figure 112003047535641-pat00036
가 모든 i에 대해 서로 동일하지 않으며
Figure 112003047535641-pat00037
의 최소값
Figure 112003047535641-pat00038
과 최대값
Figure 112003047535641-pat00039
의 차이가 1을 초과한다면(
Figure 112003047535641-pat00040
), 필터링 결과 해석 및 정합부(60)는 각
Figure 112003047535641-pat00041
) 가 가지는 변위값들의 집합 A를 다음 i 내지 iii와 같이 처리한다. 여기서 A는 {
Figure 112003047535641-pat00042
}이다.
Figure 112003047535641-pat00043
는 집합 기호로서,
Figure 112003047535641-pat00044
를 만족하는 i가 존재할 경우, 그러한 z값들이 집합 A의 원소라는 뜻이다. 예를 들어,
Figure 112003047535641-pat00045
의 값이 1,3,3,4,5,6,10,11,11,14,14,18 이었다면, 집합 A의 원소는 1,3,4,5,6,10,11,14,18이 된다.
i) 우선 필터링 결과 해석 및 정합부(60)는 집합 A={
Figure 112003047535641-pat00046
}의 각 원소
Figure 112003047535641-pat00047
에 대해 방향 필터링된 값들중에서 가장 적은
Figure 112003047535641-pat00048
값인
Figure 112003047535641-pat00049
값을
Figure 112003047535641-pat00050
로 계산한다. 단, 이때
Figure 112003047535641-pat00051
이다.
ii)
Figure 112003047535641-pat00052
을 계산한 후에, 모든
Figure 112003047535641-pat00053
에 대해
Figure 112003047535641-pat00054
의 최소값과 2번째 최소값을 각각
Figure 112003047535641-pat00055
,
Figure 112003047535641-pat00056
라고 하고 각각의 DF 값에 해당하는
Figure 112003047535641-pat00057
값을
Figure 112003047535641-pat00058
,
Figure 112003047535641-pat00059
라고 가정한 후에, 필터링 결과 해석 및 정합부(60)는
Figure 112003047535641-pat00060
값이 설정된 문턱값 T보다 큰지를 비교한다. 비교 결과,
Figure 112003047535641-pat00061
일 경우 기준 화소 p(x,y) 에 대한 변위값(Z)을
Figure 112003047535641-pat00062
로 결정한다.
iii) 상기 ii의 비교 결과, 만약
Figure 112003047535641-pat00063
값이 설정된 문턱값 T보다 작거나 동일(
Figure 112003047535641-pat00064
)할 경우, 필터링 결과 해석 및 정합부(60)는
Figure 112003047535641-pat00065
에 해당하는 i에서의
Figure 112003047535641-pat00066
값을 다음과 같이 고려한다. 우선 모든 변위 z에 대해서
Figure 112003047535641-pat00067
가 최소가 되는 z 를
Figure 112003047535641-pat00068
라고 정의한다. 그리고
Figure 112003047535641-pat00069
의 조건을 만족하면 필터링 결과 해석 및 정합부(60)는 다음 2)의
Figure 112003047535641-pat00070
를 구하여 기준 화소 p(x,y) 에 대한 변위값(Z)을 결정하는 단계를 수행하고, 그렇지 않으면 3)의
Figure 112003047535641-pat00071
를 구하여 기준 화소 p(x,y) 에 대한 변위값(Z)을 결정하는 단계를 수행한다.
2)
Figure 112003047535641-pat00072
를 구하는 단계는 먼저 필터링 결과 해석 및 정합부(60)에서
Figure 112003047535641-pat00073
의 가장 최소값인
Figure 112003047535641-pat00074
를 다음과 같이
Figure 112003047535641-pat00075
계산한다.
2-1) 이에
Figure 112003047535641-pat00076
가
Figure 112003047535641-pat00077
가 가지는 변위값들의 집합 A의 원소
Figure 112003047535641-pat00078
중의 하나라면, 필터링 결과 해석 및 정합부(60)는 기준 화소 p(x,y) 에 대한 변위값(Z)을
Figure 112003047535641-pat00079
로 결정한다.
2-2)
Figure 112003047535641-pat00080
가
Figure 112003047535641-pat00081
가 가지는 변위값들의 집합 A의 원소
Figure 112003047535641-pat00082
중,
Figure 112003047535641-pat00083
인 것이 한 개만 존재한다면, 필터링 결과 해석 및 정합부(60)는 그 원소를
Figure 112003047535641-pat00084
라 하고 기준 화소 p(x,y)에 대한 변위값(Z)을
Figure 112003047535641-pat00085
로 결정한다.
2-3) 만약
Figure 112003047535641-pat00086
가
Figure 112003047535641-pat00087
가 가지는 변위값들의 집합 A의 원소 중의 하나 또는
Figure 112003047535641-pat00088
중,
Figure 112003047535641-pat00089
인 것이 한 개만 존재하는 조건을 만족하지 못한다면, 필 터링 결과 해석 및 정합부(60)는 다음
Figure 112003047535641-pat00090
를 구하는 3) 단계를 수행한다.
3)
Figure 112003047535641-pat00091
의 화소 결정 단계는 필터링 결과 해석 및 정합부(60)에서
Figure 112003047535641-pat00092
의 가장 최소값인
Figure 112003047535641-pat00093
를 다음과 같이
Figure 112003047535641-pat00094
를 계산하고, 기준 화소 p(x,y) 에 대한 변위값(Z)을
Figure 112003047535641-pat00095
로 결정한다.
그리고 나서 변위 영상 출력부(70)는 필터링 결과 해석 및 정합부(60)에서 정합된 두 영상간의 화소 p(x,y)에 대한 대응 관계인 변위값(Z)을 갖는 변위 영상(80)을 출력한다.(S20)
이상 설명한 바와 같이, 본 발명은 기존 스테레오 영상의 정합시 고정 윈도우 또는 SAD-MF 연산에서 적용된 일정한 크기의 사각형 윈도우를 이용한 필터링대신에, 설정된 간격의 n(n>2)개 이상의 방향을 갖는 방향 필터를 적용함으로써 필터가 물체의 윤곽선을 걸쳐서 존재함에 따라 발생하는 물체 윤곽선의 뭉개어짐 현상을 개선한다.
또한 본 발명은 방향 필터링에 의해서도 여전히 정확한 정합 결과를 얻지 못하더라도 SAD-MF부에서 밝기값 정보에 따라서 작은 크기 필터 및 큰 크기 필터로 각각 SAD-MF 연산을 수행함으로써 밝기값 정보가 부족한 영역에서의 정합 모호성을 최소화한다.
또한 본 발명의 정합 시스템은 방향 필터링부 및 SAD-MF부의 필터링 연산 과정이 모두 병렬로 처리되기 때문에 기존의 고정 윈도우 또는 단일 크기의 필터를 이용한 SAD-MF 연산 방법과 마찬가지로 고속 연산 수행이 가능하다.
한편, 본 발명은 상술한 실시예에 국한되는 것이 아니라 후술되는 청구범위에 기재된 본 발명의 기술적 사상과 범주내에서 당업자에 의해 여러 가지 변형이 가능하다.

Claims (15)

  1. 입력된 두 개 영상의 화소를 정합하여 이의 대응 관계를 갖는 변위 영상을 출력하는 스테레오 영상의 정합 시스템에 있어서,
    상기 두 개의 영상을 입력받는 영상 입력부와,
    상기 영상 입력부를 통해 입력된 두 개의 영상으로부터 화소 사이의 밝기값 차이의 크기(DS)를 계산하는 AD부와,
    상기 AD부의 DS값을 서로 다른 방향을 가지는 n(n>2)개의 방향 필터를 사용하여 필터링하는 방향 필터링부와,
    상기 AD부의 DS값을 합산 필터링하여 합산 필터링 연산값(S(i, j, z))을 구하고 최소화 필터링으로 합산 필터링 연산값(S(i, j, z))들 중에서 최소값 MF(i, j, z)을 구하되, 서로 다른 두 가지 크기를 갖는 윈도우를 적용하여 두 개의 최소화 값(MFS, MFL)을 구하는 SAD-MF부와,
    상기 방향 필터링부에서 구한 값(
    Figure 112005074142119-pat00096
    )과 상기 SAD-MF부에서 구한 최소값(MF(i, j, z))을 해석하여 두 영상간의 기준 화소 p(x,y)의 변위를 결정하여 정합을 수행하는 필터링 결과 해석 및 정합부와,
    상기 필터링 결과 해석 및 정합부에서 정합된 화소 p(x,y)에 대한 대응 관계를 나타내는 변위 영상을 출력하는 변위 영상 출력부
    를 포함하는 방향 필터링을 이용한 스테레오 영상의 정합 시스템.
  2. 제 1항에 있어서,
    상기 AD부에서 계산된 DS값을 3차원 배열의 데이터 구조로 저장하는 저장부를 더 포함하는 것을 특징으로 하는 방향 필터링을 이용한 스테레오 영상의 정합 시스템.
  3. 제 1항에 있어서,
    상기 방향 필터링부의 n(n>2)개의 방향 필터는 각각 설정된 m(m>1)°간격을 갖는 것을 특징으로 하는 방향 필터링을 이용한 스테레오 영상의 정합 시스템.
  4. 삭제
  5. 제 1항에 있어서,
    상기 방향 필터링부 및 SAD-MF부에서는 각각의 필터링 연산이 병렬로 수행되는 것을 특징으로 하는 방향 필터링을 이용한 스테레오 영상의 정합 시스템.
  6. 제 1항에 있어서,
    상기 필터링 결과 해석 및 정합부는 상기 화소 p(x,y) 의 n개 방향 필터링 결과값(DFi(x, y, z) (i=1…n)에 대해 각각의 방향에서 구해진 변위값(
    Figure 112003047535641-pat00097
    을 계산하고, 상기
    Figure 112003047535641-pat00098
    가 모든 i에 대해 동일할 경우 두 영상의 정합에 대한 변위값(Z)을 동일한
    Figure 112003047535641-pat00099
    값으로 출력하고, 그렇지 않을 경우
    Figure 112003047535641-pat00100
    의 최소값
    Figure 112003047535641-pat00101
    과 최대값
    Figure 112003047535641-pat00102
    의 차이가 1이하(z_min -z_max ≤1)이면 상기 두 영상의 정합에 대한 변위값(Z)을
    Figure 112003047535641-pat00103
    로 출력하는 것을 특징으로 하는 방향 필터링을 이용한 스테레오 영상의 정합 시스템.
  7. 제 6항에 있어서,
    상기 필터링 결과 해석 및 정합부는 상기
    Figure 112003047535641-pat00104
    의 최소값
    Figure 112003047535641-pat00105
    과 최대값
    Figure 112003047535641-pat00106
    의 차이가 1을 초과(
    Figure 112003047535641-pat00107
    )할 경우, 각
    Figure 112003047535641-pat00108
    가 가지는 변위값들의 집합
    Figure 112003047535641-pat00109
    및 상기 집합 A의 각 원소
    Figure 112003047535641-pat00110
    에 대해 방향 필터링된 값(
    Figure 112003047535641-pat00111
    )을 구하여 모든
    Figure 112003047535641-pat00112
    에 대해
    Figure 112003047535641-pat00113
    의 최소값(
    Figure 112003047535641-pat00114
    )과 2번째 최소값(
    Figure 112003047535641-pat00115
    )의 차이가 설정된 문턱값 T보다 크면(
    Figure 112003047535641-pat00116
    ), 상기 두 영상의 정합에 대한 변위값(Z)을
    Figure 112003047535641-pat00117
    (여기서
    Figure 112003047535641-pat00118
    는
    Figure 112003047535641-pat00119
    일 때
    Figure 112003047535641-pat00120
    값)로 출력하는 것을 특징으로 하는 방향 필터링을 이용한 스테레오 영상의 정합 시스템.
  8. 제 6항에 있어서,
    상기 필터링 결과 해석 및 정합부는 상기 모든
    Figure 112005074142119-pat00121
    에 대해
    Figure 112005074142119-pat00122
    의 최소값(
    Figure 112005074142119-pat00123
    )과 2번째 최소값(
    Figure 112005074142119-pat00124
    )의 차이가 설정된 문턱값 T보다 작거나 동일하다면(
    Figure 112005074142119-pat00125
    ),
    Figure 112005074142119-pat00126
    (모든 z에 대해서
    Figure 112005074142119-pat00127
    가 최소가 되는 z 를
    Figure 112005074142119-pat00128
    )인지 판단하고
    Figure 112005074142119-pat00129
    또는
    Figure 112005074142119-pat00130
    을 구하여 두 영상의 정합에 대한 변위값(Z)을 출력하는 것을 특징으로 하는 방향 필터링을 이용한 스테레오 영상의 정합 시스템.
  9. 제 8항에 있어서,
    상기
    Figure 112003047535641-pat00131
    를
    Figure 112003047535641-pat00132
    로 구하고 상기
    Figure 112003047535641-pat00133
    가
    Figure 112003047535641-pat00134
    가 가지는 변위값들의 집합 A의 원소
    Figure 112003047535641-pat00135
    중의 하나라면, 두 영상의 정합에 대한 변위값(Z)을
    Figure 112003047535641-pat00136
    로 출력하고, 상기
    Figure 112003047535641-pat00137
    가 집합 A의 원소
    Figure 112003047535641-pat00138
    중,
    Figure 112003047535641-pat00139
    인 것이 한 개만 존재할 경우 두 영상의 정합에 대한 변위값(Z)을
    Figure 112003047535641-pat00140
    (여기서
    Figure 112003047535641-pat00141
    는
    Figure 112003047535641-pat00142
    인 원소)로 출력하고, 상기
    Figure 112003047535641-pat00143
    가
    Figure 112003047535641-pat00144
    가 가지는 변위값들의 집합 A의 원소
    Figure 112003047535641-pat00145
    중의 하나 또는
    Figure 112003047535641-pat00146
    인 것이 한 개만 존재하지 않을 경우
    Figure 112003047535641-pat00147
    을
    Figure 112003047535641-pat00148
    로 구하여 두 영상의 정합에 대한 변위값(Z)을
    Figure 112003047535641-pat00149
    로 출력하는 것을 특징으로 하는 방향 필터링을 이용한 스테레오 영상의 정합 시스템.
  10. 입력된 두 개 영상의 화소를 정합하여 이의 대응 관계를 갖는 변위 영상을 출력하는 스테레오 영상의 정합 방법에 있어서,
    상기 두 개의 영상으로부터 화소 사이의 밝기값 차이의 크기(DS)를 계산하는 단계와,
    상기 DS값을 서로 다른 방향을 가지는 n(n>2)개의 방향 필터를 사용하여 필터링하는 단계와,
    상기 DS값을 합산 필터링하여 합산 필터링 연산값(S(i, j, z))을 구하고 최소화 필터링으로 합산 필터링 연산값(S(i, j, z))들 중에서 최소값MF(i, j, z)을 구하되, 서로 다른 두 가지 크기를 갖는 윈도우를 적용하여 두 개의 최소화 값(MFS, MFL)을 구하는 단계와,
    상기 방향 필터링된 값(
    Figure 112005074142119-pat00150
    )과 상기 최소값(MF(i, j, z))을 해석하여 두 영상간의 기준 화소 p(x,y)의 변위를 결정하여 정합을 수행하는 단계와,
    상기 정합된 화소 p(x,y)에 대한 대응 관계를 나타내는 변위 영상을 출력하는 단계
    를 포함하는 방향 필터링을 이용한 스테레오 영상의 정합 방법.
  11. 삭제
  12. 제 10항에 있어서,
    상기 정합을 수행하는 단계는 두 개 영상의 화소 p(x,y) 의 n개 방향 필터링 결과값(DFi(x, y, z) (i=1…n)에 대해 각각의 방향에서 구해진 변위값(
    Figure 112003047535641-pat00151
    을 계산하는 단계와, 상기
    Figure 112003047535641-pat00152
    가 모든 i에 대해 동일하는 판단하여 동일할 경우 두 영상의 정합에 대한 변위값(Z)을 동일한
    Figure 112003047535641-pat00153
    값으로 출력하고, 그렇지 않을 경우
    Figure 112003047535641-pat00154
    의 최소값
    Figure 112003047535641-pat00155
    과 최대값
    Figure 112003047535641-pat00156
    의 차이가 1이하(
    Figure 112003047535641-pat00157
    )이면 상기 두 영상의 정합에 대한 변위값(Z)을
    Figure 112003047535641-pat00158
    로 출력하는 단계를 더 포함하는 것을 특징으로 하는 방향 필터링을 이용한 스테레오 영상의 정합 방법.
  13. 제 12항에 있어서,
    상기 정합을 수행하는 단계는 상기
    Figure 112003047535641-pat00159
    의 최소값
    Figure 112003047535641-pat00160
    과 최대값
    Figure 112003047535641-pat00161
    의 차이가 1을 초과(
    Figure 112003047535641-pat00162
    )할 경우, 각
    Figure 112003047535641-pat00163
    가 가지는 변위값들의 집합
    Figure 112003047535641-pat00164
    및 상기 집합 A의 각 원소
    Figure 112003047535641-pat00165
    에 대해 방향 필터링된 값(
    Figure 112003047535641-pat00166
    )을 구하는 단계와, 모든
    Figure 112003047535641-pat00167
    에 대해
    Figure 112003047535641-pat00168
    의 최소값(
    Figure 112003047535641-pat00169
    )과 2번째 최소값(
    Figure 112003047535641-pat00170
    )의 차이가 설정된 문턱값 T보다 큰지(
    Figure 112003047535641-pat00171
    )를 비교하여 클 경우 상기 두 영상의 정합에 대한 변위값(Z)을
    Figure 112003047535641-pat00172
    (여기서
    Figure 112003047535641-pat00173
    는
    Figure 112003047535641-pat00174
    일 때
    Figure 112003047535641-pat00175
    값)로 출력하는 단계를 더 포함하는 것을 특징으로 하는 방향 필터링을 이용한 스테레오 영상의 정합 방법.
  14. 제 12항에 있어서,
    상기 정합을 수행하는 단계는 상기 모든
    Figure 112005074142119-pat00176
    에 대해
    Figure 112005074142119-pat00177
    의 최소값(
    Figure 112005074142119-pat00178
    )과 2번째 최소값(
    Figure 112005074142119-pat00179
    )의 차이가 설정된 문턱값 T보다 작거나 동일(
    Figure 112005074142119-pat00180
    )할 경우,
    Figure 112005074142119-pat00181
    (모든 z에 대해서
    Figure 112005074142119-pat00182
    가 최소가 되는 z 를
    Figure 112005074142119-pat00183
    )인지 판단하고
    Figure 112005074142119-pat00184
    또는
    Figure 112005074142119-pat00185
    을 구하여 두 영상의 정합에 대한 변위값(Z)을 출력하는 단계를 더 포함하는 것을 특징으로 하는 방향 필터링을 이용한 스테레오 영상의 정합 방법.
  15. 제 14항에 있어서,
    상기
    Figure 112003047535641-pat00186
    를 구하는 단계는
    Figure 112003047535641-pat00187
    를 구하고 상기
    Figure 112003047535641-pat00188
    가
    Figure 112003047535641-pat00189
    가 가지는 변위값들의 집합 A의 원소
    Figure 112003047535641-pat00190
    중의 하나라면, 두 영상의 정합에 대한 변위값(Z)을
    Figure 112003047535641-pat00191
    로 출력하고, 상기
    Figure 112003047535641-pat00192
    가 집합 A의 원소
    Figure 112003047535641-pat00193
    중,
    Figure 112003047535641-pat00194
    인 것이 한 개만 존재할 경우 두 영상의 정합에 대한 변위값(Z)을
    Figure 112003047535641-pat00195
    (여기서
    Figure 112003047535641-pat00196
    는
    Figure 112003047535641-pat00197
    인 원소)로 출력하고,
    상기
    Figure 112003047535641-pat00198
    가
    Figure 112003047535641-pat00199
    가 가지는 변위값들의 집합 A의 원소
    Figure 112003047535641-pat00200
    중의 하나 또는
    Figure 112003047535641-pat00201
    인 것이 한 개만 존재하지 않을 경우
    Figure 112003047535641-pat00202
    을 구하되, 상기 를
    Figure 112003047535641-pat00204
    로 구하여 두 영상의 정합에 대한 변위값(Z)을
    Figure 112003047535641-pat00205
    로 출력하는 것을 특징으로 하는 방향 필터링을 이용한 스테레오 영상의 정합 방법.
KR1020030090603A 2003-12-12 2003-12-12 방향 필터링을 이용한 스테레오 영상의 정합 시스템 및 그방법 KR100576942B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030090603A KR100576942B1 (ko) 2003-12-12 2003-12-12 방향 필터링을 이용한 스테레오 영상의 정합 시스템 및 그방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030090603A KR100576942B1 (ko) 2003-12-12 2003-12-12 방향 필터링을 이용한 스테레오 영상의 정합 시스템 및 그방법

Publications (2)

Publication Number Publication Date
KR20050058659A KR20050058659A (ko) 2005-06-17
KR100576942B1 true KR100576942B1 (ko) 2006-05-10

Family

ID=37251987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030090603A KR100576942B1 (ko) 2003-12-12 2003-12-12 방향 필터링을 이용한 스테레오 영상의 정합 시스템 및 그방법

Country Status (1)

Country Link
KR (1) KR100576942B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942925B1 (ko) * 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
KR101460699B1 (ko) * 2013-04-18 2014-11-12 광운대학교 산학협력단 고성능 스테레오 정합 연산을 위한 병렬 스테레오 정합 연산 장치

Also Published As

Publication number Publication date
KR20050058659A (ko) 2005-06-17

Similar Documents

Publication Publication Date Title
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
EP2724295B1 (en) System and method for identifying scale invariant features of object outlines on images
EP1843294B1 (en) Motion vector calculation method, hand-movement correction device using the method, imaging device, and motion picture generation device
US8385630B2 (en) System and method of processing stereo images
JP2915894B2 (ja) ターゲット追跡方法及び装置
US7742657B2 (en) Method for synthesizing intermediate image using mesh based on multi-view square camera structure and device using the same and computer-readable medium having thereon program performing function embodying the same
Bruzzone et al. An adaptive approach to reducing registration noise effects in unsupervised change detection
US8204278B2 (en) Image recognition method
JP5777367B2 (ja) パターン識別装置、パターン識別方法及びプログラム
EP0952552A2 (en) Method for generating 2-D images from 3-D video data
US8363985B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
CN108765317B (zh) 一种时空一致性与特征中心emd自适应视频稳定的联合优化方法
KR20120068470A (ko) 스테레오 영상 정합 장치 및 그 방법
EP2466901B1 (en) Depth data upsampling
EP3216006B1 (en) An image processing apparatus and method
CN112287824A (zh) 基于双目视觉的三维目标检测方法、装置及系统
KR20150114950A (ko) 이미지 스트림의 프레임 레이트 증가
KR101799143B1 (ko) 타깃 사이즈를 추정하기 위한 시스템 및 방법
KR100691855B1 (ko) 영상정보의 특징 추출장치 및 그 방법
Chen et al. Range image segmentation for modeling and object detection in urban scenes
KR100576942B1 (ko) 방향 필터링을 이용한 스테레오 영상의 정합 시스템 및 그방법
CN112906450A (zh) 确定车辆附近的占用地图的条目的车辆、系统和方法
US6650362B1 (en) Movement detecting apparatus with feature point extractor based on luminance gradient in current frame
Hyun et al. Hardware-friendly architecture for a pseudo 2D weighted median filter based on sparse-window approach

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120330

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee