KR20040002041A - 창간 유사도 측정방법과, 이를 이용한 스테레오 변위결정장치 및 방법 - Google Patents

창간 유사도 측정방법과, 이를 이용한 스테레오 변위결정장치 및 방법 Download PDF

Info

Publication number
KR20040002041A
KR20040002041A KR1020020037387A KR20020037387A KR20040002041A KR 20040002041 A KR20040002041 A KR 20040002041A KR 1020020037387 A KR1020020037387 A KR 1020020037387A KR 20020037387 A KR20020037387 A KR 20020037387A KR 20040002041 A KR20040002041 A KR 20040002041A
Authority
KR
South Korea
Prior art keywords
vertical column
similarity
search
window
value
Prior art date
Application number
KR1020020037387A
Other languages
English (en)
Inventor
강봉순
홍두일
이장희
Original Assignee
칩스브레인(주)
강봉순
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 칩스브레인(주), 강봉순 filed Critical 칩스브레인(주)
Priority to KR1020020037387A priority Critical patent/KR20040002041A/ko
Publication of KR20040002041A publication Critical patent/KR20040002041A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 디지털 영상 처리에 관한 것으로, 서로 다른 영상 내의 2개의 화소에 대해 순차병렬구조를 이용하여 실시간으로 스테레오 변위를 결정하는 장치 및 방법에 관한 것이다.
본 발명에 따른 스테레오 변위 결정장치는, 기준영상의 임의의 기준화소 (x,y)와, 상기 기준화소와 정합되는 탐색영상의 화소(x,y,d) 사이의 스테레오 변위(d)를 결정하는 장치에 있어서, 상기 기준화소를 중심으로 하는 기준창()에 포함된 화소값들과 상기 기준창의 탐색범위(Sr) 내에 위치한 모든 탐색창들()에 포함된 화소값들을 입력받는 입력수단과; 상기 기준창을 구성하는 모든 수직열에 대해서, 상기 기준창의 임의의 기준 수직열(i,

Description

창간 유사도 측정방법과, 이를 이용한 스테레오 변위 결정장치 및 방법 {An optimized real time stereo disparity decision system using vertical strip structure}
본 발명은 디지털 영상 처리에 관한 것으로, 특히 서로 다른 영상 내의 2개의 화소에 대해 순차 병렬 구조를 이용하여 실시간으로 스테레오 변위를 결정하는 장치 및 방법에 관한 것이다.
스테레오 변위란 동일한 피사체를 서로 다른 각도에서 촬영할 때, 기준 영상 내의 하나의 화소와 그와 대응되는 탐색 영상 내의 대응 화소 사이의 오프셋 또는 변위를 의미한다. 즉, 서로 다른 각도에서 하나의 피사체를 촬영할 경우, 하나의 영상을 기준 영상이라고 하고 다른 하나의 영상을 탐색 영상이라고 할 때, 기준 영상의 하나의 기준 화소와 그와 대응되는 탐색 영상 내의 대응 화소는 물리적인 공간에서는 동일한 하나의 점에 대응된다.
이 스테레오 변위를 이용하면 서로 다른 위치에서 촬영한 2차원 영상으로부터 3차원 거리정보를 얻을 수 있는데, 즉 서로 다른 위치의 2대의 카메라로부터 하나의 피사체에 대한 좌, 우 2차원 영상을 획득하고, 삼각 측량법에 의한 거리정보연산 등의 과정을 통하면 3차원 거리정보를 얻을 수 있다.
도 1은 2대의 카메라를 이용하여 피사체와의 3차원 거리 정보를 얻을 수 있는 방법을 도시한다. x 축 상에 광축이 서로 평행하고 사이 거리가 b 인 두 대의 카메라(11, 12)를 배치한다. 이때, 카메라의 렌즈의 중심과 영상면과의 거리 즉 초점거리가 f, 3차원 공간상의 피사체(13)의 한 점을이라고 하고, 점 P 가 좌우 카메라(11, 12)의 영상면에 투영된 점의 좌표를 각각,이라고 하면, 삼각형의 비례 관계식에 따라 수학식 1과 수학식 2가 얻어진다.
이때 수학식 2에서, 즉 d 를 변위라 하며, 이 변위는 깊이값()에 반비례한다. 이를 이용하면 d 값에 의해 피사체와의 3차원 거리정보를 얻을 수 있다.
좌, 우 2차원 영상을 이용하여 변위를 구하기 위해서는, 왼쪽 영상(이하에서는, 탐색 영상이라고도 한다)을 구성하는 각각의 화소가 오른쪽 영상(이하에서는, 기준 영상이라고도 한다)의 어느 화소에 대응하는 지를 알아야 한다.
기준 영상 내의 각각의 화소에 대응되는 탐색 영상의 화소를 찾기 위해, 기준 영상의 매 화소에 대해 일정한 탐색 범위 내의 모든 후보 탐색 화소에 대해 유사도를 구하는데, 이때 후보 탐색 화소는 "에피폴라 구속 조건"을 적용하여 기준 화소와 동일 수평선상의 화소로 제한한다.
도 2는 에피폴라 구속조건에 의한 정합을 도시한 도면이다. 기준 영상에 기준 화소(21')를 중심으로 하는 기준창(21)을 설정하고 탐색 영상에 이 기준창과 동일한 크기와 모양을 가지는 탐색창(22a)을 설정한 후, 이 탐색창을 탐색범위(r=0, 1, 2) 내에서 이동시키면서 기준 영상의 기준창과 탐색 영상의 탐색창과의 유사도를 측정하여, 그 유사도가 가장 큰 탐색창의 중심 화소(22a', 22b', 22c')와 기준 화소(21')와의 차이를 기준 화소의 스테레오 변위로 설정한다. 기준창과 유사도가 가장 큰 탐색창을 정합창이라고 한다.
기준창과 탐색창과의 유사도를 계산하는 방법으로는, 기준창과 탐색창의 대응 화소간 밝기차를 이용한 SSD(Sum of Squared Differences) 및 SAD(Sum of Absolute Differences)방법, 상관관계를 이용한 NCC(Normalized Cross Correlation)방법 등이 있다. 여기서, 기준창과 탐색창의 대응 화소라 함은 두 창 내에서 상대적인 위치가 동일한 두 화소를 말한다. 기준 영상의 기준 화소 (x,y)와, x축 상으로 변위 d만큼의 거리에 있는 탐색 영상의 탐색창의 중심화소 (x+d,y) 와의 유사도는 수학식 3과 같이 나타낼 수 있다.
여기서, SSD(x,y,d)는 SSD 방법을 이용한 유사도, SAD(x,y,d)는 SAD 방법을 이용한 유사도, NCC(x,y,d)는 NCC 방법을 이용한 유사도이다. 또한,는 각각 오른쪽 영상 및 왼쪽 영상의 (x,y) 위치에서의 화소의 밝기값을 나타내고, W는 기준창과 탐색창의 크기를 나타낸다. 또한,는 기준 영상의 (x,y) 위치에서의 화소를 중심으로 하는 기준창 내의 화소들의 밝기 평균값을 나타낸다.
상술한 SSD 방법과 SAD 방법, 그리고 NCC 방법은 임의의 하나의 탐색 픽셀이 변위 지도에 미치는 영향이 그 탐색 픽셀의 밝기 값에 따라 달라진다. 따라서, 픽셀간의 밝기 변화가 큰 영역의 변위 경계선이 밝기 변화가 작은 영역으로 연장되는 "경계의 지나침(Boundary overreach)" 현상이 생기고, 이 때문에 물체의 경계부분에서 잘못된 변위값을 발생시키는 문제점이 있다. 게다가 NCC 유사도 측정방법은 수식을 하드웨어로 구현할 때 곱셈기, 나눗셈기, 제곱근기가 필요하므로 하드웨어 복잡도가 크게 되는 문제점이 있다.
따라서, 창 내의 화소의 밝기값을 직접 이용하지 않고 창 내에서 밝기가 비슷한 정합화소의 개수(Window Matching Count : WMC)를 누적하고 이 누적값을 이용하여 기준창과 탐색창 사이의 유사도 즉, 기준화소의 정합화소를 구하는 방법이다. WMC값은 두 창을 구성하는 화소들 중 밝기값이 유사한 화소의 개수를 나타내는 값이며, 이 유사화소의 개수가 두 창의 유사도를 나타내므로, 창 유사도라고도 한다. 이러한 방법으로 두 창간의 유사도를 측정하는 방법을 WMC(Window Matching Count) 유사도 측정방법이라고 하며, 이를 수식으로 나타내면 아래의 수학식 4와 같다.
여기서, d는 탐색 범위 내의 한 값, Th는 유사 픽셀의 판단 기준이 되는 미리 정의된 문턱값이다.는 기준 영상의 (x,y) 화소의 밝기값이고는 탐색영상의 (x+d,y) 화소의 밝기값이다. 그리고, W 는 기준창과 탐색창의 크기를 나타낸다. 즉, 위의 수학식 4에서 P(x,y,d)는 기준창과 탐색창에서 정합되는 위치에 있는 두 화소의 밝기값(와)이 비슷하면 1, 비슷하지 않으면 0의 값을 가진다. 따라서, 이 WMC(x,y,d)는 두 창 내에서 정합되는 위치의 밝기값이 비슷한 화소들이 많으면 이 값도 크고, 두 창 내에서 정합되는 위치의 밝기값이 비슷한 화소들이 적으면 이 값도 작다. 이러한 WMC 유사도 측정방법은 창 내의 임의의 한 화소가 유사도에 미치는 영향이 그 화소의 밝기값에 관계없이 동일하기 때문에, 경계부분에서도 좋은 결과를 얻을 수 있게 된다.
그러나, 이러한 WMC 유사도 측정방법은 기준 영상의 모든 화소에 대해 WMC값을 계산하려면, 그 계산량은에 비례하는 방대한 양이다. 여기서,는 영상의 크기,는 창의 크기, Sr은 탐색범위를 각각 나타낸다. 이처럼 많은 계산량이 필요한 이유는 이 WMC 유사도 측정방법에 내재되어 있는 중복계산에서 기인한다.
도 3은 이 WMC 유사도 측정방법에 내재된 중복계산을 설명하기 위해 도시한 도면이다. 기준 영상의 (x,y) 화소와 탐색 영상의 (x+d,y) 화소 사이의 유사도를 측정할 때((a) 참조)와, 기준 영상의 (x+1,y) 화소와 탐색 영상의 (x+1+d,y) 화소 사이의 유사도를 측정할 때((b) 참조), 및 기준 영상의 (x+2,y) 화소와 탐색 영상의 (x+2+d,y) 화소 사이의 유사도를 측정할 때((c) 참조), 각각에 대해 창 내의 모든 대응 화소에 대한 유사여부를 검사하면, 중복 연산이 발생한다.
즉, (a)와 (b)를 비교하면, 기준 영상의 (x,y) 화소와 탐색 영상의 (x+d,y) 화소 사이의 유사도를 측정할 때에는, 기준 영상의 (x-2,y-2)부터 (x+2,y+2)까지와, 탐색 영상의 (x+d-2,y-2)부터 (x+d+2,y+2)까지의 대응 화소간 유사 여부를 비교하여, 유사 화소의 누적개수로 유사도를 표시한다. 마찬가지로, 기준 영상의 (x+1,y) 화소와 탐색 영상의 (x+1+d,y) 화소 사이의 유사도를 측정할 때에는, 기준 영상의 (x+1-2,y-2)부터 (x+1+2,y+2)까지와, 탐색 영상의 (x+1+d-2,y-2)부터 (x+1+d+2,y+2)까지의 대응 화소간 유사 여부를 비교하여, 유사 화소의 누적개수로 유사도를 표시한다. 이때, (b)에서 사선 모양으로 해칭된 부분 즉, 기준 영상의 (x-1,y-2)부터 (x+2,y+2)까지의 영역은 유사화소개수를 구하는 과정이 중복 연산된다.
상기와 같은 이유로 인하여, 기준 영상의 (x+2,y) 화소와 탐색 영상의 (x+2+d,y) 화소 사이의 유사도를 측정할 때에는, (c)에서 격자 모양으로 해칭된 부분 즉, (x,y-2)부터 (x+2,y+2)까지의 영역은 유사화소개수를 구하는 과정이 중복 연산된다. 이 (c)에서 격자 모양으로 해칭된 부분은 (a)와 중복될 뿐만 아니라 (b)와도 중복된다.
이렇듯 WMC 유사도 측정방법에서 WMC값을 계산할 때 창 단위로 유사 화소 개수를 누적 계산하면, 중복 연산되는 량이 많기 때문에 계산에 많은 시간이 소요될 뿐만 아니라 엄청난 크기의 메모리가 필요하게 되어 하드웨어 크기도 매우 커지게 되는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 수직열 단위로 유사화소개수를 먼저 계산한 후, 병렬 처리를 통해 필요한 수직열의 유사화소개수를 가산하여 WMC값을 구함으로써, 중복 연산이 제거되고 실시간으로 스테레오 변위 계산이 가능하며 하드웨어 크기를 줄일 수 있는 스테레오 변위 결정장치 및 방법을 제공하기 위한 것이다.
도 1은 2대의 카메라를 이용하여 피사체와의 3차원 거리 정보를 얻을 수 있는 방법을 도시한 도면,
도 2는 에피폴라 구속 조건에 의한 정합을 도시한 도면,
도 3은 WMC 유사도 측정방법에 내재된 중복계산을 설명하기 위해 도시한 도면,
도 4는 본 발명에 따른 중복 연산을 제거한 WMC 유사도 측정방법을 설명하기 위해 도시한 도면,
도 5a 내지 도 5b는 본 발명에 따른 수직열 유사화소개수를 구하는 방법을 설명하기 위해 도시한 도면,
도 6a와 도 6b는 수직열 유사화소개수를 이용하여 WMC값을 구하는 방법을 설명하기 위해 도시한 도면,
도 7은 본 발명에 따른 기준창과 탐색창의 유사도 측정방법과, 기준 영상의 스테레오 변위 결정방법을 구현한 스테레오 변위 결정장치의 하드웨어 구성도,
도 8은 본 발명에 따른 제어신호 생성부에서 출력되는 제어신호의 타이밍도,
도 9a는 본 발명에 따른 수직열 유사화소개수 계산부의 내부 구성도,
도 9b는 도 9a의 개별 수직열 유사화소개수 계산부의 내부 구성도,
도 10은 본 발명에 따른 수직열 유사화소개수 저장부의 내부 구성도,
도 11은 본 발명에 따른 WMC 계산부의 내부 구성도,
도 12는 본 발명에 따른 최대값 선택부의 내부 구성도,
도 13은 본 발명에 따른 실시간 스테레오 변위 결정장치의 전체 타이밍도이다.
※ 도면의 주요 부분에 대한 부호의 설명 ※
700 : 스테레오 변위 결정장치
711 : 오른쪽 카메라
712 : 왼쪽 카메라
720 : 제어신호 생성부
730 : 메모리부
740 : 스테레오 변위 계산부
741 : 수직열 유사화소개수 계산부
742 : 수직열 유사화소개수 저장부
743 : WMC 계산부
744 : 최대값 선택부
745 : 제어부
750 : 디스플레이 구동부
761 : PC 모니터
762 : TV 모니터
상기의 목적을 달성하기 위한 본 발명에 따른 기준창과 탐색창간 유사도 측정방법은, 기준영상의 임의의 기준창(∼)(여기서, (x,y)는 기준창의 중심화소이고, Wx는 창의 수평크기이고, Wy는 창의 수직크기임)과, 상기 기준창의 탐색범위(Sr) 내에 위치한 탐색영상의 임의의 탐색창(∼)(여기서, d는 기준창과 탐색창 사이의 스테레오 변위로서, 0보다 크거나 같고 Sr보다 작은 임의의 정수임)간 WMC 유사도를 측정 방법에 있어서,
상기 기준창과 탐색창의 대응 수직열별로 그 대응화소간 유사여부를 측정하여 유사화소개수를 구하는 단계와,
상기 대응 수직열별 유사화소개수를 모두 가산하여 상기 기준창과 탐색창의 유사화소개수를 구하는 단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 스테레오 변위 결정장치는, 기준영상의 임의의 기준화소 (x,y)와, 상기 기준화소와 정합되는 탐색영상의 화소(x,y,d) 사이의 스테레오 변위(d)를 결정하는 장치에 있어서,
상기 기준화소를 중심으로 하는 기준창()에 포함된 화소값들과 상기 기준창의 탐색범위(Sr) 내에 위치한 모든 탐색창들()에 포함된 화소값들을 입력받는 입력수단과;
상기 기준창을 구성하는 모든 수직열에 대해서, 상기 기준창의 임의의 기준 수직열(i,)의 화소값과 상기 기준 수직열의 탐색범위(Sr) 내에 위치한 탐색영상의 모든 탐색 수직열별로 그 대응화소간 유사여부를 측정하여, 상기 기준창을 구성하는 모든 수직열과 탐색범위의 모든 탐색 수직열과의 유사화소개수를 구하는 수직열 유사화소개수 측정수단과;
상기 수직열 유사화소개수 측정수단에서 구해진 수직열들의 유사화소개수를 이용하여, 상기 기준창과 상기 기준창과의 변위가 j(0 ≤j < Sr)인 탐색창의 유사화소개수값(WMC값)을 계산하는 WMC 계산수단과;
상기 WMC 계산수단에서 출력되는 WMC값들 중 최대값을 찾아서, 상기 최대 WMC값일 때의 상기 기준창과 탐색창 사이의 변위(j)를 상기 기준영상의 기준화소 (x,y)의 스테레오 변위(d)로 결정하는 최대값 선택수단을 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 스테레오 변위 결정방법은, 기준영상의 임의의 기준화소 (x,y)와, 상기 기준화소와 정합되는 탐색영상의 화소(x,y,d) 사이의 스테레오 변위(d)를 결정하는 방법에 있어서,
상기 기준화소를 중심으로 하는 기준창()에 포함된 화소값들과 상기 기준창의 탐색범위(Sr) 내에 위치한 모든 탐색창들()에 포함된 화소값들을 입력받는 입력단계와;
상기 기준창을 구성하는 모든 수직열에 대해서, 상기 기준창의 임의의 기준 수직열(i,)의 화소값과 상기 기준 수직열의 탐색범위(Sr) 내에 위치한 탐색영상의 모든 탐색 수직열별로 그 대응화소간 유사여부를 측정하여, 상기 기준창을 구성하는 모든 수직열과 탐색범위의 모든 탐색 수직열과의 유사화소개수를 구하는 수직열 유사화소개수 측정단계와;
상기 수직열 유사화소개수 측정단계에서 구해진 수직열들의 유사화소개수를 이용하여, 상기 기준창과 상기 기준창과의 변위가 j(0 ≤j < Sr)인 탐색창의 유사화소개수값(WMC값)을 계산하는 WMC 계산단계와;
상기 WMC 계산단계에서 출력되는 WMC값들 중 최대값을 찾아서, 상기 최대 WMC값일 때의 상기 기준창과 탐색창 사이의 변위(j)를 상기 기준영상의 기준화소 (x,y)의 스테레오 변위(d)로 결정하는 최대값 선택단계를 포함한 것을 특징으로 한다.
이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 "창간 유사도 측정방법과, 이를 이용한 스테레오 변위 결정장치 및 방법"을 보다 상세하게 설명하기로 한다.
먼저, 중복 연산을 제거하기 위해 수직열 단위로 유사화소개수를 구한 후 WMC를 구하는 방법을 살펴본다.
도 4는 본 발명에 따른 중복 연산을 제거한 WMC 유사도 측정방법을 설명하기 위해 도시한 도면이다. 도 4에는 기준 영상만을 도시하고 탐색 영상은 생략한다. 도 4를 참조하면, 창의 크기는이고, 기준 화소는 (x,y) 이다. 이때, 하나의 창은 창의 수평크기 개수 즉, 5개의 수직열로 나눌 수 있고, 기준 영상의 기준 수직열과 탐색 영상의 탐색 수직열과의 수직열 유사화소개수(S(x,y,d))는 두 수직열의 대응 화소 중 그 밝기값의 차이가 문턱값보다 작은 유사 화소들의 개수로 구한다. 그러면, 해당 창의 WMC값(WMC(x,y,d))은 해당 창을 구성하는 수직열 유사화소개수의 합(S(x-2,y,d)+S(x-1,y,d)+S(x,y,d)+S(x+1,y,d)+S(x+2,y,d))으로 구할 수 있다.
이 수직열 유사화소개수(S(x,y,d))를 수식으로 나타내면 아래의 수학식 5와 같다.
여기서, wx, wy값은 아래의 수학식 6과 같다.
이때,값은 각각 창의 x축 크기(수평크기)와 y축 크기(수직크기)이고, wx, wy는 각각 창의 중앙에서 수평 및 수직 방향으로 창의 경계까지의 거리이다. P(x,y+i,d)는 위의 수학식 4를 이용하여 구할 수 있는데, 기준 영상의 (x,y+i) 화소의 밝기값(R(x,y+i))과 탐색 영상의 (x+d,y+i) 화소의 밝기값(L(x+d,y+i))이 유사하면 1, 유사하지 않으면 0의 값을 갖는다. 이렇게 구한 수직열 유사화소개수 S(x,y,d)를 이용하여 창의 WMC값을 구하는 방법을 수식으로 나타내면 수학식 7과 같다.
즉, 창의 WMC값은 해당 창을 구성하는 모든 수직열 유사화소개수를 모두 가산함으로써 구할 수 있다.
따라서, 도 4와 같이인 경우, WMC(x,y,d)는 "S(x-2,y,d)+S(x-1,y,d)+S(x,y,d)+S(x+1,y,d)+S(x+2,y,d)"이고, WMC(x+1,y,d)는 "S(x-1,y,d)+S(x,y,d)+S(x+1,y,d)+S(x+2,y,d)+S(x+3,y,d)"이다.
도 5a 내지 도 5b는 본 발명에 따른 수직열 유사화소개수를 구하는 방법을 설명하기 위해 도시한 도면이다.
도 5a 내지 도 5b를 참조하면, 오른쪽 영상이 기준 영상이고 왼쪽 영상이 탐색 영상이며, 영상 크기는, 창 크기는, 탐색 범위는 0∼63, wx=wy=5 일 경우를 예로 든다. 수직열 유사화소개수를 구하기 위해서는 64개의 탐색 영상 입력기와 하나의 기준 영상 입력기가 구비되어야 한다. 시스템 구성에 대한 설명은 후술하기로 한다. 아래의 설명에서 수직열값이라 함은 해당 수직열을 구성하는 화소들의 밝기값을 의미한다.
먼저, 첫 번째 연산단계 내지 64번째 연산단계에서, 탐색 영상의 제1수직열값내지 제64수직열값이 순차적으로 입력되는데, 하나의 수직열값이 입력될 때마다 이전에 입력된 수직열은 한 칸씩 쉬프트된다. 탐색 영상의 제64수직열값이 입력될 때, 기준 영상의 제1수직열값이 함께 입력된다. 이렇게와내지이 입력되면, 각 대응 화소들의 밝기차에 따라 화소간 유사 여부를 검사하여, 기준 영상의 제1수직열과 탐색 범위 내에 있는 탐색 영상의 수직열과의 유사화소개수, 즉 수학식 5를 이용하여 64개 수직열의 유사화소개수를 계산할 수 있다.
다음, 65번째 연산단계에서는 탐색 영상의 제65수직열값와 기준 영상의 제2수직열값이 입력되며, 이때 위의 64번째 연산단계에서와 같이 기준 영상의 제2수직열과 탐색 영상의 탐색 범위 내에 있는 모든 수직열과의 유사화소개수를 수학식 5를 이용하여 계산할 수 있다.
다음, 탐색 영상의 마지막 수직열값이 입력되는 마지막(Lastth) 연산단계에서, 탐색 영상 입력기에는내지가, 기준 영상 입력기에는 제(last-62)수직열이 입력되는데, 이때 기준 영상의 제(last-62)수직열과 탐색 영상의 탐색 범위 내에 있는 모든 수직열과의 유사화소개수를 계산할 수 있다. 여기서, 마지막(Lastth) 연산단계라 함은 탐색 영상의 마지막 수직열값이 입력되는 연산단계를 상징적으로 언급한 것이지, 최종 연산단계를 의미하는 것은 아니다.
이렇게 탐색 영상의 마지막 수직열값이 입력된 연산단계에서 수직열 유사화소개수의 연산을 종료하면, 기준 영상의 나머지 수직열은 탐색 범위내에 있는 탐색 영상의 수직열과의 유사화소개수를 연산할 수 없기 때문에, WMC값도 구할 수 없고, 따라서 스테레오 변위로 구할 수 없게 된다.
도 5a 내지 도 5b와 같이 영상 크기가일 경우, 위의 마지막(Lastth) 연산단계에서 수직열 유사화소개수의 연산을 종료하면, 스테레오 변위를 구할 수 있는 영상의 크기는 수학식 8과 같다.
즉, 도 5b와 같이 마지막(Lastth) 연산단계에서 연산을 멈추면, 스테레오 변위를 구할 수 있는 영상의 크기는이 된다. 결국, 기준 영상의 오른쪽 끝에서부터 73개의 화소는 스테레오 변위를 구할 수 없으며, 이로 인해 최종적으로 스테레오 변위를 화면에 디스플레이할 때 문제가 발생하게 된다.
이러한 문제를 해결하기 위해 본 발명에서는 탐색 영상의 320개의 수직열이 모두 입력된 후의 연산단계부터는 기준 영상의 수직열만 입력받고, 이 기준 영상의 수직열과 유사 여부를 결정하는 문턱값(Th)을 더하여 탐색 영상의 수직열값으로 이용한다. 즉, 도 5b에서 마지막(Lastth) 연산단계 이후의 연산단계에서는 탐색 영상의 수직열값은 더 이상 입력되지 않고 기준 영상의 수직열값만이 입력되는데, 이때 탐색 영상의 수직열값은 기준 영상의 수직열값과 문턱값(Th)을 더한 임시값(tmp)으로 설정하여 기준 영상의 수직열값과 비교한다. 이때, 기준 영상의 수직열값과 탐색 영상의 임시값(tmp)을 비교하면 문턱값보다 크기 때문에 유사화소개수에는 포함되지 않는다.
본 발명에 의하면 탐색 영상의 수직열값이 모두 입력된 후 기준 영상의 수직열값만 입력되는 동안(마지막(Lastth) 연산단계 이후의 연산단계)에도, 기준 영상의 수직열과 탐색 범위 내에 있는 탐색 영상의 수직열과의 유사화소개수를 계산할 수 있다. 이때, 스테레오 변위를 구할 수 있는 영상의 크기는이다. 즉, 상기의 예와 같이 영상의 전체 크기가 320×240인 경우, 본 발명에 따라 스테레오 변위를 구할 수 있는 영상의 크기는 310×230이 된다.
이렇게 기준 영상의 수직열값과 탐색 영상의 수직열값들이 입력되면, 입력된 두 수직열값이 비교되어 해당 수직열의 유사화소개수가 계산되고, 이 수직열 유사화소개수를 수학식 7에 적용하여 WMC값을 구한다.
도 6a와 도 6b는 수직열 유사화소개수를 이용하여 WMC값을 구하는 방법을 설명하기 위해 도시한 도면이다.
도 6a와 도 6b에서 Sx_d는 S(x,5,d)를 의미한다. 도 5a의 64번째 연산단계에서 도 6a의 첫 번째 줄의 수직열 유사화소개수값(S0_0 ∼ S0_63)이 얻어지고, 도 55b의 65번째 연산단계에서 도 6b의 두 번째 줄의 수직열 유사화소개수값(S1_0 ∼ S1_63)이 얻어진다. 그리고, 75번째 연산단계에서 도 6a의 11번째 줄의 수직열 유사화소개수값(S10_0 ∼ S10_63)이 얻어진다. 창의 수평크기 만큼의 수직열 유사화소개수값이 모두 얻어지면, WMC(x,y,d)를 구한다. 예컨대,WMC(5,5,0)는, 즉 S0_0 ∼ S10_0의 값을 합하면 구할 수 있고, WMC(5,5,6)은, 즉 S0_6 ∼ S10_6의 값을 합하면 구할 수 있다. 같은 방법으로을 구할 수 있다.
다음, 도 5b의 연산단계가 지속되면 76번째 연산단계에서 도 6b의 12번째 줄의 수직열 유사화소개수값(S11_0 ∼ S11_63)이 얻어진다. 그러면, WMC(6,5,0)은, 즉 S1_0 ∼ S11_0의 값을 합하면 된다. 위와 같은 방법으로을 구할 수 있다.
즉, 첫 번째 줄의 수직열 유사화소개수값이 WMC 연산에 사용되기 위해서는 11개의 수직열 유사화소개수값이 모두 입력되어야 한다. 따라서, 이 수직열 유사화소개수값을 저장하는 버퍼(메모리)가 필요한데, 본 발명에서는개의 버퍼를 이용하여 수직열 유사화소개수값을 저장한다.
상술한 바와 같이 기준창을 구성하는 수직열과 탐색창을 구성하는 수직열 사이의 유사화소개수를 계산한 후, 이 창에 해당하는 수직열 유사화소개수를 더하면 창 내의 유사도 WMC(x,y,d) 즉,을 한꺼번에 계산할 수 있다. 이를 전체 영상에 적용하더라도 연산 시간은 27MHz기준으로 약 35ms가 소요되기 때문에, 본 발명된 장치가 실시간 동작하는데 무리가 없다.
다음, 구해진 WMC(x,y,d)값을 이용하여 스테레오 변위를 구한다. 스테레오 변위는값들 중에서 제일 큰 값을 가지는 값의 d값으로설정된다. 이는 기준 영상과 탐색 영상에 창을 씌운 부분이 같은 물체를 나타낼 때 기준 영상과 탐색 영상과의 거리 차이를 의미하며, 이 스테레오 변위를 수식으로 나타내면 수학식 9와 같다.
이때, DIS(x,y)는 기준 영상의 (x,y) 화소의 스테레오 변위이다.
2개의 2차원 영상(기준 영상과 탐색 영상)에 의해 구한 스테레오 변위를 영상화시키면 밝고 어두운 명암차를 볼 수 있는데, 밝은 부분은 카메라와 물체와의 거리가 가까운 것임을 나타내고 어두운 부분은 먼 것임을 나타낸다.
위에서 설명한 본 발명에 따른 기준창과 탐색창의 유사도 측정방법과, 기준 영상의 스테레오 변위 결정방법을 구현하기 위한 스테레오 변위 결정장치의 하드웨어 구성도가 도 7에 도시된다. 이 스테레오 변위 결정장치(700)는 오른쪽 카메라(711)와 왼쪽 카메라(712)로부터 각각 동일 피사체를 촬영한 2차원 영상을 입력받아 두 2차원 영상간의 스테레오 변위를 계산하여 PC 모니터(761)나 TV 모니터(762)에 표시한다.
스테레오 변위 결정장치(700)는 제어신호 생성부(720)와, 메모리부(730)와, 스테레오 변위 계산부(740), 및 디스플레이 구동부(750)를 구비한다. 이 스테레오 변위 계산부(740)는 수직열 유사화소개수 계산부(741), 수직열 유사화소개수 저장부(742), WMC 계산부(743), 최대값 선택부(744), 스테레오 변위 결정장치의 내부구성요소에 제어신호를 출력하는 제어부(745)를 구비한다.
오른쪽 카메라(711)와 왼쪽 카메라(712)는 CMOS 카메라이고, 각 카메라는 초당 30프레임(frame)의 640×480의 크기의 영상을 촬영하여 스테레오 변위 결정장치(700)에 입력한다.
제어신호 생성부(720)는 두 대의 카메라(711, 712)로부터 입력되는 2차원 영상을 메모리부(730)에 저장하거나 읽어 오기 위한 신호를 생성하고, 2대의 카메라에서 입력되는 영상의 동기를 맞추는 역할을 한다. 카메라로부터는 640×480의 크기의 영상이 초당 30프레임의 속도로 입력되지만, 본 발명의 스테레오 변위 결정장치는 이 중 15 프레임만을 선택하고 영상의 크기는 320×240 만을 선택하여 스테레오 변위를 계산한다. 이는 30 프레임으로 처리된 스테레오 변위나 15 프레임으로 처리된 스테레오 변위나 실시간 동작시에는 사람의 눈에 거의 차이를 느끼지 못하기 때문이며, 영상의 크기를 640×480에서 320×240으로 줄인 이유도 이와 동일하다.
이를 위해 제어신호 생성부(720)는 각 카메라에서 촬영된 영상 신호 중 짝수 프레임 또는 홀수 프레임만을 선택하고, 선택한 프레임 중 짝수 필드(even field) 또는 홀수 필드(odd field)를 선택하며, 다시 홀수번째 화소 또는 짝수번째 화소를 선택하여, 메모리부(730)에 저장한다. 도 8의 (a)에는 왼쪽 카메라로부터 입력되는 필드신호가 표시되고, 도 8의 (b)에는 오른쪽 카메라로부터 입력되는 필드신호가 표시된다. 짝수필드와 홀수필드는 번갈아 가면서 입력되는데, 본 발명에서는 짝수필드 또는 홀수필드를 선택하여 메모리부(730)에 저장한다. 도 8의 (a')와(b')에는 도 8의 (a)와 (b)의 필드신호 중 메모리부(730)에 저장되는 필드신호를 표시한다.
이때, 두 카메라로부터 입력되어 메모리부(730)에 입력되는 영상은 동기가 정확하게 맞지 않을 수 있는데, 제어신호 생성부(720)는 도 8의 (c)에 도시된 바와 같이 메모리부(730)에 저장되는 필드신호(액티브 하이 상태)(도 8의 (a')와 (b') 참조)를 논리합 연산하여, 액티브 하이 상태에서 로우 상태로 천이하는 순간에 스테레오 변위 연산 시작신호를 스테레오 변위 계산부(740)에 출력한다. 이렇게 하면, 두 카메라로부터 입력되는 영상의 동기가 맞지 않더라도 두 영상이 모두 입력된 후부터 스테레오 변위 연산이 시작되기 때문에 정확한 연산이 가능하다.
또한, 하나의 필드 영상에 대해 스테레오 변위가 연산되기 위해서는 보통 35ms의 시간이 소요되는데, 이는 하나의 프레임의 영상이 입력되는 시간보다 더 긴 시간이다. 즉, 하나의 필드 영상에 대해 스테레오 변위 연산 도중에 다시 메모리부에는 다음 필드 영상이 쓰여질 수 있다. 이럴 경우 하나의 메모리에 필드 영상을 저장하고 스테레오 변위 연산하면서 다음 필드 영상을 다시 저장하면, 해당 메모리에 쓰기 동작과 읽기 동작이 동시에 발생하는 문제점이 있다.
따라서, 본 발명의 메모리부(730)는 하나의 필드 영상을 저장할 수 있는 용량의 메모리를 4개 구비하고 있는 바, 2개의 메모리에는 오른쪽 카메라로부터 입력되는 필드 영상을 번갈아 가면서 저장하고, 나머지 2개의 메모리에는 왼쪽 카메라로부터 입력되는 필드 영상을 번갈아 가면서 저장한다. 제어신호 생성부(720)는 입력되는 두 개의 카메라로부터 입력되는 필드 영상을 2개의 메모리에 번갈아 가면서 저장하기 위한 제어신호를 출력한다.
이렇게 제어신호 생성부(720)가 두 카메라로부터 입력되는 필드 영상을 메모리부(730)에 저장하고, 스테레오 변위 계산부(740)에 스테레오 변위 연산 시작신호를 출력하면, 이 스테레오 변위 계산부(740)는 아래와 같은 과정을 통해 각 화소의 스테레오 변위를 연산한다.
먼저, 수직열 유사화소개수 계산부(741)는 수직열 유사화소개수를 구하는 블록으로, 도 5a 내지 도 5b를 하드웨어로 구현한 것이다.
도 9a는 수직열 유사화소개수 계산부(741)의 내부 구성도이며, 도 9b는 도 9a의 개별 수직열 유사화소개수 계산부의 내부 구성도이다.
수직열 유사화소개수 계산부(741)는 탐색범위만큼의 개별 수직열 유사화소개수 계산부(910, 920, 930)를 구비한다. 각 개별 수직열 유사화소개수 계산부(910∼930)에는 오른쪽 영상의 수직열값과, 오른쪽 영상과 왼쪽 영상의 대응 화소간 유사여부를 판단하는데 기준이 되는 문턱값(Th)이 입력된다. 오른쪽 영상의 수직열은 왼쪽 영상의 수직열이 64개 입력될 때부터 하나씩 순차적으로 입력되어 모든 개별 수직열 유사화소개수 계산부에 제공된다.
첫 단의 개별 수직열 유사화소개수 계산부(910)에는 왼쪽 영상의 수직열값이 순차적으로 입력되고, 왼쪽 영상의 모든 수직열이 입력되었는 지 여부를 나타내는 last 감지신호가 입력된다. 이 last 감지신호는 제어부(745)로부터 제공된다. 임의의 단의 개별 수직열 유사화소개수 계산부에서 수직열 유사화소개수 연산에 사용된 왼쪽 영상 수직열값은 다음 연산시에는 다음 단의 개별 수직열 유사화소 개수 계산부에 왼쪽 영상 수직열값으로 제공된다. last 감지신호는 왼쪽 영상의 수직열값이 입력되는 동안에는 비활성되고, 첫 단의 개별 수직열 유사화소개수 계산부(910)에 왼쪽 영상의 마지막 수직열값이 입력된 후 활성화되며, 11클럭 지연 후 다음 단의 개별 수직열 유사화소개수 계산부에 입력된다.
각 개별 수직열 유사화소개수 계산부는, 절대값 비교부(911)와, 덧셈기(912), 1비트 지연기(913), 제 1 지연기(914) 및 제 2 지연기(915)를 포함한다.
절대값 비교부(911)는 last 감지신호가 비활성 상태에서는 오른쪽 영상의 수직열값과 왼쪽 영상의 수직열값 및 문턱값(Th)을 입력받아 그 대응화소별로 두 수직열값의 차이의 절대값을 구하고 그 차이의 절대값과 문턱값을 비교하여, 그 차이의 절대값이 문턱값보다 작으면 1을 덧셈기(912)에게 출력하고, 차이의 절대값이 문턱값보다 작지 않으면 0을 덧셈기(912)에게 출력한다.
또한, 절대값 비교부(911)는 last 감지신호가 활성화된 상태에서는 왼쪽 영상의 수직열값을 오른쪽 영상의 수직열값과 문턱값(Th)의 합으로 새롭게 설정한 후 오른쪽 영상의 수직열값과 새롭게 설정한 왼쪽 영상의 수직열값과의 차이의 절대값을 문턱값과 비교한다. 이때, 새롭게 설정한 왼쪽 영상의 수직열값은 오른쪽 영상의 수직열값에 비해 문턱값(Th)만큼 크기 때문에, 두 수직열값의 차이의 절대값은 문턱값보다 작지 않다. 따라서, 그 결과값은 항상 0이다.
덧셈기(912)와 1비트 지연기(913)는 절대값 비교부(911)에서 출력되는 결과값을 입력받아 누적하여, 해당 수직열의 유사화소개수(strip_#)를 출력한다. 제 1 지연기(914)는 왼쪽 영상의 수직열의 밝기값을 입력받아 창의 수직크기(11 클럭)만큼 지연시킨 후 다음 단의 개별 수직열 유사화소개수 계산부의 왼쪽 영상으로 제공한다. 또한, 제 2 지연기(915)는 last 감지신호를 11클럭만큼 지연시킨 후 다음 단의 개별 수직열 유사화소개수 계산부에 제공한다.
이 개별 수직열 유사화소개수 계산부의 내부 동작을 수식과 함께 설명하면 다음과 같다. 절대값 비교부(911)는 임의 두 화소의 밝기값 R(x,y), L(x+d,y)을 입력받아 수학식 4의 P(x,y,d)를 구한다. 덧셈기(912)와 1비트 지연기(913)는 절대값 비교부(911)에서 구한 P(x,y,d)를 수학식 5를 이용하여 창의 수직크기만큼 누적하여, 해당 수직열의 유사화소개수(strip_#)를 구한다. 제 1 지연기(914)는 자신에게 입력된 왼쪽 영상의 수직열의 밝기값을 창의 수직크기(본 실시예에서는 창의 크기가 11x11이기 때문에, 11비트 지연기를 사용함)만큼 지연시킨 후 다음 단의 개별 수직열 유사화소개수 계산부의 왼쪽 영상 입력단에 제공한다.
왼쪽 영상의 수직열 64개와 오른쪽 영상의 수직열 한 개가 입력되면, 제64개별 수직열 유사화소개수 계산부(930)에서는 S(x,y,0)가 구해지고, 같은 방법으로 제2개별 수직열 유사화소개수 계산부(920)에서는 S(x,y,62)가 구해지며, 제1개별 수직열 유사화소개수 계산부(910)에서는 S(x,y,63)이 구해진다. 결국, 한 번에 오른쪽 영상의 기준 수직열에 대해 탐색 범위만큼의 왼쪽 영상의 수직열과의 유사화소개수가 계산된다.
수직열 유사화소개수 저장부(742)는 수직열 유사화소개수 계산부(741)에서구해진 수직열 유사화소개수값 S(x,y,d)을 이용하여 WMC(x,y,d)를 계산하기 위해 S(x,y,d) 값을 임시 저장한다. 도 10은 수직열 유사화소개수 저장부의 내부 구성도이다. 이 수직열 유사화소개수 저장부(742)는 창의 수직크기만큼의 개수의 내부 레지스터들(1010, 1020, 1030)로 이루어진다. 각 내부 레지스터는 D-플립플럽으로 구성되고, 하나의 내부 레지스터는 64개의 4비트 입력신호를 저장하므로, 하나의 내부 레지스터를 구성하는 D-플립플럽의 개수는 4×64=256개이며, 전체 수직열 유사화소개수 저장부를 구성하는 D-플립플럽의 개수는 4×64×11=2816개이다.
수직열 유사화소개수 계산부(741)에서 동시에 출력되는 64개의 S(x,y,d) 값들은 레지스터_1(1010)에 입력되어 저장된다. 즉, 처음에는 도 6a의 S0_0부터 S0_63값이 레지스터_1(1010)에 저장된다. 다음, 창의 수평크기의 클럭마다 새로운 S(x,y,d) 값들이 입력되기 때문에 레지스터_1(1010)에 저장된 데이터값은 11클럭 후 레지스터_2(1020)로 이동한다. 즉, 11클럭 후 레지스터_1(1010)에는 도 6a의 S1_0부터 S1_63이 입력되고, 레지스터_1(1010)에 저장되어 있던 S0_0부터 S0_63은 레지스터_2(1020)로 이동한다. 마찬가지로,클럭 후에는 레지스터_11(1030)에는 S0_0부터 S0_63이 저장되고, ..., 레지스터_2(1020)에는 S9_0부터 S9_63이 저장되고, 레지스터_1(1010)에는 S10_0부터 S10_63이 저장된다. 이렇게, 수직열 유사화소개수 저장부(742)를 구성하는 모든 레지스터_#(1010, 1020, 1030)에 S값들이 채워지면, WMC 계산부(743)가 동작한다.
WMC 계산부(743)는 수직열 유사화소개수 저장부(742)에 저장된 S값들을 가지고 수학식 7을 이용하여 WMC(x,y,d)값을 구한다. 수직열 유사화소개수저장부(742)의 모든 레지스터_#가 S(x,y,d)값들로 채워진 후부터는 새로운 S값이 입력되기 전까지의 11클럭동안 WMC 계산부(743)는까지의 값들을 계산한다. 도 11은 WMC 계산부(743)의 내부 하드웨어 구성도이다. 이 WMC 계산부(743)는 6개의 MUX부(1111∼1116)와 가산기(1131∼1136)로 이루어진다.
6개의 MUX부와 가산기를 구성한 이유를 설명하면, 한 개의 WMC의 값을 구하기 위해서는 수직열 유사화소개수 저장부(742)의 각 레지스터의 S값 중 동일 위치에 저장된 S값들을 합하면 된다. 그리고, 이 레지스터에 저장된 S값들은 11클럭 동안에는 변하지 않는다. 따라서, 11클럭 동안에 64개의 WMC(x,y,d) 값을 모두 구하려면 6개의 누적수단이 필요하다. 하나의 MUX부와 가산기는 하나의 누적수단으로서, 본 발명에서는 이를 이용하여 WMC(x,y,d) 값을 구한다. 즉, 하나의 누적수단이 한 클럭동안 하나의 WMC값을 구하고, 6개의 누적수단은 11클럭동안 64개의 WMC값을 구한다.
MUX부(1111)와 가산기(1131)는 11클럭 동안에값을 계산하는데, MUX부(1111)는 11클럭동안 매 클럭마다 수직열 유사화소개수 저장부(742)의 각 레지스터의 첫 번째 S값들부터 11번째 S값들을 차례대로 가산기(1131)에게 출력하고, 가산기(1131)는 첫 번째 S값들부터 11번째 S값들을 각각 누적 가산하여값을 출력한다. 이렇게 되면 최종적으로 모든 가산기(1131 ∼ 1136)로부터는 6개의 WMC 값들이 출력되는데, 가산기(1131)는, 가산기(1132)는, 가산기(1133)는, 가산기(1134)는, 가산기(1135), 가산기(1136)는를 11클럭 동안 출력한다.
좀 더 상세하게 설명하면, MUX부(1111)와 가산기(1131)는 11개의 입력라인을 가지는데, 첫 번째 클럭에서는 이 11개의 입력라인을 통해 S0_0 내지 S10_0가 입력되어 WMC(5,5,0)가 구해지고, 두 번째 클럭에서는 이 11개의 입력라인을 통해 S0_1 내지 S10_1이 입력되어 WMC(5,5,1)가 구해진다. 마찬가지로 11번째 클럭에서는 이 11개의 입력라인을 통해 S0_10 내지 S10_10이 입력되어 WMC(5,5,10)이 구해진다.
이와 동시에, MUX부(1112)와 가산기(1132)도 11개의 입력라인을 가지는데, 첫 번째 클럭에서는 이 11개의 입력라인을 통해 S0_11부터 S10_11이 입력되어 WMC(5,5,11)이 구해지고, 11번째 클럭에서는 S0_21부터 S10_21이 입력되어 WMC(5,5,21)이 구해진다. 이와 마찬가지로 MUX부(1113)와 가산기(1133)에서는 WMC(5,5,22)부터 WMC(5,5,32)가 구해지고, MUX부(1114)와 가산기(1134)에서는 WMC(5,5,33)부터 WMC(5,5,43)이 구해지며, MUX부(1115)와 가산기(1135)에서는 WMC(5,5,44)부터 WMC(5,5,54)가 구해지고, MUX부(1116)와 가산기(1136)에서는 WMC(5,5,55)부터 WMC(5,5,63)이 구해진다. 이렇게 WMC 계산부(743)는 11클럭 동안에 WMC(5,5,0)부터 WMC(5,5,63)을 구할 수 있다.
11 클럭 후, 수직열 유사화소개수 저장부에 S0_0 내지 S0_63은 지워지고S1_0 내지 S11_63이 채워지면, WMC 계산부(743)는 다음 11클럭 동안에 WMC(6,5,0) 내지 WMC(6,5,63)을 계산한다.
최대값 선택부(744)는 WMC 계산부(743)에서 구한 WMC(x,y,d) 값들 중 최대값을 찾고, 그 최대값일 때의 d값을 찾는다. 여기서, d값이 기준 영상의 화소 (x,y)의 스테레오 변위이다. 도 12는 최대값 선택부(744)의 하드웨어 구조를 나타낸 도면이다. 이 최대값 선택부(744)는 도 12에 도시된 바와 같이 각각이 WMC 계산부(743)의 하나의 누적수단과 연결되어 각각의 누적수단에서 출력되는 WMC값들 중 최대값을 찾는 6개의 개별 최대값 선택부(1211, 1212, 1213, 1214, 1215, 1216)와, 이 6개의 개별 최대값 선택부(1211∼1216)에서 선택된 최대 WMC값들을 입력받아 그 중의 최종 최대값과 그 최종 최대값에서의 스테레오 변위 d값을 찾는 최종 최대값 선택부(1220)를 구비한다. 그리고, 이 최대값 선택부(744)는 최종 최대값 선택부(1220)에서 출력되는 스테레오 변위 d값을 4배 승산하는 승산기(1230)를 더 구비한다.
WMC 계산부(743)는값을 11클럭 동안 매 클럭마다 6개의 WMC(x,y,d)값을 출력한다. 이때 6개의 개별 최대값 선택부(1211∼1216)는 각각 11클럭 동안 11개의 WMC(x,y,d)를 입력받아서, 최대 WMC값과 이 때의 d값을 최종 최대값 선택부(1220)에게 출력한다. 그러면, 최종 최대값 선택부(1220)는 각 개별 최대값 선택부(1211∼1216)로부터 6개의 최대 WMC값들을 입력받아서 그 중에서 최대값을 찾아서 출력하고, 그 때의 d값을 출력한다. 이 d값이 기준 화소 (x,y)의 스테레오 변위값이다. 이 스테레오 변위값은 11클럭마다 출력된다.
이렇게 얻어진 스테레오 변위값 d는 승산기(1230)에서 4배 증폭된다. 이렇게 승산기를 이용하여 스테레오 변위값 d를 4배 증폭하는 이유는, 최종 최대값 선택부(1220)에서 얻어진 d 값은 0∼63까지의 범위의 값이며, 이를 모니터 화면에 디스플레이할 때에는 전체적으로 화면이 어두워서 거리 정보를 파악하기 어렵기 때문이다. 이에 구해진 스테레오 변위값 d값을 4배 하면 최종적으로 0∼252까지의 값을 얻을 수 있고, 이를 화면에 디스플레이할 경우 거리에 따른 명암의 차이가 확연해 진다.
제어부(745)는 제어신호 생성부(720)로부터 신호를 입력받아 스테레오 변위 결정장치(700)의 내부 구성요소에 제어신호들을 제공한다.
디스플레이 구동부(750)는 최대값 선택부(744)에서 출력되는 최대 WMC값과 스테레오 변위값을 메모리부(730)에 저장하고, 메모리부(730)에 저장된 스테레오 변위값을 출력하여 PC 모니터(761)나 TV 모니터(762)에 디스플레이한다. TV나 PC 모니터에 스테레오 변위를 실시간으로 출력해야 하므로 메모리부(730)에 2개의 메모리를 할당하고, 이 2개의 메모리를 번갈아 가면서 이용한다.
도 13은 실시간 스테레오 변위 결정장치의 전체 타이밍을 나타낸 도면이다. 오른쪽 카메라의 필드신호(1310)와 왼쪽 카메라의 필드신호(1311)가 동기가 맞지 않다고 가정한다. 도면에서 1310은 오른쪽 카메라에서 출력되는 필드신호, 1311은 왼쪽 카메라에서 출력되는 필드신호, 1312는 1310과 1311의 논리합 신호이다. 1313과 1314는 오른쪽 카메라에서 출력되는 필드신호 중 본 발명에 따른 스테레오 변위 결정에 이용되는 필드를 선택하는 신호로서, 두 개의 메모리를 동작시키기 위한 신호이다. 이 두 개의 메모리는 번갈아 가면서 동작하면서 오른쪽 카메라에서 출력되는 필드 영상을 저장한다. 또한, 1315와 1316은 왼쪽 카메라에서 출력되는 필드신호 중 본 발명에 따른 스테레오 변위 결정에 이용되는 필드를 선택하는 신호로서, 두 개의 메모리를 동작시키기 위한 신호이다. 이 두 개의 메모리는 번갈아 가면서 동작하면서 왼쪽 카메라에서 출력되는 필드 영상을 저장한다.
다음, 1317과 1318은 스테레오 변위 결정을 위해 첫 번째 메모리에 저장된 오른쪽 및 왼쪽 필드 영상을 스테레오 변위 계산부(740)에 제공하기 위한 신호로서, 1313과 1315를 논리합한 신호가 하이 레벨에서 로우 레벨로 천이되는 순간에 이 첫 번째 메모리에 저장된 오른쪽 필드 영상과 왼쪽 필드 영상이 스테레오 변위 계산부(740)에 제공된다. 또한, 1319와 1320은 스테레오 변위 결정의 위해 두 번째 메모리에 저장된 오른쪽 및 왼쪽 필드 영상을 스테레오 변위 계산부(740)에 제공하기 위한 신호로서, 1314와 1316을 논리합한 신호가 하이 레벨에서 로우 레벨로 천이되는 순간에 이 두 번째 메모리에 저장된 오른쪽 필드 영상과 왼쪽 필드 영상이 스테레오 변위 계산부(740)에 제공된다.
스테레오 변위 계산부(740)가 오른쪽 필드 영상과 왼쪽 필드 영상에 대해 스테레오 변위를 계산하는 동안에, 디스플레이 구동부(750)가 각각 그 연산값을 두 개의 메모리에 번갈아 가면서 저장할 수 있도록 제어부(745)는 1321과 1322신호를 출력한다.
오리지널 영상이 입력되고 2 필드 후에는 스테레오 변위 계산이 완료되며, 제어부(745)는 이 스테레오 변위를 출력하기 위한 1323과 1324 신호를 출력하고,디스플레이 구동부(750)는 이 1323과 1324 신호를 1325와 같은 필드신호를 생성하여, 초당 15프레임의 스테레오 변위 화면을 모니터에 출력한다.
위에서 양호한 실시예에 근거하여 이 발명을 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것이다. 이 발명이 속하는 분야의 숙련자에게는 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.
본 발명에 따르면, 기준창과 탐색창의 대응화소 중 밝기가 유사한 유사화소개수를 이용한 WMC 유사도 측정방법을 사용하되, 창을 구성하는 수직열에서의 유사화소개수를 먼저 구해놓고 이 수직열의 유사화소개수를 적절하게 합산하여, 창의 WMC값과 유사도를 계산함으로써, 스테레오 변위 추정시 경계의 지나침(Boundary Overreach)이 발생하지 않고, 실시간 동작이 가능하며, 버퍼의 크기를 최적화 할 수 있다. 아울러, WMC값 연산시 순차 병렬 구조를 채택하여 하드웨어 크기와 연산시간을 크게 줄일 수 있다.

Claims (18)

  1. 기준영상의 임의의 기준창(∼)(여기서, (x,y)는 기준창의 중심화소이고, Wx는 창의 수평크기이고, Wy는 창의 수직크기임)과, 상기 기준창의 탐색범위(Sr) 내에 위치한 탐색영상의 임의의 탐색창(∼)(여기서, d는 기준창과 탐색창 사이의 스테레오 변위로서, 0보다 크거나 같고 Sr보다 작은 임의의 정수임)간 WMC(window matching count) 유사도를 측정하는 방법에 있어서,
    상기 기준창과 탐색창의 대응 수직열별로 그 대응화소간 유사여부를 측정하여 유사화소개수를 구하는 단계와,
    상기 대응 수직열별 유사화소개수를 모두 가산하여 상기 기준창과 탐색창의 유사화소개수를 구하는 단계를 포함한 것을 특징으로 하는 창간 유사도 측정방법.
  2. 기준영상의 임의의 기준화소 (x,y)와, 상기 기준화소와 정합되는 탐색영상의 화소(x,y,d) 사이의 스테레오 변위(d)를 결정하는 장치에 있어서,
    상기 기준화소를 중심으로 하는 기준창()에 포함된 화소값들과 상기 기준창의 탐색범위(Sr) 내에 위치한 모든 탐색창들()에 포함된 화소값들을 입력받는 입력수단과;
    상기 기준창을 구성하는 모든 수직열에 대해서, 상기 기준창의 임의의 기준 수직열(i,)의 화소값과 상기 기준 수직열의 탐색범위(Sr) 내에 위치한 탐색영상의 모든 탐색 수직열별로 그 대응화소간 유사여부를 측정하여, 상기 기준창을 구성하는 모든 수직열과 탐색범위의 모든 탐색 수직열과의 유사화소개수를 구하는 수직열 유사화소개수 측정수단과;
    상기 수직열 유사화소개수 측정수단에서 구해진 수직열들의 유사화소개수를 이용하여, 상기 기준창과 상기 기준창과의 변위가 j(0 ≤j < Sr)인 탐색창의 유사화소개수값(WMC값 : window matching count값)을 계산하는 WMC 계산수단과;
    상기 WMC 계산수단에서 출력되는 WMC값들 중 최대값을 찾아서, 상기 최대 WMC값일 때의 상기 기준창과 탐색창 사이의 변위(j)를 상기 기준영상의 기준화소 (x,y)의 스테레오 변위(d)로 결정하는 최대값 선택수단을 포함한 것을 특징으로 하는 스테레오 변위 결정장치.
  3. 제 2 항에 있어서, 상기 수직열 유사화소개수 측정수단에서 구해진 수직열들의 유사화소개수를 임시 저장한 후 상기 WMC 계산수단에 제공하는 수직열 유사화소개수 저장수단을 더 포함한 것을 특징으로 하는 스테레오 변위 결정장치.
  4. 제 3 항에 있어서, 상기 수직열 유사화소개수 측정수단은,
    상기 기준 수직열(i)의 화소값과, 문턱값(Th)은 모든 단에 동시에 입력되고,상기 탐색영상의 탐색 수직열(i)의 화소값 내지 탐색 수직열(i+(Sr-1))의 화소값이 각각의 단에 하나씩 입력되는 Sr개 단의 개별 수직열 유사화소개수 계산부를 구비하여, 상기 Sr개 단의 개별 수직열 유사화소개수 계산부를 통해 상기 기준 수직열(i)에 대한 모든 탐색 수직열과의 유사화소개수가 동시에 출력되는 것을 특징으로 하는 스테레오 변위 결정장치.
  5. 제 4 항에 있어서, 상기 개별 수직열 유사화소개수 계산부는,
    상기 기준 수직열(i)의 화소값과, 문턱값(Th)과, 임의의 탐색 수직열(k, i ≤k < i+Sr)의 화소값을 입력받아, 상기 기준 수직열(i)과 탐색 수직열(k)의 대응 화소별로 두 화소값의 차이의 절대값과 상기 문턱값(Th)을 비교하여 그 비교값을 출력하는 절대값 비교부와,
    상기 절대값 비교부의 비교값 중 상기 차이의 절대값이 문턱값보다 작은 화소의 개수를 누적하고 그 누적값을 출력하는 누적수단과,
    상기 탐색 수직열의 화소값을 상기 창의 수직크기만큼 지연시킨 후 다음 단의 개별 수직열 유사화소개수 계산부의 탐색 수직열의 화소값으로 출력하는 지연수단을 포함한 것을 특징으로 하는 스테레오 변위 결정장치.
  6. 제 5 항에 있어서, 상기 개별 수직열 유사화소개수 계산부는,
    상기 탐색영상의 마지막 수직열이 모두 입력된 후에 활성화되는 last 감지신호가 입력되면, 상기 last 감지신호를 상기 창의 수직크기만큼 지연시킨 후 다음단의 개별 수직열 유사화소개수 계산부에 출력하는 지연수단을 더 포함하고,
    상기 절대값 비교부는 상기 last 감지신호가 활성화되면, 탐색 수직열을 상기 기준 수직열과 문턱값을 더한 값으로 설정한 후 기준 수직열의 화소값과 탐색 수직열의 화소값의 차이의 절대값과 상기 문턱값을 비교하여 그 비교값을 출력하는 것을 특징으로 하는 스테레오 변위 결정장치.
  7. 제 4 항에 있어서, 상기 수직열 유사화소개수 저장수단은,
    상기 수직열 유사화소개수 측정수단의 Sr개 단의 개별 수직열 유사화소개수 계산부에서 동시에 출력되는 기준 수직열(i)에 대한 모든 탐색 수직열과의 유사화소개수값들을 동시에 저장하고, 다음 번 기준 수직열(i+1)에 대한 모든 탐색 수직열과의 유사화소개수값들이 입력되면, 현재 저장 중인 기준 수직열(i)에 대한 모든 탐색 수직열과의 유사화소개수값들은 다음 단으로 쉬프트하는 상기 창의 수평크기(Wx)개 단의 레지스터를 구비한 것을 특징으로 하는 스테레오 변위 결정장치.
  8. 제 2 항에 있어서, 상기 WMC 계산수단은,
    하나의 기준창을 이루는 모든 기준 수직열에 대해, 상기 기준 수직열과 기준 수직열과의 변위가 j인 탐색 수직열과의 유사화소개수값을 동시에 읽어와서 누적하여, 상기 기준창과 상기 기준창과의 변위가 j인 탐색창과의 WMC값을 계산하는 다수의 누적수단을 포함한 것을 특징으로 하는 스테레오 변위 결정장치.
  9. 제 2 항에 있어서, 상기 최대값 선택수단에서 구해진 상기 기준영상의 기준화소 (x,y)의 스테레오 변위(d)를 증폭한 후 출력하는 승산수단을 더 구비한 것을 특징으로 하는 스테레오 변위 결정장치.
  10. 제 2 항에 있어서, 상기 입력수단은 상기 기준영상을 촬영하는 제1카메라와 탐색영상을 촬영하는 제2카메라로부터 영상을 입력받아 홀수 또는 짝수 프레임의 홀수 또는 짝수 필드의 홀수 또는 짝수번째 화소를 상기 수직열 유사화소개수 측정수단에 입력하는 것을 특징으로 하는 스테레오 변위 결정장치.
  11. 기준영상의 임의의 기준화소 (x,y)와, 상기 기준화소와 정합되는 탐색영상의 화소(x,y,d) 사이의 스테레오 변위(d)를 결정하는 방법에 있어서,
    상기 기준화소를 중심으로 하는 기준창()에 포함된 화소값들과 상기 기준창의 탐색범위(Sr) 내에 위치한 모든 탐색창들()에 포함된 화소값들을 입력받는 입력단계와;
    상기 기준창을 구성하는 모든 수직열에 대해서, 상기 기준창의 임의의 기준 수직열(i,)의 화소값과 상기 기준 수직열의 탐색범위(Sr) 내에 위치한 탐색영상의 모든 탐색 수직열별로 그 대응화소간 유사여부를 측정하여, 상기 기준창을 구성하는 모든 수직열과 탐색범위의 모든 탐색 수직열과의 유사화소개수를 구하는 수직열 유사화소개수 측정단계와;
    상기 수직열 유사화소개수 측정단계에서 구해진 수직열들의 유사화소개수를 이용하여, 상기 기준창과 상기 기준창과의 변위가 j(0 ≤j < Sr )인 탐색창의 유사화소개수값(WMC값 : window matching count값)을 계산하는 WMC 계산단계와;
    상기 WMC 계산단계에서 출력되는 WMC값들 중 최대값을 찾아서, 상기 최대 WMC값일 때의 상기 기준창과 탐색창 사이의 변위(j)를 상기 기준영상의 기준화소 (x,y)의 스테레오 변위(d)로 결정하는 최대값 선택단계를 포함한 것을 특징으로 하는 스테레오 변위 결정방법.
  12. 제 11 항에 있어서, 상기 수직열 유사화소개수 측정단계에서 구해진 수직열들의 유사화소개수를 임시 저장하는 수직열 유사화소개수 저장단계를 더 포함한 것을 특징으로 하는 스테레오 변위 결정방법.
  13. 제 12 항에 있어서, 상기 수직열 유사화소개수 측정단계는,
    모든 Sr개 단의 개별 수직열 유사화소개수 계산부에 상기 기준 수직열(i)의 화소값과 문턱값(Th)이 동시에 입력됨과 아울러, 각각의 단의 개별 수직열 유사화소개수 계산부에 상기 탐색영상의 탐색 수직열(i)의 화소값 내지 탐색 수직열(i+(Sr-1))의 화소값이 입력되어,
    상기 Sr개 단의 개별 수직열 유사화소개수 계산부를 통해 상기 기준 수직열(i)에 대한 모든 탐색 수직열과의 유사화소개수가 동시에 출력되는 것을 특징으로 하는 스테레오 변위 결정방법.
  14. 제 13 항에 있어서, 상기 개별 수직열 유사화소개수 계산부는,
    상기 기준 수직열(i)의 화소값과, 문턱값(Th)과, 임의의 탐색 수직열(k, i ≤ k < i+Sr)의 화소값을 입력받아, 상기 기준 수직열(i)과 탐색 수직열(k)의 대응 화소별로 두 화소값의 차이의 절대값과 상기 문턱값(Th)을 비교하여 그 비교값을 출력하고, 상기 비교값 중 상기 차이의 절대값이 문턱값보다 작은 화소의 개수를 누적하고 그 누적값을 상기 유사화소개수로서 출력하는 것을 특징으로 하는 스테레오 변위 결정방법.
  15. 제 13 항에 있어서, 상기 수직열 유사화소개수 저장단계는,
    상기 수직열 유사화소개수 측정단계의 Sr 개 단의 개별 수직열 유사화소개수 계산부에서 동시에 출력되는 기준 수직열(i)에 대한 모든 탐색 수직열과의 유사화소개수값들을 동시에 입력받아 저장하고, 저장 중인 이전 기준 수직열(i-1)에 대한 모든 탐색 수직열과의 유사화소개수값들은 다음 단으로 쉬프트하는 상기 창의 수평크기(Wx)개 단의 레지스터에 상기 기준 수직열에 대한 모든 탐색 수직열과의 유사화소개수값을 저장하는 것을 특징으로 하는 스테레오 변위 결정방법.
  16. 제 11 항에 있어서, 상기 WMC 계산단계는,
    하나의 기준창을 이루는 모든 기준 수직열에 대해, 상기 기준 수직열과 기준수직열과의 변위가 j인 탐색 수직열과의 유사화소개수값을 동시에 읽어와서 누적하여, 상기 기준창과 상기 기준창과의 변위가 j인 탐색창과의 WMC값을 계산하는 것을 특징으로 하는 스테레오 변위 결정방법.
  17. 제 11 항에 있어서, 상기 최대값 선택단계에서 구해진 상기 기준영상의 기준화소 (x,y)의 스테레오 변위(d)를 증폭한 후 출력하는 승산단계를 더 구비한 것을 특징으로 하는 스테레오 변위 결정방법.
  18. 제 11 항에 있어서, 상기 입력단계는 상기 기준영상을 촬영하는 제1카메라와 탐색영상을 촬영하는 제2카메라로부터 영상을 입력받아 홀수 또는 짝수 프레임의 홀수 또는 짝수 필드의 홀수 또는 짝수번째 화소를 상기 수직열 유사화소개수 측정단계에 입력하는 것을 특징으로 하는 스테레오 변위 결정방법.
KR1020020037387A 2002-06-29 2002-06-29 창간 유사도 측정방법과, 이를 이용한 스테레오 변위결정장치 및 방법 KR20040002041A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020020037387A KR20040002041A (ko) 2002-06-29 2002-06-29 창간 유사도 측정방법과, 이를 이용한 스테레오 변위결정장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020020037387A KR20040002041A (ko) 2002-06-29 2002-06-29 창간 유사도 측정방법과, 이를 이용한 스테레오 변위결정장치 및 방법

Publications (1)

Publication Number Publication Date
KR20040002041A true KR20040002041A (ko) 2004-01-07

Family

ID=37313771

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020037387A KR20040002041A (ko) 2002-06-29 2002-06-29 창간 유사도 측정방법과, 이를 이용한 스테레오 변위결정장치 및 방법

Country Status (1)

Country Link
KR (1) KR20040002041A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101034290B1 (ko) * 2009-04-24 2011-05-16 주식회사 코인업 드럼세탁기용 도어록장치
CN106651868A (zh) * 2016-08-31 2017-05-10 沈阳东软医疗系统有限公司 一种位移测量的方法及装置
CN116805316A (zh) * 2023-08-25 2023-09-26 深圳市鹏顺兴包装制品有限公司 基于图像增强的可降解塑料加工质量检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990080598A (ko) * 1998-04-13 1999-11-15 박호군 정합 화소 수를 이용한 유사도 측정 방법 및이를 구현하기 위한 장치
US6125198A (en) * 1995-04-21 2000-09-26 Matsushita Electric Industrial Co., Ltd. Method of matching stereo images and method of measuring disparity between these items
KR20000058657A (ko) * 2000-06-22 2000-10-05 오승호 최적화된 메모리 구조 및 정합 화소 수를 적용한디스패러티 측정 아키텍쳐
US20020012459A1 (en) * 2000-06-22 2002-01-31 Chips Brain Co. Ltd. Method and apparatus for detecting stereo disparity in sequential parallel processing mode

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125198A (en) * 1995-04-21 2000-09-26 Matsushita Electric Industrial Co., Ltd. Method of matching stereo images and method of measuring disparity between these items
KR19990080598A (ko) * 1998-04-13 1999-11-15 박호군 정합 화소 수를 이용한 유사도 측정 방법 및이를 구현하기 위한 장치
KR20000058657A (ko) * 2000-06-22 2000-10-05 오승호 최적화된 메모리 구조 및 정합 화소 수를 적용한디스패러티 측정 아키텍쳐
US20020012459A1 (en) * 2000-06-22 2002-01-31 Chips Brain Co. Ltd. Method and apparatus for detecting stereo disparity in sequential parallel processing mode

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101034290B1 (ko) * 2009-04-24 2011-05-16 주식회사 코인업 드럼세탁기용 도어록장치
CN106651868A (zh) * 2016-08-31 2017-05-10 沈阳东软医疗系统有限公司 一种位移测量的方法及装置
CN116805316A (zh) * 2023-08-25 2023-09-26 深圳市鹏顺兴包装制品有限公司 基于图像增强的可降解塑料加工质量检测方法
CN116805316B (zh) * 2023-08-25 2023-11-28 深圳市鹏顺兴包装制品有限公司 基于图像增强的可降解塑料加工质量检测方法

Similar Documents

Publication Publication Date Title
US11227397B2 (en) Block-matching optical flow and stereo vision for dynamic vision sensors
Jin et al. A semi-direct approach to structure from motion
US7554575B2 (en) Fast imaging system calibration
US20190320154A1 (en) Electronic system including image processing unit for reconstructing 3d surfaces and iterative triangulation method
US20020012459A1 (en) Method and apparatus for detecting stereo disparity in sequential parallel processing mode
US10621446B2 (en) Handling perspective magnification in optical flow processing
CN104396231B (zh) 图像处理装置和图像处理方法
US9183634B2 (en) Image processing apparatus and image processing method
KR100503820B1 (ko) 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
Alsadik et al. Efficient use of video for 3D modelling of cultural heritage objects
JP4110501B2 (ja) ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体
US20070140529A1 (en) Method and device for calculating motion vector between two images and program of calculating motion vector between two images
US9872011B2 (en) High-speed depth sensing with a hybrid camera setup
JP2016126673A (ja) 情報処理装置及びその制御方法、並びに、ビデオカメラ
CN113962864A (zh) 图像拼接方法、装置、存储介质及电子装置
KR20040002041A (ko) 창간 유사도 측정방법과, 이를 이용한 스테레오 변위결정장치 및 방법
JP6579816B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN116109778A (zh) 基于深度学习的人脸三维重建方法、计算机设备与介质
JP2001338280A (ja) ３次元空間情報入力装置
KR100795974B1 (ko) 스트리밍 스테레오 영상을 처리하여 깊이-지도를 실시간으로 생성하는 장치
Luo et al. Stereo matching and occlusion detection with integrity and illusion sensitivity
CN115294493A (zh) 视角路径获取方法、装置、电子设备及介质
JP5728399B2 (ja) 計測装置、方法及びプログラム
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
KR102507383B1 (ko) 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application