KR101850113B1 - 스테레오 매칭 장치 및 방법 - Google Patents

스테레오 매칭 장치 및 방법 Download PDF

Info

Publication number
KR101850113B1
KR101850113B1 KR1020160126818A KR20160126818A KR101850113B1 KR 101850113 B1 KR101850113 B1 KR 101850113B1 KR 1020160126818 A KR1020160126818 A KR 1020160126818A KR 20160126818 A KR20160126818 A KR 20160126818A KR 101850113 B1 KR101850113 B1 KR 101850113B1
Authority
KR
South Korea
Prior art keywords
matching
census
sample point
pixels
sample points
Prior art date
Application number
KR1020160126818A
Other languages
English (en)
Other versions
KR20180036867A (ko
Inventor
홍현기
이종철
임창경
전대윤
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020160126818A priority Critical patent/KR101850113B1/ko
Priority to PCT/KR2017/003031 priority patent/WO2018062650A2/ko
Publication of KR20180036867A publication Critical patent/KR20180036867A/ko
Application granted granted Critical
Publication of KR101850113B1 publication Critical patent/KR101850113B1/ko

Links

Images

Classifications

    • H04N13/0029—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/0022—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 스테레오 매칭 장치 및 방법에 관한 것으로서, 좌안 영상 및 우안 영상을 입력받는 영상 입력부; 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정하는 센서스 변환 설정부; 설정한 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 이용하여, 매칭 윈도우 내에서 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하여 센서스 변환 비트열을 생성하는 센서스 변환부 및 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행하는 스테레오 매칭부; 를 포함하는 스테레오 매칭 장치를 제공한다.

Description

스테레오 매칭 장치 및 방법{APPARATUS AND METHOD FOR STEREO MATCHING}
본 발명은 스테레오 매칭 장치 및 방법에 관한 것으로서, 구체적으로는 센서스 변환(Census transform; CT) 방법을 개선한 스테레오 매칭 장치 및 방법에 관한 것이다.
센서스 변환은 두 화소 간의 상대적인 밝기 비교를 비트열로 변환한다. 차이 절대값의 합(Sum of absolute differences: SAD) 또는 차이 제곱 값의 합(Sum of squared difference: SSD), 표준화 상호 상관성(Normalized cross-correlation: NCC)등의 방법은 매칭 윈도우 내의 모든 화소 값을 비교한다. 이에 비해 센서스 변환은 화소 간의 상대적인 밝기 값의 높고 낮음만을 판단하기 때문에 밝기 변화와 방사 왜곡에 강건한 결과를 보여준다. 그러나 센서스 변환은 하나의 중심 화소를 기준으로 매칭 윈도우 내의 주변 화소들과 밝기 값의 높고 낮음을 비교하기 때문에 잡음에 민감하다. 즉, 중심 화소가 잡음 등에 의해 영향 받는 경우, 오매칭될 확률이 크게 증가한다.
본 발명은 센서스 변환(Census transform; CT) 방법을 개선하여 보다 빠르고 정확한 스테레오 매칭 장치 및 방법을 제공한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 스테레오 매칭 장치가 제공된다.
본 발명의 일 측면에 따른 좌안 영상 및 우안 영상을 입력받는 영상 입력부, 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정하는 센서스 변환 설정부, 설정한 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 이용하여, 매칭 윈도우 내에서 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하여 센서스 변환 비트열을 생성하는 센서스 변환부 및 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행하는 스테레오매칭부를 포함하는 스테레오 매칭 장치를 제공한다.
본 발명의 다른 측면에 따르면, 스테레오 매칭 방법이 제공된다.
본 발명의 다른 측면에 따른 스테레오 매칭 방법은 좌안 영상과 우안 영상을 입력 받는 단계, 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정하는 단계, 설정된 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 이용하여, 매칭 윈도우 내에서 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하는 단계, 화소 밝기 값 비교를 통해 좌안 영상의 제1 센서스 변환 비트열 및 우안 영상의 제2 센서스 변환 비트열을 생성하는 단계 및 제1 및 제2 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행하는 단계를 포함한다.
본 발명은 센서스 변환(Census Transform; CT) 방법을 개선하여 보다 빠르고 정확한 스테레오 매칭이 가능하다.
또한, 본 발명은 매칭 윈도우 내의 중심 화소를 제외한 주변 화소의 밝기 값과 일정한 거리만큼 떨어져 대칭적으로 위치한 주변 화소의 밝기 값을 비교함으로써 영상의 잡음과 회전 변화 등에 강건한 특징점 매칭 및 추적 등에 활용될 수 있다.
도 1 내지 도 2는 본 발명의 일 실시 예에 따른 스테레오 매칭 장치를 설명하기 위한 도면들.
도 3 내지 도 5는 본 발명의 일 실시 예에 따른 스테레오 매칭 방법을 설명하기 위한 도면들.
도 6 내지 도 9는 본 발명의 일 실시 예에 따른 스테레오 매칭 방법의 설정 값 변화에 따른 스테레오 매칭 방법의 예시.
도 10 내지 도 17은 일 실시 예에 따른 기존 스테레오 매칭 방법과 본 발명의 스테레오 매칭의 성능을 비교한 도면들.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명하도록 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 첨부된 도면을 참고하여 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1 내지 도 2는 본 발명의 일 실시 예에 따른 스테레오 매칭 장치를 설명하기 위한 도면들이다.
도 1을 참조하면, 스테레오 매칭 장치(100)은 영상 입력부(110), 매칭 센서스 변환 설정부(120), 센서스 변환부(130), 스테레오 매칭부(140)를 포함하여 구성된다.
영상 입력부(110)는 좌안 영상 및 우안 영상을 입력받는다.
센서스 변환 설정부(120)는 입력받은 좌안 영상 및 우안 영상에서 매칭 윈도우 내의 중심 화소를 제외한 주변 화소의 밝기 값과 일정한 거리만큼 떨어진 주변 화소의 밝기 값을 비교하기 위해 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정한다.
여기서, 윈도우의 크기는 m×m (m은 3 이상의 홀수인 자연수)이고, 샘플 점 개수는 매칭 윈도우의 크기에 비례하는 m×m 개의 화소에서 중심 화소를 제외한 주변 화소 중 최소 8개 내지 최대 m×m-1개 중 하나로 설정하고, 에지 거리는 최소 1 내지 최대 m-1 중 하나로 설정한다. 이때, 에지 거리는 체비셰프(Chebyshev) 거리 측정 방법을 이용하여 매칭 윈도우 내의 가로, 세로 또는 대각선상의 인접 화소를 모두 거리 1로 계산한다.
센서스 변환부(130)는 센서스 변환 설정부(120)에서 설정한 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 이용하여, 매칭 윈도우 내에서 설정한 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 설정한 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하여 센서스 변환 비트열을 생성한다.
예를 들어, 도 2를 참조하면, 센서스 변환부(130)는 200과 같이 매칭 윈도우의 크기가 3 × 3일 때, 매칭 윈도우 내의 중심 화소(205)를 제외한 주변 화소 중에서 샘플 점 8개를 샘플링하고, 각각의 샘플 점은 에지 거리(210)가 2만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교하여 센서스 변환 비트열을 생성할 수 있다. 이때, 화소 밝기 값 비교는 220 내지 290의 순서로 진행할 수 있다.
보다 상세하게, 센서스 변환부(130)는 220과 같이 샘플링한 각각의 샘플 점(제1 샘플 점 내지 제8 샘플 점)에서 제 1샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 2샘플 점의 화소 밝기 값을 비교하여 센서스 변환 비트 생성한다. 이러한 방법으로 230과 같이 제 2샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 3샘플 점의 화소 밝기 값을 비교하고, 240과 같이 제 3샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 4샘플 점의 화소 밝기 값을 비교하고, 250과 같이 제 4샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 5샘플 점의 화소 밝기 값을 비교하고, 260과 같이 제 5샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 6샘플 점의 화소 밝기 값을 비교하고, 270과 같이 제 6샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 7샘플 점의 화소 밝기 값을 비교하고, 280과 같이 제 7샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 8샘플 점과 화소 밝기 값을 비교하고, 290과 같이 제 8샘플 점과 에지 거리가 2만큼 떨어져 대칭적으로 위치한 제 1샘플 점의 화소 밝기 값을 비교하여 센서스 변환 비트를 생성한다. 이와 같이 센서스 변환부(130)는 마지막 샘플 점은 시작 샘 점과 비교함으로써 샘플링된 모든 샘플의 화소를 비교하여 센서스 변환 비트를 생성하고, 생성된 8개의 센서스 변환 비트열을 하나의 센서스 변환 비트열로 생성한다.
스테레오 매칭부(140)는 센서스 변환부(130)에서 생성된 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행한다.
예를 들어, 스테레오 매칭부(140)는 좌안 영상에 대한 센서스 변환 비트열 및 우안 영상에 대한 센서스 변환 비트열 간의 해밍 거리를 산출하여 스테레오 매칭을 수행할 수 있다. 이는 당업자에게 자명한 사항이므로 상세한 설명은 생략하기로 한다.
도 3 내지 도 5는 본 발명의 일 실시 예에 따른 스테레오 매칭 방법을 설명하기 위한 도면들이다.
도 3을 참조하면, 단계 S310은 좌안 영상과 우안 영상을 입력받는다.
단계 S320은 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정한다.
단계 S330은 단계 S320에서 설정한 매칭 윈도우 크기에 따라, 샘플 점 개수 및 에지 거리를 이용하여, 매칭 윈도우 내에서 설정한 샘플 점 개수만큼 샘플링한 각각의 샘플 점을 상기 에지 거리만큼 떨어져 대칭적으로 위치한 다른 샘플 점과 화소 밝기 값을 비교한다. 여기서 화소 밝기 값 비교는 수학식 1을 이용한다.
Figure 112016095369014-pat00001
수학식 1에서
Figure 112016095369014-pat00002
함수는 매칭 윈도우의 중심 화소
Figure 112016095369014-pat00003
를 제외한 주변 화소
Figure 112016095369014-pat00004
의 밝기 값
Figure 112016095369014-pat00005
와 일정한 거리만큼 떨어진 주변 화소
Figure 112016095369014-pat00006
의 밝기 값
Figure 112016095369014-pat00007
의 차이가 0보다 클 경우에는 1, 그 이외에는 0을 생성한다. 이러한 방법으로 단계 S310에서 입력받은 좌안 영상 및 우안 영상에서 화소 밝기 값 비교를 수행한다.
단계 S340은 단계 S330의 화소 밝기 값 비교 결과를 통해 좌안 영상의 제1 센서스 변환 비트열 및 우안 영상의 제2 센서스 변환 비트열을 생성한다. 여기서, 센서스 변환 비트열은 수학식 2를 이용한다.
Figure 112016095369014-pat00008
수학식 2에서
Figure 112016095369014-pat00009
는 비트열에 대해 배타적 논리합 연산으로 구현되는 값이고, W는 매칭 윈도우의 크기이다.
단계 S350은 단계 S340에서 생성한 제1 및 제2 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행한다.
일반적인 센서스 변환은 매칭 윈도우 내에서 하나의 중심 화소의 밝기 값을 기준으로 주변 화소들의 밝기 값의 높고 낮음을 비교하기 때문에 잡음에 민감한 단점이 있다. 또한, 일반적인 센서스 변환은 매칭 윈도우의 크기가 커질수록 변환되는 비트열의 수가 증가하기 때문에 계산량이 많아진다.
반면, 본 발명에 따른 스테레오 매칭 방법은 매칭 윈도우 내에서 중심 화소를 제외한 주변 화소들의 밝기 값의 높고 낮음을 비교하기 때문에 잡음에 강인한 센서스 변환 비트열을 생성할 수 있다.
또한, 본 발명에 따른 스테레오 매칭 방법 매칭 윈도우 내에서 비교할 화소의 개수 및 비교 거리에 따른 위치를 선택함으로써 비트열 계산량을 감소시키면서도 안정적인 매칭 결과를 얻을 수 있다.
도 5를 참조하여 예를 들면, 일 실시 예에 따른 스테레오 매칭 방법은 에지 거리에 따른 비교 샘플 점의 위치를 선택함으로써 비트열 계산량을 감소시키고, 방사 왜곡과 밝기 변화에 강건한 센서스 변환 비트열을 생성할 수 있다.
도 5의 501 내지 517을 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 × 5 일 경우, 최소 8개에서 최대 24개의 샘플 점을 선택하고, 샘플 점 간의 비교 거리를 최소 1부터 최대 4로 설정하여 다양한 센서스 변환 비트열을 생성할 수 있다.
도 5의 501 내지 517에서 회색으로 표시한 부분은 샘플 점이고, 화살표 방향으로 샘플 점의 화소 밝기 값 비교를 수행한다. 이때, 화살표 방향은 시계방향 또는 반시계 방향일 수 있다.
도 5의 501 내지 502를 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 × 5일 때, 8개의 샘플 점들 간의 비교 거리를 2로 설정할 경우, 2가지 패턴으로 센서스 변환 비트열을 생성할 수 있다.
도 5의 503 내지 505를 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 × 5일 때, 8개의 샘플 점들 간의 비교 거리를 3으로 설정할 경우, 3가지 패턴으로 센서스 변환 비트열을 생성할 수 있다.
도 5의 506을 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 × 5일 때, 8개의 샘플 점들 간의 비교 거리를 4로 설정할 경우, 1가지 패턴으로 센서스 변환 비트열을 생성할 수 있다.
도 5의 507 내지 513을 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 × 5일 때, 16개의 샘플 점들 간의 비교 거리를 2로 설정할 경우, 7가지 패턴으로 센서스 변환 비트열을 생성할 수 있다.
도 5의 514를 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 × 5일 때, 16개의 샘플 점들 간의 비교 거리를 3으로 설정할 경우, 1가지 패턴으로 센서스 변환 비트열을 생성할 수 있다.
도 5의 515를 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 × 5일 때, 16개의 샘플 점들 간의 비교 거리를 4로 설정할 경우, 1가지 패턴으로 센서스 변환 비트열을 생성할 수 있다.
도 5의 503 내지 505를 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 × 5일 때, 8개의 샘플 점들 간의 비교 거리를 3으로 설정할 경우, 3가지 패턴으로 센서스 변환 비트열을 생성할 수 있다.
도 5의 516을 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 × 5일 때, 24개의 샘플 점들 간의 비교 거리를 2로 설정할 경우, 1가지 패턴으로 센서스 변환 비트열을 생성할 수 있다.
도 5의 517을 참조하면, 스테레오 매칭 방법은 매칭 윈도우가 5 × 5일 때, 24개의 샘플 점들 간의 비교 거리를 3으로 설정할 경우, 1가지 패턴으로 센서스 변환 비트열을 생성할 수 있다.
일 실시 예에 따른 스테레오 매칭 방법은 도 5와 같이 동일한 에지 거리 및 동일한 샘플 점의 개수에 대해서도 다양한 패턴으로 샘플 점의 화소 값을 비교할 수 있다. 따라서, 스테레오 매칭 방법은 입력된 영상에 따라 샘플 점 비교 패턴(500)을 설정함으로써 방사 왜곡과 밝기 변화에 강건한 센서스 변환 비트열을 생성할 수 있다.
도 6 내지 도 9는 본 발명의 일 실시 예에 따른 스테레오 매칭 방법의 설정 값 변화에 따른 스테레오 매칭 방법의 예시이다.
도 6을 참조하면, 일 실시 예에 따른 스테레오 매칭 방법은 입력된 매칭 영상에서 높은 상관관계를 가지는 샘플 점을 선택할 수 있다.
도 6의 600 내지 610은 미들버리 표준 영상에서 도 5의 507 내지 513 패턴을 통해 선택된 각각의 샘플 점과 매칭 윈도우 내 중심 화소의 평균 상관관계를 측정한 결과이다. 여기서 600은 잡음이 포함되지 않은 미들버리 표준 영상을 이용한 결과이고, 610은 가우시안 잡음(σ=5.12)이 추가된 미들버리 표준 영상을 이용한 결과이다.
600 내지 610은 도 5의 507,508,512 및 513 패턴을 통해 선택된 각각의 샘플 점에서 매칭 윈도우의 중심 화소와 높은 상관도를 보인다. 이와 같이 일 실시 예에 따른 스테레오 매칭 방법은 샘플 점 비교 패턴에 따른 샘플 점간의 상관관계를 측정함으로써 스테레오 매칭 결과를 향상 시킬 수 있는 샘플 점을 선택할 수 있다.
도 7을 참조하면, 일 실시 예에 따른 스테레오 매칭 방법은 샘플링한 샘플 점에서 이전 및 이후 샘플 점 간의 비교를 통해 밝기 값의 높낮이를 연속적으로 비교하기 때문에 더욱 강건한 스테레오 매칭 성능을 보인다.
도 7은 미들버리 표준 영상에서 임의의 a와 b 영역에 대해 기존 센서스 변환 방법과 스테레오 매칭 방법을 적용하여 얻어진 스테레오 매칭의 평균 비용 값 분포이다. 도 7에서 a와 b 영역은 카메라를 마주보는 평면으로 실측 영상(ground truth)의 시차 값은 18과 15이다.
도 7에서 700과 710은 기존 스테레오 매칭 방법에 의해 얻어진 매칭 비용 분포이며, 720과 730은 본 발명의 스테레오 매칭 방법에 의해 얻어진 매칭 비용 분포이다. 700과 710은 두 개의 최소 비용 오차가 존재하며 정확한 시차 정보를 구하기 어렵다. 반면, 720과 730은 매칭 비용의 시차 값이 18과 15에서 각각 얻어진다. 따라서, 일 실시 예에 따른 스테레오 매칭 장치(100)는 기존 센서스 변환 방법에 비해 더욱 강건한 스테레오 매칭 성능을 얻을 수 있다.
도 8은 일 실시 예에 따른 본 발명의 스테레오 매칭 방법의 에지 거리 변화에 따른 스테레오 매칭 비용 분포이다.
800 내지 820은 미들버리 표준 영상에서 5 × 5의 매칭 윈도우에서 16개의 점을 샘플링하는 경우, 에지 길이를 2, 3, 4로 각각 설정하여 얻어진 비용 오차 분포이다.
도 8은 800의 경우가 820의 경우에 비해서 최소 오차 비용의 위치를 상대적으로 분명하게 구분할 수 있다. 따라서, 일 실시 예에 따른 스테레오 매칭 방법은 매칭 윈도우 내에서 비교되는 샘플 점들 간의 거리가 2인 경우가 다른 경우에 비해, 보다 신뢰할 수 있는 매칭 비용의 분포를 얻을 수 있다.
도 9는 미들버리 표준 영상에서 기존 스테레오 매칭 방법과 본 발명의 스테레오 매칭 방법을 이용하여 얻어진 시차 값의 PKRN 신뢰도 결과이다.
도 9를 참조하면, 본 발명의 스테레오 매칭 방법은 기존의 스테레오 매칭 방법(CT)보다 PKRN 결과 값이 상대적으로 크기 때문에 얻어진 시차 정보를 보다 신뢰할 수 있다.
도 10 내지 도 17은 일 실시 예에 따른 기존 스테레오 매칭 방법과 본 발명의 스테레오 매칭 방법의 성능을 비교한 도면들이다.
도 10 내지 도 11을 참조하면, 도 11은 도 10의 1000을 이용하여 생성된 시차 맵 1020 내지 1040의 오매칭률을 측정한 결과로, 기존의 센서스 변환 방법(CT, MCT, GCT)의 오매칭률 보다 낮은 4.86%의 결과를 보였다.
도 12 내지 도 13을 참조하면, 도 13은 도 12의 1200을 이용하여 생성된 시차 맵 1220 내지 1240의 오매칭률을 측정한 결과로, 기존의 센서스 변환 방법(CT, MCT, GCT)의 오매칭률 보다 낮은 5.10%을 보였다.
도 14는, 도 10의 1000 영상에 가우시안 잡음의 세기(dB)를 추가하여 오매칭률을 측정한 결과이다.
일반적으로, 가우시안 잡음은 영상의 모든 화소에 영향을 주기 때문에 기존의 센서스 변환 방법(CT, MCT, GCT)은 잡음의 세기와 관계없이 전반적으로 잡음에 강건하지 못하다.
반면, 스테레오 매칭 방법은 매칭 윈도우 내에 샘플 점의 개수에 따라 잡음의 세기와 관계 없이 전반적으로 잡음에 강건한 결과 값을 얻을 수 있다.
도 15를 참조하면, 스테레오 매칭 방법은 도 10의 1000 영상에 대해 16개의 샘플 점에 대해 고려하는 경우, 16-3-1(514) 패턴을 사용할 때 가장 좋은 성능을 보인다. 또한, 신호 대 잡음비(Signal to noise ratio; SNR)가 높은 잡음이 상대적으로 적은 경우(30, 25, 20dB)에는 24-2-1(516) 패턴이 우수한 성능을 보였으며, 잡음이 더 추가된 경우(15, 10dB)에서는 16-3-1(514) 패턴이 가장 좋은 성능을 보인다. 상대적으로 적은 잡음이 추가된 경우에는 매칭 윈도우 내의 많은 샘플 점들을 고려하는 방법이 우수하며, 그 반대의 경우는 이미지의 특징적인 밝기 분포를 파악하기 유리한 패턴의 성능이 좋다. 또한, 전체 잡음 영상 세기(dB)의 오매칭률들의 평균은 16-3-1(513)과 16-2-2(508) 패턴이 가장 좋은 성능을 나타낸다. 이는, 스테레오 매칭 방법은 5 × 5 크기의 매칭 윈도우를 이용하여 가우시안 잡음이 존재하는 영상을 매칭하는 경우, 16개의 샘플 점으로도 충분히 정확한 매칭 성능을 나타내는 것을 의미한다.
도 16은 임펄스 잡음에 따른 도 10의 1000에 대해 가려짐 없는 영역의 평균 오매칭률을 측정한 결과이다.
도 16을 참조하면, 스테레오 매칭 방법은 임펄스 잡음이 포함된 영상에서 16-2-2(508) 패턴을 이용할 때, 가장 좋은 성능 24.78%를 얻는다. 따라서, 스테레오 매칭 방법은 5 × 5 크기의 매칭 윈도우 내의 모든 점들을 샘플링하기보다는 16개의 샘플 점을 선택하는 경우에 보다 개선된 성능을 보임을 알 수 있다.
도 17은 가우시안 잡음과 임펄스 잡음이 존재하는 경우, 기존의 센서스 변환(CT, MCT, GCT)방법에 의한 스테레오 매칭 방법과 본 발명의 스테레오 매칭 방법의 오매칭률 결과이다.
도 16 내지 도 17을 참조하면, 기존의 스테레오 매칭 방법은 가우시안 잡음과 임펄스 잡음 등에 의해 많은 영향을 받는다.
반면, 본 발명의 스테레오 매칭 방법(300)은 화소의 밝기 값에 잡음이 없는 경우나, 화소의 밝기 값이 잡음으로 인해 크게 변하는 경우에도 안정적인 매칭 성능을 보인다.
따라서, 본 발명의 스테레오 매칭 방법(300)은 매칭 윈도우 내에서 비교하는 화소 간의 거리와 비교 패턴을 선택함으로써 잡음과 회전 변화 등에 강건한 특징점 매칭이 가능하다. 또한, 스테레오 매칭 방법(300)을 이용하여 보다 향상된 대응 관계 설정(correspondence　establishment)을 통해 영상 시퀀스에서 모션이나 물체/사람 추적, 영상 데이터베이스에 대한 질의 영상 간의 매칭과 영상 내 객체 인식, 사용자의 위치(location) 인식, 3차원 컴퓨터비전 이용한 카메라 추적 및 재구성, 모자이크/파노라마 영상 생성 등에 적용이 가능하다.
본 발명의 다양한 실시 예에 따른 스테레오 매칭 방법은 다양한 서버 등의 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다. 또한, 본 발명에 따른 스테레오 매칭 방법을 실행하는 프로그램 및 애플리케이션은 컴퓨터 수단에 설치되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 스테레오 매칭 장치
110: 영상 입력부
120: 센서스 변환 설정부
130: 센서스 변환부
140: 스테레오 매칭부

Claims (12)

  1. 좌안 영상 및 우안 영상을 입력 받는 영상 입력부;
    매칭 윈도우 크기, 샘플 점 개수 및 에지 거리를 설정하는 센서스 변환 설정부;
    매칭 윈도우 내 중심 화소를 제외한 주변 화소에서 상기 샘플 점 개수만큼 화소를 샘플링하고, 샘플링한 화소간의 밝기 값 비교를 기 정의된 샘플점 비교 패턴을 기반으로 상기 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리에 상응하게 수행하여 센서스 변환 비트 열을 생성하는 센서스 변환부; 및
    상기 센서스 변환 비트 열을 이용하여 스테레오 매칭을 수행하는 스테레오 매칭부; 를 포함하되,
    상기 센서스 변환부는
    상기 매칭 윈도우 크기에 비례하는 m×m(m은 3이상의 홀수인 자연수)개의 화소에서 중심 화소를 제외한 주변 화소 중 최소 8개 내지 최대 m×m-1개의 샘플점의 밝기 값 비교를 수행하되,
    매칭 윈도우 크기별 샘플점 개수 및 에지 거리에 따라 상이하게 정의된 샘플점 비교 패턴을 참조하여 n번째 샘플점과 n+1번째 샘플점의 밝기값을 비교하고, n+1번째 샘플점과 n+2번째 샘플점의 밝기값을 비교하는 방식으로 8번째 샘플점 또는 (m×m-1)번째 샘플점과 n번째 샘플점의 밝기값을 비교함으로써, 첫번째 샘플점을 시작으로 마지막 샘플점까지 시계방향 또는 반시계 방향으로 밝기 값을 연속적으로 비교하여 센서스 변환 비트 열을 생성하는 스테레오 매칭 장치.
  2. 삭제
  3. 제 1항에서 있어서, 상기 에지 거리는,
    상기 매칭 윈도우 내의 가로, 세로 또는 대각선상의 인접 화소를 모두 거리 1로 계산하는 체비셰프(Chebyshev) 거리 측정 방법을 이용하여, 매칭 윈도우의 크기 m×m(m은 3 이상의 홀수인 자연수)에서 최소 1 내지 최대 m-1의 에지 거리 중 하나로 설정하는 스테레오 매칭 장치.
  4. 제 1항에서 있어서, 상기 센서스 변환부는,
    상기 매칭 윈도우 내의 중심 화소를 제외한 주변 화소에서 가로, 세로 또는 대각선상에 대칭으로 위치한 화소를 샘플링하는 스테레오 매칭 장치.
  5. 삭제
  6. 스테레오 매칭 장치에서 수행되는 스테레오 매칭 방법에 있어서,
    좌안 영상과 우안 영상을 입력받는 단계;
    m×m(m은 3이상의 홀수인 자연수)의 매칭 윈도우 크기, 최소 8 내지 최대 m×m-1 개의 샘플 점 개수 및 최소 1 내지 최대 m-1 내의 에지 거리를 설정하는 단계;
    상기 매칭 윈도우의 크기에 비례하는 m×m(m은 3이상의 홀수인 자연수)개의 화소에서 중심 화소를 제외한 주변 화소 중 상기 설정한 샘플점 개수만큼 화소를 샘플링하고, 샘플링한 화소의 밝기 값을 기 정의된 샘플점 비교 패턴을 기반으로 상기 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리에 상응하게 화소간 밝기 값 비교를 연속적으로 수행하는 단계;
    상기 화소간 밝기 값 비교를 연속적으로 수행한 결과를 통해 좌안 영상의 제1 센서스 변환 비트열 및 우안 영상의 제2 센서스 변환 비트열을 생성하는 단계; 및
    상기 제1 센서스 변환 비트열 및 제2 센서스 변환 비트열을 이용하여 스테레오 매칭을 수행하는 단계를 포함하는 스테레오 매칭 방법.
  7. 삭제
  8. 제 6항에 있어서,
    상기 m×m (m은 3이상의 홀수인 자연수)의 매칭 윈도우 크기, 최소 8 내지 최대 m×m-1 개의 샘플 점 개수 및 최소 1 내지 최대 m-1 내의 에지 거리를 설정하는 단계는,
    상기 매칭 윈도우 내의 가로, 세로 또는 대각선상의 인접 화소를 모두 거리 1로 계산하는 체비셰프(Chebyshev) 거리 측정 방법을 이용하여 에지 거리를 설정하는 단계인 스테레오 매칭 방법
  9. 제6항에 있어서,
    상기 매칭 윈도우의 크기에 비례하는 m×m(m은 3이상의 홀수인 자연수)개의 화소에서 중심 화소를 제외한 주변 화소 중 상기 설정한 샘플점 개수만큼 화소를 샘플링하고, 샘플링한 화소의 밝기 값을 기 정의된 샘플점 비교 패턴을 기반으로 상기 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리에 상응하게 화소간 밝기 값 비교를 연속적으로 수행하는 단계는
    상기 매칭 윈도우 내의 중심 화소를 제외한 주변 화소에서 가로, 세로 또는 대각선상에 대칭으로 위치한 화소를 샘플링하는 스테레오 매칭 방법.
  10. 제 9항에 있어서,
    상기 매칭 윈도우의 크기에 비례하는 m×m(m은 3이상의 홀수인 자연수)개의 화소에서 중심 화소를 제외한 주변 화소 중 상기 설정한 샘플점 개수만큼 화소를 샘플링하고, 샘플링한 화소의 밝기 값을 기 정의된 샘플점 비교 패턴을 기반으로 상기 매칭 윈도우 크기, 샘플 점 개수 및 에지 거리에 상응하게 화소간 밝기 값 비교를 연속적으로 수행하는 단계는
    매칭 윈도우 크기별 샘플점 개수 및 에지 거리에 따라 상이하게 정의된 샘플점 비교 패턴을 참조하여 n번째 샘플점과 n+1번째 샘플점의 밝기값을 비교하고, n+1번째 샘플점과 n+2번째 샘플점의 밝기값을 비교하는 방식으로 8번째 샘플점 또는 (m×m-1)번째 샘플점과 n번째 샘플점의 밝기값을 비교함으로써 첫번째 샘플점을 시작으로 마지막 샘플점까지 시계방향 또는 반시계 방향으로 밝기 값을 연속적으로 비교하는 스테레오 매칭 방법.
  11. 삭제
  12. 제6항, 제8항 내지 제10항 중 어느 한 항의 스테레오 매칭 방법을 실행하기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020160126818A 2016-09-30 2016-09-30 스테레오 매칭 장치 및 방법 KR101850113B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160126818A KR101850113B1 (ko) 2016-09-30 2016-09-30 스테레오 매칭 장치 및 방법
PCT/KR2017/003031 WO2018062650A2 (ko) 2016-09-30 2017-03-21 스테레오 매칭 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160126818A KR101850113B1 (ko) 2016-09-30 2016-09-30 스테레오 매칭 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180036867A KR20180036867A (ko) 2018-04-10
KR101850113B1 true KR101850113B1 (ko) 2018-04-20

Family

ID=61760508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160126818A KR101850113B1 (ko) 2016-09-30 2016-09-30 스테레오 매칭 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101850113B1 (ko)
WO (1) WO2018062650A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989133B1 (ko) * 2018-06-12 2019-09-30 중앙대학교 산학협력단 스테레오 이미지에서 공통 지원 영역을 이용한 실시간 스테레오 매칭 장치 및 매칭 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016427A (ja) * 2001-07-02 2003-01-17 Telecommunication Advancement Organization Of Japan ステレオ画像の視差推定方法
KR101200490B1 (ko) * 2008-12-10 2012-11-12 한국전자통신연구원 영상 정합 장치 및 방법
KR101564809B1 (ko) * 2013-11-28 2015-11-02 연세대학교 산학협력단 블록 기반 고속 센서스 변환을 이용한 스테레오 매칭 방법 및 그 장치
JP6253450B2 (ja) * 2014-02-28 2017-12-27 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
KR101622344B1 (ko) * 2014-12-16 2016-05-19 경북대학교 산학협력단 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템

Also Published As

Publication number Publication date
WO2018062650A3 (ko) 2018-09-07
KR20180036867A (ko) 2018-04-10
WO2018062650A2 (ko) 2018-04-05

Similar Documents

Publication Publication Date Title
US20200117906A1 (en) Space-time memory network for locating target object in video content
KR101622344B1 (ko) 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템
Ma et al. Towards a universal model for cross-dataset crowd counting
US9148653B2 (en) Stereo image processing device and stereo image processing method
KR102140873B1 (ko) 동적 객체 검출 장치 및 방법
KR20140102038A (ko) 영상 정합 장치 및 영상 정합 방법
KR101885839B1 (ko) 객체추적을 위한 특징점 선별 장치 및 방법
KR102080694B1 (ko) 곡면 모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법 및 장치와 비일시적 컴퓨터 판독가능 기록매체
US9323989B2 (en) Tracking device
CN111985427A (zh) 活体检测方法、设备及可读存储介质
CN113724135A (zh) 图像拼接方法、装置、设备及存储介质
US8164633B2 (en) Calibration apparatus and method for imaging devices and computer program
Bahirat et al. A study on lidar data forensics
Tarrit et al. Vanishing point detection for visual surveillance systems in railway platform environments
KR101850113B1 (ko) 스테레오 매칭 장치 및 방법
Yammine et al. Novel similarity-invariant line descriptor and matching algorithm for global motion estimation
Li et al. Image mixed blur classification and parameter identification based on cepstrum peak detection
JP2017515372A (ja) 動きフィールド推定
US8179967B2 (en) Method and device for detecting movement of an entity provided with an image sensor
JP6218237B2 (ja) 撮影画像を平行化する画像変換プログラム、装置及び方法
KR102101481B1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
Haryono et al. Oriented object detection in satellite images using convolutional neural network based on ResNeXt
Bright et al. Mitigating motion blur for robust 3d baseball player pose modeling for pitch analysis
CN112288817A (zh) 基于图像的三维重建处理方法及装置
JP2009217496A (ja) 画素間の類似尺度をリアルタイムで計算するための装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right