KR101607504B1 - 합산 영역 테이블 방식을 이용한 스테레오 매칭방법 - Google Patents

합산 영역 테이블 방식을 이용한 스테레오 매칭방법 Download PDF

Info

Publication number
KR101607504B1
KR101607504B1 KR1020140170615A KR20140170615A KR101607504B1 KR 101607504 B1 KR101607504 B1 KR 101607504B1 KR 1020140170615 A KR1020140170615 A KR 1020140170615A KR 20140170615 A KR20140170615 A KR 20140170615A KR 101607504 B1 KR101607504 B1 KR 101607504B1
Authority
KR
South Korea
Prior art keywords
cost
accumulating
image
stereo matching
pixels included
Prior art date
Application number
KR1020140170615A
Other languages
English (en)
Inventor
정홍
하정목
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020140170615A priority Critical patent/KR101607504B1/ko
Application granted granted Critical
Publication of KR101607504B1 publication Critical patent/KR101607504B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 선 기반의 코스트 축적 방법이 아닌 합산 영역 테이블 기반의 코스트 축적 방법을 사용하여 전체적으로 모든 영역의 코스트를 축적할 수 있는 합산영역 테이블 방식을 이용한 스테레오 매칭 방법에 관한 것이다.
본 발명에 따른 합산영역 테이블 방식을 이용한 효율적인 스테레오 매칭 방법에 의하면 합산영역 테이블을 기반으로 하여 두 방향의 코스트를 매 픽셀 마다 축적하기 때문에 전체적으로 모든 영역의 코스트를 축적할 수 있으며, 전체적으로 동작속도가 크게 저하되지 않으면서도 보다 정확하게 디스패리티를 예측할 수 있는 효과가 있다.

Description

합산 영역 테이블 방식을 이용한 스테레오 매칭방법{Stereo Matching Method using Summed Area Table Scheme}
본 발명은 스테레오 매칭 방법에 관한 것으로, 선 기반의 코스트 축적 방법이 아닌 합산 영역 테이블 기반의 코스트 축적 방법을 사용하여 전체적으로 모든 영역의 코스트를 축적할 수 있으며, 이로 인해 보다 정확하게 디스패리티를 예측할 수 있는 합산영역 테이블 방식을 이용한 스테레오 매칭 방법에 관한 것이다.
본 기술은 스테레오 매칭 기술을 바탕으로 하고 있다. 스테레오 매칭 기술은 좌우 두 카메라를 이용한 스테레오 영상에서 거리 정보를 구해내는 기술이다.
카메라는 실제 3D 공간을 2D 영상으로 변환 시키는 기능을 한다. 이때 한 차원이 줄어들게 되는데, 그 정보가 바로 거리 정보이다. 여기서 말하는 거리 정보는 카메라로부터 물체가 얼마나 떨어져 있는지를 나타내는데, 이는 영상에서는 구할 수 없는 정보이다.
실 예를 들면 다음과 같다. 사람의 눈도 영상과 마찬가지로 거리 정보를 가지지 않는다. 한 눈을 감은 상태에서 양 손가락 끝을 마주치려고 하면 잘 되지 않는 이유가 사람도 한 눈을 이용하게 되면 물체의 거리 정보가 사라지기 때문이다. 이렇게 사람의 한 눈처럼 영상 하나에서도 거리 정보가 사라지기 때문에 거리 정보를 구하기 위해서는 사람의 두 눈처럼 최소 두 개의 영상이 필요한 것이다.
두 개의 영상에서 거리를 알아내기 위해서 사람의 눈과 같이 카메라를 좌우로 놓았을 경우 영상 내에서 발생하는 물체의 위치 차이를 통하여 물체가 가까이 있는지, 멀리 있는지 판단하게 된다. 이는 사람의 눈을 통해서도 확인할 수 있는데, 물체가 가까이 있다면 좌우 영상에서 물체의 위치가 크게 차이 난다. 하지만 물체가 멀리 있다면 좌우 영상에서 물체의 위치 차이는 그리 크지 않다는 점을 알고 있다. 이 특성을 이용하여 좌우 영상에서 동일한 물체가 얼마만큼의 위치 차이를 보이는지를 이용하여 거리 정보를 계산해 낸다. 두 개의 영상에서 거리를 알아내기 위해서는 두 영상에서 어떤 부분이 동일한 부분인지를 알아내야 하는데 이를 매칭이라고 한다. 즉 스테레오 영상을 이용하여 매칭을 하게 되면 이를 스테레오 매칭이라 부른다.
스테레오 기술은 크게 지역기술과 전역기술로 나뉜다. 지역기술은 영상의 일부분만 사용하여 거리정보를 구해내는 방법을 사용하고 전역 기술은 영상 전체 정보를 모두 이용하여 거리정보를 구한다. 지역기술과 전역기술은 각각의 장단점이 존재하는데, 지역기술은 영상의 일부분만 사용하기 때문에 속도가 빠르지만 거리정보가 그만큼 정확하지 않고, 그에 반해 전역기술은 영상의 전체를 사용하기 때문에 속도는 느리지만 거리정보를 상대적으로 정확하게 구할 수 있다. 지역기술과 전역기술은 각각의 장점이 있지만 그보다 더 큰 단점 때문에 현재 실제 응용 기술에 사용할 수 없는 상황이다.
이 상황을 타개한 기술이 세미 글로벌 매칭(Semi-Global Matching; 이하 'SGM' 이라 한다.)이다. SGM은 지역기술과 전역기술이 가지고 있는 장점을 모두 가져가는 동시에 각각의 단점을 보완하여 만들어진 알고리즘이다. 지역기술만큼은 아니지만 속도가 빠르고, 전역기술만큼 정확하진 않지만 상대적으로 정확한 거리 정보를 구할 수 있다. 스테레오 매칭 기술은 기술의 특성상 실시간으로 동작해야 하는데, 지역기술은 실시간으로 동작 가능하지만 정확도가 떨어져 실제 기술로 사용하기 어렵다. 반면 전역기술은 실시간으로 동작 자체가 어려워 실제 거리측정 기술로 사용되지 않고 있는 상황이다. 실시간으로 동작 가능한 기술 중 알고리즘 속도와 정확도를 고려했을 때 SGM 기술이 현재까지 가장 효율이 좋은 스테레오 매칭 기술이다.
스테레오 매칭 기술은 코스트 계산, 코스트 축적, 디스패리티 추정 및 디스패리티 보정의 4가지 순서로 이루어진다.
코스트는 좌우 영상간 유사도를 계산한 것으로 영상의 밝기가 유사하면 매칭이 될 가능성이 높다는 것을 전제로 한다. 코스트가 낮을수록 매칭이 될 가능성이 높다.(코스트 계산:cost computation)
그러나 이러한 코스트 만으로는 각각의 픽셀의 거리 정보를 구할 수 없으며 주변 픽셀과의 정보를 총괄적으로 이용하여 거리 정보를 구해야 하는데 이 과정이 코스트 축적 과정이다. 즉, 주변의 코스트 또는 전체 영상의 코스트를 모두 이용하여 거리 정보를 예측하는 과정이 필요하다.(코스트 축적:cost aggregation)
한편, 디스패리티는 좌우 영상이 매칭이 되었을 때 그 픽셀들 간의 가로 좌표의 차이를 말하는 것으로, 디스패리티가 클수록 물체가 카메라와 가깝다. 결국 스테레오 매칭은 디스패리티를 얼마나 정확하게 구하는가의 문제이다. 앞서 코스트 축적을 통하여 축적한 코스트를 바탕으로 디스패리티를 추정할 수 있다.(디스패리티 추정:disparity computation)
상기한 과정을 통해 구한 디스패리티를 바탕으로 잘못 구한 디스패리티를 보정하게 되며, 이 과정은 최종적으로 선택적으로 이루어진다.(디스패리티 보정:disparity refinement)
스테레오 매칭 과정에 있어서 코스트 축적 과정이 가장 중요하다고 할 수 있다.
비록, SGM 방식이 현재 실시간 구현이 가능한 스테레오 매칭 기술의 코스트 축적 과정 중 가장 좋은 성능을 보이고 있기는 하지만, 이 코스트 축적 과정에도 문제가 존재하기 때문에 이 문제를 해결하여 SGM보다 더 효율 좋은 코스트 축적 기술을 개발할 필요성이 있어 왔다.
도 1은 종래의 SGM 방식에 따른 코스트 축적 방법을 설명하기 위한 도면이다.
종래의 SGM 방식은 코스트를 축적할 때 8선 기반의 코스트 축적을 사용한다. 해당 픽셀의 코스트를 포함한 8개의 선에 해당하는 코스트를 축적하여 디스패리티를 추정하는데 사용한다.
도 1을 참고하면 중앙에 위치한 빨간색 점(110)의 디스패리티를 추정하기 위해서 주변 픽셀의 코스트를 축적해야 하는데, SGM은 주변 픽셀의 코스트를 축적하는 대신 자신의 픽셀을 포함한 8개의 선상의 코스트를 축적하여 디스패리티를 구하는데 사용한다. 이 방식을 사용하면 주변 픽셀만 이용하는 것이 아닌 영상의 전반적인 정보를 이용하기 때문에 주변 픽셀만 이용하는 지역기술과 비교하여 정확한 디스패리티 추정이 가능하다. 또한 전체 코스트를 모두 사용하는 전역기술과 비교하여 이용하는 코스트 개수 자체가 적기 때문에 빠른 속도를 가진다.
여기서 검정색 점(120)들은 코스트 축적 과정에서 사용된 픽셀을 말하는 것이고 비어있는 점(130)들은 코스트 축적 과정에서 사용되지 않은 픽셀을 뜻한다.
종래의 SGM 방식은 효율적인 디스패리티 추정을 가능하게 하지만 선 기반의 코스트 축적 방법이라는 점에서 여전히 전체 영상의 정보를 모두 이용하는 것은 아니기 때문에 상대적으로 부정확할 수밖에 없는 문제가 있다.
본 발명이 해결하고자 하는 기술적 과제는, 선 기반의 코스트 축적 방법이 아닌 합산 영역 테이블 기반의 코스트 축적 방법을 사용하여 전체적으로 모든 영역의 코스트를 축적할 수 있으며, 이로 인해 보다 정확하게 디스패리티를 예측할 수 있는 합산영역 테이블 방식을 이용한 스테레오 매칭 방법을 제공하는데 있다.
본 발명에 따른 합산영역 테이블 방식을 이용한 스테레오 매칭방법은, 양안 영상을 이용하여 영상에 포함된 픽셀들의 거리 정보를 추출하는 스테레오 매칭방법에 있어서, 스테레오 카메라로부터 획득된 상기 양안 영상을 입력받는 영상입력단계; 상기 입력된 양안 영상으로부터 코스트를 계산하는 코스트 계산단계; 합산영역 테이블 방식을 통해 상기 계산된 코스트를 이용하여 각 픽셀에 대한 코스트를 축적하는 코스트 축적단계; 및 상기 축적된 코스트에 따라 스테레오 매칭을 수행하는 스테레오 매칭단계;를 포함하는 것을 특징으로 한다.
본 발명에 따른 합산영역 테이블 방식을 이용한 효율적인 스테레오 매칭 방법에 의하면 합산영역 테이블을 기반으로 하여 두 방향의 코스트를 매 픽셀 마다 축적하기 때문에 전체적으로 모든 영역의 코스트를 축적할 수 있으며, 전체적으로 동작속도가 저하되지 않으면서 보다 정확하게 디스패리티를 예측할 수 있는 효과가 있다.
도 1은 종래의 SGM 방식에 따른 코스트 축적 방법을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 합산영역테이블 방식을 이용한 스테레오 매칭방법의 순서도이다.
도 3은 본 발명에 따른 합산영역테이블 방식을 이용한 스테레오 매칭방법에 사용되는 합산영역테이블의 일 실시예를 나타내는 도면이다.
도 4는 본 발명과 비교하기 위해 종래의 SGM 방식에 따라 한 방향에서의 코스트를 축적하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 합산영역테이블 방식을 이용한 스테레오 매칭방법에 따라 두 방향에서의 코스트를 축적하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 합산영역테이블 방식을 이용한 스테레오 매칭방법에 따라 영상 영역 내의 모든 코스트를 축적하는 과정을 설명하기 위한 도면이다.
이하에서는 본 발명의 구체적인 실시 예를 도면을 참조하여 상세히 설명하도록 한다.
종래의 SGM방식의 단점은 선 기반의 코스트 축적 방법이라는 것이다. 이러한 선 기반의 코스트 축적 방법을 사용하게 되면 전술한 바와 같이 축적되지 않는 코스트들이 많기 때문에 속도가 빨라지긴 하지만 전역기술에 비해서 낮은 거리 정확도를 갖게 된다. 본 발명에서는 이러한 문제점을 해결하기 위해서 선 기반의 코스트 축적이 아닌 합산 영역 테이블 기반의 코스트 축적 방법을 제시한다.
도 2는 본 발명에 따른 합산영역테이블 방식을 이용한 스테레오 매칭방법의 순서도이다.
도 2를 참고하면 본 발명에 따른 합산영역테이블 방식을 이용한 스테레오 매칭방법은 영상입력단계(S100), 코스트 계산단계(S200), 코스트 축적단계(S300) 및 스테레오 매칭단계(S400)를 포함한다.
상기 영상입력단계(S100)에서는 스테레오 카메라로부터 획득된 상기 양안 영상을 입력받으며, 코스트 계산단계(S200)에서는 상기 입력된 양안 영상으로부터 코스트를 계산한다.
상기 코스트 축적단계(S300)에서는 합산영역 테이블 방식을 통해 상기 계산된 코스트를 이용하여 각 픽셀에 대한 코스트를 축적하며, 상기 스테레오 매칭단계(S400)에서는 상기 축적된 코스트에 따라 스테레오 매칭을 수행한다.
이하에서는 코스트 축적단계를 중심으로 본 발명에 따른 합산영역테이블 방식을 이용한 스테레오 매칭방법에 대해 살펴보기로 한다.
도 3은 본 발명에 따른 합산영역테이블 방식을 이용한 스테레오 매칭방법에 사용되는 합산영역테이블의 일 실시예를 나타내는 도면이다.
합산 영역 테이블이란 고속으로 사각형 구간의 픽셀 값의 합을 구하는 알고리즘을 말하며, 이 방식을 사용하게 되면 4개의 합산 영역 테이블(210~240)로 전체 영상의 코스트를 구해낼 수 있다.
즉, 픽셀 x에 대해 북서쪽(north-west) 영역의 테이블(210), 북동쪽(north-east) 영역의 테이블(220), 남서쪽(south-west) 영역의 테이블(230) 및 남동쪽(south-east) 영역의 테이블(240) 영역에 포함된 픽셀들의 코스트를 모두 축적할 수 있다.
도 4는 본 발명과 비교하기 위해 종래의 SGM 방식에 따라 한 방향에서의 코스트를 축적하는 과정을 설명하기 위한 도면이고, 도 4는 본 발명에 따른 합산영역테이블 방식을 이용한 스테레오 매칭방법에 따라 두 방향에서의 코스트를 축적하는 과정을 설명하기 위한 도면이다.
도 4를 참고하면 기존의 SGM 방식의 선기반의 코스트 축적 과정은 다음의 식과 같이 표현될 수 있다.
Figure 112014117301451-pat00001
여기서,
Figure 112014117301451-pat00002
는 각 픽셀
Figure 112014117301451-pat00003
와 디스패리티
Figure 112014117301451-pat00004
의 축적 코스트 값이고,
Figure 112014117301451-pat00005
는 코스트이며,
Figure 112014117301451-pat00006
는 이전 픽셀
Figure 112014117301451-pat00007
의 축적 코스트에 벌칙 코스트인
Figure 112014117301451-pat00008
을 고려한 가장 작은 코스트를 의미한다.
현재 픽셀
Figure 112014117301451-pat00009
와 이전 픽셀
Figure 112014117301451-pat00010
의 디스패리티를 유사하게 만들기 위해서 벌칙 코스트를 사용한다.
Figure 112014117301451-pat00011
는 더할수록 증가할
Figure 112014117301451-pat00012
의 최대값을 줄이기 위한 보정 값이다. 이 방식을 8 방향에 대해 수행하여 일직선상의 코스트를 축적하면 종래의 SGM 방식에서 사용하는 코스트 축적 방법이 된다.
이와 달리 본 발명에 따른 합산영역테이블(Summed Area Table : SAT) 방식을 이용한 스테레오 매칭방법에 의하면 도 4에 도시된 바와 같이 두 방향에서의 축적 코스트를 비교하여 최소값을 저장하는 방식으로 코스트를 축적하게 되며, 이로 인해 전 영역에서의 코스트를 모두 축적할 수 있게 된다.
본 발명은 SAT 기반의 코스트 축적에 관한 것으로 영상 영역내의 모든 코스트를 빠른 속도로 축적하게 된다. 코스트를 축적하는 것은 최적의 디스패리티 값을 산출하기 위한 것이다.
SAT란 영상 영역 상의 직사각형 내의 값의 합을 얻기 위한 배열 또는 알고리즘을 말한다.
하나의 SAT 배열은 전체 영상의 4분의 1을 커버할 수 있으므로 영상 내의 모든 코스트를 축적하기 위해 다음과 같이 4종류의 방향, 즉 북서(north-west), 북동(north-east), 남서(south-west) 및 남동(south-east) 방향을 설정할 수 있다.
Figure 112014117301451-pat00013
여기서,
Figure 112014117301451-pat00014
는 4종류의 방향의 세트를 말한다.
도 3에서는 코스트 축적을 위해 사용되는 4종류의 SAT 배열이 도시되어 있다. 각각의 직사각형 내의 모든 코스트는 하나의 포인트(x)로 축적된다.
이러한 4종류의 SAT 배열을 사용하여 어떻게 각각의 방향에 대해 모든 코스트를 축적할 것인지 살펴보기로 한다.
본원발명에 있어서 종래의 SGM 방식과 구별되는 가장 큰 차이점은 각각의 코스트 축적을 위해 고려되어야 하는 경로(path)의 개수에 있다.
종래의 SGM 방식이 8개의 선에 해당하는 코스트를 단방향으로 축적하는 것임에 반해 본발명에서는 수평방향과 수직방향 모두에서 동시에 코스트를 축적하기 위해 2 방향(two-path) 코스트 축적이라는 개념을 적용하였다.
이에, 먼저 4종류의 SAT 배열을 다음과 같이 정의할 수 있다.
Figure 112014117301451-pat00015
여기서
Figure 112014117301451-pat00016
는 4종류의 방향 중 각 어레이의 방향을 지정하는 기호이고(
Figure 112014117301451-pat00017
),
Figure 112014117301451-pat00018
는 각각의
Figure 112014117301451-pat00019
방향에 대한 코스트 축적값이다. 이어서, 4종류의 방향에 대한 값을 모두 더함으로써 총 코스트 축적값을 구할 수 있다.(
Figure 112014117301451-pat00020
)
코스트 축적을 위해서는 코너 포인트(corner point), 경계 포인트(border point) 및 일반 포인트(general point)에 대해 고려하여야 한다.
영상에 있어서 4개의 코너는 각 코스트 축적값의 시작 지점이 된다.
코너 포인트(corner point)의 축적된 코스트는,
Figure 112014117301451-pat00021
와 같이 정의될 수 있다. 코너 포인트(corner point)에서의 코스트 축적값을 초기화한 이후에 다른 코스트 들이 축적될 수 있다.
일반 포인트(general point)에서의 코스트 축적에 있어서는 수평방향과 수직방향이 동시에 고려되어야 한다. 즉, 인접한 수평 포인트
Figure 112014117301451-pat00022
와 인접한 수직포인트
Figure 112014117301451-pat00023
사이의 최소값을 구하게 된다.(도 5 참조)
본 발명에 따른 합산영역테이블 방식을 이용한 스테레오 매칭방법에 따라 두 방향에서의 코스트를 축적하는 과정은 아래의 식과 같이 표현될 수 있다.
Figure 112014117301451-pat00024
여기서,
Figure 112014117301451-pat00025
이고,
Figure 112014117301451-pat00026
와
Figure 112014117301451-pat00027
는 각각
Figure 112014117301451-pat00028
와
Figure 112014117301451-pat00029
의 디스패리티 값을 의미한다.
수평 포인트
Figure 112014117301451-pat00030
의 축적된 코스트
Figure 112014117301451-pat00031
와 수직 포인트
Figure 112014117301451-pat00032
의 축적된 코스트
Figure 112014117301451-pat00033
가 보정함수
Figure 112014117301451-pat00034
에 합해진다.
도 5에 도시된 보정함수
Figure 112014117301451-pat00035
의 검정색박스, 회색박스 및 흰색박스는 각각 0, P1 및 P2의 보정 값을 갖는다.
그 이후 픽셀 x에 대한 코스트
Figure 112014117301451-pat00036
를 위해 최소 코스트 값이 선택된다.
경계 포인트의 코스트 축적의 경우 SGM 방식에 의한 코스트 축적과 동일하다.
결국, 모든 방향에서 전체 코스트를 축적한 후 각 포인트에 대한 디스패리티 값을 다음과 같이 산출할 수 있다.
Figure 112014117301451-pat00037
여기서,
Figure 112014117301451-pat00038
는 본 발명에 따른 최적의 디스패리티 값을 의미한다.
코너 포인트(corner point)와 경계 포인트(border point)가 동일하다면 수평 코스트와 수직 코스트가 동일한 조건으로 계산될 수 없으므로 코너 포인트와 경계 포인트를 구별할 필요가 있다.
예를 들어, 기준 포인트가 좌측에 가까이 있다면, 수평 포인트의 코스트는 수직 포인트의 코스트보다 낮게 된다. 본 발명에서는 이러한 코스트 축적의 불균형을 해소하기 위해 코너 포인트와 경계 포인트의 코스트 축적을 구별하였다.
즉, 본 발명에 따른 스테레오 매칭방법의 경우 수학식에 따른 표현 방식은 종래의 SGM 방식과 동일하지만,
Figure 112014117301451-pat00039
에서 픽셀
Figure 112014117301451-pat00040
의 축적 코스트를 구하기 위하여
Figure 112014117301451-pat00041
의 축적 코스트를 이용하는 것이 아니라 픽셀(x)에 수평방향으로 인접한 픽셀(
Figure 112014117301451-pat00042
) 혹은 수직방향으로 인접한 픽셀(
Figure 112014117301451-pat00043
)의 축적 코스트를 비교하여 최소값을 저장하는 방식을 사용하는 점에서 SGM 방식과 구별된다.
위에서는 수평방향으로 인접한 픽셀(
Figure 112014117301451-pat00044
) 혹은 수직방향으로 인접한 픽셀(
Figure 112014117301451-pat00045
)의 축적 코스트를 비교하여 최소값을 저장하는 것에 대해 설명하였으나 최소값 이외에 합산값, 최대값, 평균값 및 차이값 등 두 개의 값을 이용하여 하나의 값으로 나타낼 수 있는 계산방법은 모두 적용가능하다.
이러한 방식을 이용하면 두 방향의 코스트를 계속해서 축적할 수 있게 되고, 최종적으로 4개의 합산영역테이블에서의 코스트를 모두 축적하게 되면 결과적으로, 전체 영역에서의 모든 코스트를 축적할 수 있게 된다.
도 6은 본 발명에 따른 합산영역테이블 방식을 이용한 스테레오 매칭방법에 따라 영상 영역 내의 모든 코스트를 축적하는 과정을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이 중앙에 위치한 빨간색 점의 디스패리티를 추정하기 위해서 영상 영역을 4개의 합산영역테이블 구간(510~540)으로 구분하고 각 합산영역테이블 구간의 각 픽셀에 대해 두 방향의 코스트를 계속 축적함으로써 전체적으로 모든 영역의 픽셀의 코스트를 축적할 수 있게 된다. 즉, 영상 내의 모든 코스트가 중앙에 위치한 빨간색 점으로 축적된다.
즉, 본 발명에 따른 합산영역테이블 방식을 이용한 스테레오 매칭방법에 의하면 종래의 SGM 방식의 일직선 상의 코스트 축적과정과는 달리 2차원 코스트 축적 알고리즘을 제시함으로써 전체 영역에서의 모든 코스트를 축적할 수 있는 효과가 있다.
이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 이라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

Claims (7)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 양안 영상을 이용하여 영상에 포함된 픽셀들의 거리 정보를 추출하는 스테레오 매칭방법에 있어서,
    스테레오 카메라로부터 획득된 상기 양안 영상을 입력받는 영상입력단계;
    상기 입력된 양안 영상으로부터 코스트를 계산하는 코스트 계산단계;
    합산영역 테이블 방식을 통해 상기 계산된 코스트를 이용하여 각 픽셀에 대한 코스트를 축적하는 코스트 축적단계; 및
    상기 축적된 코스트에 따라 스테레오 매칭을 수행하는 스테레오 매칭단계;를 포함하되,
    상기 코스트 축적단계는
    상기 입력된 영상에 포함된 모든 픽셀에 대한 코스트를 축적하는 단계이고,
    상기 입력된 영상을 4개의 합산영역 테이블 구간으로 분할하고 상기 4개의 합산영역 테이블에 포함된 모든 픽셀의 코스트를 축적하는 단계이며,
    상기 4개의 합산영역 테이블에 포함된 픽셀에 대해 두 방향에서의 축적 코스트를 이용하여 코스트를 축적하는 단계인 것을 특징으로 하는 합산영역 테이블 방식을 이용한 스테레오 매칭방법.
  5. 양안 영상을 이용하여 영상에 포함된 픽셀들의 거리 정보를 추출하는 스테레오 매칭방법에 있어서,
    스테레오 카메라로부터 획득된 상기 양안 영상을 입력받는 영상입력단계;
    상기 입력된 양안 영상으로부터 코스트를 계산하는 코스트 계산단계;
    합산영역 테이블 방식을 통해 상기 계산된 코스트를 이용하여 각 픽셀에 대한 코스트를 축적하는 코스트 축적단계; 및
    상기 축적된 코스트에 따라 스테레오 매칭을 수행하는 스테레오 매칭단계;를 포함하되,
    상기 코스트 축적단계는
    상기 입력된 영상에 포함된 모든 픽셀에 대한 코스트를 축적하는 단계이고,
    상기 입력된 영상을 4개의 합산영역 테이블 구간으로 분할하고 상기 4개의 합산영역 테이블에 포함된 모든 픽셀의 코스트를 축적하는 단계이며,
    상기 4개의 합산영역 테이블에 포함된 픽셀에 대해 두 방향에서의 축적 코스트를 이용하여 두 값의 최소값, 최대값, 평균값, 합산값 또는 차이값 중에서 하나를 저장하는 방식으로 코스트를 축적하는 단계인 것을 특징으로 하는 합산영역 테이블 방식을 이용한 스테레오 매칭방법.
  6. 양안 영상을 이용하여 영상에 포함된 픽셀들의 거리 정보를 추출하는 스테레오 매칭방법에 있어서,
    스테레오 카메라로부터 획득된 상기 양안 영상을 입력받는 영상입력단계;
    상기 입력된 양안 영상으로부터 코스트를 계산하는 코스트 계산단계;
    합산영역 테이블 방식을 통해 상기 계산된 코스트를 이용하여 각 픽셀에 대한 코스트를 축적하는 코스트 축적단계; 및
    상기 축적된 코스트에 따라 스테레오 매칭을 수행하는 스테레오 매칭단계;를 포함하되,
    상기 코스트 축적단계는
    상기 입력된 영상에 포함된 모든 픽셀에 대한 코스트를 축적하는 단계이고,
    상기 입력된 영상을 4개의 합산영역 테이블 구간으로 분할하고 상기 4개의 합산영역 테이블에 포함된 모든 픽셀의 코스트를 축적하는 단계이며,
    상기 4개의 합산영역 테이블에 포함된 픽셀에 대해 코너 포인트, 경계 포인트 및 일반 포인트를 구별하여 상기 코너 포인트에 대한 코스트값을 축적한 후 상기 경계 포인트 및 상기 일반 포인트에 대해 코스트 값을 축적하는 방식으로 코스트를 축적하는 단계인 것을 특징으로 하는 합산영역 테이블 방식을 이용한 스테레오 매칭방법.
  7. 제 6항에 있어서, 상기 일반 포인트에 대한 코스트 축적은
    상기 일반 포인트에 인접한 수평방향의 수평 포인트 및 수직방향의 수직 포인트 값을 저장하는 방식으로 코스트를 축적하는 것을 특징으로 하는 합산영역 테이블 방식을 이용한 스테레오 매칭방법.
KR1020140170615A 2014-12-02 2014-12-02 합산 영역 테이블 방식을 이용한 스테레오 매칭방법 KR101607504B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140170615A KR101607504B1 (ko) 2014-12-02 2014-12-02 합산 영역 테이블 방식을 이용한 스테레오 매칭방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140170615A KR101607504B1 (ko) 2014-12-02 2014-12-02 합산 영역 테이블 방식을 이용한 스테레오 매칭방법

Publications (1)

Publication Number Publication Date
KR101607504B1 true KR101607504B1 (ko) 2016-03-30

Family

ID=55660469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140170615A KR101607504B1 (ko) 2014-12-02 2014-12-02 합산 영역 테이블 방식을 이용한 스테레오 매칭방법

Country Status (1)

Country Link
KR (1) KR101607504B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180000580A (ko) * 2016-06-23 2018-01-03 한국전자통신연구원 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206468A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd ステレオマッチングのための方法及びステレオマッチングのためのシステム
KR101431715B1 (ko) 2013-08-09 2014-08-22 성균관대학교산학협력단 선형 회귀 분석을 이용한 합산 영역 테이블의 정밀도 향상을 위한 방법 및 장치 및 이를 이용한 영상 이미지 복원을 위한 필터링 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206468A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd ステレオマッチングのための方法及びステレオマッチングのためのシステム
KR101431715B1 (ko) 2013-08-09 2014-08-22 성균관대학교산학협력단 선형 회귀 분석을 이용한 합산 영역 테이블의 정밀도 향상을 위한 방법 및 장치 및 이를 이용한 영상 이미지 복원을 위한 필터링 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180000580A (ko) * 2016-06-23 2018-01-03 한국전자통신연구원 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
KR102442594B1 (ko) 2016-06-23 2022-09-13 한국전자통신연구원 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법

Similar Documents

Publication Publication Date Title
CN108961327B (zh) 一种单目深度估计方法及其装置、设备和存储介质
AU2017324923B2 (en) Predicting depth from image data using a statistical model
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
JP6121776B2 (ja) 画像処理装置及び画像処理方法
JP6179639B2 (ja) 道路境界物の検出方法及び検出装置
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
JP2008082870A (ja) 画像処理プログラム及びこれを用いた路面状態計測システム
US8369609B2 (en) Reduced-complexity disparity map estimation
US10142613B2 (en) Image processing apparatus, image processing system, and image processing method
KR20070061011A (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
KR101478709B1 (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
JP5318168B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
Jang et al. Discontinuity preserving disparity estimation with occlusion handling
KR101699014B1 (ko) 스테레오 카메라를 이용한 객체 검출 방법 및 장치
Lo et al. Depth map super-resolution via Markov random fields without texture-copying artifacts
JP2007053621A (ja) 画像生成装置
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
KR101766431B1 (ko) 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치
Shi et al. A method for detecting pedestrian height and distance based on monocular vision technology
CN111160292B (zh) 人眼检测方法
KR101607504B1 (ko) 합산 영역 테이블 방식을 이용한 스테레오 매칭방법
KR20160052256A (ko) 가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법
KR20150130078A (ko) 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치
US10430971B2 (en) Parallax calculating apparatus
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee