KR20140000833A - 스테레오 매칭 장치 및 그 방법 - Google Patents

Abstract

발명의 실시예에 따른 스테레오 매칭 장치는 스테레오 카메라를 통해 입력된 스테레오 영상을 전처리하는 스테레오 전처리부; 상기 전처리된 스테레오 영상에 대해 정합 노드와 비정합 노드에서의 정합 코스트와 비정합 코스트를 계산하여 검출된 최적 경로에 대응하는 양안차를 결정하는 스테레오 매칭부; 및, 상기 스테레오 매칭부의 출력에 연결되고, 연재 프레임과 이전 프레임의 상관관계를 이용하여 현재 프레임의 누적 평균 픽셀 값을 출력하는 시간축 필터링부가 내부에 형성된 스테레오 후처리부;를 포함한다.

Description

스테레오 매칭 장치 및 그 방법{STEREO MATCHING APPARATUS AND ITS METHOD}

본 발명은 스테레오 매칭 기법에 관한 것으로, 더욱 상세하게는 시간축(Time-domain filter) 필터를 이용한 깊이 영상(depth map)을 생성하는 스테레오 매칭 장치 및 그 방법에 관한 것이다.

사람의 시각은 주위 환경의 정보를 얻기 위한 감각의 하나로서, 두 눈을 통해 사물의 위치와 멀고 가까움을 인지할 수 있다. 즉, 두 눈을 통해 들어오는 시각 정보들이 하나의 거리 정보로 합성되면서 자유롭게 활동할 수 있는 것이다.

이러한 시각 구조를 기계에 구현함으로써, 인간을 대신할 수 있는 로봇을 개발해 왔는데, 로봇의 시각 시스템은 스테레오 카메라(즉, 좌측 카메라와 우측 카메라)로 구성되고, 두 개의 카메라로부터 영상을 읽어 들여 하나의 3차원 정보로 재구성하게 된다.

이때, 하나의 영상은 3차원 공간을 2차원 공간으로 사영시킨 것을 의미하는데, 이 과정에서 3차원 거리 정보(depth)를 상실하게 되고, 이것으로부터 3차원 공간을 직접 복원하는 것은 매우 어렵게 된다. 하지만, 서로 다른 위치에서 얻어진 두 장 이상의 영상이 있을 경우에는 3차원 공간의 복원을 수행할 수 있다.

즉, 실제 공간상의 한 점이 두 장의 영상에 맺혔을 때 두 영상에서 나타나는 그 점의 대응점을 찾고, 기하학적인 구조를 이용하면 그 점의 실제 공간에서의 위치를 찾을 수 있다.

하지만, 두 영상의 대응점을 찾는 일(이하 '스테레오 매칭'이라 함)은 매우 어려운 작업이며, 3차원 공간을 추정 및 복원하는데 필요한 가장 중요한 기술이다. 이러한 스테레오 매칭은 많은 형태의 결과를 가질 수 있는데, 그 결과가 너무 많기 때문에 그것들 중 실제 공간을 대변하는 결과만을 찾는 것은 매우 어려운 문제이다.

일반적으로, 스테레오 매칭 기술은 마코프 랜덤 필드(Markov Random Field :MRF) 모델을 기반으로 하며, 이 2차원 필드 모델은 복잡한 물체의 모델링을 간단하고, 지역적인 관계가 있는 확률 모델로 만들어 주는데, 이 마코프 랜덤 필드 모델(MRF)은 계산이 복잡하고, 계산량이 많으며, 결과의 경계가 희미해지는 단점을 가지고 있다.

한편, 고속 처리를 기반으로 하는 스테레오 매칭 기술에는 격자(trellis) 구조를 가지는 동적 계획(dynamic programming) 기술이 있는데, 이 기술은 격자 구조를 기반으로 하며, 상당히 빠르고 정확한 스테레오 매칭을 수행할 수 있다. 하지만, 이러한 동적 계획 기술은 단일 스캔라인에서만 검색을 통해 매칭을 수행하기 때문에 아랫줄, 윗줄의 결과를 고려하지 않게 되어 스트라이프 노이즈(stripe noise)가 많이 발생한다.

즉, 모든 줄의 스테레오 매칭이 독립적으로 이루어지게 되고, 그 결과 상, 하 행의 결과와 현재 행의 결과가 다르게 나타나는 현상이 발생하게 된다.

이러한 잡음을 줄이기 위해 영상처리에서 중간값 필터, 평균값 필터 등이 사용되고 있으나 각 프레임 별로 적용되기 때문에 이전 프레임과의 연관성을 고려하지 않아 잡음이 매 노이즈마다 변하여 안정적인 깊이 영상을 추출하기 어렵다는 문제점이 존재한다.

본 발명은 상기의 문제점을 개선하기 위해 프레임간 픽셀 대 픽셀의 관계가 아닌 픽셀 대 여러 픽셀의 관계를 이용하여 시간 축 필터를 적용한다.

또한 시간 축 필터 적용 전에 각 프레임마다 세로방향(vertical)으로 중간값 필터를 적용하여 노이즈를 감소시키는 것을 목적으로 한다.

발명의 실시예에 따른 스테레오 매칭 장치는 스테레오 카메라를 통해 입력된 스테레오 영상을 전처리하는 스테레오 전처리부; 상기 전처리된 스테레오 영상에 대해 정합 노드와 비정합 노드에서의 정합 코스트와 비정합 코스트를 계산하여 검출된 최적 경로에 대응하는 양안차를 결정하는 스테레오 매칭부; 및, 상기 스테레오 매칭부의 출력에 연결되고, 연재 프레임과 이전 프레임의 상관관계를 이용하여 현재 프레임의 누적 평균 픽셀 값을 출력하는 시간축 필터링부가 내부에 형성된 스테레오 후처리부;를 포함한다.

발명의 실시예에 따른 스테레오 매칭 방법은 스테레오 카메라를 통해 입력된 스테레오 영상을 전처리하는 단계; 상기 전처리된 스테레오 영상에 대해 양안차를 통한 정합 노드와 비정합 노드에서의 코스트를 계산하여 최적의 경로를 검색하고 이에 대응하는 제1 깊이 영상을 생성하는 단계; 및, 상기 깊이 영상에서 이전 프레임과 현재 프레임의 상관 관계를 이용하여 잡음이 제거된 제2 깊이 영상을 시간축 필터링 부에서 추출하는 단계;를 포함한다.

발명의 실시예에 따르면 스테레오 매칭을 통한 3차원 공간 복원에 있어서 종래보다 향상된 양안차 맵(3차원 정보)을 획득할 수 있다.

도 1은 발명의 실시예에 따른 스테레오 매칭 장치의 블록 구성도이다.
도 2는 발명의 실시예에 따라 3차원 정보를 추정하기 위한 에피폴라 라인을 예시한 도면이다.
도 3은 발명의 실시예에 따라 양안차와 3차원 정보간의 관계를 설명하기 위한 도면이다.
도 4는 발명의 실시예에 따라 격자 구조의 정합 노드와 비정합 노드를 예시한 도면이다.
도 5는 발명의 다른 실시예에 따른 스테레오 매칭 장치의 블록 구성도이다.
도 6은 발명의 다른 실시예에 따른 세로방향 중간값 필터링을 나타낸 도면이다.
도 7은 발명의 실시예에 따라 스테레오 매칭을 수행하는 과정을 도시한 플로우차트이다.

이하, 본 발명의 바람직한 실시 예에 대하여 첨부도면을 참조하여 상세히 설명하기로 한다. 기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다.

도 1은 발명의 실시예에 따른 스테레오 매칭 장치의 블록 구성도이다. 발명의 실시예에 따른 스테레오 매칭 장치(100)는 제1 카메라(210), 제2 카메라(220), 스테레오 전 처리부(300), 스테레오 매칭부(400) 및 시간축 필터링부(500)를 포함한다.

상기 제1 카메라(210) 및 제2 카메라(220)는 모듈 등을 이용하여 피사체를 촬영하는 좌측 카메라와 우측 카메라를 의미한다.

입력되는 촬영 이미지(또는 동영상)는 렌즈를 통해 CMOS 모듈 또는 CCD 모듈로 제공되고, CMOS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환 출력하며, 카메라가 갖는 노출, 감마, 이득 조정, 화이트 밸런스, 컬러 매트릭스 등을 수행한 후에, ADC(analog to digital converter, 이하 'ADC'라 함)를 통해 촬영 산호를 디지털 신호로 변환하여 좌측 영상 및 우측 영상을 각각 스테레오 전처리부(300)로 전달한다.

그리고, 스테레오 전처리부(300)는 교정 파라미터(rectification parameter)값을 이용하여 스테레오 영상을 교정(rectification)하고, 영상의 에피폴라 라인(epipolar line)을 일치시켜 출력하는 것으로, 제 1 카메라(210) 및 제 2 카메라(220)로부터 각각 전달되는 좌측 영상 및 우측 영상에 대한 스테레오 카메라의 교정 파라미터를 이용하여 에피폴라 라인이 수평이 될 수 있도록 영상을 교정하고, 좌측 카메라와 우측 카메라의 특성 차이 및 좌우 영상의 밝기 차이를 보정한다.

일반적인 스테레오 영상에서 한쪽 영상의 한 점이 다른 영상의 라인으로 대응되게 되는데, 상기 에피폴라 라인은 이 대응되는 라인을 의미하는 것으로 상기 에피폴라 라인을 일치시키기 위해 스테레오 카메라 전방에 좌측 카메라 및 우측 카메라의 베이스 라인 벡터와 평행하도록 스테레오 카메라 앞에 교정용 패턴을 이용하여 교정 파라미터를 추출하며, 이러한 교정 파라미터를 저장해 두고 초기화 작업 시 이러한 교정 파라미터를 이용하여 에피폴라 라인이 수평이 되게 할 수 있다.

스테레오 매칭부(400)는 피라미드 형태의 격자 구조(trellis)에서 양안차를 통한 대응점을 지역적(local) 매칭기법으로 검색한다. 이에 대해 구체적으로 설명하면 하기와 같다.

도 2는 발명의 실시예에 따라 3차원 정보를 추정하기 위한 에피폴라 라인을 예시한 도면이고, 도 3은 발명의 실시예에 따라 양안차와 3차원 정보간의 관계를 설명하기 위한 도면이다.

스테레오 매칭은 2차원 좌측 영상과 우측 영상, 즉 스테레오 영상으로부터 3차원 공간을 재구성하는 것으로, 두 개의 2차원 영상에서 대응점들을 찾아 상호간의 기하학적 관계를 이용하여 3차원 정보를 추정한다. 예를 들면, 도 2에 도시된 바와 같이, 두 개의 2차원 영상에서 대응점들을 찾아 상호간의 기하학적 관계를 이용하여 3차원 정보를 추정하기 위하여 스테레오 영상에서 한쪽 영상(Image1)의 한 점(P)에 대응되는 점을 다른 쪽 영상(Image2)에서 찾아야 하는데, 이 점(예를 들면, P', P1', P2')은 기준 영상(즉, Image1)에서의 점(P)에 대한 대응 영상(즉, Image2)의 에피폴라 라인 상에 있음을 알 수 있으며, 에피폴라 라인에 대한 교정(rectification)을 수행하면, 수평으로 펼쳐진 두 개의 단일 스캔라인만을 검사함으로써, 스테레오 매칭을 수행할 수 있다.

그리고, 도 3은 스테레오 카메라로부터 얻은 좌측 영상 및 우측 영상과 그 영상들에 맺힌 사물과의 관계를 나타내는데, 대응되는 각 픽셀에 대한 양안차(d)는 단일 라인에서의 대응점으로 아래의 수학식 1과 같이 나타낼 수 있다.

d는 양안차를 의미하며, x^r은 우측 영상에서의 x축 길이, x^l은 좌측 영상에서의 x축 길이를 의미하고, 한 점(x,y,z)이 좌측 영상과 우측 영상으로 촬영될 경우 기하학적 구조로부터 아래와 같은 수학식 2와 같은 파라미터간 관계를 알 수 있다.

여기에서, f는 초점 거리(focal length)를 의미하고, B(base length)는 두 카메라 사이의 거리를 의미하며, Z는 3차원 거리를 의미하는데, 이러한 수학식 2를 상기한 수학식 1에 적용하면 아래의 수학식 3과 같이 나타낼 수 있다.

따라서, 초점거리(f)와 두 카메라 사이의 거리(B)를 알 수 있고, 두 영상의 대응점을 찾을 수 있으면, 물체의 3차원 정보, 즉, 깊이(depth)를 추정할 수 있다.

도 4는 본 발명의 실시 예에 따라 격자 구조의 정합 노드와 비정합 노드를 예시한 도면으로, 피라미드 형태의 격자 구조(trellis)에서의 정합 노드(matching node)와 비정합 노드(occlusion node)를 표현하고 있는데, 점정색 점이 정합 노드를 의미하며, 흰점은 비정합 노드를 의미하고, 두 영상으로 부터의 사영선(projection line)에서 발생 가능한 정합 노드들은 다수 개 존재할 수 있으며, 이 정합 노드들에서는 모두 옳은 매칭이 일어날 가능성이 있는데, 그렇다고 하여 전체 양안차 맵의 형태와 관계없이 모든 노드에서 매칭이 일어날 수 있는 것은 아니다.

이러한 격자 구조에서의 스테레오 매칭은 에너지 함수를 최소로 만드는 양안차 값을 찾는 MAP 추정(maximum aposteriori estimation)을 기반으로 하는데, 이를 위해 DP(dynamic programming)을 기반으로 하는 비터비(viterbi) 알고리즘을 이용하여 최적의 경로를 검색한다. 즉, 정합 노드들 및 비정합 노드들에서 패스를 정의하고, 각 각의 패스마다 주어진 코스트를 합하여 이들 코스트가 최소가 되는 패스를 검출하는 방식으로 수행될 수 있다. 상기 과정에 의해 피라미드 형태의 격자 구조(trellis)에서 양안차를 통한 대응점을 지역적(local) 매칭기법으로 검색할 수 있다.

시간축 필터링부(500)는 이전 프레임들과의 상관관계(correlation)를 이용하여 필터링을 수행하는 방법을 의미한다.

평균값(average) 필터 또는 중간값(median) 필터와 같이, 일반적으로 영상 처리에서 많이 사용되는 필터는 잡음을 줄일 수 있지만, 시간에 따라 값이 변하지 않는 영역에 대해서 발생하는 잡음을 제거할 수 없다. 잡음도 없애고, 정적인 변화와 동적인 변화 모두를 제대로 반영하기 위해서는 시간적인 상관관계(correlation)를 이용하는 시간축(time domain) 필터를 사용해야 한다. 예로 디지털 필터의 한 종류로 입력신호의 값과 출력신호의 값이 재귀적으로(feedback) 적용되어 필터링이 수행되는 one-pole IIR(infinite impulse response) 필터 등이 있다.

시간축 필터를 영상처리에 적용하게 되면 이전의 모든 프레임 픽셀 값의 누적 평균을 구하는데, 이를 수학식으로 나타내면 다음과 같다.

여기서, X_t[x,y] 는 t시간에서의 입력 값(현재 프레임의 픽셀 값), Y_{t - 1}[x,y]는 t-1시간까지의 누적 결과 값(이전 프레임까지의 누적 평균 픽셀 값), Y_t[x,y] 는 t시간에서의 필터링 후 최종 결과 값(현재 프레임의 누적 평균 픽셀 값), a는 얼마나 오랫동안 이전 프레임의 영향을 유지할 것인지를 설정하는 역할을 한다. 상기 a는 0 내지 1의 값을 가질 수 있다. 즉, 상기 현재 프레임의 픽셀 값과 이전 프레임까지의 누적 평균 픽셀 값의 적용비율을 합한 값은 1의 값을 가질 수 있다.

이에 의해, 현재 프레임의 누적 평균 픽셀 값은 현재 프레임의 픽셀 값 및 이전 프레임까지의 누적 평균 픽셀 값을 합한 결과로 나타낼 수 있다.

또한, 상기 a값에 따라서 가중치를 최근의 값 또는 이전의 값에 더 줄 것인지 결정된다.

상기 시간축 프레임에 의해 얻어진 현재 프레임의 누적 평균 픽셀 값에 근거하여 깊이 영상(600)을 표현할 수 있게 된다.

도 5는 발명의 다른 실시예에 따른 스테레오 매칭 장치의 블록 구성도이다.

도 5를 참고하면 발명의 다른 실시예에 따른 스테레오 매칭 장치(100A)는 스테레오 매칭부(400)와 시간축 필터링부(500) 사이에 세로방향의 중간값 필터링부(700)를 포함할 수 있다.

시간축 필터링부(500)에서는 프레임 간의 관계를 계산할 때, 픽셀 대 픽셀로 수행한다. 여러 픽셀을 이용한 스무딩 효과를 더하기 위해 중간값 필터를 적용할 수 있는데, 일반적으로 사용되는 가로축으로의 중간값 필터 대신 세로축 중간값 필터를 사용한다.

상기 중간값 필터링부(700)에 의해 수학식(4)의 시간-축 필터에서 입력으로 들어가는 X_t[x,y] 값과 Y_{t -1}[x,y] 값이 달라지게 된다. X_t[x,y]는 현재 프레임을 세로축으로 중간값 필터를 통해 나온 결과의 각 픽셀 값이 되고, Y_{t -1}[x,y] 는 이전 프레임까지 중간값 필터를 통한 누적된 결과의 각 픽셀 값이다.

도 6은 발명의 다른 실시예에 따른 세로방향 중간값 필터링을 나타낸 도면이다. 도 6을 참고하면 3×3 픽셀에서 각 픽셀값이 도시된 바와 같이 5, 3, 4, 6, 10, 5, 3, 4, 5의 값을 갖는 경우, 픽셀 값을 크기의 순서대로 나열하게 되면 3, 3, 3, 4, 4, 5, 5, 5, 10이 되고, 세로방향의 중간값 필터링에 의해 중간값인 4가 픽셀의 중간값이 된다. 이는 수학식 (4)에서 현재 프레임을 세로축으로 중간값 필터를 통해 나온 결과의 각 픽셀 값인 X_t[x,y]가 된다.

도 7은 발명의 다른 실시예에 따라 스테레오 매칭을 수행하는 과정을 도시한 플로우차트이다.

스테레오 전처리부에서는 우선 카메라 칼리브레이션 과정이 진행된다(S100). 이는 영상에서 실제 파라메터를 찾아내는 프로세스로, 정밀한 2D 영상 처리 및 3D 영상 처리에 필요한 과정이다.

이에 의해 교정에 필요한 데이터인 인트린식 파라메터(Intrinsic parameter)와 익스트린식(extrinsic parameter)를 추출한다.

다음으로, 교정(Rectification)에 의해 좌, 우 영상의 에피폴라 라인을 수평으로 맞추게 된다(S200). 즉, 좌영상 및 우영상에서 동일한 픽셀 대응점을 찾게 된다.

이후, 스테레오 매칭부에서는 코스트를 계산하게 된다(S300). 이는 좌, 우 영상의 같은 라인에 해당하는 픽셀값들을 이용하여 코스트를 계산한다.

다음으로, 상기단계에서 계산된 코스트와 임의의 값인 감마(gamma)와의 비교를 통하여 각 노드가 매칭되었는지의 여부를 판단하고 경로를 결정한다(S400). 다음 단계에서는 코스트와 정해진 경로를 이용하여 최적의 경로를 찾아 깊이 영상을 생성하게 된다(S500).

이후 스테레오 후처리부에서는 가로로 발생하는 스트릭 노이즈(streak noise) 특성을 고려하여 세로방향으로 중간값 필터를 적용하고(S600), 시간축 필터링 단계에서 현재 프레임과 이전 프레임의 상관관계를 이용하여 잡음이 감소된 깊이 영상을 추출하게 된다(S700). 상기 과정에 의해 추출된 깊이 영상(Depth map)은 사용자의 동작, 자세 등의 인식을 위하여 입력으로 사용된다(S800).

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

1. 스테레오 카메라를 통해 입력된 스테레오 영상을 전처리하는 스테레오 전처리부;
   상기 전처리된 스테레오 영상에 대해 정합 노드와 비정합 노드에서의 정합 코스트와 비정합 코스트를 계산하여 검출된 최적 경로에 대응하는 양안차를 결정하는 스테레오 매칭부; 및,
   상기 스테레오 매칭부의 출력에 연결되고, 연재 프레임과 이전 프레임의 상관관계를 이용하여 현재 프레임의 누적 평균 픽셀 값을 출력하는 시간축 필터링부가 내부에 형성된 스테레오 후처리부;를 포함하는 스테레오 매칭 장치.
2. 제1항에 있어서,
   상기 시간축 필터링부는 현재 프레임의 픽셀 값 및, 이전 프레임까지의 누적 평균 픽셀 값을 합한 값을 현재 프레임의 누적 평균 픽셀 값으로 출력하는 스테레오 매칭 장치.
3. 제1항에 있어서,
   상기 현재 프레임의 픽셀 값과 이전 프레임까지의 누적 평균 픽셀 값의 적용비율을 합한 값은 1인 스테레오 매칭 장치.
4. 제1항에 있어서,
   상기 스테레오 후처리부는 내부에 중간값 필터링부를 포함하는 스테레오 매칭 장치.
5. 제4항에 있어서,
   상기 중간값 필터링부는 세로방향으로 필터링이 진행되는 스테레오 매칭 장치.
6. 제4항에 있어서,
   상기 중간값 필터링부는 현재 프레임을 세로축으로 중간값 필터를 통해 나온 결과의 각 픽셀 값과, 이전 프레임까지 중간값 필터를 통해 누적된 결과의 각 픽셀 값을 합한 값을 출력하는 스테레오 매칭 장치.
7. 제6항에 있어서,
   상기 시간축 필터링부는 상기 중간값 필터링부의 출력단에 연결되는 스테레오 매칭 장치.
8. 스테레오 카메라를 통해 입력된 스테레오 영상을 전처리하는 단계;
   상기 전처리된 스테레오 영상에 대해 양안차를 통한 정합 노드와 비정합 노드에서의 코스트를 계산하여 최적의 경로를 검색하고 이에 대응하는 제1 깊이 영상을 생성하는 단계; 및,
   상기 깊이 영상에서 이전 프레임과 현재 프레임의 상관 관계를 이용하여 잡음이 제거된 제2 깊이 영상을 시간축 필터링 부에서 추출하는 단계;를 포함하는 스테레오 매칭 방법.
9. 제8항에 있어서,
   상기 제1 깊이 영상에 중간값 필터를 적용하여 출력값을 상기 시간출 필터링 부에 입력하는 스테레오 매칭 방법.

Images