KR20110049383A - 영상 처리 장치 및 방법 - Google Patents

Abstract

영상 처리 장치가 제공된다. 저해상도의 깊이 영상이 칼라 영상에 정합되고, 고해상도로 업샘플링 된다. 이 경우, 영상 처리 장치의, 가중치 계산부는 입력 깊이 영상의 제1 픽셀에 대해, 칼라 값의 차이, 깊이 값의 차이 및 픽셀 간 거리 중 적어도 하나에 기초하여, 상기 제1 픽셀의 주변의 적어도 하나의 픽셀의 각각에 대한 가중치를 계산한다.

깊이 영상, 영상 정합, 깊이 카메라, Depth image, Depth camera, Image matching

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}

오브젝트에 대한 3차원 형상 정보를 얻기 위한 깊이 영상(depth image)을 이용한 영상 처리에 연관되며, 보다 특정하게는 깊이 영상의 해상도 조정, 정밀도 향상 등의 영상 처리에 연관된다.

오브젝트(object)의 3D(3Dimensional) 정보는, 형상(geometry) 정보와 칼라(color) 정보로 이루어진다.

칼라 정보는 CCD(Charged Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 센서 기반의 카메라를 이용하여 생성된다.

한편, 형상 정보는 레이저를 이용한 3D 스캐너, 적외선 기반의 깊이 카메라(depth camera) 등을 이용하여 생성되며, 특히 간편한 이동성과 저렴한 비용 때문에 후자의 활용에 대한 관심이 높아지고 있다.

적외선(IR: Infra Red) 기반의 깊이 카메라는, 적외선을 오브젝트에 조사하여 되돌아 온 반사광을 감지하고, TOF(Time of Flight)를 측정함으로써 카메라와 상기 오브젝트까지의 거리(이것을 깊이(depth)라고 하여, 깊이 카메라, 깊이 영상이라는 용어를 사용한다)를 계산한다.

한편, 이러한 깊이 카메라의 해상도는 구현을 위한 기술적인 한계, 제조비용 상승 등의 이유 때문에, 상기한 CCD 또는 CMOS 센서 기반의 칼라 카메라의 해상도보다 현저히 낮다.

저해상도의 깊이 영상을 고 해상도의 칼라 영상에 정합시키고 해상도를 높여서 고해상도의 깊이 영상을 생성하는 과정에서, 노이즈 특성을 개선하고 오류 발생을 줄인 영상 처리 장치 및 방법이 제공된다.

본 발명의 일측에 따르면, 입력 칼라 영상에 정합된 입력 깊이 영상의 제1 픽셀에 대해, 칼라 값의 차이, 깊이 값의 차이 및 픽셀 간 거리 중 적어도 하나에 기초하여, 상기 제1 픽셀의 주변의 적어도 하나의 픽셀의 각각에 대한 가중치를 계산하는 가중치 계산부, 및 상기 적어도 하나의 픽셀의 각각에 대한 가중치를 이용하여 상기 제1 픽셀의 보정된 깊이 값을 계산하는 가중치 적용부를 포함하는, 영상 처리 장치가 제공된다.

여기서, 상기 가중치 계산부는, 상기 제1 픽셀의 칼라 값과 상기 적어도 하나의 픽셀의 각각의 칼라 값의 차이에 기초하여, 상기 적어도 하나의 픽셀의 각각의 제1 가중치를 계산하는 제1 계산부, 상기 제1 픽셀의 깊이 값과 상기 적어도 하나의 픽셀의 각각의 깊이 값의 차이에 기초하여, 상기 적어도 하나의 픽셀의 각각의 제2 가중치를 계산하는 제2 계산부, 상기 제1 픽셀과 상기 적어도 하나의 픽셀 의 각각의 거리를 비교하여, 상기 적어도 하나의 픽셀의 각각의 제3 가중치를 계산하는 제3 계산부, 및 상기 제1 가중치, 상기 제2 가중치, 및 상기 제3 가중치를 이용하여, 상기 적어도 하나의 픽셀의 각각에 대한 최종 가중치를 계산하는 제4 계산부를 포함할 수 있다.

이 경우, 상기 제1 계산부는, 상기 제1 픽셀의 칼라 값과 상기 적어도 하나의 픽셀의 각각의 칼라 값의 차이가 증가함에 따라, 상기 적어도 하나의 픽셀의 각각의 제1 가중치는 지수적으로 감소되도록 상기 제1 가중치를 계산한다.

그리고, 상기 제2 계산부는, 상기 제1 픽셀의 깊이 값과 상기 적어도 하나의 픽셀의 각각의 깊이 값의 차이가 증가함에 따라, 상기 적어도 하나의 픽셀의 각각의 제2 가중치는 지수적으로 감소되도록 상기 제2 가중치를 계산한다.

한편, 상기 제3 계산부는, 상기 제1 픽셀과 상기 적어도 하나의 픽셀의 각각의 거리가 증가함에 따라, 상기 적어도 하나의 픽셀의 각각의 제3 가중치는 지수적으로 감소되도록 상기 제3 가중치를 계산한다.

그러면, 상기 제4 계산부는, 상기 제1 가중치, 상기 제2 가중치, 및 상기 제3 가중치의 곱에 비례하도록, 상기 적어도 하나의 픽셀의 각각에 대한 최종 가중치를 계산하며, 상기 적어도 하나의 픽셀의 각각에 대한 최종 가중치의 합은 1이 되도록 상기 최종 가중치를 계산한다.

이 경우, 상기 가중치 적용부는, 상기 입력 깊이 영상의 제1 픽셀의 깊이 값에 대해, 상기 적어도 하나의 픽셀의 각각에 대한 최종 가중치에 따른 마스크(Mask) 필터링을 수행하여, 상기 제1 픽셀의 보정된 깊이 값을 계산할 수 있다.

한편, 상기 영상 처리 장치는, 상기 입력 깊이 영상이 상기 입력 칼라 영상에 정합된 것이 아닌 경우, 상기 입력 깊이 영상을 상기 입력 칼라 영상에 정합시키는 영상 정합부를 더 포함할 수 있다.

본 발명의 다른 일측에 따르면, 입력 칼라 영상에 정합된 입력 깊이 영상의 제1 픽셀에 대해, 칼라 값의 차이, 깊이 값의 차이 및 픽셀 간 거리 중 적어도 하나에 기초하여, 상기 제1 픽셀의 주변의 적어도 하나의 픽셀의 각각에 대한 가중치를 계산하는 단계, 및 상기 적어도 하나의 픽셀의 각각에 대한 가중치를 이용하여 상기 제1 픽셀의 보정된 깊이 값을 계산하는 단계를 포함하는, 영상 처리 방법이 제공된다.

본 발명의 실시예들에 따르면, 저해상도의 깊이 영상을 고 해상도의 칼라 영상에 정합시키고 해상도를 높여서 고해상도의 깊이 영상을 생성하는 경우, 노이즈 특성을 개선되고 오류 발생을 줄어들어, 영상 처리 품질이 개선된다.

이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)를 도시한다.

영상 처리 장치(100)에 고해상도의 칼라 영상과 저해상도의 깊이 영상이 입력된다.

이 경우, 입력 깊이 영상이 상기 칼라 영상과 이미 정합된 것이 아닌 경우 에는, 영상 정합부(110)는 상기 입력 깊이 영상을 상기 입력 칼라 영상에 정합시킨다. 영상 정합 과정은 도 4를 참조하여 보다 상세히 후술한다.

그리고, 입력 칼라 영상에 정합된 입력 깊이 영상에 대한 업샘플링이 수행되며, 이 경우, 가중치 계산부(120)는 상기 입력 깊이 영상의 제1 픽셀에 대해 마스크 필터링을 위한 주변 픽셀들의 가중치들을 계산한다.

이러한 가중치 계산의 상세한 내용은 도 2, 도 6 내지 도 8을 참조하여 보다 상세히 후술한다.

그러면, 가중치 적용부(130)는 계산된 가중치들을 이용하여 상기 제1 픽셀의 마스크 필터링을 수행하여, 상기 제1 픽셀의 깊이 값을 보정한다.

이러한 과정은 도 8 및 도 12를 참조하여 보다 상세히 후술한다.

도 2는 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 가중치 계산부(120)를 도시한다.

제1 계산부(210)는, 상기 업샘플링 된(upsampled) 깊이 영상의 제1 픽셀의 마스크 필터링을 위한 주변 픽셀들의 제1 가중치(이하에서는 칼라 레인지 가중치(color range weight)라고도 한다)를 계산한다. 칼라 레인지 가중치의 계산은 도 6을 참조하여 보다 상세히 후술한다.

그리고 제2 계산부(220)는, 상기 업샘플링 된 깊이 영상의 제1 픽셀의 마스크 필터링을 위한 주변 픽셀들의 제2 가중치(이하에서는 깊이 레인지 가중치(depth range weight)라고도 한다)를 계산한다. 깊이 레인지 가중치의 계산은 도 7을 참조하여 보다 상세히 후술한다.

그리고, 제3 계산부(230)는, 상기 업샘플링 된 깊이 영상의 제1 픽셀의 마스크 필터링을 위한 주변 픽셀들의 제3 가중치(이하에서는 거리 가중치(distance weight or position weight)라고도 한다)를 계산한다. 거리 가중치의 계산은 도 8을 참조하여 보다 상세히 후술한다.

그리고, 제4 계산부(240)는, 상기 제1 가중치 내지 상기 제3 가중치를 이용하여, 상기 제1 픽셀의 주변 픽셀들에 적용될 최종 가중치를 계산한다. 상기 최종 가중치의 계산은 도 8 및 도 12를 참조하여 보다 상세히 후술한다.

도 3은 본 발명의 일 실시예에 따라 입력되는 칼라 영상(300)을 도시한다.

영상 처리 장치(100)로 입력된 입력 칼라 영상(300)은 해상도가 높다. 그리고 칼라 영상(300)의 픽셀들은 복수 개의 오브젝트들 중 어느 하나에 대응된다.

이를 테면, 일부 픽셀들은 인체(human body) 부분(310)에 대응되며, 다른 일부 픽셀들은 벽 부분(320) 그리고 또 다른 일부 픽셀들은 바닥 부분(330)에 대응된다.

기존의 영상 세그먼테이션(segmentation)에 의하면, 칼라 영상(300)의 칼라 값 분석에 기초하여, 상기 칼라 영상(300)의 각 픽셀들을 복수 개로 분리할 수 있다.

그리고, 이러한 칼라 영상(300)에 정합된 깊이 영상에 대해, 상기 칼라 영상(300)의 세그먼테이션 결과를 이용하여 깊이 값의 보정이 수행될 수 있다.

그러나, 칼라 영상(300)과 깊이 영상이 정합된 경우에도, 깊이 카메라의 하드웨어적 성능 한계로 인해, 칼라 영상(300)과 깊이 영상에 있어서 각 영역의 테두 리(edge)는 정확히 일치하지 않을 수 있다.

따라서, 칼라 영상(300)의 칼라 값 분석에 따라 깊이 영상을 보정하는 경우, 특히 영역의 테두리 부분에 있어서 부정확한 결과가 도출될 수 있다.

본 발명의 일 실시예에 따르면, 영상 처리 장치(100)는 상기 깊이 영상을 고해상도로 업샘플링하고, 이를 보정하여 높은 품질의 결과를 도출함에 있어서, 상기 칼라 영상(300)의 칼라 값뿐만 아니라, 업샘플된 깊이 영상의 깊이 값, 그리고 보정될 픽셀들 사이의 거리 차이에 기초하여 깊이 영상을 보정한다.

보다 상세한 내용은 도 4 이하를 참조하여 후술한다.

도 4는 본 발명의 일 실시예에 따라 입력되는 저해상도의 깊이 영상(400)을 도시한다.

앞서 언급한 깊이 카메라의 하드웨어적 한계 때문에, 입력되는 깊이 영상(400)은 상기 칼라 영상(300)보다 해상도가 낮다.

한편, 이하에서는 깊이 영상(400)이 칼라 영상(300)보다 해상도는 낮지만, 두 영상은 정합(matching)된 것임을 전제로 서술한다. 즉, 깊이 영상(400)의 촬영 시점(point of view)은 칼라 영상(300)의 촬영 시점과 동일하고, 깊이 카메라와 오브젝트들의 거리도 칼라 카메라의 경우와 동일한 것임을 전제로 서술한다.

그러나, 만약 영상 처리 장치(100)에 입력되는 깊이 영상이 칼라 영상(300)에 정합되지 않은 것인 경우에는, 영상 처리 장치(100)의 영상 정합부(110)가 입력된 깊이 영상을 칼라 영상(300)에 정합시키는 과정이 요구된다.

이러한 영상 정합 과정은, 칼라 영상(300)과 이에 정합되지 않은 체 입력된 깊이 영상(도시되지 않음)의 각각에 대하여, 특징점(feature point)들을 추출하고, 이들의 좌표 간의 변환 함수, 또는 변환 행렬을 구하고, 구해진 변환 함수(또는 변환 행렬)를 상기 입력 깊이 영상의 전체 픽셀에 적용함으로써 수행될 수 있다.

그러나, 본 발명이 일부의 영상 정합 방법에 의한 것으로 한정되는 것은 아니며, 입력 깊이 영상과 칼라 영상 사이의 영상 정합은 다양한 방법에 의해 수행될 수도 있다. 따라서 상기한 바와 같이 이하에서는, 영상 처리 장치(100)에 칼라 영상(300)과 정합된 깊이 영상(400)이 입력된 경우를 전제한 실시예가 설명된다.

입력 깊이 영상(400)은 해상도가 상기 칼라 영상(300)보다 낮다. 그러나 두 영상은 서로 정합되어 있기 때문에, 상기 입력 깊이 영상(400)의 해상도를 상기 칼라 영상(300)의 해상도에 맞추어 업샘플링(upsampling)하더라도 이러한 정합은 유지된다.

다만, 업샘플링 과정에 있어서, 별다른 영상 처리 과정이 수행되지 않으면, 업샘플 된 깊이 영상의 품질은 매우 낮다.

구체적으로, 인체 부분(410), 벽 부분(420) 및 바닥 부분(430)들의 테두리(edge)가 뭉개져 있으며(blurred), 노이즈로 인한 왜곡이 더 많이 관찰된다.

도 5는 본 발명의 일 실시예에 따라, 도 4의 깊이 영상(400)을 업샘플링하여 도 3의 칼라 영상(300)과 동일한 해상도를 갖도록 생성된 깊이 영상(500)을 도시한다.

깊이 영상(500)의 인체 부분(510), 벽 부분(520) 및 바닥 부분(530)들의 테두리는 뭉개져서 관찰되며, 노이즈로 인해 테두리가 매끄럽지 못하게 왜곡된 부 분(541)도 관찰된다.

본 발명의 일 실시예에 따르면, 업 샘플링 과정에서의 이러한 품질 열화가 마스크 필터링(Mask filtering)을 통하여 개선된다.

영상 처리 장치(100)의 가중치 계산부(120)는 상기 마스크 필터링을 위한 마스크의 엘리먼트들의 값, 즉 가중치를 계산한다.

마스크 필터링을 위한 마스크는, 이를테면 3x3 또는 5x5 크기의 행렬로 결정되는데, 이러한 행렬을 구성하는 각 엘리먼트들이 마스크 필터링을 위한 가중치들이 된다.

이를 테면, 3x3 크기의 마스크가, [0.1, 0.1, 0.1; 0.1, 0.2, 0.1; 0.1, 0.1, 0.1]이라면, 이 마스크를 적용한 결과는, 특정 픽셀을 둘러싸는 8개의 픽셀들의 픽셀 값에 각각 0.1의 가중치를 부여하고, 상기 특정 픽셀 스스로에는 0.2의 가중치를 부여한 다음, 상기 특정 픽셀의 보정된(필터링 된) 픽셀 값을 상기 가중치들이 곱해진 9 개의 픽셀 값의 합(weighted sum)으로서 계산한다.

이러한 마스크 필터링의 기본적 내용은 영상 처리 분야의 통상의 지식을 가지는 자에게는 자명한 것이므로, 보다 상세한 기술은 생략한다.

본 발명의 일 실시예에 따르면, 깊이 영상(500)의 각 픽셀의 깊이 값을 보정하기 위한 마스크의 엘리먼트인 가중치들을 계산하기 위해, 깊이 영상(500)에 대응하는 칼라 영상(300)의 픽셀 값, 깊이 영상(500)의 깊이 값, 및 픽셀 간 거리를 고려하여 상기 마스크의 엘리먼트인 가중치들이 고려된다.

도 6은 본 발명의 일 실시예에 따라, 픽셀 간 칼라 값의 차이와 제1 가중치 의 관계를 도시하는 그래프(600)이다.

가중치 계산부(120)의 제1 계산부(210)는 깊이 영상(500) 내의 제1 픽셀에 대해, 상기 제1 픽셀과 동일한 인덱스를 갖는 칼라 영상(300)의 칼라 값과 주변 픽셀들의 칼라 값들의 차이에 기초하여, 칼라 레인지(color range) 가중치를 계산한다.

만약 마스크의 크기가 5x5인 경우, 상기 제1 픽셀 스스로의 칼라 값과의 차이에 기초하여, 상기 제1 픽셀 주변의 24개 픽셀들에 적용될 칼라 레인지 가중치들이 계산된다.

본 발명의 일 실시예에 따르면, 좌표가 (i, j)인 제1 픽셀의 칼라 값을 C(i, j)이라 하고, 상기 제1 픽셀의 주변 픽셀인 좌표 (m, n) 픽셀의 칼라 값을 C(m, n)라 하면, C(i, j)와 C(m, n)의 차(difference)가 증가할수록 상기 주변 픽셀에 적용되는 제1 가중치는 지수적으로 감소한다.

이를 테면, 칼라 값의 차이와 제1 가중치 Wc(m, n) 사이에는 다음 수학식이 성립한다.

[수학식 1]

여기서

는 칼라 값의 차이가 증가할수록 제1 가중치 Wc(m, n)가 지수적 으로 감소하는 정도를 조절하기 위한 상수이며, 실시예에 따라 다르게 설정될 수 있다.

상기 실시예에서는 칼라 값의 칼라 스페이스(color space) 상의 거리 차이를 이용하는 방법 등에 의하여, 칼라 값이 단일의 값으로 표현되고, 서로 비교될 수 있는 경우를 설명하였다.

그러나, 본 발명의 다른 일 실시예에 의하면, 상기 칼라 값은 R(Red), G(Green), 및 B(Blue)의 각 채널 별로 비교될 수 있으며, 이 경우에는 칼라 레인지 가중치가 상기 세 개의 채널 별로 계산된 다음 이들의 산술 평균에 의해 최종 칼라 레인지 가중치가 계산될 수 있다.

이 경우는 다음 수학식에 의해 이해될 수 있다.

[수학식 2]

도 7은 본 발명의 일 실시예에 따라, 픽셀 간 깊이 값의 차이와 제2 가중치의 관계를 도시하는 그래프(700)이다.

가중치 계산부(120)의 제2 계산부(220)는 깊이 영상(500) 내의 제1 픽셀에 대해, 상기 제1 픽셀과 주변 픽셀들의 깊이 값들의 차이에 기초하여, 깊이 레인 지(depth range) 가중치를 계산한다.

상기한 바와 같이, 만약 마스크의 크기가 5x5인 경우, 상기 제1 픽셀 스스로의 깊이 값과의 차이에 기초하여, 상기 제1 픽셀 주변의 24개 픽셀들에 적용될 깊이 레인지 가중치들이 계산된다.

본 발명의 일 실시예에 따르면, 좌표가 (i, j)인 제1 픽셀의 깊이 값을 D(i, j)이라 하고, 상기 제1 픽셀의 주변 픽셀인 좌표 (m, n) 픽셀의 깊이 값을 D(m, n)라 하면, D(i, j)와 D(m, n)의 차가 증가할수록 상기 주변 픽셀에 적용되는 제2 가중치는 지수적으로 감소한다.

이를 테면, 깊이 값의 차이와 제2 가중치 Wd(m, n) 사이에는 다음 수학식이 성립한다.

[수학식 3]

여기서

는 깊이 값의 차이가 증가할수록 제2 가중치 Wd(m, n)가 지수적으로 감소하는 정도를 조절하기 위한 상수이며, 실시예에 따라 다르게 설정될 수 있다.

도 8은 본 발명의 일 실시예에 따라, 픽셀 간 거리와 제3 가중치의 관계를 도시하는 그래프(800)이다.

가중치 계산부(120)의 제3 계산부(230)는 깊이 영상(500) 내의 제1 픽셀에 대해, 상기 제1 픽셀과 주변 픽셀들 사이의 거리에 기초하여, 거리 가중치를 계산한다.

상기한 바와 같이, 만약 마스크의 크기가 5x5인 경우, 상기 제1 픽셀 스스로의 위치와의 거리에 기초하여, 상기 제1 픽셀 주변의 24개 픽셀들에 적용될 거리 가중치들이 계산된다.

본 발명의 일 실시예에 따르면, 좌표가 (i, j)인 제1 픽셀의 주변 픽셀인 좌표 (m, n) 픽셀의 경우, 좌표 값 (i, j)와 좌표 값(m, n)의 거리가 증가할수록 상기 주변 픽셀에 적용되는 제3 가중치는 지수적으로 감소한다.

이를 테면, 픽셀 간 거리와 제3 가중치 Wp(m, n) 사이에는 다음 수학식이 성립한다.

[수학식 4]

여기서

는 픽셀 간의 거리가 증가할수록 제3 가중치 Wp(m, n)가 지수적으로 감소하는 정도를 조절하기 위한 상수이며, 실시예에 따라 다르게 설정될 수 있다.

이렇게 제1 가중치 Wc(m, n), 제2 가중치 Wd(m, n) 및 제3 가중치 Wp(m, n) 이 계산되면, 상기 가중치 계산부(120)의 제4 계산부(240)는 깊이 영상(500) 내의 제1 픽셀의 주변 픽셀들 각각에 적용될 최종 가중치를 계산한다.

본 발명의 일 실시예에 따르면, 상기 최종 가중치는 제1 가중치 Wc(m, n), 제2 가중치 Wd(m, n) 및 제3 가중치 Wp(m, n)의 곱에 비례하도록 결정되며, 이 경우 마스크 필터링에 들어가는 전체 최종 가중치의 합은 1이 되도록 규준화 된다(normalized).

상기 제4 계산부(240)의 최종 가중치 W_CDP(m, n) 의 계산은, 이를테면 다음 수학식에 의한다.

[수학식 5]

이 최종 가중치 W_CDP(m, n)를 간단히 w(m, n)으로 표현하면, 상기 영상 처리 장치(100)의 가중치 적용부(130)는, 깊이 영상(500)의 좌표 (i, j) 위치 제1 픽셀의 깊이 값을 다음과 같이 보정한다.

[수학식 6]

여기서,

으로 규준화되어 있음은 상기한 바와 같다.

상기한 과정의 이해를 돕기 위해, 상기 깊이 영상(500)과 별개로, 1차원 인덱스로 표시되는 깊이 픽셀들 및 이와 매칭된 칼라 픽셀들에 대해, 상기한 과정을 적용하는 모습이 도 9 내지 도 11을 참조하여 서술된다.

도 9는 본 발명의 일 실시예에 따라, 픽셀 인덱스에 따른 칼라 값의 변화를 도시하는 그래프(900)이다.

픽셀 인덱스에 따라 칼라 값이 약 100에서 약 0으로 변화되는 모습이 관찰된다. 이 경우, 칼라 값의 감소는 픽셀 인덱스가 약 11에서 약 15인 부분에서 두드러지는데, 이 사이에 서로 다른 부분(이를 테면, 도 3의 사람 부분과 벽 부분)의 경계가 위치하는 것으로 이해될 수 있다.

도 10은 본 발명의 일 실시예에 따라, 픽셀 인덱스에 따른 깊이 값의 변화를 도시하는 그래프(1000)이다.

픽셀 인덱스에 따라 깊이 값이 약 3에서 약 5로 변화되는 모습이 관찰된다. 이 경우, 깊이 값의 증가는 픽셀 인덱스가 약 20에서 약 25인 부분에서 두드러지는 데, 이 사이에 서로 다른 부분의 경계가 위치하는 것으로 이해될 수 있다.

앞선 도 9의 픽셀 인덱스와 도 10의 픽셀 인덱스는 매칭된 것이지만, 깊이 값 획득과 업샘플링 과정의 오류로 인하여 경계가 서로 일치하지 않는 것으로 이해될 수 있다.

또한, 깊이 값의 증가하는 부분(1020) 외에도, 깊이 값이 계속 변화하는 부분(1010 및 1020)은 노이즈 때문에 깊이 값이 일정하지 않고 변화하는 것으로 이해될 수 있다.

도 11은 본 발명의 일 실시예에 따른 영상 처리 장치(100)에 의해, 도 10의 깊이 값이 보정된 결과를 도시하는 그래프(1100)이다.

상기 영상 처리 장치(100)의 가중치 계산부(120)는 칼라 값의 차이, 깊이 값의 차이 및 픽셀 거리를 고려하여, 상기 수학식 1 내지 수학식 5를 참조하여 설명한 과정에 따라 최종 가중치를 구한다.

그리고, 상기 영상 처리 장치(100)의 가중치 적용부(130)는 상기 최종 가중치에 따른 마스크 필터링을 수행하여, 깊이 값 그래프(1000)를 깊이 값 그래프(1100)의 형태로 보정한다.

부분 경계의 경우 큰 변화가 발생되지 않았으나, 전체적으로 픽셀의 깊이 값 노이즈가 많이 감소된 것을 관찰할 수 있다. 실제 깊이 영상에 적용되는 경우, 깊이 영상 내의 서로 다른 오브젝트를 나타내는 경계의 위치도 수정되어 전체적인 품질 향상이 기대된다.

도 12는 본 발명의 일 실시예에 따른 영상 처리 장치(100)에 의해, 도 5의 깊이 영상(500)을 보정하여 생성되는 깊이 영상(1200)을 도시한다.

상기 수학식 1 내지 수학식 5를 참조하여 설명한 바와 같이 가중치 계산부(120)가 깊이 영상(500)의 제1 픽셀에 대해, 마스크 필터의 각 엘리먼트들, 즉 주변 픽셀들에 적용될 가중치들을 구하고, 가중치 적용부(130)가 상기 마스크 필터를 깊이 영상(500)의 제1 픽셀에 적용한다.

이러한 마스크 필터의 계산과 마스크 필터의 적용을, 깊이 영상(500)의 전체 픽셀에 대해 적용하면, 보정된 깊이 영상(1200)이 생성된다.

깊이 영상(500)에서 테두리(edge)의 오류가 발견되었던 부분(541)이 개선된 부분(1241)이 관찰된다.

이러한 테두리 오류의 개선에 더하여, 상기한 경계선의 뭉개짐(blurring)의 개선, 노이즈 감소 등의 효과가 있을 수 있다. 따라서, 각 오브젝트 부분들(1210 내지 1230)이 명확하고 정확하게 표현된다.

도 13은 본 발명의 일 실시예에 따른 영상 처리 방법을 도시한다.

영상 처리 장치(100)에 고해상도의 칼라 영상(300)과 저해상도의 깊이 영상(400)이 입력된다.

이 경우, 상기 도 4의 입력 깊이 영상(400)과 같이, 상기 칼라 영상(300)과 이미 정합된 것이 입력되는 경우라면, 단계(1310)은 생략될 수 있다.

그러나, 정합되지 않은 깊이 영상(도시되지 않음)이 입력되는 경우라면, 단계(1310)에서 깊이 영상이 칼라 영상(300)에 정합되어, 정합된 깊이 영상(400)이 가중치 계산부(120)에 제공된다.

그리고, 깊이 영상(400)에 대한 업샘플링이 수행되어 깊이 영상(500)이 생성되고, 가중치 계산부(120)는 단계(S1320)에서, 깊이 영상(500)의 제1 픽셀에 대해 마스크 필터링을 위한 주변 픽셀들의 가중치들을 계산한다.

이러한 가중치 계산의 상세한 내용은 도 6 내지 도 8, 그리고 수학식 1 내지 수학식 5를 참조하여 상술한 바와 같다.

그러면, 단계(S1330)에서, 가중치 적용부(130)는 계산된 가중치들을 이용하여 상기 제1 픽셀의 마스크 필터링을 수행하고, 따라서 상기 제1 픽셀의 깊이 값을 보정한다.

이러한 과정은 수학식 6을 참조하여 상술한 바와 같다.

도 14는 본 발명의 일 실시예에 따른 영상 처리 방법의 가중치 계산 단계(S1320)를 도시한다.

단계(S1410)에서 깊이 영상(500)의 제1 픽셀의 마스크 필터링을 위한 주변 픽셀들의 칼라 레인지 가중치가 영상 처리 장치(100)의 제1 계산부(210)에 의해 계산된다. 칼라 레인지 가중치의 계산은 수학식 1 내지 수학식 2를 참조하여 상술한 바와 같다.

그리고 단계(S1420)에서 깊이 영상(500)의 제1 픽셀의 마스크 필터링을 위한 주변 픽셀들의 깊이 레인지 가중치가 영상 처리 장치(100)의 제2 계산부(220)에 의해 계산된다. 깊이 레인지 가중치의 계산은 수학식 3을 참조하여 상술한 바와 같다.

그리고 단계(S1430)에서 깊이 영상(500)의 제1 픽셀의 마스크 필터링을 위 한 주변 픽셀들의 거리 가중치가 영상 처리 장치(100)의 제3 계산부(230)에 의해 계산된다. 거리 가중치의 계산은 수학식 4를 참조하여 상술한 바와 같다.

한편, 단계(S1410) 내지 단계(S1430)의 수행 순서의 선후는 없으며, 동시에 또는 순차적으로 수행될 수 있다.

이렇게 제1 픽셀의 주변 픽셀들에 적용될 칼라 레인지 가중치, 깊이 레인지 가중치, 및 거리 가중치가 계산되면, 단계(S1440)에서 상기 제1 픽셀의 주변 픽셀들에 적용될 최종 가중치가 영상 처리 장치(100)의 제4 계산부(240)에 의해 계산된다. 최종 가중치의 계산은 수학식 5를 참조하여 상술한 바와 같다.

계산된 최종 가중치를 이용하여 제1 픽셀의 깊이 값이 보정되는 과정은, 수학식 6 및 도 12를 참조하여 상기한 바와 같다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한다.

도 2는 본 발명의 일 실시예에 따른 영상 처리 장치의 가중치 계산부를 도시한다.

도 3은 본 발명의 일 실시예에 따라 입력되는 칼라 영상을 도시한다.

도 4는 본 발명의 일 실시예에 따라 입력되는 저해상도의 깊이 영상을 도시한다.

도 5는 본 발명의 일 실시예에 따라, 도 4의 깊이 영상을 업샘플링하여 도 3의 칼라 영상과 동일한 해상도를 갖도록 생성된 깊이 영상을 도시한다.

도 6은 본 발명의 일 실시예에 따라, 픽셀 간 칼라 값의 차이와 제1 가중치의 관계를 도시하는 그래프이다.

도 7은 본 발명의 일 실시예에 따라, 픽셀 간 깊이 값의 차이와 제2 가중치의 관계를 도시하는 그래프이다.

도 8은 본 발명의 일 실시예에 따라, 픽셀 간 거리와 제3 가중치의 관계를 도시하는 그래프이다.

도 9는 본 발명의 일 실시예에 따라, 픽셀 인덱스에 따른 칼라 값의 변화를 도시하는 그래프이다.

도 10은 본 발명의 일 실시예에 따라, 픽셀 인덱스에 따른 깊이 값의 변화를 도시하는 그래프이다.

도 11은 본 발명의 일 실시예에 따른 영상 처리 장치에 의해, 도 10의 깊이 값이 보정된 결과를 도시하는 그래프이다.

도 12는 본 발명의 일 실시예에 따른 영상 처리 장치에 의해, 도 5의 깊이 영상을 보정하여 생성되는 깊이 영상을 도시한다.

도 13은 본 발명의 일 실시예에 따른 영상 처리 방법을 도시한다.

도 14는 본 발명의 일 실시예에 따른 영상 처리 방법의 가중치 계산 단계를 도시한다.

Claims (17)

1. 입력 칼라 영상에 정합된 입력 깊이 영상의 제1 픽셀에 대해, 칼라 값의 차이, 깊이 값의 차이 및 픽셀 간 거리 중 적어도 하나에 기초하여, 상기 제1 픽셀의 주변의 적어도 하나의 픽셀의 각각에 대한 가중치를 계산하는 가중치 계산부; 및

   상기 적어도 하나의 픽셀의 각각에 대한 가중치를 이용하여 상기 제1 픽셀의 보정된 깊이 값을 계산하는 가중치 적용부

   를 포함하는, 영상 처리 장치.
2. 제1항에 있어서,

   상기 가중치 계산부는,

   상기 제1 픽셀의 칼라 값과 상기 적어도 하나의 픽셀의 각각의 칼라 값의 차이에 기초하여, 상기 적어도 하나의 픽셀의 각각의 제1 가중치를 계산하는 제1 계산부;

   상기 제1 픽셀의 깊이 값과 상기 적어도 하나의 픽셀의 각각의 깊이 값의 차이에 기초하여, 상기 적어도 하나의 픽셀의 각각의 제2 가중치를 계산하는 제2 계산부;

   상기 제1 픽셀과 상기 적어도 하나의 픽셀의 각각의 거리를 비교하여, 상기 적어도 하나의 픽셀의 각각의 제3 가중치를 계산하는 제3 계산부; 및

   상기 제1 가중치, 상기 제2 가중치, 및 상기 제3 가중치를 이용하여, 상기 적어도 하나의 픽셀의 각각에 대한 최종 가중치를 계산하는 제4 계산부

   를 포함하는 영상 처리 장치.
3. 제2항에 있어서,

   상기 제1 계산부는,

   상기 제1 픽셀의 칼라 값과 상기 적어도 하나의 픽셀의 각각의 칼라 값의 차이가 증가함에 따라, 상기 적어도 하나의 픽셀의 각각의 제1 가중치는 지수적으로 감소되도록 상기 제1 가중치를 계산하는, 영상 처리 장치.
4. 제2항에 있어서,

   상기 제2 계산부는,

   상기 제1 픽셀의 깊이 값과 상기 적어도 하나의 픽셀의 각각의 깊이 값의 차이가 증가함에 따라, 상기 적어도 하나의 픽셀의 각각의 제2 가중치는 지수적으로 감소되도록 상기 제2 가중치를 계산하는, 영상 처리 장치.
5. 제2항에 있어서,

   상기 제3 계산부는,

   상기 제1 픽셀과 상기 적어도 하나의 픽셀의 각각의 거리가 증가함에 따라, 상기 적어도 하나의 픽셀의 각각의 제3 가중치는 지수적으로 감소되도록 상기 제3 가중치를 계산하는, 영상 처리 장치.
6. 제2항에 있어서,

   상기 제4 계산부는,

   상기 제1 가중치, 상기 제2 가중치, 및 상기 제3 가중치의 곱에 비례하도록, 상기 적어도 하나의 픽셀의 각각에 대한 최종 가중치를 계산하며, 상기 적어도 하나의 픽셀의 각각에 대한 최종 가중치의 합은 1이 되도록 상기 최종 가중치를 계산하는, 영상 처리 장치.
7. 제1항에 있어서,

   상기 가중치 적용부는,

   상기 입력 깊이 영상의 제1 픽셀의 깊이 값에 대해, 상기 적어도 하나의 픽셀의 각각에 대한 최종 가중치에 따른 마스크(Mask) 필터링을 수행하여, 상기 제1 픽셀의 보정된 깊이 값을 계산하는, 영상 처리 장치.
8. 제1항에 있어서,

   상기 입력 깊이 영상이 상기 입력 칼라 영상에 정합된 것이 아닌 경우, 상기 입력 깊이 영상을 상기 입력 칼라 영상에 정합시키는 영상 정합부를 더 포함하는, 영상 처리 장치.
9. 입력 칼라 영상에 정합된 입력 깊이 영상의 제1 픽셀에 대해, 칼라 값의 차 이, 깊이 값의 차이 및 픽셀 간 거리 중 적어도 하나에 기초하여, 상기 제1 픽셀의 주변의 적어도 하나의 픽셀의 각각에 대한 가중치를 계산하는 단계; 및

   상기 적어도 하나의 픽셀의 각각에 대한 가중치를 이용하여 상기 제1 픽셀의 보정된 깊이 값을 계산하는 단계

   를 포함하는, 영상 처리 방법.
10. 제9항에 있어서,

    상기 가중치를 계산하는 단계는,

    상기 제1 픽셀의 칼라 값과 상기 적어도 하나의 픽셀의 각각의 칼라 값의 차이에 기초하여, 상기 적어도 하나의 픽셀의 각각의 제1 가중치를 계산하는 단계;

    상기 제1 픽셀의 깊이 값과 상기 적어도 하나의 픽셀의 각각의 깊이 값의 차이에 기초하여, 상기 적어도 하나의 픽셀의 각각의 제2 가중치를 계산하는 단계;

    상기 제1 픽셀과 상기 적어도 하나의 픽셀의 각각의 거리를 비교하여, 상기 적어도 하나의 픽셀의 각각의 제3 가중치를 계산하는 단계; 및

    상기 제1 가중치, 상기 제2 가중치, 및 상기 제3 가중치를 이용하여, 상기 적어도 하나의 픽셀의 각각에 대한 최종 가중치를 계산하는 단계

    를 포함하는, 영상 처리 방법.
11. 제10항에 있어서,

    상기 제1 가중치를 계산하는 단계는,

    상기 제1 픽셀의 칼라 값과 상기 적어도 하나의 픽셀의 각각의 칼라 값의 차이가 증가함에 따라, 상기 적어도 하나의 픽셀의 각각의 제1 가중치는 지수적으로 감소되도록 상기 제1 가중치를 계산하는, 영상 처리 방법.
12. 제10항에 있어서,

    상기 제2 가중치를 계산하는 단계는,

    상기 제1 픽셀의 깊이 값과 상기 적어도 하나의 픽셀의 각각의 깊이 값의 차이가 증가함에 따라, 상기 적어도 하나의 픽셀의 각각의 제2 가중치는 지수적으로 감소되도록 상기 제2 가중치를 계산하는, 영상 처리 방법.
13. 제10항에 있어서,

    상기 제3 가중치를 계산하는 단계는,

    상기 제1 픽셀과 상기 적어도 하나의 픽셀의 각각의 거리가 증가함에 따라, 상기 적어도 하나의 픽셀의 각각의 제3 가중치는 지수적으로 감소되도록 상기 제3 가중치를 계산하는, 영상 처리 방법.
14. 제10항에 있어서,

    상기 최종 가중치를 계산하는 단계는,

    상기 제1 가중치, 상기 제2 가중치, 및 상기 제3 가중치의 곱에 비례하도록, 상기 적어도 하나의 픽셀의 각각에 대한 최종 가중치를 계산하며, 상기 적어도 하나의 픽셀의 각각에 대한 최종 가중치의 합은 1이 되도록 상기 최종 가중치를 계산하는, 영상 처리 방법.
15. 제9항에 있어서,

    상기 제1 픽셀의 보정된 깊이 값을 계산하는 단계는,

    상기 입력 깊이 영상의 제1 픽셀의 깊이 값에 대해, 상기 적어도 하나의 픽셀의 각각에 대한 최종 가중치에 따른 마스크 필터링을 수행하여, 상기 제1 픽셀의 보정된 깊이 값을 계산하는, 영상 처리 방법.
16. 제9항에 있어서,

    상기 입력 깊이 영상이 상기 입력 칼라 영상에 정합된 것이 아닌 경우, 상기 가중치 계산 단계에 앞서서 상기 입력 깊이 영상을 상기 입력 칼라 영상에 정합시키는 단계를 더 포함하는, 영상 처리 방법.
17. 제9항 내지 제16항 중 어느 한 항의 영상 처리 방법을 수행하기 위한 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.

Images