KR101463029B1 - 3차원 영상 구현을 위한 깊이 데이터 보정 장치 - Google Patents

Abstract

본 발명의 3차원 영상 구현을 위한 깊이 데이터 보정 장치 및 3차원 영상 구현을 위한 깊이 데이터 보정 장치에 관한 것으로서, 특히 영상의 깊이 데이터에 있어서 인코딩, 스케일링 등과 같은 영상 처리를 하는 과정에서 손상된 데이터를 보정하는 것이 가능한 3차원 영상 구현을 위한 깊이 데이터 보정 장치 및 3차원 영상 구현을 위한 깊이 데이터 보정 장치에 관한 것이다. 이러한 본 발명은, 영상을 이루는 다수의 화소의 깊이(depth) 데이터 값에 있어서 각 화소의 깊이 데이터 값을 좌우 각각의 n개 화소의 깊이 데이터 값과 비교하여 중간값으로 대체하여 출력하는 제 1 필터; 및 영상을 이루는 다수의 화소의 깊이(depth) 데이터 값에 있어서 각 화소의 깊이 데이터 값을 좌우 각각의 m개 화소의 깊이 데이터 값 및 상하 각각의 p개 화소의 깊이 데이터 값과 비교한 후 최소값과의 차이와 최대값과의 차이를 비교하여 최소값 또는 최대값으로 대체하여 출력하는 제 2 필터에 의해 달성된다.

3차원, 2D, 깊이 데이터

Description

3차원 영상 구현을 위한 깊이 데이터 보정 장치{DEPTH DATA COMPENSATING APPARATUS FOR THREE-DIMENSIONAL IMAGE}

본 발명의 3차원 영상 구현을 위한 깊이 데이터 보정 장치에 관한 것으로서, 특히 영상의 깊이 데이터를 영상 처리하는 과정에서 손상된 데이터를 보상하는 것이 가능한 3차원 영상 구현을 위한 깊이 데이터 보정 장치이다.

일반적으로, 입체 영상을 구현하는 표시장치는 사용자의 두 눈 사이 간격에 의한 양안 시차 등을 이용하여 3차원(3-dimension) 입체 영상을 구현함으로써 사용자로 하여금 3차원의 깊이감과 입체감을 느낄 수 있도록 한 것이다.

인간이 깊이감과 입체감을 느끼는 요인으로는 상기에 언급한 바와 같이 두 눈 사이의 간격에 의한 양안 시차를 들 수 있지만, 이외에도 심리적, 기억적 요인에도 깊은 관계가 있으며, 이에 따라 3차원 입체 영상은 상기 양안 시차 및 심리적, 기억적 요인을 활용한 다양한 원리에 의해 구현하는 것이 가능하다.

이와 같은 3차원 영상을 구현하기 위해서는 도 1a과 같은 2차원 영상에 포함된 다수의 화소의 데이터를 도 1b과 같은 깊이(depth) 데이터에 따라 수평 방향으로 시프트시켜서 도 2와 같은 결과를 얻게 되는데, 상기 깊이 데이터는 인코 딩(encoding), 스케일링(scaling) 등과 같은 영상 처리 과정에서 도 3의 확대도와 같이 이미 손상되어 있는 경우가 많아 2차원 영상에 포함된 다수의 화소의 데이터를 깊이 데이터에 따라 수평 방향으로 시프는 시키는 과정에서 도 2의 확대도와 같이 일부 화소 데이터가 원하지 않는 위치로 이동하는 문제가 많이 발생하게 된다.

이에 본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 영상의 깊이 데이터에 있어서 인코딩, 스케일링 등과 같은 영상 처리 과정에서 이미 손상된 데이터를 보정하는 것이 가능한 3차원 영상 구현을 위한 깊이 데이터 보정 장치 및 3차원 영상 구현을 위한 깊이 데이터 보정 장치를 제공하는 것이다.

상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 3차원 영상 구현을 위한 깊이 데이터 보정 장치는, 영상을 이루는 다수의 화소의 깊이(depth) 데이터 값에 있어서 각 화소의 깊이 데이터 값을 좌우 각각의 n개 화소의 깊이 데이터 값과 비교하여 중간값으로 대체하여 출력하는 제 1 필터; 및 영상을 이루는 다수의 화소의 깊이(depth) 데이터 값에 있어서 각 화소의 깊이 데이터 값을 좌우 각각의 m개 화소의 깊이 데이터 값 및 상하 각각의 p개 화소의 깊이 데이터 값과 비교한 후 최소값과의 차이와 최대값과의 차이를 비교하여 최소값 또는 최대값으로 대체하여 출력하는 제 2 필터를 포함하여 구성된다.

상기와 같은 본 발명의 바람직한 실시예에 따른 3차원 영상 구현을 위한 깊이 데이터 보정 장치는, 영상의 깊이 데이터에 있어서 인코딩, 스케일링 등과 같은 영상 처리를 하는 과정에서 손상된 데이터를 보정할 수 있는 효과가 있다.

따라서, 본 발명을 통해 보정된 깊이 데이터를 이용하여 3차원 영상을 구현하였을 시에는 선명한 3차원 영상의 구현이 가능할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 3차원 영상 구현을 위한 깊이 데이터 보정 장치에 대하여 상세히 설명한다.

먼저, 도 1 내지 도 4를 참조하여 본 발명의 바람직한 실시예에 따른 3차원 영상 구현을 위한 깊이 데이터 보정 장치에 대하여 설명하면 다음과 같다.

도 1에 도시한 바와 같이 본 발명의 바람직한 실시예에 따른 3차원 영상 구현을 위한 깊이 데이터 보정 장치는, 영상을 이루는 다수의 화소의 깊이(depth) 데이터 값에 있어서 각 화소의 깊이 데이터 값을 좌우 각각의 n개 화소의 깊이 데이터 값과 비교하여 중간값으로 대체하여 출력하는 제 1 필터(101); 및 영상을 이루는 다수의 화소의 깊이(depth) 데이터 값에 있어서 각 화소의 깊이 데이터 값을 좌우 각각의 m개 화소의 깊이 데이터 값 및 상하 각각의 p개 화소의 깊이 데이터 값과 비교한 후 최소값과의 차이와 최대값과의 차이를 비교하여 최소값 또는 최대값으로 대체하여 출력하는 제 2 필터(102)를 포함하여 구성된다.

이와 같은 구성을 가지는 본 발명의 바람직한 실시예에 따른 영상 처리 장치에 구비된 각 구성요소에 대하여 상세히 설명하면 다음과 같다.

도 1을 참조하면, 상기 제 1 필터(101)는 미디언 필터(median filter)로서, 영상을 이루는 다수의 화소의 초기 깊이 데이터 값을 입력 받아 각 화소의 깊이 데이터 값을 좌우 각각 3 개 혹은 5개 화소의 깊이 데이터 값과 비교하여 오름 차순 (또는, 내림 차순)으로 정렬한 후에 중간값으로 대체하여 출력한다.

초기 깊이 데이터 값이 상기와 같은 제 1 필터(101)를 통과하면 초기의 깊이 데이터 중에서 이전에 영상처리 과정에서 손상된 부분이 최소화되게 되며, 초기의 깊이 데이터의 윤곽 영역이나 세부 영역의 오버슈트(overshoot)영역이 제거되게 된다.

도 2의 (a)그래프는 초기 깊이 데이터 값의 일 예를 나타내고 있으며, (b)그래프는 상기 (a)그래프와 같은 파형을 가지는 초기 깊이 데이터가 제 1 필터(101)를 통과한 출력을 나타내고 있는데, 이와 같은 도 5의 (a)와 (b)를 참조하면, 초기의 깊이 데이터 중에서 이전에 영상처리 과정에서 손상된 부분이 최소화되게 됨을 알 수 있다. 그리고, 도 3의 (a)그래프는 초기 깊이 데이터 값의 일 예를 나타내고 있으며, (b)그래프는 상기 (a)그래프와 같은 파형을 가지는 초기 깊이 데이터가 제 1 필터(101)를 통과한 출력을 나타내고 있는데, 이와 같은 도 5의 (a)와 (b)를 참조하면, 초기 깊이 데이터 값은 제 1 필터(101)를 통과하여 오버슈트 영역이 제거되게 됨을 알 수 있다.

도 1을 참조하면, 상기 제 2 필터(102)는 제 1 필터(101)의 출력을 입력받아 각 화소의 깊이 데이터 값을 좌우 각각의 2개 화소의 깊이 데이터 값 및 상하 각각의 1개 화소의 깊이 데이터 값과 비교한 후 최소값과의 차이와 최대값과의 차이를 비교하여 최소값 또는 최대값으로 대체하여 출력한다.

상기 제 2 필터(102)는, 영상을 이루는 다수의 화소의 깊이(depth) 데이터 값에서 각 화소의 깊이 데이터 값을 좌우 각각의 m개 화소의 깊이 데이터 값 및 상 하 각각의 p개 화소의 깊이 데이터 값과 비교한 후 최대값과의 차이와 최소값과의 차이를 비교하여 최대값과의 차이가 최소값과의 차이보다 작으면 최대값으로 대체하고 최대값과의 차이가 최소값과의 차이보다 크면 최소값으로 대체하는데, 이때 최대값과의 차이와 최소값과의 차이를 비교하는데 있어서 최대값과의 차이 또는 최소값과의 차이에 가중치는 주는 가중 계수(weighting factor)가 설정되어 있다.

상기 가중 계수가 최소값과의 차이에 적용되는 경우에는 상기 가중 계수가 1이상인 것이 바람직하고, 더욱 상세히는 4인 것이 바람직하다.

깊이 데이터 값이 상기와 같은 제 2 필터(102)를 통과하면 깊이 데이터 중에서 윤곽 영역이 오버슈트(overshoot)되지 않으면서 샤프니스(sharpness)가 개선되어 출력되게 된다.

도 4의 (a)그래프는 제 2 필터(102) 통과 전의 깊이 데이터 값의 일 예를 나타내고 있고, (b)그래프와 (c)그래프는 상기 (a)그래프와 같은 파형을 가지는 깊이 데이터가 제 2 필터(102)를 통과한 출력을 나타내고 있는데, 특히 (b)그래프는 가중 계수가 최소값과의 차이에 적용되는 경우에 가중계수가 1이상인 제 2 필터(102)를 통과한 출력을 나타내고 있고, (c)그래프는 가중 계수가 최소값과의 차이에 적용되는 경우에 가중계수가 0초과 1미만인 제 2 필터(102)를 통과한 출력을 나타내고 있으며, 이와 같은 도 7의 (a), (b), (c)를 참조로 할때, 깊이 데이터 값은 제 2 필터(102)를 통과하면 오버슈트가 되지 않으면서 샤프니스가 개선되어 출력되게 됨을 알 수 있다. 또한, 상기 가중 계수가 최소값과의 차이에 적용되는 경우에 상기 가중 계수가 1 이상일 때는 도 7의 (a)와 같이 윤곽영역의 샤프니스 개선이 최 대값에 가까운 쪽으로 향하게 됨을 알 수 있으며, 가중계수가 0초과 1미만일 때는 도 7의 (b)와 같이 윤곽영역의 샤프니스 개선이 최소값에 가까운 쪽으로 향하게 됨을 알 수 있다.

이상에서 본 발명을 설명함에 있어서는 초기 깊이 데이터 값이 제 1 필터(101)를 통과판 후에 제 2 필터(102)를 통과하는 것을 그 예로 하였지만, 본 발명이 이에 한정되는 것은 아니며, 본 발명의 요지를 벗어나지 않는 범위 내에서 제 2 필터(102)를 통과한 후에 제 1 필터(101)를 통과할 수 있을 것이다.

도 1은 본 발명의 바람직한 실시예에 따른 도면.

도 2와 도 3은 제 1 필터의 출력을 나타낸 그래프.

도 4는 제 2 필터의 출력을 나타낸 그래프.

Claims (8)

1. 영상을 이루는 다수의 화소의 깊이(depth) 데이터 값에 있어서 각 화소의 깊이 데이터 값을 좌우 각각의 n개 화소의 깊이 데이터 값과 비교하여 중간값으로 대체하여 출력하는 제 1 필터; 및

   영상을 이루는 다수의 화소의 깊이(depth) 데이터 값에 있어서 각 화소의 깊이 데이터 값을 좌우 각각의 m개 화소의 깊이 데이터 값 및 상하 각각의 p개 화소의 깊이 데이터 값과 비교한 후 최소값과의 차이와 최대값과의 차이를 비교하여 최소값 또는 최대값으로 대체하여 출력하는 제 2 필터;

   를 포함하여 구성된 것을 특징으로 하는 3차원 영상 구현을 위한 깊이 데이터 보정 장치.
2. 제 1 항에 있어서, 상기 제 1 필터는 미디언(median) 필터인 것을 특징으로 하는 3차원 영상 구현을 위한 깊이 데이터 보정 장치.
3. 제 1 항에 있어서, 상기 제 1 필터는 각 화소의 깊이 데이터 값을 좌우 각각의 3개 또는 5개 화소의 깊이 데이터 값과 비교하여 중간 값으로 대체하여 출력하는 것을 특징으로 하는 3차원 영상 구현을 위한 깊이 데이터 보정 장치.
4. 제 1 항에 있어서, 상기 제 2 필터는 각 화소의 깊이 데이터 값을 좌우 각각 의 2개 화소의 깊이 데이터 값과 상하 각각 1개 화소의 깊이 데이터 값과 비교하여 최소값 또는 최대값으로 대체하여 출력하는 것을 특징으로 하는 3차원 영상 구현을 위한 깊이 데이터 보정 장치.
5. 제 1 항에 있어서, 상기 제 2 필터는 영상을 이루는 다수의 화소의 깊이(depth) 데이터 값에서 각 화소의 깊이 데이터 값을 좌우 각각의 m개 화소의 깊이 데이터 값 및 상하 각각의 p개 화소의 깊이 데이터 값과 비교한 후 최대값의 차이와 최소값과의 차이를 비교하여 최대값과의 차이가 최소값과의 차이보다 작으면 최대값으로 대체하고 최대값과의 차이가 최소값과의 차이보다 크면 최소값으로 대체하는 것을 특징으로 하는 3차원 영상 구현을 위한 깊이 데이터 보정 장치.
6. 제 5 항에 있어서, 상기 제 2 필터는 영상을 이루는 다수의 화소의 깊이(depth) 데이터 값에서 각 화소의 깊이 데이터 값을 좌우 각각의 m개 화소의 깊이 데이터 값 및 상하 각각의 p개 화소의 깊이 데이터 값과 비교한 후 최소값의 차이와 최대값과의 차이를 비교함에 있어서, 최소값과의 차이 또는 최대값과의 차이에 가중치는 주는 가중 계수(weighting factor)가 설정되어 있는 것을 특징으로 하는 3차원 영상 구현을 위한 깊이 데이터 보정 장치.
7. 제 6 항에 있어서, 상기 제 2 필터의 가중 계수는 최소값과의 차이에 가중치를 주도록 설정되는 경우에, 1 이상인 것을 특징으로 하는 3차원 영상 구현을 위한 깊이 데이터 보정 장치.
8. 제 7 항에 있어서, 상기 제 2 필터의 가중 계수는 4인 것을 특징으로 하는 3차원 영상 구현을 위한 깊이 데이터 보정 장치.

Images