KR101590763B1 - Ｄｅｐｔｈ ｍａｐ 오브젝트의 영역 확장을 이용한 ３ｄ 영상 생성 장치 및 방법 - Google Patents

Ｄｅｐｔｈ ｍａｐ 오브젝트의 영역 확장을 이용한 ３ｄ 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR101590763B1
KR101590763B1 KR1020090051463A KR20090051463A KR101590763B1 KR 101590763 B1 KR101590763 B1 KR 101590763B1 KR 1020090051463 A KR1020090051463 A KR 1020090051463A KR 20090051463 A KR20090051463 A KR 20090051463A KR 101590763 B1 KR101590763 B1 KR 101590763B1
Authority
KR
South Korea
Prior art keywords
image
depth
filter
discontinuity
contour
Prior art date
Application number
KR1020090051463A
Other languages
English (en)
Other versions
KR20100132717A (ko
Inventor
정영주
정용주
박두식
백아론
김지원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090051463A priority Critical patent/KR101590763B1/ko
Priority to US12/656,840 priority patent/US10163246B2/en
Publication of KR20100132717A publication Critical patent/KR20100132717A/ko
Application granted granted Critical
Publication of KR101590763B1 publication Critical patent/KR101590763B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Abstract

DEPTH MAP 오브젝트의 영역 확장을 이용한 3D 영상 생성 장치 및 방법이 개시된다. 3D 영상 생성 장치는 깊이 영상의 경계 또는 형태에 대한 불연속성을 유지하는 디스컨티뉴이티(Discontinuity) 유지 스무딩 필터를 적용하는 디스컨티뉴이티 유지 스무딩 필터링부; 깊이 영상에 대해 오브젝트의 깊이값을 증가시키는 윤곽 유지 필터를 적용하는 윤곽 유지 필터링부; 및 2D 형태의 컬러 영상과 필터링된 깊이 영상을 렌더링하여 3D 영상을 생성하는 렌더링부를 포함할 수 있다.
디스컨티뉴이티 유지 스무딩 필터, 윤곽 유지 필터, 오브젝트, 3D 영상

Description

ＤＥＰＴＨ ＭＡＰ 오브젝트의 영역 확장을 이용한 ３Ｄ 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING 3D IMAGE USING AREA EXTENSION OF DEPTH MAP OBJECT}
본 발명의 일실시예에 따른 3D 영상 생성 장치 및 방법은 2D 영상과 깊이 영상으로부터 3D 영상을 생성하는 것으로, 보다 상세하게는 DEPTH MAP 오브젝트 영역 확장을 이용한 3D 영상 생성 장치 및 방법에 관한 것이다.
2D 형태의 컬러 영상과 깊이 영상으로부터 3D 가상 영상을 생성할 때, 노이즈가 포함되거나 컴퓨터 영상 기술을 통해 자동으로 복원된 깊이 영상은 부정확한 값을 경우가 존재한다. 이러한 깊이 영상을 이용하여 3D 가상 영상을 생성하는 경우 원래 영상에 포함된 오브젝트들은 3D 가상 영상에서 경계(boundary) 또는 형태(shape)를 유지하지 못할 수 있다.
위에 언급한 과정을 통해 생성된 3D 가상 영상을 시청하는 경우, 오브젝트의 경계가 유지되지 못하거나 형태가 변형됨으로써 3D 영상의 입체감이 떨어지거나 또는 사용자의 3D 가상 영상 시청에 대한 피로감을 증가시킬 수 있다.
따라서, 컬러 영상과 깊이 영상으로부터 3D 가상 영상을 생성하는 경우, 본 래 영상의 이미지에 포함된 영상의 형태를 유지하여 보다 나은 품질의 3D 가상 영상을 생성하는 기술이 요구된다.
본 발명의 일실시예에 따른 3D 영상 생성 장치는 깊이 영상에 대해 오브젝트의 깊이값을 증가시키는 윤곽 유지 필터(MAX Filter)를 적용하는 윤곽 유지 필터링부 및 2D 형태의 컬러 영상과 필터링된 깊이 영상을 렌더링하여 3D 영상을 생성하는 렌더링부를 포함할 수 있다.
본 발명의 다른 일실시예에 따른 3D 영상 생성 장치는 상기 깊이 영상에 대해 오브젝트의 경계 또는 형태에 대한 불연속성을 유지하는 스무딩 필터를 적용하는 디스컨티뉴이티(Discontinuity) 유지 스무딩 필터링부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 3D 영상 생성 방법은 깊이 영상에 대해 오브젝트의 깊이값을 증가시키는 윤곽 유지 필터(MAX Filter)를 적용하는 단계; 및 2D 형태의 컬러 영상과 필터링된 깊이 영상을 렌더링하여 3D 영상을 생성하는 단계를 더 포함할 수 있다.
본 발명의 다른 일실시예에 따른 3D 영상 생성 방법은 상기 깊이 영상에 대해 오브젝트의 경계 또는 형태에 대한 불연속성을 유지하는 디스컨티뉴이티(Discontinuity) 유지 스무딩 필터를 적용하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따르면, 깊이 영상에 대해 오브젝트의 경계를 확장시키는 윤곽 유지 필터를 적용함으로써 원 영상의 오브젝트의 형태를 유지하여 3D 영상의 효과를 증가시킬 수 있다.
본 발명의 일실시예에 따르면, 깊이 영상에 대해 오브젝트의 경계 또는 형태에 대한 불연속성을 유지하는 디스컨티뉴이티 유지 스무딩 필터를 적용함으로써 오브젝트의 깊이값이 유지될 수 있다.
본 발명의 일실시예에 따르면,
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 본 발명의 일실시예에 따른 3D 영상 생성 방법은 3D 영상 생성 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 3D 영상 생성 장치를 도시한 블록다이어그램이다.
3D 영상 생성 장치(100)는 윤곽 유지 필터링부(102) 및 렌더링부(103)를 포함할 수 있다. 일례로, 3D 영상 생성 장치(100)는 디스컨티뉴이티(Discontinuity) 유지 스무딩 필터링부(101)를 더 포함할 수 있다. 도 1을 참고하면, 2D 형태의 컬러 영상과 깊이 영상이 3D 영상 생성 장치(100)로 입력된다.
디스컨티뉴이티 유지 스무딩 필터링부(101)는 깊이 영상의 오브젝트에 대해 경계(Boundary) 또는 형태(Shape)의 불연속성을 유지하는 스무딩 필터를 적용할 수 있다. 일례로, 디스컨티뉴이티 유지 스무딩 필터링부(101)는 오브젝트 내부에서도 깊이값이 일정하지 않아 울퉁불퉁한 표면을 제거하기 위해 디스컨티뉴이티 유지 스 무딩 필터를 적용할 수 있다. 이 때, 디스컨티뉴이티 유지 스무딩 필터링부(101)는 오브젝트 경계 내부에 대응하는 영역에 대해 디스컨티뉴이티 유지 스무딩 필터를 적용할 수 있다. 결국, 디스컨티뉴이티 유지 스무딩 필터링부(101)는 디스컨티뉴이티 유지 스무딩 필터를 적용함으로써 같은 오브젝트에 대해서 깊이값을 일정하게 유지할 수 있다.
윤곽 유지 필터링부(102)는 깊이 영상에 오브젝트의 깊이값(depth value)을 증가시키는 윤곽 유지 필터를 적용할 수 있다. 일례로, 윤곽 유지 필터링부(102)는 윤곽 유지 필터를 통해 깊이 영상의 경계를 확장시킴으로써 오브젝트의 깊이값을 증가시킬 수 있다. 이 때, 윤곽 유지 필터링부(102)는 오브젝트의 주변에 대응하는 백그라운드 영역의 깊이값을 오브젝트의 깊이값으로 치환함으로써 오브젝트의 깊이값을 증가시킬 수 있다. 일례로, 깊이값은 깊이 영상에서 포그라운드 영역(Foreground Area)인 오브젝트를 구성하는 픽셀단위로 이루어질 수 있다.
위와 같은 과정을 통해 픽셀 단위의 깊이값과 깊이 영상에 포함된 노이즈로 인한 아티팩트를 개선시키고, 3D 영상을 생성하기 위해 필요한 가상의 왼쪽 영상(virtual left image)와 가상의 오른쪽 영상(virtual right image)에서 원 영상의 오브젝트의 형태가 유지될 수 있다.
본 발명의 일실시예에 따른 3D 영상 생성 장치(100)는 윤곽 유지 필터만을 적용하여 3D 영상을 생성하거나 또는 디스컨티뉴이티 유지 스무딩 필터와 윤곽 유지 필터를 함께 적용하여 3D 영상을 생성할 수 있다.
렌더링부(103)는 2D 형태의 컬러 영상과 필터링된 깊이 영상을 렌더링하여 3D 영상을 생성할 수 있다. 일례로, 렌더링부(103)는 깊이 영상의 오브젝트 및 상기 오브젝트 주변의 백그라운드 영역을 위치 차이(disparity)만큼 패럴랙스 시프트(parallax shift)시키고, 패럴랙스 시프트된 깊이 영상에 대해 가상의 왼쪽 영상과 오른쪽 영상을 생성할 수 있다.
도 2는 양안에 보여지는 물체에 대한 위치 차이(disparity)를 도시한 도면이다.
도 2에서 V는 3D 디스플레이와 시청자간의 거리를 나타내고, D는 오브젝트가 스크린으로부터 가상으로 나오거나 들어가 보이는 거리를 나타내며, E는 시청자의 양안 사이의 거리를 나타낸다.
이 때, 양안에 보여지는 물체에 대한 위치 차이는
Figure 112009035080661-pat00001
로 표현될 수 있다. 상기 수식에 따르면, 가상 3D 영상에서 D만큼 스크린에서 들어가게 보이려면, 위치 차이만큼의 양안에서 보여지는 시점의 시프트가 요구된다. 이러한 특성에 따라, 3D 디스플레이는 위치 차이만큼 떨어진 가상의 왼쪽 영상과 가상의 오른쪽 영상을 생성하여 시청자로 하여금 3D를 느낄 수 있도록 한다.
이렇게 위치 차이만큼 떨어진 가상의 왼쪽 영상과 가상의 오른쪽 영상을 원래 영상으로부터 만들 때, 픽셀 단위로 양자화된 깊이 영상과 깊이 영상에 포함된 노이즈로 인하여 경계 현상인 아티팩트가 발생할 수 있다. 따라서, 본 발명의 일실시예에 따른 3D 영상 생성 장치는 아티팩트가 최소가 될 수 있는 가상의 왼쪽 영상과 가상의 오른쪽 영상을 생성하기 위해 윤곽 유지 필터를 적용할 수 있고, 오브 젝트의 형태를 유지하기 위해 디스컨티뉴이티 유지 스무딩 필터를 적용할 수 있다.
도 3은 3D 이미지가 왜곡된 일례를 도시한 도면이다.
도 3의 (a)는 원 영상, (b)는 가상의 왼쪽 영상, (c)는 가상의 오른쪽 영상을 나타낸다. 도 3에서 볼 수 있듯이, (b)에서는 오브젝트의 오른쪽 부분이 늘어났고 왼쪽 부분은 줄어든 것을 알 수 있다. 그리고, (c)에서는 오브젝트의 오른쪽 부분은 늘어났고, 왼쪽 부분은 늘어난 것을 알 수 있다. 이 때, 시청자가 이렇게 왜곡된 가상의 왼쪽 영상 및 가상의 오른쪽 영상을 3D 디스플레이를 통해 시청하는 경우, 시청자는 (d)처럼 양 끝이 휘어 보이는 왜곡된 3D 오브젝트를 인식할 수 있다. 이러한 오브젝트의 3D 왜곡으로 인해 3D 효과가 감소할 수 있다. 또한 시청자는 실제 오브젝트의 형상과 3D 디스플레이에서 보여지는 오브젝트의 형상과의 불일치로 시각적인 피로감을 느낄 수 있다.
도 4는 3D 이미지가 왜곡된 다른 일례를 도시한 도면이다.
도 4의 (a)는 원 영상, (b)는 가상의 왼쪽 영상, (c)는 가상의 오른쪽 영상을 나타낸다. 도 4와 같이, 시청자가 3D 디스플레이를 통해 왜곡된 가상의 왼쪽 영상과 가상의 오른쪽 영상을 시청하는 경우, 오브젝트의 형상이 왜곡되며, 왼쪽 눈에서 보이는 이미지와 왼쪽 눈에서 보이는 이미지를 시청자의 두뇌가 인식하는 범위를 벗어날 수 있다. 따라서, 시청자는 (d)와 같이 오브젝트를 하나의 3D 형태로 인식하지 못할 뿐만 아니라, 잘못된 3D 형태로 인식하여 시각적으로 피로감을 느낄 수 있다.
도 5는 본 발명의 일실시예에 따른 깊이 영상에 스무딩 필터를 적용하는 일 례를 도시한 도면이다.
도 5를 참고하면, 그래프(501)은 디스컨티뉴이티 유지 스무딩 필터를 적용하기 전 깊이 영상의 깊이값에 대한 분포를 나타낸다. 그리고, 그래프(502)는 디스컨티뉴이티 유지 스무딩 필터를 적용한 후 깊이 영상의 깊이값에 대한 분포를 나타낸다. 그래프(501) 및 그래프(502)에서 가로축은 깊이 영상에 대한 하나의 열 데이터(row data)를 나타내고, 세로축은 깊이 영상의 열을 나타내며, 높이는 깊이값을 삼차원으로 나타낸다.
그래프(501)를 살펴보면, 같은 오브젝트 안에서도 깊이값이 불규칙하게 나타난 것을 알 수 있다. 이 때, 디스컨티뉴이티 유지 스무딩 필터를 적용하면 그래프(502)와 같이 같은 오브젝트 안에서 깊이값이 일정한 형태로 유지되는 것을 알 수 있다.
도 6은 본 발명의 일실시예에 따른 깊이 영상에 윤곽 유지 필터를 적용하는 일례를 도시한 도면이다.
도 6을 참고하면, 그래프(601)는 윤곽 유지 필터가 적용되기 전 깊이 영상에 대한 깊이값의 분포를 나타낸다. 그리고, 그래프(602)는 윤곽 유지 필터가 적용된 후 깊이 영상에 대한 깊이값의 분포를 나타낸다. 이 때, 그래프(601)와 그래프(602)에서 가로축은 깊이 영상의 열 데이터를 나타내고, 세로축은 해당 열의 깊이값을 나타낸다.
3D 영상 생성 장치는 깊이 영상에 오브젝트의 깊이값을 증가시키는 윤곽 유지 필터를 적용할 수 있다. 일례로, 3D 영상 생성 장치는 오브젝트의 주변에 대응 하는 백그라운드 영역의 깊이값을 오브젝트의 깊이값으로 치환하여 오브젝트의 깊이값을 증가시킬 수 있다. 그러면, 그래프(602)에서 볼 수 있듯이, 윤곽 유지 필터가 적용되면 오브젝트의 경계가 확장될 수 있다.
도 7은 본 발명의 일실시예에 따른 깊이 영상에 디스컨티뉴이티 유지 스무딩 필터와 윤곽 유지 필터를 적용하는 일례를 도시한 도면이다.
도 7에서 (a)는 디스컨티뉴이티 유지 스무딩 필터와 윤곽 유지 필터가 적용된 깊이 영상과 원래의 깊이 영상을 비교한 결과를 나타낸다. (b)는 원래의 깊이 영상을 나타내며, (c)는 디스컨티뉴이티 유지 스무딩 필터가 적용된 깊이 영상을 나타내며, (d)는 윤곽 유지 필터가 적용된 깊이 영상을 나타낸다. 앞에서 언급했듯이, 본 발명의 일실시예에 따른 3D 영상 생성 장치는 원래의 깊이 영상에 윤곽 유지 필터만 적용할 수 있거나 또는 윤곽 유지 필터와 디스컨티뉴이티 유지 스무딩 필터를 함께 적용할 수 있다. 이 때, 3D 영상 생성 장치는 디스컨티뉴이티 유지 스무딩 필터를 먼저 적용한 후 윤곽 유지 필터를 적용할 수 있다.
그래프(b)와 그래프 (c)에서 볼 수 있듯이, 디스컨티뉴이티 유지 스무딩 필터가 적용되면 깊이 영상의 오브젝트에 대한 깊이값이 비슷하게 유지될 수 있다. 결국, 3D 영상 생성 장치는 디스컨티뉴이티 유지 스무딩 필터를 적용함으로써 오브젝트의 경계 또는 형태에 대한 불연속성을 유지할 수 있다.
그리고, 그래프(c)와 그래프(d)에서 볼 수 있듯이, 윤곽 유지 필터가 적용되면 깊이 영상의 오브젝트에 대한 경계가 확장될 수 있다. 구체적으로, 윤곽 유지 필터가 적용되면 오브젝트 주변의 백그라운드 영역이 오브젝트의 깊이값으로 치 환됨으로써, 오브젝트의 경계가 확장될 수 있다.
도 8은 본 발명의 일실시예에 따른 3D 영상 생성 방법에 대한 전체 과정을 도시한 플로우차트이다. 일례로, 3D 영상 생성 장치는 단계(S802)와 단계(S803)를 수행하거나 또는 단계(S801) 내지 단계(S803)를 수행할 수 있다.
3D 영상 생성 장치는 깊이 영상에 대해 오브젝트의 경계 또는 형태에 대한 불연속성을 유지하는 디스컨티뉴이티 유지 스무딩 필터를 적용할 수 있다(S801). 일례로, 3D 영상 생성 장치는 오브젝트의 경계 내부에 대응하는 영역에 대해 디스컨티뉴이티 유지 스무딩 필터를 적용할 수 있다.
3D 영상 생성 장치는 깊이 영상에 대해 오브젝트의 깊이값을 증가시키는 윤곽 유지 필터를 적용할 수 있다(S802). 일례로, 3D 영상 생성 장치는 디스컨티뉴이티 유지 스무딩 필터가 적용된 깊이 영상에 대해 오브젝트의 깊이값을 증가시키는 윤곽 유지 필터를 적용할 수 있다.
이 때, 3D 영상 생성 장치는 윤곽 유지 필터를 통해 깊이 영상의 오브젝트의 경계를 확장시켜 오브젝트의 깊이값을 증가시킬 수 있다. 구체적으로, 3D 영상 생성 장치는 오브젝트의 주변에 대응하는 백그라운드 영역의 깊이값을 오브젝트의 깊이값으로 치환하여 오브젝트의 깊이값을 증가시킬 수 있다.
3D 영상 생성 장치는 2D 형태의 컬러 영상과 필터링된 깊이 영상을 렌더링하여 3D 영상을 생성할 수 있다(S803). 일례로, 3D 영상 생성 장치는 컬러 영상과 윤곽 유지 필터 및 디스컨티뉴이티 유지 스무딩 필터가 적용된 깊이 영상을 렌더링하여 3D 영상을 생성할 수 있다.
구체적으로, 3D 영상 생성 장치는 깊이 영상의 오브젝트 및 오브젝트 주변의 백그라운드 영역을 위치 차이(Disparity)만큼 패럴랙스 시프트할 수 있다. 그리고, 3D 영상 생성 장치는 패럴랙스 시프트된 깊이 영상에 대해 가상의 왼쪽 영상과 오른쪽 영상을 생성할 수 있다.
도 8에서 설명되지 않은 부분은 도 1 내지 도 7의 설명을 참고할 수 있다.
또한 본 발명의 일실시예에 따른 3D 영상 생성 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명 되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 3D 영상 생성 장치를 도시한 블록다이어그램이다.
도 2는 양안에 보여지는 물체에 대한 위치 차이(disparity)를 도시한 도면이다.
도 3은 3D 이미지가 왜곡된 일례를 도시한 도면이다.
도 4는 3D 이미지가 왜곡된 다른 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 깊이 영상에 디스컨티뉴이티(Discontinuity) 유지 스무딩 필터를 적용하는 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 깊이 영상에 윤곽 유지 필터를 적용하는 일례를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 깊이 영상에 디스컨티뉴이티 유지 스무딩 필터와 윤곽 유지 필터를 적용하는 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 3D 영상 생성 방법에 대한 전체 과정을 도시한 플로우차트이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 3D 영상 생성 장치
101: 디스컨티뉴이티 유지 스무딩 필터링부
102: 윤곽 유지 필터링부
103: 렌더링부

Claims (15)

  1. 깊이 영상에 대해 오브젝트의 깊이값을 증가시키는 윤곽 유지 필터(MAX Filter)를 적용하는 윤곽 유지 필터링부; 및
    2D 형태의 컬러 영상과 필터링된 깊이 영상을 렌더링하여 3D 영상을 생성하는 렌더링부
    를 포함하고,
    상기 윤곽 유지 필터링부는,
    상기 오브젝트의 경계를 확장하기 위해 상기 오브젝트의 주변에 대응하는 백그라운드 영역의 깊이값을 상기 오브젝트의 깊이값으로 치환하는,
    3D 영상 생성 장치.
  2. 제1항에 있어서,
    상기 윤곽 유지 필터의 앞 단에 위치하고, 상기 깊이 영상에 대해 오브젝트의 경계 또는 형태에 대한 불연속성을 유지하는 디스컨티뉴이티(Discontinuity) 유지 스무딩 필터를 적용하는 디스컨티뉴이티 유지 스무딩 필터링부
    를 더 포함하고,
    상기 렌더링부는,
    상기 컬러 영상과 상기 윤곽 유지 필터 및 상기 디스컨티뉴이티 유지 스무딩 필터가 적용된 깊이 영상을 렌더링하여 3D 영상을 생성하는 것을 특징으로 하는 3D 영상 생성 장치.
  3. 제2항에 있어서,
    상기 윤곽 유지 필터링부는,
    상기 디스컨티뉴이티 유지 스무딩 필터가 적용된 깊이 영상에 대해 오브젝트의 깊이값을 증가시키는 윤곽 유지 필터를 적용하는 것을 특징으로 하는 3D 영상 생성 장치.
  4. 제1항에 있어서,
    상기 윤곽 유지 필터링부는,
    상기 윤곽 유지 필터를 통해 상기 깊이 영상의 오브젝트의 경계를 확장시켜 상기 오브젝트의 깊이값을 증가시키는 것을 특징으로 하는 3D 영상 생성 장치.
  5. 삭제
  6. 제2항에 있어서,
    상기 디스컨티뉴이티 유지 스무딩 필터링부는,
    상기 오브젝트의 경계 내부에 대응하는 영역에 대해 상기 디스컨티뉴이티 유지 스무딩 필터를 적용하는 것을 특징으로 하는 3D 영상 생성 장치.
  7. 제1항에 있어서,
    상기 렌더링부는,
    상기 깊이 영상의 오브젝트 및 상기 오브젝트 주변의 백그라운드 영역을 위치차이(disparity)만큼 패럴랙스 시프트(parallax shift)하여 상기 깊이 영상에 대해 가상의 왼쪽 영상과 오른쪽 영상을 생성하는 것을 특징으로 하는 3D 영상 생성 장치.
  8. 깊이 영상에 대해 오브젝트의 깊이값을 증가시키기 위해 윤곽 유지 필터(MAX Filter)를 이용하여 상기 깊이 영상을 필터링하는 단계; 및
    2D 형태의 컬러 영상과 필터링된 깊이 영상을 렌더링하여 3D 영상을 생성하는 단계
    를 포함하고,
    상기 필터링하는 단계는,
    상기 오브젝트의 경계를 확장하기 위해 상기 오브젝트의 주변에 대응하는 백그라운드 영역의 깊이값을 상기 오브젝트의 깊이값으로 치환하는 단계
    를 포함하는, 3D 영상 생성 방법.
  9. 제8항에 있어서,
    상기 윤곽 유지 필터의 앞 단에 위치하고, 상기 깊이 영상에 대해 오브젝트의 경계 또는 형태에 대한 불연속성을 유지하는 디스컨티뉴이티 유지 스무딩 필터를 이용하여 상기 깊이 영상을 필터링하는 단계
    를 더 포함하고,
    상기 3D 영상을 생성하는 단계는,
    상기 컬러 영상과 상기 윤곽 유지 필터 및 상기 디스컨티뉴이티 유지 스무딩 필터를 이용하여 필터링된 깊이 영상을 렌더링하여 3D 영상을 생성하는 것을 특징으로 하는 3D 영상 생성 방법.
  10. 삭제
  11. 제8항에 있어서,
    상기 윤곽 유지 필터를 이용하여 상기 깊이 영상을 필터링하는 단계는,
    상기 윤곽 유지 필터를 통해 상기 깊이 영상의 오브젝트의 경계를 확장시켜 상기 오브젝트의 깊이값을 증가시키는 것을 특징으로 하는 3D 영상 생성 방법.
  12. 제11항에 있어서,
    상기 윤곽 유지 필터를 이용하여 상기 깊이 영상을 필터링하는 단계는,
    상기 오브젝트의 주변에 대응하는 백그라운드 영역의 깊이값을 상기 오브젝트의 깊이값으로 치환하여 상기 오브젝트의 깊이값을 증가시키는 것을 특징으로 하는 3D 영상 생성 방법.
  13. 제9항에 있어서,
    상기 디스컨티뉴이티 유지 스무딩 필터를 이용하여 상기 깊이 영상을 필터링하는 단계는,
    상기 오브젝트의 경계 내부에 대응하는 영역에 대해 상기 디스컨티뉴이티 유지 스무딩 필터를 적용하는 것을 특징으로 하는 3D 영상 생성 방법.
  14. 제8항에 있어서,
    상기 3D 영상을 생성하는 단계는,
    상기 깊이 영상의 오브젝트 및 상기 오브젝트 주변의 백그라운드 영역을 위치차이만큼 패럴랙스 시프트하는 단계; 및
    상기 패럴랙스 시프트된 깊이 영상에 대해 가상의 왼쪽 영상과 오른쪽 영상을 생성하는 단계
    를 포함하는 3D 영상 생성 방법.
  15. 제8항, 제9항, 및 제11항 내지 제14항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020090051463A 2009-06-10 2009-06-10 Ｄｅｐｔｈ ｍａｐ 오브젝트의 영역 확장을 이용한 ３ｄ 영상 생성 장치 및 방법 KR101590763B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090051463A KR101590763B1 (ko) 2009-06-10 2009-06-10 Ｄｅｐｔｈ ｍａｐ 오브젝트의 영역 확장을 이용한 ３ｄ 영상 생성 장치 및 방법
US12/656,840 US10163246B2 (en) 2009-06-10 2010-02-17 Three-dimensional image generation apparatus and method using region extension of object in depth map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090051463A KR101590763B1 (ko) 2009-06-10 2009-06-10 Ｄｅｐｔｈ ｍａｐ 오브젝트의 영역 확장을 이용한 ３ｄ 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100132717A KR20100132717A (ko) 2010-12-20
KR101590763B1 true KR101590763B1 (ko) 2016-02-02

Family

ID=43306499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090051463A KR101590763B1 (ko) 2009-06-10 2009-06-10 Ｄｅｐｔｈ ｍａｐ 오브젝트의 영역 확장을 이용한 ３ｄ 영상 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US10163246B2 (ko)
KR (1) KR101590763B1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130027520A1 (en) * 2010-04-20 2013-01-31 Hiromichi Ono 3d image recording device and 3d image signal processing device
KR101437447B1 (ko) * 2011-06-28 2014-09-11 삼성전자 주식회사 영상처리장치 및 영상처리방법
CN102972038B (zh) * 2011-07-01 2016-02-10 松下电器产业株式会社 图像处理装置、图像处理方法、程序、集成电路
WO2013045853A1 (fr) * 2011-09-29 2013-04-04 Thomson Licensing Méthode et dispositif de filtrage d'une carte de disparité
CN103096100B (zh) * 2011-11-04 2015-09-09 联咏科技股份有限公司 三维影像处理方法与应用其的三维影像显示装置
US20150181204A1 (en) * 2012-07-18 2015-06-25 Sony Corporation Image processing apparatus, image processing method, and image display device
CN103067705B (zh) * 2012-12-19 2016-06-08 宁波大学 一种多视点深度视频预处理方法
KR101566543B1 (ko) * 2014-09-03 2015-11-05 재단법인 실감교류인체감응솔루션연구단 공간 정보 증강을 이용하는 상호 인터랙션을 위한 방법 및 시스템
TWI558167B (zh) 2014-12-30 2016-11-11 友達光電股份有限公司 立體影像顯示系統與顯示方法
CN104850850B (zh) * 2015-04-05 2017-12-01 中国传媒大学 一种结合形状和颜色的双目立体视觉图像特征提取方法
US11024047B2 (en) * 2015-09-18 2021-06-01 The Regents Of The University Of California Cameras and depth estimation of images acquired in a distorting medium
EP3353751A4 (en) 2015-09-24 2019-03-20 California Institute of Technology SYSTEMS AND METHODS FOR VISUALIZING DATA USING THREE DIMENSIONAL DISPLAY DEVICES
CN105335722B (zh) * 2015-10-30 2021-02-02 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
US10484667B2 (en) * 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN107895353B (zh) * 2017-11-09 2021-05-25 武汉大学 一种交互式的深度图纹理拷贝瑕疵去除方法
WO2019221767A1 (en) 2018-05-14 2019-11-21 Virtualitics, Inc. Systems and methods for high dimensional 3d data visualization
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN115205451A (zh) * 2022-06-23 2022-10-18 未来科技（襄阳）有限公司 3d图像的生成方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024614A1 (en) * 2005-07-26 2007-02-01 Tam Wa J Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
JP2008282376A (ja) 2007-05-09 2008-11-20 Monolith Co Ltd 画像処理方法および装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8106924B2 (en) * 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
JP5243612B2 (ja) * 2008-10-02 2013-07-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 中間画像合成およびマルチビューデータ信号抽出
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024614A1 (en) * 2005-07-26 2007-02-01 Tam Wa J Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
JP2008282376A (ja) 2007-05-09 2008-11-20 Monolith Co Ltd 画像処理方法および装置

Also Published As

Publication number Publication date
US20100316284A1 (en) 2010-12-16
KR20100132717A (ko) 2010-12-20
US10163246B2 (en) 2018-12-25

Similar Documents

Publication Publication Date Title
KR101590763B1 (ko) Ｄｅｐｔｈ ｍａｐ 오브젝트의 영역 확장을 이용한 ３ｄ 영상 생성 장치 및 방법
KR101281961B1 (ko) 깊이 영상 편집 방법 및 장치
US9621869B2 (en) System and method for rendering affected pixels
JP5615552B2 (ja) 画像の深度マップの生成
US9153032B2 (en) Conversion method and apparatus with depth map generation
US20140002595A1 (en) Apparatus, system and method for foreground biased depth map refinement method for dibr view synthesis
US9007435B2 (en) Real-time depth-aware image enhancement system
KR102006064B1 (ko) 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치
US9519996B2 (en) Virtual view generating method and apparatus
US20120162395A1 (en) Method for filling hole-region and three-dimensional video system using the same
US9041773B2 (en) Conversion of 2-dimensional image data into 3-dimensional image data
KR20110116671A (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
KR101584115B1 (ko) 시각적 관심맵 생성 장치 및 방법
EP2775449B1 (en) Deblurring of an image from a sequence of images
WO2015130616A2 (en) Systems and methods to control judder visibility
TWI712990B (zh) 用於判定影像之深度圖之方法與裝置、及非暫時性電腦可讀取儲存媒體
JP2018524896A (ja) 画像の深度マップを決定する方法および装置
US20120113093A1 (en) Modification of perceived depth by stereo image synthesis
US20120301012A1 (en) Image signal processing device and image signal processing method
KR20110041753A (ko) 시점간 크로스톡 저감 장치 및 방법
US9143755B2 (en) Image processing device
Wang et al. A novel approach for depth image based rendering, based on non-linear transformation of depth values
JP5900321B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR101993962B1 (ko) 중간시점 영상합성에서의 n-시점 블렌딩 기반 홀 채움 방법
KR101701519B1 (ko) 영상프레임 간 일관성을 위한 동영상으로부터의 라인 애니메이션 생성장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 5