KR101347750B1 - 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템 - Google Patents

하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템 Download PDF

Info

Publication number
KR101347750B1
KR101347750B1 KR1020120089018A KR20120089018A KR101347750B1 KR 101347750 B1 KR101347750 B1 KR 101347750B1 KR 1020120089018 A KR1020120089018 A KR 1020120089018A KR 20120089018 A KR20120089018 A KR 20120089018A KR 101347750 B1 KR101347750 B1 KR 101347750B1
Authority
KR
South Korea
Prior art keywords
background
down sampling
depth map
sampling rate
map
Prior art date
Application number
KR1020120089018A
Other languages
English (en)
Inventor
신지태
김태우
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020120089018A priority Critical patent/KR101347750B1/ko
Application granted granted Critical
Publication of KR101347750B1 publication Critical patent/KR101347750B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 하이브리드 깊이 맵 다운 샘플링 방법 및 장치, 업 샘플링 방법 및 장치 및 다운/업 샘플링 시스템을 개시하고 있다. 하이브리드 깊이 맵 다운 샘플링 방법은 객체와 배경으로 구성된 3D 영상에 대해 객체와 배경을 깊이 맵을 기반으로 구분하여 분리시키는 객체/배경 분리 단계; 및 상기 분리된 객체와 배경 부분에 대해 서로 다른 다운 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 다운 샘플링을 수행하는 다운 샘플링 수행 단계를 포함한다. 따라서, 객체 부분에 좀더 낮은 다운 샘플링 비율을, 배경부분에는 좀더 높은 다운 샘플링 비율을 적용하여 객체 부분에서 보다 선명하고 깨끗한 영상을 획득할 수 있고, 따라서 정적인 배경보다 동적인 객체 부분에 보다 민감하게 반응하는 사람의 인지적 특성을 충분히 반영할 수 있다.

Description

하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템{HYBRID DOWN SAMPLING METHOD AND APPARATUS, HYBRID UP SAMPLING METHOD AND APPARATUS AND HYBRID DOWN/UP SAMPLING SYSTEM}
본 발명은 깊이 맵 다운 샘플링 방법 및 장치, 업 샘플링 방법 및 장치 및 다운/업 샘플링 시스템에 관한 것으로, 보다 상세하게는, 객체의 움직임 기반의 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템에 관한 것이다.
최근 자유 시점 TV(FTV: Free Viewpoint TV)나 3D TV와 같은 3차원 비디오 응용(application)들은 전 세계적으로 주목받고 있고, 여러 분야에서 많은 연구가 진행되고 있다. 이는 3차원 비디오 시스템이 사용자로 하여금 원하는 시점을 선택 가능하게 하고, 공간적인 입체감과 실제감을 제공하기 때문이다. 3차원 비디오는 컬러 영상과 깊이 맵(2D-plus-depth) 형태나 다차원 비디오와 깊이 맵(MVD: Multi-view Video plus Depth) 형태로 구성될 수 있다. 3차원 장면 상에서 카메라로부터 물체까지의 상대적인 거리를 나타내는 깊이 맵은 이미지 기반의 랜더링(IBR: Image Based Rendering) 기술에 이용될 수 있고, 이에 대한 적절한 영상 처리 및 압축 기술들은 3차원 응용 분야에서 중요한 요소 기술로 주목받고 있다.
깊이 맵은 컬러 영상과 다른 특성들을 가지고 있다. 예컨대, 그레이스케일(grayscale)로 표현된다는 점, 샤프(sharp)한 경계면을 제외하고 내부에는 대부분 평탄한 값들로 이루어져 있다는 점 등이다. 이러한 특징들을 기반으로 깊이 맵 압축(compression)시, 깊이 맵에 대한 다운 샘플링이 보통 사용될 수 있다. 깊이 맵 다운 샘플링을 통해 전송하는 데이터 양을 줄일 수 있고, 수신단에서 적절한 업 샘플링 기법들을 통해 다운 샘플링 시의 에러를 효과적으로 복구할 수 있기 때문이다.
깊이 맵 다운 샘플링에 대한 종래의 기술은 결국, 일정 크기의 윈도우 내의 여러 픽셀들의 값을 하나의 대표값으로 어떻게 결정하는지에 대한 과정을 포함한다. 상기 대표값 결정 방법에는 윈도우 내의 픽셀 값들 중 첫 번째 픽셀 값으로 정하는 방법(original down-sampling), 평균값으로 정하는 방법(average down-sampling) 및 중간 값으로 정하는 방법(median down-sampling) 등이 있다. 이러한 깊이 맵 다운 샘플링 기법들의 공통점은 전체 영상에 대해 하나의 다운 샘플링 비율(down-sampling rate)을 적용시킨다는 점이다.
이러한 공통 다운 샘플링 비율을 적용시에는, 정적인 배경보다 동적인 객체에 대해 좀더 민감하게 반응하는 사람의 인지적인 특성(HVP: Human Visual Perception)을 충분히 반영하지 못하는 문제점이 있다.
상술한 문제점을 해결하기 위한 본 발명의 목적은 깊이 맵 다운 샘플링시, 사람의 시각적 인지적인 특성을 충분히 반영하여, 객체와 배경 부분에 서로 다른 다운 샘플링 비율을 적용시키는 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템을 제공하는 것이다.
상술한 목적을 달성하기 위한 본 발명의 하이브리드 깊이 맵 다운 샘플링 방법은 객체와 배경으로 구성된 3D 영상에 대해 객체와 배경을 깊이 맵을 기반으로 구분하여 분리시키는 객체/배경 분리 단계; 및 상기 분리된 객체와 배경 부분에 대해 서로 다른 다운 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 다운 샘플링을 수행하는 다운 샘플링 수행 단계를 포함할 수 있다.
상기 깊이 맵 다운 샘플링 방법은 객체와 배경에 각각 적용시킬 상기 다운 샘플링 비율을 결정하는 파라미터 결정 단계; 상기 다운 샘플링된 객체 및 배경 부분에 대해 인코딩을 수행하는 인코딩 단계; 및 상기 인코딩된 다운 샘플링 영상 데이터를 수신측으로 전송하는 전송 단계를 더 포함할 수 있다.
상기 3D 영상 전체에 적용시킬 수 있는 참조 다운 샘플링 비율을 기준으로 객체 부분에 적용되는 객체 다운 샘플링 비율은 상기 참조 다운 샘플링 비율보다 더 작고, 배경 부분에 적용되는 배경 다운 샘플링 비율은 상기 참조 다운 샘플링 비율보다 더 클 수 있다.
상기 객체/배경 분리 단계는 상기 파라미터 결정 단계에서 결정된 상기 다운 샘플링 비율에 기반하여 객체의 움직임을 최대한 반영시킬 수 있도록 윈도우 사이즈를 결정하는 단계를 포함할 수 있다.
상기 객체/배경 분리 단계는 상기 깊이 맵을 기반으로 깊이 맵 내의 경계면 맵을 생성하는 단계; 상기 경계면 맵을 기반으로 움직임이 있는지에 관한 정보를 포함하는 모션 맵을 생성하는 단계; 및 상기 모션 맵을 기반으로 상기 다운 샘플링 비율을 통해 결정 또는 미리 결정된 제 1 윈도우 사이즈 크기를 기반으로 윈도우 내에 가장 많은 블록들이 포함될 수 있도록 윈도우의 위치, 가로 및 세로 사이즈를 바꿔가면서 객체 부분을 탐색하여 제 2 윈도우 사이즈를 결정하는 단계; 및 상기 결정된 제 2 윈도우 사이즈를 기반으로 객채 부분 및 배경 부분을 분리하는 단계를 포함할 수 있다.
상기 경계면 맵 생성 단계는 상기 깊이 맵에 대한 소벨 함수를 통해 상기 경계면 맵을 생성하는 단계를 포함할 수 있다.
상기 모션 맵 생성 단계는 상기 모션 맵을 기반으로 현재 프레임과 이전 프레임 간의 특정 블록 사이즈 내의 대응되는 픽셀 위치에서의 MAD(Mean Absolute Difference)를 임계값과 비교하여 상기 임계값보다 높은 블록과 낮은 블록에 다른 값을 설정하여 상기 모션 맵을 생성하는 단계를 포함할 수 있다.
상기 제 1 윈도우 사이즈의 크기는
Figure 112012065206523-pat00001
(여기서, W 및 H는 3D 영상의 원본 깊이 맵의 가로 및 세로의 사이즈, WO 및 HO는 제 1 윈도우 사이즈의 가로 및 세로 사이즈이고, DRO는 객체 다운 샘플링 비율, DRB는 배경 다운 샘플링 비율, DRR은 참조 다운 샘플링 비율을 나타냄)에 의해 결정될 수 있다.
상기 깊이 맵 다운 샘플링 방법은 상기 분리된 객체 부분에 대한, 픽셀 도메인 상에서의 위치와 관련된 정보를 상기 인코딩된 다운 샘플링 영상 데이터와 별도의 채널을 통해 상기 수신측으로 전송하는 단계를 더 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 하이브리드 깊이 맵 다운 샘플링 장치는 객체와 배경으로 구성된 3D 영상에 대해 객체와 배경을 깊이 맵을 기반으로 구분하여 분리시키는 객체/배경 분리부; 및 상기 분리된 객체와 배경 부분에 대해 서로 다른 다운 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 다운 샘플링을 수행하는 다운 샘플링 수행부를 포함할 수 있다.
상기 다운 샘플링 장치는 객체와 배경에 각각 적용시킬 상기 다운 샘플링 비율을 결정하는 파라미터 결정부; 상기 다운 샘플링된 객체 및 배경 부분에 대해 인코딩을 수행하는 인코딩부; 및 상기 인코딩된 다운 샘플링 영상 데이터를 수신측으로 전송하는 전송부를 더 포함할 수 있다.
상기 파라미터 결정부는 상기 3D 영상 전체에 적용시킬 수 있는 참조 다운 샘플링 비율을 기준으로 객체 부분에 적용되는 객체 다운 샘플링 비율은 상기 참조 다운 샘플링 비율보다 더 작고, 배경 부분에 적용되는 배경 다운 샘플링 비율은 상기 참조 다운 샘플링 비율보다 더 크도록 상기 다운 샘플링 비율을 결정할 수 있다.
상기 객체/배경 분리부는 상기 파라미터 결정 단계에서 결정된 상기 다운 샘플링 비율에 기반하여 객체의 움직임을 최대한 반영시킬 수 있도록 윈도우 사이즈를 결정할 수 있다.
상기 다운 샘플링 장치는 상기 객체/분리 단계를 통해 분리된 객체 부분에 대한, 픽셀 도메인 상에서의 위치와 관련된 정보를 상기 인코딩된 다운 샘플링 영상 데이터와 별도의 채널을 통해 상기 수신측으로 전송하는 객체 위치 전송부를 더 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 하이브리드 깊이 맵 업 샘플링 방법은 객체와 배경에 대해 서로 다른 다운 샘플링 비율로 다운 샘플링된 3D 영상 데이터를 수신하는 수신 단계; 상기 수신된 영상 데이터를 디코딩하는 디코딩 단계; 상기 디코딩된 객체 부분 및 배경 부분에 대해 상기 서로 다른 업 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 업 샘플링을 수행하는 업 샘플링 단계; 및 상기 업 샘플링된 객체 및 배경 부분을 병합하여 출력하는 출력 단계를 포함할 수 있다.
상기 출력 단계는 상기 객체 부분에 대한, 픽셀 도메인 상에서의 위치와 관련된 정보를 상기 다운 샘플링된 3D 영상 데이터와 별도의 채널을 통해 수신하여 상기 수신된 객체 부분의 위치 관련 정보를 기반으로 상기 업 샘플링된 객체 및 배경 부분을 병합하여 출력하는 단계를 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 하이브리드 깊이 맵 업 샘플링 장치는 객체와 배경에 대해 서로 다른 다운 샘플링 비율로 다운 샘플링된 3D 영상 데이터를 수신하는 수신부; 상기 수신된 영상 데이터를 디코딩하는 디코딩부; 상기 디코딩된 객체 부분 및 배경 부분에 대해 상기 서로 다른 업 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 업 샘플링을 수행하는 업 샘플링부; 및 상기 업 샘플링된 객체 및 배경 부분을 병합하여 출력하는 출력부를 포함할 수 있다.
상기 출력부는 상기 객체 부분에 대한, 픽셀 도메인 상에서의 위치와 관련된 정보를 상기 다운 샘플링된 3D 영상 데이터와 별도의 채널을 통해 수신하여 상기 수신된 객체 부분의 위치 관련 정보를 기반으로 상기 업 샘플링된 객체 및 배경 부분을 병합하여 출력할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 하이브리드 깊이 맵 다운/업 샘플링 시스템 객체와 배경으로 구성된 3D 영상에 대해 객체와 배경을 깊이 맵을 기반으로 구분하여 분리시키고, 상기 분리된 객체와 배경 부분에 대해 서로 다른 다운 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 다운 샘플링을 수행하여 인코딩한 다운 샘플링 데이터를 수신측으로 전송하는 인코더; 및 상기 다운 샘플링 데이터를 수신하여 디코딩하고, 상기 디코딩된 3D 영상의 객체 부분 및 배경 부분에 대해 상기 서로 다른 업 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 업 샘플링을 수행하여 출력하는 디코더를 포함할 수 있다.
상기 인코더는 상기 3D 영상 전체에 적용시킬 수 있는 참조 다운 샘플링 비율을 기준으로 객체 부분에 적용되는 객체 다운 샘플링 비율은 상기 참조 다운 샘플링 비율보다 더 작고, 배경 부분에 적용되는 배경 다운 샘플링 비율은 상기 참조 다운 샘플링 비율보다 더 크게 되도록 상기 다운 샘플링 비율을 결정하고, 상기 다운 샘플링 비율에 기반하여 객체의 움직임을 최대한 반영시킬 수 있도록 윈도우 사이즈를 결정할 수 있다.
본 발명의 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템에 따르면, 객체 부분에 좀더 낮은 다운 샘플링 비율을, 배경부분에는 좀더 높은 다운 샘플링 비율을 적용하여 객체 부분에서 보다 선명하고 깨끗한 영상을 획득할 수 있고, 따라서 정적인 배경보다 동적인 객체 부분에 보다 민감하게 반응하는 사람의 인지적 특성을 충분히 반영할 수 있다는 효과가 있다.
도 1은 깊이 맵 다운/업 샘플링을 이용한 3차원 비디오 시스템을 개략적으로 나타낸 블록도,
도 2는 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 다운 샘플링 장치를 개략적으로 나타낸 블록도,
도 3은 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 다운 샘플링 장치의 객체/배경 분리부를 구체적으로 나타낸 상세블록도,
도 4a는 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 다운 샘플링 장치의 경계면 맵 생성부에 의해 생성된 경계면 맵을 나타낸 도면,
도 4b는 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 다운 샘플링 장치의 모션 맵 생성부에 의해 생성된 모션 맵을 나타낸 도면,
도 4c는 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 다운 샘플링 장치의 분리부에 의해 윈도잉 과정을 수행한 후의 모습을 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 다운 샘플링 장치의 전송부 및 객체 위치 전송부가 다른 채널을 사용하여 데이터를 전송하는 것을 설명하기 위한 개념도,
도 6은 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 업 샘플링 장치를 나타낸 블록도,
도 7a는 주관적 화질 평가를 위해 종래의 깊이 맵 다운 샘플링 방법과 본 발명의 일 실시예에 따른 깊이 맵 다운 샘플링 방법에 의해 다운 샘플링된 영상을 NN 및 LINEAR 업 샘플링 기법을 통해 업 샘플링한 화면을 나타낸 도면,
도 7b는 주관적 화질 평가를 위해 종래의 깊이 맵 다운 샘플링 방법과 본 발명의 일 실시예에 따른 깊이 맵 다운 샘플링 방법에 의해 다운 샘플링된 영상을 AREA 및 CUBIC 업 샘플링 기법을 통해 업 샘플링한 화면을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
하이브리드 깊이 맵 다운/업 샘플링 장치
도 1은 깊이 맵 다운/업 샘플링을 이용한 3차원 비디오 시스템을 개략적으로 나타낸 블록도이다. 도 1에 도시된 바와 같이, 깊이 맵 다운/업 샘플링을 이용한 3차원 비디오 시스템은 다운 샘플링부(110), 인코딩부(120), 디코딩부(130), 업 샘플링부(140) 및 DIBR(Depth Image Based Rendering) 부(150)를 포함할 수 있다.
도 1을 참조하면, 송신단은 다운 샘플링부(110) 및 인코딩부(120)를 포함할 수 있다. 3D 영상은 텍스처(100)와 깊이(102: depth)로 이루어진다. 텍스처(100)는 전술한 바와 같이, 컬러 관련 데이터가 포함되어 있다. 텍스처(100)는 다운 샘플링 없이 인코딩부(120)로 전송되어 인코딩된다.
깊이(102)는 깊이 맵을 통해 3D 영상에 적용된다. 깊이 맵은 일반적으로 대역폭을 지기기 위해 감소된 해상도에 의해 압축된다. 이때, 다운 샘플링부(110)는 깊이 맵을 기반으로 영상에 대한 다운 샘플링을 수행한다. 다운 샘플링부(110)는 다양한 기법을 통해 다운 샘플링을 수행할 수 있다. 이때, 다운 샘플링의 성능을 좌우하는 것은 다운 샘플링 비율이 된다. 다운 샘플링부(110)는 윈도우 내의 픽셀 값들 중 첫 번째 픽셀 값을 기반으로 다운 샘플링 비율을 결정하는 original 기법, 윈도우 내의 픽셀의 평균 값을 기반으로 다운 샘플링 비율을 결정하는 average 기법 및 윈도우 내의 픽셀의 중간 값으로 다운 샘플링 비율을 결정하는 median 기법을 통해 다운 샘플링 비율을 결정할 수 있다. 이를 수학식으로 표현하면 다음과 같다.
Figure 112012065206523-pat00002
여기서, f(i,j)는 위치(i,j)에서의 영상의 픽셀 값이고, WDR × DR은 DR×DR 블록을 의미하며, DR은 다운 샘플링을 위한 스케일링 요소를 나타낸다.
이러한 깊이 맵 다운 샘플링 기법들의 공통점은 전체 영상에 대해 하나의 다운 샘플링 비율(down-sampling rate)을 적용시킨다는 것이고, 이러한 기법 적용시 수신단에서 객체의 움직임을 선명하게 재생시킬 수 없는 경우가 발생할 수 있다.
다운 샘플링된 영상의 깊이 정보는 인코딩부(120)로 전송된다. 인코딩부(120)는 텍스처(100) 및 다운 샘플링된 깊이(102)와 관련된 정보를 인코딩하여 3D 영상 데이터를 생성한다. 생성된 영상 데이터는 채널을 통해 수신단으로 전송된다.
수신단은 디코딩부(130), 업샘플링부(140) 및 DIBR 부(150)를 포함할 수 있다. 디코딩부(130)는 인코딩된 3D 영상 데이터를 수신하여 디코딩을 수행한다. 디코딩된 3D 영상 관련 정보에 대해, 깊이(102) 관련 정보는 송신단에서의 다운 샘플링에 대응하여 업 샘플링을 수행해야 한다. 업 샘플링부(140)는 깊이(102)와 관련된 정보를 기반으로 깊이 맵에 대한 업 샘플링을 수행한다. 업 샘플링은 다양한 기법이 이용될 수 있다. 경우에 따라 OpenCV 2.0에서 지원하는 업 샘플링 기법인 Nearest-Neighbor(NN) 기법/Billinear(LINEAR) 기법/re-sampling using area relation(AREA) 기법/Bi-cubic(CUBIC) interpolation 기법이 사용될 수 있다.
업 샘플링된 깊이(102) 관련 정보는 DIBR 부(150)로 전송되고, 텍스처(100) 정보도 DIBR 부(150)로 전송된다. DIBR 부(150)는 깊이(102) 및 텍스처(100) 관련 정보를 이용하여 깊이 맵 기반 렌더링을 수행한다. 결과, DIBR 부(150)는 좌영상(152)과 우영상(154)을 생성하여 출력한다.
도 2는 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 다운 샘플링 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 다운 샘플링 장치는 파라미터 결정부(210), 객체/배경 분리부(220), 다운 샘플링부(230), 인코딩부(240), 전송부(250) 및 객체 위치 전송부(260)를 포함할 수 있다.
도 2를 참조하면, 파라미터 결정부(210)는 3D 영상의 깊이 맵(202)을 기반으로 3D 영상의 객체와 배경에 적용시킬 다운 샘플링 비율을 각각 결정한다. 이때, 상기한 다양한 다운 샘플링 기법에서 3D 영상 전체에 적용시키는 다운 샘플링 비율(이를 참조 다운 샘플링 비율이라 부를 수 있음)을 기준으로 객체 및 배경 부분에 적용된 다운 샘플링 비율을 결정할 수 있다.
본 발명의 일 실시예에 따르면, 파라미터 결정부(210)는 참조 다운 샘플링 비율을 기준으로 객체 부분에 적용되는 객체 다운 샘플링 부분은 참조 다운 샘플링 비율보다 더 작은 비율로, 배경 부분에 적용되는 배경 다운 샘플링 비율은 참조 다운 샘플링 비율보다 더 큰 비율로 다운 샘플링 비율을 결정할 수 있다. 이는 움직임이 많은 객체 부분에 다운 샘플링 비율을 상대적으로 작게 하여 해상도가 높게 복원할 수 있도록 하기 위함이다. 반대로 배경 부분은 변화가 적기 때문에 다운 샘플링 비율을 상대적으로 크게 적용하여도 실질적인 차이가 크기 않다. 즉, 배경 부분에 대해서는 그라데이션을 좀더 많이 가하더라도 효과 상의 차이가 크지 않다. 따라서, 배경 부분을 희생하더라도, 객체의 움직임을 세밀하게 나타내기 위해 객체 다운 샘플링 비율을 배경 다운 샘플링 비율보다 작게 설정한다. 즉, 배경 부분에서의 비트 이용의 희생을 통해, 움직이는 객체 부분에 적용하여, 인간 인지적인 특성에서의 보다 큰 효과를 획득할 수 있다.
이를 수학식으로 표현하면, 다음과 같다.
Figure 112012065206523-pat00003
여기서, DRO 및 URO는 객체의 다운 및 업 샘플링 비율을 나타내고, DRR 및 URR은 참조 다운 및 업 샘플링 비율을 나타내며, DRB 및 URB는 배경의 다운 및 업 샘플링 비율을 나타낸다.
상기 수학식을 통해 3D 전체 영상의 픽셀 개수를 종래 기법을 통한 방식과 비교해 보면, 다음의 수학식과 같이 나타낼 수 있다.
Figure 112012065206523-pat00004
여기서, W 및 H는 3D 영상의 원본 깊이 맵의 폭 및 높이, WO 및 HO는 객체 부분에 적용되는 윈도우 사이즈를 나타낸다. 즉, 전체 픽셀의 수는 객체에서의 픽셀의 수와 배경 부분의 픽셀의 수의 합과 동일하다. 다만, 객체에서의 픽셀의 수는 상대적으로 배경 부분의 픽셀의 수보다 더 많을 수 있고, 그렇다고 하더라도, 인간 인지적인 특성상 보다 좋은 선명도를 갖는 영상을 구현할 수 있다.
객체 배경 분리부(220)는 파라미터 결정부(210)에서 결정된 다운 샘플링 비율에 기반하여 객체 부분에 씌워질 윈도우 사이즈의 크기를 결정한다. 영상을 전송할 시에는 일부만을 떼어내어 구형의 틀로 적절히 분할하여 전송한다. 윈도우 사이즈는 이러한 영상 분할의 크기를 나타내는 것으로, 본 발명의 실시예에 따르면, 배경 및 객체 전체에 동일한 윈도우 사이즈를 적용하는 것이 아니라 객체의 움직임에 기반하여 서로 다른 윈도우 크기를 갖도록 윈도우 사이즈를 결정할 수 있다. 객체/배경 분리부(220)는 윈도우 사이즈를 파라미터 결정부(210)에서 결정된 다운 샘플링 비율을 기반으로 결정할 수 있고, 이때, 객체의 움직임을 최대한 반영시킬 수 있도록 윈도우 사이즈를 정해 윈도우가 객체에 충분히 씌여질 수 있도록 하고, 나머지 움직임이 없는 부분은 배경 부분으로 간주하여 처리할 수 있다. 윈도잉(windowing)이 수행된 후, 객체와 배경은 분리되어 다운 샘플링부(230)로 전송된다.
도 3은 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 다운 샘플링 장치의 객체/배경 분리부(220)를 구체적으로 나타낸 상세블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 객체/배경 분리부(220)는 경계면 맵 생성부(310), 모션 맵 생성부(320), 윈도우 사이즈 결정부(330) 및 분리부(340)를 포함할 수 있다.
도 3을 참조하면, 경계면 맵 생성부(310)는 깊이 맵(302) 내의 경계면을 나타내는 경계면 맵을 생성한다. 본 발명의 일 실시예에 따르면, 경계면 맵 생성부(310)는 깊이 맵(302)에 대한 소벨 함수(Sobel function)을 통해 깁이 맵(302) 내의 경계면 맵을 생성할 수 있다.
모션 맵 생성부(320)는 경계면 맵 생성부(310)에서 생성된 경계면 맵을 기반으로 객체의 움직임을 나타내기 위한 모션 맵(Motion Map)을 생성한다. 본 발명의 실시예에 따르면, 모션 맵 생성부(320)는 경계면 맵의 현재 프레임과 이전 프레임 사이의 특정 블록 사이즈 내의 대응하는 픽셀 위치에서의 MAD(Mean Absolute Difference)를 이를 미리 설정된 임계값(threshold)과 비교하여, 임계값보다 클 경우 해당 블록을 255 값으로, 작을 경우 0 값으로 설정하여 모션 맵을 생성할 수 있다. 즉, 모션 맵은 움직임이 일정 기준보다 높은 블록들에 대해 255 값으로 채워진다. 또한, MAD 계산을 위한 프레임으로부터 선택되는 블록 사이즈는 8×8 사이즈가 바람직할 수 있다. 다만, 반드시 상기 블록 사이즈에 국한되는 것은 아니고, 다른 블록 사이즈를 선택할 수 있다.
윈도우 사이즈 결정부(330)는 모션 맵 생성부(320)에서 생성된 모션 맵에 대해 제 1 윈도우 사이즈 내에 가장 많은 블록들이 포함될 수 있도록 윈도우의 위치 및 가로/세로 사이즈를 바꿔가면서 객체 부분을 탐색하여 윈도우 사이즈를 결정한다.
윈도우 사이즈 결정부(330)는 먼저, 참조 다운 샘플링 비율과 파라미터 결정부(210)에서 결정되는 객체 및 배경 다운 샘플링 비율을 기반으로 제 1 윈도우 사이즈를 결정한다. 제 1 윈도우 사이즈는 미리 결정되어 있을 수 있다. 제 1 윈도우 사이즈는 3D 영상의 원본 깊이 맵의 폭과 높이, 참조 다운 샘플링 비율 및 객체 및 배경 다운 샘플링 비율을 통해 결정될 수 있다. 이를 수학식으로 표현하면 다음과 같다.
Figure 112012065206523-pat00005
이는 수학식 3을 변형하여 나타낸 것으로, 상기 수학식 4를 통해 (WO×HO)/W×H의 비율을 획득할 수 있다. 이때, 미리 결정되거나 또는 다운 샘플링 비율을 통해 결정된 제 1 윈도우 사이즈의 크기가 고정되어 있다고 하더라도, 실질적인 윈도우 사이즈의 폭과 높이는 여러가지 케이스가 존재할 수 있다. 즉, 제 1 윈도우 사이즈의 크기가 160000으로 결정되어 있다고 하더라도, 실제 윈도우 사이즈의 폭과 높이는 (200,400), (400, 200), (100,800), (800, 100) 등 여러가지 경우가 존재할 수 있다.
윈도우 사이즈 결정부(330)는 상기와 같이 결정된 제 1 윈도우 사이즈의 크기를 고정으로 하고, 크기에 맞는 여러 형태 및 여러 위치의 윈도우를 탐색하여 최적의 제 2 윈도우를 결정한다. 여기서 최적의 제 2 윈도우는 윈도우 사이즈에 모션 맵 기반으로 특정 사이즈(예컨대, 8×8 사이즈)의 블록이 가장 많이 포함될 수 있도록 하는 윈도우를 의미한다. 즉, 윈도우 사이즈 결정부(330)는 윈도우의 위치, 가로 및 세로 사이즈를 바꿔가면서 객체 부분을 탐색하여 제 2 윈도우 사이즈를 결정할 수 있다. 제 2 윈도우 사이즈 결정은 다음의 식으로 표현될 수 있다.
Figure 112012065206523-pat00006
여기서, (w×h)는 (WO×HO)와 동일한 크기를 갖는 윈도우 후보 세트를 의미하고, Count(w×h)는 모션 맵에서 윈도우 사이즈 (w×h) 내에 블록을 카운트하는 함수를 의미한다. 즉, (w×h)의 w와 h의 값을 바꿔가면서 후보 윈도우 내에 가장 많은 블록이 카운트될 때의 값을 윈도우 사이즈로 결정할 수 있다. 또한, 윈도우 사이즈는 객체 부분에 동일하게 적용될 수도 있고, 동적으로 변화하며 다르게 적용될 수 있다.
분리부(340)는 윈도우 사이즈 결정부(330)에서 결정된 제 2 윈도우 사이즈를 기반으로 분리 과정을 수행한다. 이때, 윈도잉이 이루어지는 부분이 객체 부분이고, 나머지 부분은 배경 부분이라고 간주할 수 있다. 분리가 이루어진 후에는 다운 샘플링부(230)에서, 각각의 배경 및 객체에 서로 다른 다운 샘플링 비율을 적용하여 다운 샘플링이 이루어진다.
도 4a는 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 다운 샘플링 장치의 경계면 맵 생성부(310)에 의해 생성된 경계면 맵을 나타낸 도면이고, 도 4b는 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 다운 샘플링 장치의 모션 맵 생성부에 의해 생성된 모션 맵(320)을 나타낸 도면이며, 도 4c는 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 다운 샘플링 장치의 분리부(340)에 의해 윈도잉 과정을 수행한 후의 모습을 나타낸 도면이다.
도 4a 내지 도 4c를 참조하면, 경계면 맵 생성부(310)는 움직임이 있는 객체의 경계면을 검출하여 경계면 맵을 생성하고, 모션 맵 생성부(320)는 경계면 맵을 기반으로 움직임이 있는 부분을 255 값으로 설정하여 보다 명확하게 표시하며, 분리부(340)는 결정된 윈도우 사이즈를 기반으로 윈도잉을 수행하여 객체를 배경으로부터 분리한다.
다시 도 2로 돌아가서, 객체/배경 분리부(220)에서 객체와 배경에 대한 분리 처리가 끝나고 나면, 다운 샘플링부(230)에서 배경 및 객체 각각에 대한 독립적인 다운 샘플링이 수행된다.
다운 샘플링부(230)는 객체 다운 샘플링부(232) 및 배경 다운 샘플링부(234)를 포함한다. 객체 다운 샘플링부(232)는 객체/배경 분리부(220)에서 객체로 분리된 부분에 대해 객체 다운 샘플링 비율을 적용하여 다운 샘플링을 수행한다. 이때, 다운 샘플링 기법은 다양한 기법을 사용할 수 있다. 본 발명의 실시예에 따르면, 전술한 original 기법, average 기법, median 기법 중 어느 하나를 사용하여 다운 샘플링을 수행할 수 있다.
객체 다운 샘플링부(232)는 상대적으로 작은 다운 샘플링 비율을 적용하기 때문에 압축 효율은 희생할 수 있으나 정확한 영상의 구현을 수행할 수 있다. 배경 다운 샘플링부(234)는 객체 부분이 아닌 부분이 배경 부분으로 간주되고, 배경 부분에 대해 배경 다운 샘플링 비율을 적용하여 다운 샘플링을 수행한다. 배경 다운 샘플링부(234)는 객체 다운 샘플링 비율보다 상대적으로 큰 다운 샘플링 비율을 적용하여 다운 샘플링하고, 이를 통해 데이터 비트에서의 이용률을 효율적으로 할 수 있다.
인코딩부(240)는 객체 및 배경 부분에 대한 다운 샘플링 관련 정보를 기반으로 인코딩을 수행하여 다운샘플링 영상 데이터를 생성한다.
전송부(250)는 다운 샘플링 영상 데이터를 수신단으로 전송한다.
객체 위치 전송부(260)는 객체 부분의 위치 관련 정보를 수신측으로 전송한다. 객체 부분의 위치 관련 정보는 객체/배경 분리부(220)에서 결정된 윈도우 사이즈에 의해 윈도잉이 이루어진 객체 윈도우의 픽셀 도메인 상의 정보를 포함한다. 즉, 픽셀 도메인 상에서 객체가 어디에 위치해 있는지에 대한 정보를 포함하여 전송한다. 객체 위치 정보는 픽셀 도메인 상에서 사각형 윈도우의 4 포인트의 픽셀 좌표로 구성될 수 있고, 좌사, 우상, 좌하, 우하 총 4 픽셀에 대한 위치 정보를 나타낸다. 해당 전보는 신뢰성 있게 전송되야 한다. 즉, 수신단에서 객체/배경 부분이 업 샘플링되고 병합되기 위해 반드시 필요한 정보이기 때문에 다운샘플링 영상 데이터와 다른 채널을 통해 에러 없이 전송될 수 있다.
도 5는 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 다운 샘플링 장치의 전송부(250) 및 객체 위치 전송부(260)가 다른 채널을 사용하여 데이터를 전송하는 것을 설명하기 위한 개념도이다.
도 5를 참조하면, 전송부(250)는 다운 샘플링 영상 데이터를 채널 1(510)을 통해 수신단으로 전송하는데 반해, 객체 위치 전송부(260)는 객체 위치 관련 정보를 채널 2(520)를 통해 수신단으로 전송한다. 채널은 반드시 근접한 채널을 이용할 것을 아니고, 반드시 다른 채널로 전송해야 하는 것도 아니다. 동일한 채널을 통해 전송할 수도 있다. 다만, 보다 신뢰성 있는 전송을 위해 다른 채널로 전송하는 것이 바람직할 수 있다. 배경 관련 위치 정보는 전체 3D 영상의 폭과 높이 관련 정보를 전송하고, 전체 3D 영상에서 객체 부분을 뺀 나머지 부분이 배경이 되기 때문에 별도로 전송하지 않아도 무방하다.
도 6은 본 발명의 일 실시예에 따른 하이브리드 깊이 맵 업 샘플링 장치를 나타낸 블록도이다. 도 6을 참조하면, 본 발명의 일 실시예에 따른 업 샘플링 장치는 수신부(610), 디코딩부(620), 업 샘플링부(630) 및 출력부(640)를 포함할 수 있다.
도 6을 참조하면, 수신부(610)는 3D 영상 데이터를 수신한다. 여기서 3D 영상 데이터는 서로 다른 샘플링 비율을 적용하여 객체 및 배경을 다운 샘플링한 3D 영상과 관련된 데이터를 의미할 수 있다.
디코딩부(620)는 3D 영상 데이터에 대해 디코딩을 수행한다.
업 샘플링부(630)는 객체 및 배경 부분에 대해 적절한 업 샘플링 기법을 이용하여 다운 샘플링 전의 사이즈로 변환한다. 업 샘플링부(630)는 객체 업 샘플링부(632) 및 배경 업 샘플링부(634)를 포함할 수 있고, 이는 각각 객체 및 배경에 대한 독립적인 업 샘플링을 수행한다. 업 샘플링 기법에 대한 제한은 없고, 다운 샘플링 시의 에러를 최소화할 수 있는 여러 업 샘플링 기법들을 사용할 수 있다.
출력부(640)는 원래의 사이즈로 변환된 객체 및 배경 두 부분에 대해 에러 없이 전송되는 객체 위치 정보를 기반으로 하여 병합 과정이 이루어진다. 에러 없는 전송을 위해, 객체 위치 정보는 3D 영상 데이터와는 다른 채널을 통해 전송될 수 있다. 출력부(640)는 병합 과정을 거쳐 원래의 깊이 맵을 생성하고, 이를 텍스처 관련 정보와 연계하여 좌영상 및 우영상으로 재생시킬 수 있다.
시뮬레이션 수행 결과
본 발명의 하이브리드 깊이 맵 다운/업 샘플링 장치의 성능을 실험하기 위해 다음과 같은 환경에서 시뮬레이션을 진행하였다. 시뮬레이션에 사용된 도구는 MPEG WG 11에서 제안된 한 시점의 컬러 영상과 깊이 맵 영상을 이용하여 좌/우 영상을 함성하는 스테레오스코픽 환경에서 진행되었다.
시뮬레이션에 사용된 테스트 비디오 영상은 대표적인 스테레오스코픽 테스트 시퀀스인 1024×768 사이즈의 "발레(Ballet)"와 "브레이크 댄서(Breakdancer)" 영상을 사용하였고, 시퀀스 별로 100 프레임이 사용되었다.
다운 샘플링 방식은 블록 내의 첫 번째 픽셀 값을 대표 값으로 하는 original 다운 샘플링 기법이 사용되었다.
수신단에서의 업 샘플링은 OpenCV 2.0에서 지원하는 rescaling 기법인 Nearest-Neighbor(이하, NN) 기법/ Bilinear(이하, LINEAR) 기법/ re-sampling using area relation(이하, AREA) 기법/ Bi-cubic(이하, CUBIC) interpolation 기법이 사용되었고, 각각의 업 샘플링 기법에 따른 비교도 나타낸다.
본 발명의 하이브리드 다운 샘플링 기법을 통해 재구성(reconstruction)된 깊이 맵을 이용하여 좌측 영상을 합성한 경우와 종래의 방식처럼 하나의 다운 샘플링 비율을 통한 재구성(reconstruction)된 깊이 맵을 이용하여 좌측 영상을 합성한 경우, 두 경우 사이의 객관적 화질 평가와 주관적 화질 평가를 실시하였다. 두 경우 모두 본 발명에 따른 다운 샘플링 기법의 효과에 집중하기 위해서 압축 과정은 모두 생략하였고, 이는 픽셀의 개수를 맞춤으로써 요구되는 데이터 수를 동일하게 하였기 때문에 공정한 비교가 된다.
시뮬레이션에 사용되는 파라미터 설정은 표 1과 같다.
Figure 112012065206523-pat00007
종래의 방식은 4 픽셀마다 가로/세로 샘플링이 이루어지고, 본 발명에 따른 방식은 객체의 경우 2 픽셀, 배경의 경우는 8 픽셀마다 샘플링이 이루어지도록 다운 샘플링 비율 파라미터를 설정하였다. 정해진 다운 샘플링 비율을 통해 윈도우 사이즈를 384×408로 설정하였다. 표 1에서 알 수 있듯이, 종래의 방식보다 사용되는 픽셀의 개수가 프레임 당 140 여개 적게 사용되고, 이는 100 프레임 전체로 봤을 때, 대략 10.5 KB의 데이터 감소 결과를 보인다.
표 2는 객관적 화질 평과 결과를 나타낸 표이다.
Figure 112012065206523-pat00008
표 2를 참조하면, 객관적 화질 평가 결과, 표 2와 같이 테스트한 모든 시퀀스 및 모든 업 샘플링 기법에서 +0.2 ~ +1.4 사이의 PSNR 증가를 보였다. 표 1에서와 같이 프레임 별로 사용되는 픽셀의 개수가 적음에도 불구하고 PSNR 측면에서 이득이 있음을 보여준다.
도 7a는 주관적 화질 평가를 위해 종래의 깊이 맵 다운 샘플링 방법과 본 발명의 일 실시예에 따른 깊이 맵 다운 샘플링 방법에 의해 다운 샘플링된 영상을 NN 및 LINEAR 업 샘플링 기법을 통해 업 샘플링한 화면을 나타낸 도면이다. 즉, 도 7a의 왼쪽 두 개의 화면은 NN 기법을 통해 업 샘플링된 것이고, 이중 첫번째 것은 종래 방식에 의해, 두번째 것은 본 발명의 방식에 의해 다운 샘플링된 것이다. 또한, 오른쪽 두 개의 화면은 LINEAR 기법을 통해 업 샘플링 된 것이고, 세번째 것은 종래 방식에 의해, 네번째 것은 본 발명의 방식에 의해 다운 샘플링된 것이다.
도 7b는 주관적 화질 평가를 위해 종래의 깊이 맵 다운 샘플링 방법과 본 발명의 일 실시예에 따른 깊이 맵 다운 샘플링 방법에 의해 다운 샘플링된 영상을 AREA 및 CUBIC 업 샘플링 기법을 통해 업 샘플링한 화면을 나타낸 도면이다. 즉, 도 7b의 왼쪽 두 개의 화면은 AREA 기법을 통해 업 샘플링된 것이고, 이중 첫번째 것은 종래 방식에 의해, 두번째 것은 본 발명의 방식에 의해 다운 샘플링된 것이다. 또한, 오른쪽 두 개의 화면은 CUBIC 기법을 통해 업 샘플링 된 것이고, 세번째 것은 종래 방식에 의해, 네번째 것은 본 발명의 방식에 의해 다운 샘플링된 것이다. 영상은 발레 영상을 기분으로 시뮬레이션을 수행하였다.
도 7a 및 도 7b를 참조하면, 모든 업 샘플링 기법에 대해 본 발명의 방식을 적용하여 다운 샘플링하였을 때, 화질이 보다 선명하고 흔들림 없이 재생되는 것을 알 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 객체와 배경으로 구성된 3D 영상에 대해 객체와 배경을 깊이 맵을 기반으로 구분하여 분리시키는 객체/배경 분리 단계; 및
    상기 분리된 객체와 배경 부분에 대해 서로 다른 다운 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 다운 샘플링을 수행하는 다운 샘플링 수행 단계를 포함하는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 방법.
  2. 제 1 항에 있어서,
    객체와 배경에 각각 적용시킬 상기 다운 샘플링 비율을 결정하는 파라미터 결정 단계;
    상기 다운 샘플링된 객체 및 배경 부분에 대해 인코딩을 수행하는 인코딩 단계; 및
    상기 인코딩된 다운 샘플링 영상 데이터를 수신측으로 전송하는 전송 단계를 더 포함하는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 방법.
  3. 제 2 항에 있어서,
    상기 3D 영상 전체에 적용시킬 수 있는 참조 다운 샘플링 비율을 기준으로 객체 부분에 적용되는 객체 다운 샘플링 비율은 상기 참조 다운 샘플링 비율보다 더 작고, 배경 부분에 적용되는 배경 다운 샘플링 비율은 상기 참조 다운 샘플링 비율보다 더 큰 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 방법.
  4. 제 2 항에 있어서, 상기 객체/배경 분리 단계는
    상기 파라미터 결정 단계에서 결정된 상기 다운 샘플링 비율에 기반하여 객체의 움직임을 최대한 반영시킬 수 있도록 윈도우 사이즈를 결정하는 단계를 포함하는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 방법.
  5. 제 3 항에 있어서, 상기 객체/배경 분리 단계는
    상기 깊이 맵을 기반으로 깊이 맵 내의 경계면 맵을 생성하는 단계;
    상기 경계면 맵을 기반으로 움직임이 있는지에 관한 정보를 포함하는 모션 맵을 생성하는 단계; 및
    상기 모션 맵을 기반으로 상기 다운 샘플링 비율을 통해 결정 또는 미리 결정된 제 1 윈도우 사이즈 크기를 기반으로 윈도우 내에 가장 많은 블록들이 포함될 수 있도록 윈도우의 위치, 가로 및 세로 사이즈를 바꿔가면서 객체 부분을 탐색하여 제 2 윈도우 사이즈를 결정하는 단계; 및
    상기 결정된 제 2 윈도우 사이즈를 기반으로 객채 부분 및 배경 부분을 분리하는 단계를 포함하는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 방법.
  6. 제 5 항에 있어서,
    상기 경계면 맵 생성 단계는 상기 깊이 맵에 대한 소벨 함수를 통해 상기 경계면 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 방법.
  7. 제 6 항에 있어서,
    상기 모션 맵 생성 단계는 상기 모션 맵을 기반으로 현재 프레임과 이전 프레임 간의 특정 블록 사이즈 내의 대응되는 픽셀 위치에서의 MAD(Mean Absolute Difference)를 임계값과 비교하여 상기 임계값보다 높은 블록과 낮은 블록에 다른 값을 설정하여 상기 모션 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 방법.
  8. 제 5 항에 있어서,
    상기 제 1 윈도우 사이즈의 크기는
    Figure 112012065206523-pat00009
    (여기서, W 및 H는 3D 영상의 원본 깊이 맵의 가로 및 세로의 사이즈, WO 및 HO는 제 1 윈도우 사이즈의 가로 및 세로 사이즈이고, DRO는 객체 다운 샘플링 비율, DRB는 배경 다운 샘플링 비율, DRR은 참조 다운 샘플링 비율을 나타냄)에 의해 결정되는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 방법.
  9. 제 2 항에 있어서,
    상기 분리된 객체 부분에 대한, 픽셀 도메인 상에서의 위치와 관련된 정보를 상기 인코딩된 다운 샘플링 영상 데이터와 별도의 채널을 통해 상기 수신측으로 전송하는 단계를 더 포함하는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 방법.
  10. 객체와 배경으로 구성된 3D 영상에 대해 객체와 배경을 깊이 맵을 기반으로 구분하여 분리시키는 객체/배경 분리부; 및
    상기 분리된 객체와 배경 부분에 대해 서로 다른 다운 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 다운 샘플링을 수행하는 다운 샘플링 수행부를 포함하는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 장치.
  11. 제 10 항에 있어서,
    객체와 배경에 각각 적용시킬 상기 다운 샘플링 비율을 결정하는 파라미터 결정부;
    상기 다운 샘플링된 객체 및 배경 부분에 대해 인코딩을 수행하는 인코딩부; 및
    상기 인코딩된 다운 샘플링 영상 데이터를 수신측으로 전송하는 전송부를 더 포함하는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 장치.
  12. 제 11 항에 있어서, 상기 파라미터 결정부는
    상기 3D 영상 전체에 적용시킬 수 있는 참조 다운 샘플링 비율을 기준으로 객체 부분에 적용되는 객체 다운 샘플링 비율은 상기 참조 다운 샘플링 비율보다 더 작고, 배경 부분에 적용되는 배경 다운 샘플링 비율은 상기 참조 다운 샘플링 비율보다 더 크도록 상기 다운 샘플링 비율을 결정하는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 장치.
  13. 제 10 항에 있어서, 상기 객체/배경 분리부는
    상기 파라미터 결정부에서 결정된 상기 다운 샘플링 비율에 기반하여 객체의 움직임을 최대한 반영시킬 수 있도록 윈도우 사이즈를 결정하는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 장치.
  14. 제 10 항에 있어서,
    상기 객체/배경 분리부를 통해 분리된 객체 부분에 대한, 픽셀 도메인 상에서의 위치와 관련된 정보를 상기 인코딩된 다운 샘플링 영상 데이터와 별도의 채널을 통해 상기 수신측으로 전송하는 객체 위치 전송부를 더 포함하는 것을 특징으로 하는 하이브리드 깊이 맵 다운 샘플링 장치.
  15. 객체와 배경에 대해 서로 다른 다운 샘플링 비율로 다운 샘플링된 3D 영상 데이터를 수신하는 수신 단계;
    상기 수신된 영상 데이터를 디코딩하는 디코딩 단계;
    상기 디코딩된 객체 부분 및 배경 부분에 대해 상기 서로 다른 업 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 업 샘플링을 수행하는 업 샘플링 단계; 및
    상기 업 샘플링된 객체 및 배경 부분을 병합하여 출력하는 출력 단계를 포함하는 것을 특징으로 하는 것을 특징으로 하는 하이브리드 깊이 맵 업 샘플링 방법.
  16. 제 15 항에 있어서, 상기 출력 단계는
    상기 객체 부분에 대한, 픽셀 도메인 상에서의 위치와 관련된 정보를 상기 다운 샘플링된 3D 영상 데이터와 별도의 채널을 통해 수신하여 상기 수신된 객체 부분의 위치 관련 정보를 기반으로 상기 업 샘플링된 객체 및 배경 부분을 병합하여 출력하는 단계를 포함하는 것을 특징으로 하는 하이브리드 깊이 맵 업 샘플링 방법.
  17. 객체와 배경에 대해 서로 다른 다운 샘플링 비율로 다운 샘플링된 3D 영상 데이터를 수신하는 수신부;
    상기 수신된 영상 데이터를 디코딩하는 디코딩부;
    상기 디코딩된 객체 부분 및 배경 부분에 대해 상기 서로 다른 업 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 업 샘플링을 수행하는 업 샘플링부; 및
    상기 업 샘플링된 객체 및 배경 부분을 병합하여 출력하는 출력부를 포함하는 것을 특징으로 하는 것을 특징으로 하는 하이브리드 깊이 맵 업 샘플링 장치.
  18. 제 17 항에 있어서, 상기 출력부는
    상기 객체 부분에 대한, 픽셀 도메인 상에서의 위치와 관련된 정보를 상기 다운 샘플링된 3D 영상 데이터와 별도의 채널을 통해 수신하여 상기 수신된 객체 부분의 위치 관련 정보를 기반으로 상기 업 샘플링된 객체 및 배경 부분을 병합하여 출력하는 것을 특징으로 하는 하이브리드 깊이 맵 업 샘플링 장치.
  19. 객체와 배경으로 구성된 3D 영상에 대해 객체와 배경을 깊이 맵을 기반으로 구분하여 분리시키고, 상기 분리된 객체와 배경 부분에 대해 서로 다른 다운 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 다운 샘플링을 수행하여 인코딩한 다운 샘플링 데이터를 수신측으로 전송하는 인코더; 및
    상기 다운 샘플링 데이터를 수신하여 디코딩하고, 상기 디코딩된 3D 영상의 객체 부분 및 배경 부분에 대해 상기 서로 다른 업 샘플링 비율을 적용하여 독립적으로 깊이 맵에 대한 업 샘플링을 수행하여 출력하는 디코더를 포함하는 것을 특징으로 하는 하이브리드 깊이 맵 다운/업 샘플링 시스템.
  20. 제 19 항에 있어서,
    상기 인코더는 상기 3D 영상 전체에 적용시킬 수 있는 참조 다운 샘플링 비율을 기준으로 객체 부분에 적용되는 객체 다운 샘플링 비율은 상기 참조 다운 샘플링 비율보다 더 작고, 배경 부분에 적용되는 배경 다운 샘플링 비율은 상기 참조 다운 샘플링 비율보다 더 크게 되도록 상기 다운 샘플링 비율을 결정하고,
    상기 다운 샘플링 비율에 기반하여 객체의 움직임을 최대한 반영시킬 수 있도록 윈도우 사이즈를 결정하는 것을 특징으로 하는 하이브리드 깊이 맵 다운/업 샘플링 시스템.
KR1020120089018A 2012-08-14 2012-08-14 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템 KR101347750B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120089018A KR101347750B1 (ko) 2012-08-14 2012-08-14 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120089018A KR101347750B1 (ko) 2012-08-14 2012-08-14 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템

Publications (1)

Publication Number Publication Date
KR101347750B1 true KR101347750B1 (ko) 2014-01-16

Family

ID=50144558

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120089018A KR101347750B1 (ko) 2012-08-14 2012-08-14 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템

Country Status (1)

Country Link
KR (1) KR101347750B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520536A (zh) * 2018-03-27 2018-09-11 海信集团有限公司 一种视差图的生成方法、装置及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990082504A (ko) * 1996-12-12 1999-11-25 모리시타 요이찌 이미지 코딩 장치 및 이미지 디코딩 장치
KR100480751B1 (ko) 1998-10-10 2005-05-16 삼성전자주식회사 동영상부호화/복호화방법및장치
JP2010510600A (ja) 2006-11-21 2010-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像の深度マップの生成
KR20110135786A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990082504A (ko) * 1996-12-12 1999-11-25 모리시타 요이찌 이미지 코딩 장치 및 이미지 디코딩 장치
KR100480751B1 (ko) 1998-10-10 2005-05-16 삼성전자주식회사 동영상부호화/복호화방법및장치
JP2010510600A (ja) 2006-11-21 2010-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像の深度マップの生成
KR20110135786A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520536A (zh) * 2018-03-27 2018-09-11 海信集团有限公司 一种视差图的生成方法、装置及终端
CN108520536B (zh) * 2018-03-27 2022-01-11 海信集团有限公司 一种视差图的生成方法、装置及终端

Similar Documents

Publication Publication Date Title
EP3751857A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
KR102560187B1 (ko) 3차원(＂3d＂) 장면의 2차원(＂2d＂) 캡처 이미지를 기반으로 하는 가상 현실 콘텐츠를 렌더링하기 위한 방법 및 시스템
EP1582074B1 (en) Video filtering for stereo images
EP2235685B1 (en) Image processor for overlaying a graphics object
EP2299726B1 (en) Video communication method, apparatus and system
WO2017215587A1 (zh) 一种视频图像的编解码方法和装置
KR101468267B1 (ko) 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
KR20220084407A (ko) 포인트 클라우드 표현을 통한 메시 압축
US9525858B2 (en) Depth or disparity map upscaling
RU2519433C2 (ru) Способ и система для обработки входного трехмерного видеосигнала
Lee et al. Discontinuity-adaptive depth map filtering for 3D view generation
US20110069150A1 (en) Stereoscopic video encoding and decoding methods and apparatus
CN102186023B (zh) 一种双目立体字幕处理方法
KR101705025B1 (ko) 윤곽선 정보를 이용한 입체 영상 압축 장치 및 방법
KR102004248B1 (ko) ３차원 비디오를 위한 영상 처리 방법 및 장치
JP7344988B2 (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
TWI511525B (zh) 用於產生、傳送及接收立體影像之方法，以及其相關裝置
WO2019034131A1 (en) METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME
KR101347750B1 (ko) 하이브리드 다운 샘플링 방법 및 장치, 하이브리드 업 샘플링 방법 및 장치 및 하이브리드 다운/업 샘플링 시스템
JP5410232B2 (ja) 画像復元装置、そのプログラム、及び、多次元画像復元装置
EP2624559A1 (en) Image transmission device and method, and image reproduction device and method
WO2019185983A1 (en) A method, an apparatus and a computer program product for encoding and decoding digital volumetric video
Ramachandra et al. Combined image plus depth seam carving for multiview 3D images
KR20120079794A (ko) 영상 처리 장치 및 방법
WO2022219230A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160928

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee