KR20140089476A - 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법 - Google Patents

깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법 Download PDF

Info

Publication number
KR20140089476A
KR20140089476A KR1020130168877A KR20130168877A KR20140089476A KR 20140089476 A KR20140089476 A KR 20140089476A KR 1020130168877 A KR1020130168877 A KR 1020130168877A KR 20130168877 A KR20130168877 A KR 20130168877A KR 20140089476 A KR20140089476 A KR 20140089476A
Authority
KR
South Korea
Prior art keywords
mode
depth
sdc
coding unit
depth image
Prior art date
Application number
KR1020130168877A
Other languages
English (en)
Other versions
KR102216585B1 (ko
Inventor
임일순
오병태
위호천
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2014/000035 priority Critical patent/WO2014107038A1/ko
Priority to US14/650,058 priority patent/US10631006B2/en
Priority to CN201480004107.1A priority patent/CN104904220B/zh
Publication of KR20140089476A publication Critical patent/KR20140089476A/ko
Application granted granted Critical
Publication of KR102216585B1 publication Critical patent/KR102216585B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법이 개시된다. 깊이 영상을 인트라 예측 모드에 따라 처리하기 위해, 부호화 장치 또는 복호화 장치는 SDC 모드 중 DC 모드, Planar 모드 또는 DMM1 중 어느 하나의 대표 모드를 이용할 수 있다. 또는 깊이 영상을 인트라 예측 모드에 따라 처리하기 위해, 부호화 장치 또는 복호화 장치는 Planar 모드 또는 DMM1 중 어느 하나의 대표 모드를 이용할 수 있다.

Description

깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법 {ENCODING APPARATUS AND DECODING APPARATUS FOR DEPTH MAP, AND ENCODING METHOD AND DECODING METHOD}
이하의 일실시예들은 깊이 영상을 부호화 또는 복호화할 때 SDC 모드에 따라 처리하는 것을 설명하고 있다. 특히, 일실시예들은 제한된 대역폭으로 인하여 깊이 영상의 비트 발생량을 줄여야 하는 동영상 압축 분야에 적용될 수 있다.
깊이 영상을 부호화하거나 또는 복호화하기 위해 인트라 예측 또는 인터 예측이 이용될 수 있다. 인트라 예측은 코딩 유닛의 공간적 연관 관계를 고려하고, 인터 예측은 코딩 유닛의 시간적 연관 관계를 고려할 수 있다.
특히 깊이 영상을 인트라 예측을 하기 위해서, 종래의 압축 기법에 의하면 복수의 모드들을 설정한 후 가장 최소의 비용을 나타내는 코딩 모드가 코딩 유닛에 적용되었다. 하지만, 깊이 영상은 0~255의 그레이 레벨 중 특정한 그레이 레벨을 나타내므로, 전송할 때 필요한 비트량을 줄이기 위해서 보다 효율적인 코딩 모드를 설정하는 것이 필요하였다.
일실시예들은, 깊이 영상을 인트라 예측 모드에 따라 부호화하거나 또는 복호화할 때 SDC(Simplified Depth Coding) 모드 중 DC, Planar 및 DMM1 중 어느 하나의 대표 모드에 따라 코딩 유닛을 처리할 수 있는 장치 및 방법을 제공한다.
일실시예들은 깊이 영상을 인트라 예측 모드에 따라 부호화하거나 또는 복호화할 때 SDC 모드 중 Planar 및 DMM1 중 어느 하나의 대표 모드에 따라 코딩 유닛을 처리할 수 있는 장치 및 방법을 제공한다.
일실시예들은, 깊이 영상의 코딩 유닛인 현재 블록에 인접한 왼쪽 블록 또는 위쪽 블록의 SDC 모드를 고려하여 현재 블록을 부호화하거나 또는 복호화할 수 있는 장치 및 방법을 제공한다.
일실시예에 따른 깊이 영상의 부호화 방법은 깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및 상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계를 포함하고, 상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
상기 부호화 방법에서 상기 부호화하는 단계는, 상기 코딩 유닛에 대응하는 현재 블록의 왼쪽 블록 또는 위쪽 블록의 SDC 모드를 고려하여 코딩 유닛을 부호화할 수 있다.
상기 코딩 유닛의 잔차 정보는, 상기 깊이 영상을 구성하는 프레임마다 생성된 깊이 룩업 테이블에 기초하여 인덱스와 매핑될 수 있다.
다른 실시예에 따른 깊이 영상의 부호화 방법은 깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및 상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계를 포함하고, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
상기 부호화 방법에서 상기 부호화하는 단계는, 상기 코딩 유닛에 대응하는 현재 블록의 왼쪽 블록 또는 위쪽 블록의 SDC 모드를 고려하여 코딩 유닛을 부호화할 수 있다.
상기 코딩 유닛의 잔차 정보는, 상기 깊이 영상을 구성하는 프레임마다 생성된 깊이 룩업 테이블에 기초하여 인덱스와 매핑될 수 있다.
일실시예에 따른 깊이 영상의 복호화 방법은, 깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 포함하고, 상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
상기 Planar Mode는, 원래 깊이값과 상기 코딩 유닛에 포함된 복수의 샘플들 중 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들에 기초한 예측 깊이값을 이용하는 SDC 모드일 수 있다.
상기 DMM 1는, 원래 깊이값과 상기 코딩 유닛에서 동일한 세그먼트에 속하는 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들로부터 도출된 각 세그먼트의 예측 깊이값을 이용하는 SDC 모드일 수 있다.
다른 실시예에 따른 깊이 영상의 복호화 방법은 깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 포함하고, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode), 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
상기 Planar Mode는, 원래 깊이값과 상기 코딩 유닛에 포함된 복수의 샘플들 중 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들에 기초한 예측 깊이값을 이용하는 SDC 모드일 수 있다.
상기 DMM 1는, 원래 깊이값과 상기 코딩 유닛에서 동일한 세그먼트에 속하는 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들로부터 도출된 각 세그먼트의 예측 깊이값을 이용하는 SDC 모드일 수 있다.
또 다른 실시예에 따른 깊이 영상의 복호화 방법은 깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 포함하고, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드가 제외될 수 있다.
또 다른 실시예에 따른 깊이 영상의 복호화 방법은 깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 포함하고, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드 및 DMM2가 제외될 수 있다.
일실시예에 따른 깊이 영상의 부호화 장치에 있어서, 프로세스를 포함하고, 상기 프로세서는 깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및 상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계를 수행하며, 상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
다른 실시예에 따른 깊이 영상의 부호화 장치에 있어서, 프로세스를 포함하고, 상기 프로세서는 깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및 상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계를 수행하며, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
일실시예에 따른 깊이 영상의 복호화 장치에 있어서, 상기 복호화 장치는 프로세스를 포함하고, 상기 프로세서는, 깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 수행하며, 상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
다른 실시예에 따른 깊이 영상의 복호화 장치에 있어서, 상기 복호화 장치는 프로세스를 포함하고, 상기 프로세서는, 깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 수행하며, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함할 수 있다.
또 다른 실시예에 따른 깊이 영상의 복호화 장치에 있어서, 상기 복호화 장치는 프로세서를 포함하고, 상기 프로세서는, 깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 수행하며, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드가 제외될 수 있다.
또 다른 실시예에 따른 깊이 영상의 복호화 장치에 있어서, 상기 복호화 장치는 프로세서를 포함하고, 상기 프로세서는, 깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및 상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계를 수행하며, 상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드 및 DMM2가 제외될 수 있다.
깊이 영상을 인트라 예측 모드에 따라 부호화하거나 또는 복호화할 때 SDC(Simplified Depth Coding) 모드 중 DC, Planar 및 DMM1 중 어느 하나의 대표 모드에 따라 코딩 유닛을 처리함으로써, 보다 효율적으로 코딩 유닛을 처리할 수 있다.
일실시예들은 깊이 영상을 인트라 예측 모드에 따라 부호화하거나 또는 복호화할 때 SDC 모드 중 Planar 및 DMM1 중 어느 하나의 대표 모드에 따라 코딩 유닛을 처리함으로써, 보다 효율적으로 코딩 유닛을 처리할 수 있다.
일실시예들은, 깊이 영상의 코딩 유닛인 현재 블록에 인접한 왼쪽 블록 또는 위쪽 블록의 SDC 모드를 고려하여 현재 블록을 부호화하거나 또는 복호화함으로써, 깊이 영상의 특징을 보다 효과적으로 반영할 수 있다.
도 1은 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
도 2는 일실시예에 따른 부호화 장치의 동작을 도시한 플로우차트이다.
도 3은 일실시예에 따른 복호화 장치의 동작을 도시한 플로우차트이다.
도 4는 일실시예에 따른 DMM1를 설명하기 위한 도면이다.
도 5는 일실시예에 따른 Planar에 기초하여 예측값을 도출하는 과정을 나타낸 도면이다.
도 6은 일실시예에 따른 DMM1에 기초하여 예측값을 도출하는 과정을 나타낸 도면이다.
도 7은 일실시예에 따른 현재 블록의 코딩 모드를 결정하는 과정을 나타낸 도면이다.
도 8은 일실시예에 따른 깊이 룩업 테이블을 보상하는 enable_flag를 나타낸 도면이다.
도 9는 일실시예에 따른 슬라이스 헤더 내에 위치한 깊이 룩업 테이블을 도시한 도면이다.
도 10은 다른 실시예에 따른 슬라이스 헤더 내에 위치한 깊이 룩업 테이블을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
도 1을 참고하면, 부호화 장치(101)는 깊이 영상을 부호화한 비트스트림을 복호화 장치(102)에 전송할 수 있다. 또는, 부호화 장치(101)가 깊이 영상을 부호화하여 이를 기록 매체에 저장하거나 또는 별도의 파일 포맷으로 저장할 수 있다. 그러면, 복호화 장치(102)는 비트스트림으로부터 깊이 영상을 도출하여 3차원 영상을 재생할 수 있다. 이 때, 비트스트림을 전송하기 위해 필요한 대역폭이 제한되므로, 깊이 영상의 비트 발생량을 줄일 필요가 있다. 여기서, 깊이 영상은 깊이 맵으로 표현될 수도 있다.
일례로, 부호화 장치(101)는 깊이 영상을 인트라 예측을 통해 부호화할 수 있다. 부호화 장치(101)는 H.264/AVC, H.264/MVC, HEVC 등과 같은 영상 압축 방식에 기초하여 깊이 영상을 부호화할 수 있다. 이 때, 부호화 장치(101)는 하나의 깊이 영상을 복수의 코딩 유닛들로 분할한 후, 코딩 유닛 간의 공간적 연관성에 기초하여 인트라 예측을 수행하거나 또는 코딩 유닛 간의 시간적 연관성에 기초하여 인터 예측을 수행할 수 있다.
이 때, 인트라 예측은 부호화하고자 하는 코딩 유닛의 화소값을 코딩 유닛에 인접한 주변 화소들의 화소값으로부터 예측하는 것을 의미한다. 인트라 예측을 통해 계산되는 코딩 유닛의 예측값은 코딩 유닛의 크기와 예측에 사용하는 주변 화소들을 어떻게 참조하는 지에 따라 달라질 수 있다.
영상 압축 방식은 코딩 유닛의 크기와 주변 화소들의 참조 방법에 따라 인트라 예측 모드의 종류가 정의되어 있다. 부호화 장치(101)는 영상 압축 방식에 정의된 인트라 예측 모드들 중 어느 하나를 선택하여 코딩 유닛에 대해 부호화할 수 있다. 부호화 장치(101)는 코딩 유닛의 부호화에 필요한 비트율과, 복호화된 코딩 유닛의 왜곡이 최소화할 수 있는 인트라 예측 모드를 선택한다. 구체적으로, 부호화 장치(101)는 영상 압축 방식에서 정의한 모든 인트라 예측 모드에 따라 부호화한 후, 부호화 결과에 대한 비용이 가장 적은 인트라 예측 모드를 코딩 유닛의 부호화 모드로 선택할 수 있다.
깊이 영상을 인트라 예측에 따라 부호화할 때, 부호화 장치(101)는 깊이 영상의 특성에 따라 특정한 그레이 레벨(gray level)을 인덱스로 표현한 깊이 룩업 테이블을 생성할 수 있다. 구체적으로, 코딩 유닛의 픽셀값과 잔차 정보를 인덱스로 표현함으로써 부호화 효율을 높이는 방식을 심플 깊이 코딩(Simplified Depth Coding: SDC)로 정의하기로 한다. 깊이 영상은 0~255까지의 그레이 레벨 중 특정된 그레이 레벨에 대응하는 픽셀들로 구성되므로, SDC 모드에 따라 부호화하는 경우 부호화 효율이 향상될 수 있다.
부호화 장치(101)는 SDC 모드에 정의된 대표 모드를 이용하여 깊이 영상을 부호화할 수 있다. 일반적으로, 대표 모드는 DC, DMM1, DMM2, 및 Planar를 포함할 수 있다. 하지만, 일실시예에 따른 부호화 장치(101)는 4가지의 대표 모드 중 DMM2를 제외한 나머지 3개의 대표 모드에 따라 부호화할 수 있다. 다른 실시예에 따르면, 부호화 장치(101)는 4가지의 대표 모드 중 DC, DMM2를 제외한 나머지 2개의 대표 모드에 따라 부호화할 수 있다.
부호화 장치(101)는 코딩 유닛에 대응하는 코딩 유닛마다 부호화에 사용된 대표 모드를 설정할 수 있다. 그러면, 부호화 장치(101)는 대표 모드 및 코딩 유닛을 예측한 결과인 잔차 정보를 복호화 장치(102)에 전달할 수 있다.
도 2는 일실시예에 따른 부호화 장치의 동작을 도시한 플로우차트이다.
단계(201)에서, 부호화 장치(101)는 코딩 유닛을 SDC 모드로 부호화할 수 있다. SDC 모드에 따라 깊이 영상을 부호화하는 경우, 부호화 장치(101)는 HEVC에서 일반적으로 사용하는 35가지 인트라 예측 모드를 사용하지 않고 적은 수의 대표 모드를 이용하여 깊이 영상을 부호화할 수 있다. 깊이 영상이 컬러 영상만큼 복잡하지 않고 그레이 레벨이 일정 범위에 분포되어 있으므로, 간단한 대표 모드로 대부분의 예측이 가능할 수 있다.
SDC 모드는 3차원 비디오를 재생하기 위한 깊이 영상을 부호화할 때 적용하는 인트라 예측 모드와 관련된다. 일실시예에 따르면, 부호화 장치(101)는 깊이 영상을 부호화기 위해, SDC 모드 중 DMM2와 DC를 제외한 Planar와 DMM1 중 어느 하나를 이용할 수 있다. 즉, SDC 모드는 DMM1, Planar와 같은 대표 모드를 포함할 수 있다.
다른 실시예에 따르면, 부호화 장치(101)는 깊이 영상을 부호화기 위해, SDC 모드 중 DMM2를 제외한 DC, Planar 및 DMM1 중 어느 하나를 이용할 수 있다. 즉, SDC 모드는 DC, DMM1, planar와 같은 대표 모드를 포함할 수 있다. 부호화 장치(101)는 SDC 모드에 포함된 대표 모드 중 가장 확률이 높은 대표 모드로 코딩 유닛을 예측하여 부호화할 수 있다.
DC는 기존의 깊이 영상의 압축 방식에서 방향적인 인트라 예측을 나타낸다. 그리고, DMM은 깊이 영상의 불연속성(discontinuities)를 모델링할 때 합성된 시점의 비트율과 왜곡율을 향상시키기 위해 사용될 수 있다. 즉, 일실시예에 따르면, 부호화 장치(101)는 일부의 대표 모드가 제외된 SDC 모드를 이용하여 깊이 영상을 부호화함으로써, 부호화 효율을 향상시킬 수 있다.
코딩 유닛에 대해 SDC 모드가 선택되면, 결정된 SDC 모드를 구성하는 대표 모드에 따라 코딩 유닛이 예측될 수 있다. SDC 모드에 따라 예측하는 것은 코딩 유닛별로 한 개 또는 두 개의 깊이 세크먼트에서 발생되므로, 이들 세크먼트 각각에 대해 하나의 잔차 DC 깊이값이 코딩될 수 있다. 깊이 세그먼트는 복수의 픽셀들로 구성될 수 있다. SDC 모드로 코딩하는 경우, 픽셀 도메인에서 잔차 정보가 코딩되므로 링잉 아티팩트(ringing artifact)가 제거될 수 있다.
SDC 모드는 깊이 영상의 인트라 예측을 위해 사용된다. 코딩 유닛에 대해 SDC 모드가 적용되었다는 것을 나타내는 SDC 플래그가 추가적으로 사용될 수 있다. 만약, SDC 모드에 따라 코딩 유닛이 코딩되는 경우, 코딩 유닛은 2N*2N으로 결정될 수 있다. SDC 모드에 따라 코딩되는 경우, 코딩 유닛의 세그먼트 타입과 대표 모드가 코딩될 수 있다.
<대표 모드/세그먼트 타입>
DC (1 segment)
DMM Mode 1 - Explicit Wedgelets (2 segments)
DMM Mode 2 - Intra-Predicted Wedgelets (2 segments)
Planar (1 segment)
각 세그먼트마다 픽셀 도메인에서의 잔차 정보가 비트스트림 내에서 시그널링될 수 있다. 부호화하기 전에, 잔차 정보는 깊이 룩업 테이블(Depth Lookup Table: DLT)를 이용하여 부호화되지 않은 깊이 영상의 원래 깊이값과 매핑될 수 있다. 그래서, 잔차 정보는 인덱스를 깊이 룩업 테이블에서 시그널링함으로써 부호화될 수 있다.
부호화 장치(101)는 깊이 영상을 구성하는 복수의 프레임들 중 일정 수의 프레임을 추출하여 히스토그램을 분석하여 그레이 레벨을 결정할 수 있다. 그러면, 부호화 장치(101)는 결정한 그레이 레벨을 이용하여 아래와 같은 깊이 룩업 테이블을 생성할 수 있다.
Figure pat00001
부호화 장치(101)가 SDC 모드로 코딩 유닛을 부호화하는 경우, 부호화 장치(101)는 깊이 룩업 테이블을 통합함으로써 각 세그먼트에 설정된 잔차 정보를 시그널링함으로써 필요한 비트량을 감소할 수 있다. 깊이 룩업 테이블은 원래 깊이 영상의 깊이값을 인덱스로 매핑한 결과이다. 깊이 룩업 테이블은 입력된 깊이 영상의 시퀀스에서 특정 수의 프레임들을 분석함으로써 생성될 수 있다. 깊이 룩업 테이블은 잔차 정보의 비트 깊이(bit-depth)를 줄이기 위해 부호화 과정 중에 사용될 수 있다.
부호화 장치(101)는 깊이 영상의 시퀀스로부터 특정 수의 프레임들을 분석할 수 있다. 여기서, 프레임들은 부호화될 수 있으며, 가능한 모든 깊이값을 위해 모든 픽셀들이 스캔될 수 있다. 분석 과정동안, 부호화 장치(101)는 압축되지 않은 원래 깊이 영상에 기초하여 깊이값들을 유효한 깊이값들로 매핑함으로써 매핑 테이블을 생성할 수 있다.
하지만, 깊이 영상의 전체를 분석하는 것이 아니라 일정 수의 프레임을 분석하여 깊이 룩업 테이블을 생성하는 경우, 깊이 룩업 테이블이 깊이 영상의 전체를 대표할 수 있는지가 문제될 수 있다. 구체적으로, 부호화 장치(101)는 깊이 영상을 분석하여 깊이 룩업 테이블을 생성하여 시퀀스 파라미터 셋트(sequence parameter set: SPS)에 깊이 룩업 테이블을 기록할 수 있다. SPS에 기록된 깊이 룩업 테이블은 복호화 장치(102)에 전송될 수 있다.
깊이 룩업 테이블은 아래의 과정에 따라 생성될 수 있다.
Input: Depth map D_t of NxM pixels at time instance t
Output: Depth Lookup Table D(.)
Index Lookup Table I(.)
Depth Mapping Table M(.)
Number of valid depth values d_valid
<Algorithm>
Initialization
boolean vector B(d)=FALSE for all depth values d
index counter i=0
Process each pixel position p in D_t for multiple time instances t:
Set B(D_t(p))=TRUE to mark valid depth values
Count number of TRUE values in B(d) d_valid
For each d with B(d)==TRUE:
Set D(i)=d
Set M(d)=d
Set I(d)=i
i=i+1
For each d with B(d)==FALSE:
Find d^=arg min|d-d^| and B(d^)==TRUE
Set M(d)=d^
Set I(d)=I(d^)
일실시예에 따르면, 부호화 장치(101)는 주어진 코딩 유닛에 대해 깊이 영상의 잔차 정보를 부호화하는 대신에, 깊이 영상을 깊이값에 대응하는 인덱스에 매핑할 수 있다. 매핑 테이블은 깊이 룩업 테이블의 인버스(inverse)를 통해 인덱스로부터 깊이값을 도출하는 복호화 장치(102)로 전송될 수 있다.
Input: Original depth value d_orig
Predicted depth value d_pred
Index Lookup Table I(.)
Number of valid depth values d_valid
Output: Residual index i_resi to be coded
Algorithm:
i_resi=I(d_orig )- I(d_pred)
잔차 정보의 인덱스 i_resi는 플래그로 부호화될 수 있다.
한편, 부호화 장치(101)는 코딩 유닛인 현재 블록에 이웃하는 주변 블록을 이용하여 현재 블록에 적용할 SDC 모드를 결정할 수 있다. 일례로, 부호화 장치(101)는 현재 블록의 위쪽 블록 또는 왼쪽 블록이 어떤 SDC 모드로 부호화되었는 지 여부를 판단하여 현재 블록의 SDC 모드를 결정할 수 있다. 만약, 현재 블록의 위쪽 블록 또는 왼쪽 블록이 SDC 모드가 아닌 다른 인트라 예측 모드 또는 인터 예측 모드로 부호화된 경우, 부호화 장치(101)는 예외 처리를 할 수 있다.
단계(202)에서, 부호화 장치(101)는 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 복호화 장치(102)에 전달할 수 있다.
도 3은 일실시예에 따른 복호화 장치의 동작을 도시한 플로우차트이다.
단계(301)에서, 복호화 장치(102)는 코딩 유닛에 적용된 SDC 모드를 판단할 수 있다. 일실시예에 따르면, 복호화 장치(102)는 SDC 모드 중 DMM2와 DC를 제외한 Planar와 DMM1 중 어느 하나가 코딩 유닛에 적용되었는 지 여부를 판단할 수 있다. 즉, SDC 모드는 DMM1, Planar와 같은 대표 모드를 포함할 수 있다.
다른 실시예에 따르면, 복호화 장치(102)는 깊이 영상을 부호화기 위해, SDC 모드 중 DMM2를 제외한 DC, Planar 및 DMM1 중 어느 하나가 코딩 유닛에 적용되었는 지 여부를 판단할 수 있다. 즉, SDC 모드는 DC, DMM1, planar와 같은 대표 모드를 포함할 수 있다.
단계(302)에서, 복호화 장치(102)는 코딩 유닛에 적용된 SDC 모드에 따라 코딩 유닛을 복호화할 수 있다.
도 4는 일실시예에 따른 DMM1를 설명하기 위한 도면이다.
깊이 영상은 주로 오브젝트 경계를 나타내는 샤프한 경계들(sharp edges)과 오브젝트 영역을 나타내는 거의 상수 또는 변화가 없는 샘플값들로 구성될 수 있다. 깊이 영상에서 오브젝트 경계를 잘 표현하기 위해, 깊이 영상을 위한 인트라 예측 모드가 추가될 수 있다. 깊이 영상의 블록(401)은 2개의 비사각형(non-rectangular) 영역으로 분할될 수 있으며, 각각의 영역은 상수로 표현될 수 있다. 각각의 영역에 대응하는 샘플들은 상수로 특정될 수 있으며, 각각의 영역은 상수 분할값(Constant Partition Value: CPV)로 표현될 수 있다. 분할 방식은 Wedgelets와 Contours가 사용될 수 있는데, 일실시예에 따른 DMM1은 Wedgelets 방식을 따를 수 있다.
SDC 모드에 따르면 원래 깊이값과 예측 깊이값 간의 차이를 나타내는 잔차 정보가 전송될 수 있다. 깊이 영상의 블록에서 예측 깊이값은 DMM을 이용하여 결정될 수 있다. Wedgelet 방식에 의하면, 깊이 영상의 블록(401)은 직선에 따라 2개의 영역(P1, P2)으로 분할될 수 있다. 그리고, 깊이 영상의 블록(402)은 복수의 샘플들(uB×vB)로 구성될 수 있으며, 각각의 샘플들은 2개의 영역 중 어느 하나의 영역에 속할 수 있다.
그리고, 깊이 영상의 블록(403)에서 샘플들은 어떤 영역에 속하는지에 따라 2진 정보(binary information)으로 식별될 수 있다. DMM1은 Wedgelets 방식을 따르며, 분할 정보가 비트스트림을 통해 복호화 장치(102)에 전송될 수 있다. 그러면, 복호화 장치(102)는 분할 정보에 기초하여 깊이 영상의 블록을 복원할 수 있다.
분할 정보는 부호화 장치(101)가 복호화 장치(102)에 전송되는 것으로, 복호화 장치(102)에서 예측되지 않는다. 원래 깊이값과 Wedgelets 방식에 따라 분할된 영역에 속하는 예측값 간의 왜곡이 최소화가 되도록 Wedgelets 방식에 따른 경계가 결정될 수 있다.
도 5는 일실시예에 따른 Planar에 기초하여 예측값을 도출하는 과정을 나타낸 도면이다.
SDC 모드는 깊이 영상의 인트라 예측 모드를 대체한다. 깊이 영상의 깊이 인트라 파라미터는 코딩 유닛이 SDC 모드로 시그널링되었는 지 여부를 나타낸다. SDC 모드에서 깊이 영상의 코딩 유닛에 대응하는 블록은 Planar 또는 DMM1 중 어느 하나의 SDC 모드에 따라 예측될 수 있다. 또는, SDC 모드에서 깊이 영상의 코딩 유닛에 대응하는 블록은 Planar, DC 및 DMM1 중 어느 하나의 SDC 모드에 따라 예측될 수 있다.
SDC 모드에 따라 예측된 예측 유닛을 포함하는 코딩 유닛의 분할 크기는 2Nx2N일 수 있다. 잔차 정보는 양자화된 변환 계수들로 코딩되며, 하나 또는 2가지의 상수를 나타내는 잔차 정보가 시그널링될 수 있다.
SDC 모드에 따라 코딩된 블록은 아래의 정보에 따라 시그널링될 수 있다.
DMM Mode 1 - Explicit Wedgelets (2 segments)
Planar (1 segment)
부호화가 진행되기 전에, 잔차 정보는 깊이 룩업 테이블에 기초하여 원래 깊이 영상을 구성하는 깊이값에 매핑될 수 있다. 잔차 정보는 인덱스를 깊이 룩업 테이블로 시그널링함으로써 코딩될 수 있다. 매핑 테이블을 나타내는 깊이 룩업 테이블은 복호화 장치(102)에 전송될 수 있다.
부호화 장치(101)는 깊이 영상의 원래 깊이값(dorig)과 예측 깊이값(dpred)의 평균을 이용할 수 있다. Planar에 의하면, 예측 깊이값(dpred)은 예측 블록에서 왼쪽 상단 샘플(501), 왼쪽 하단 샘플(502), 오른쪽 상단 샘플(503), 오른쪽 하단 샘플(504)의 평균으로 계산될 수 있다.
도 6은 일실시예에 따른 DMM1에 기초하여 예측값을 도출하는 과정을 나타낸 도면이다.
DMM1에 의하면, 영역에 대응하는 예측 깊이값(dpred)은 예측 블록에서 해당 영역에 속하는 샘플들의 평균으로 결정될 수 있다. 예를 들어, 흰색 샘플들로 구성된 영역의 예측 깊이값(dpred)은 왼쪽 상단 샘플(601)로 결정될 수 있다. 그리고, 검은색 샘플들로 구성된 영역의 예측 깊이값(dpred)은 왼쪽 하단 샘플(602), 오른쪽 상단 샘플(603), 오른쪽 하단 샘플(604)의 평균으로 계산될 수 있다. 여기서, 영역은 세그먼트에 대응할 수 있다.
깊이 룩업 테이블은 원래 깊이값과 예측 깊이값을 인덱스로 매핑하기 위해 이용될 수 있다. 잔차 인덱스(iresi)는 복호화 장치(102)에 전송될 수 있으며, 하기 수학식 1에 따라 결정될 수 있다.
Figure pat00002
여기서,
Figure pat00003
는 깊이 룩업 테이블을 의미한다. 복호화 장치(102)에서, 복원된 원래 깊이값의 평균값은 하기 수학식 2에 따라 결정될 수 있다.
Figure pat00004
여기서,
Figure pat00005
는 인버스 깊이 룩업 테이블을 의미할 수 있다. 평균 잔차 정보는 하기 수학식 3에 따라 결정될 수 있다.
Figure pat00006
복원된 샘플
Figure pat00007
는 하기 수학식 4에 따라 결정될 수 있다.
Figure pat00008
계산된 잔차 정보 iresi는 플래그와 함께 부호화될 수 있다.
도 7은 일실시예에 따른 현재 블록의 코딩 모드를 결정하는 과정을 나타낸 도면이다.
도 2에서 언급하였듯이, 코딩 유닛에 대응하는 현재 블록(X)(701)의 코딩 모드를 결정하기 위해, 부호화 장치(101)는 현재 블록(701)에 이웃하는 왼쪽 블록(A)(702)또는 위쪽 블록(B)(703)에 적용된 SDC 모드에 따라 현재 블록(701)의 코딩 모드를 결정할 수 있다.
예를 들어서, 왼쪽 블록(702)이 SDC 모드 중 DC가 적용된 경우, 현재 블록(701)은 DC가 적용될 수 있다. 그리고, 왼쪽 블록(702)이 SDC 모드 중 DMM1이 적용된 경우, 현재 블록(701)은 DMM1이 적용될 수 있다. 또한, 왼쪽 블록(702)이 SDC 모드 중 Planar가 적용된 경우, 현재 블록(701)은 Planar가 적용될 수 있다. 위쪽 블록(703)도 동일하게 적용될 수 있다.
이 때, 왼쪽 블록(702) 또는 위쪽 블록(703)이 SDC 모드가 아닌 다른 인트라 예측 모드가 적용되거나 또는 인터 예측 모드가 적용된 경우, 현재 블록(701)은 DC가 적용될 수 있다.
도 8은 일실시예에 따른 깊이 룩업 테이블을 보상하는 enable_flag를 나타낸 도면이다.
부호화 장치(101)는 부호화하고자 하는 깊이 영상의 시퀀스에서 미리 설정된 개수의 프레임을 추출하여 히스토그램을 분석할 수 있다. 그리고, 부호화 장치(101)는 히스토그램을 분석함으로써 그레이 레벨을 결정하고, 결정한 그레이 레벨을 이용하여 깊이 룩업 테이블을 생성할 수 있다.
일실시예에 따르면, 미리 설정된 개수의 프레임을 제외한 나머지 프레임의 특징도 반영하기 위해, 부호화 장치(101)는 깊이 영상의 프레임마다 enable_flag를 결정하여 기록할 수 있다.
깊이 룩업 테이블은 시퀀스 파라미터 셋트(SPS)에 기록될 수 있다. SPS에 기록된 깊이 룩업 테이블은 복호화 장치(102)에 전송될 수 있다. 복호화 장치(102)는 깊이 영상의 현재 프레임을 분석하여 현재 프레임의 깊이 룩업 테이블을 생성할 수 있다. 그리고, 부호화 장치(101)는 SPS에 기록된 깊이 룩업 테이블의 그레이 레벨과 생성한 깊이 룩업 테이블의 그레이 레벨을 비교하여 유사도가 기준치를 초과하거나 동일한 경우, SPS에 기록된 깊이 룩업 테이블을 그대로 이용하여 SDC 모드에 따라 부호화할 수 있다. 마찬가지로, 복호화 장치(102)는 SPS에 기록된 깊이 룩업 테이블의 그레이 레벨과 생성한 깊이 룩업 테이블의 그레이 레벨을 비교하여 유사도가 기준치를 초과하거나 동일한 경우, SPS에 기록된 깊이 룩업 테이블을 그대로 이용하여 SDC 모드에 따라 복호화할 수 있다.
만약, 유사도가 기준치 미만인 경우, 부호화 장치(101)는 SDC 모드에 따라 깊이 영상의 코딩 유닛을 처리하지 않을 수 있다. 마찬가지로, 만약, 유사도가 기준치 미만인 경우, 복호화 장치(102)는 SDC 모드에 따라 깊이 영상의 코딩 유닛을 처리하지 않을 수 있다.
현재 프레임의 깊이 룩업 테이블이 SPS에 기록된 깊이 룩업 테이블과 비교했을 때, 유사도가 기준치를 초과하거나 또는 동일한 경우 dlt_enable_flag = 1이고 부호화 장치(101) 또는 복호화 장치(102)는 SDC 모드에 따라 코딩 유닛을 처리할 수 있다. 반대로, 현재 프레임의 깊이 룩업 테이블이 SPS에 기록된 깊이 룩업 테이블과 비교했을 때, 유사도가 기준치 미만인 경우 dlt_enable_flag = 0이고 부호화 장치(101) 또는 복호화 장치(102)는 SDC 모드에 따라 코딩 유닛을 처리하지 않을 수 있다.
도 9는 일실시예에 따른 슬라이스 헤더 내에 위치한 깊이 룩업 테이블을 도시한 도면이다.
도 8에서 설명한 깊이 룩업 테이블은 프레임마다 생성되며, 도 9와 같이 SPS가 아닌 슬라이스 헤더에 기록될 수 있다.
도 10은 다른 실시예에 따른 슬라이스 헤더 내에 위치한 깊이 룩업 테이블을 도시한 도면이다.
도 10에 의하면, SPS와 슬라이스 헤더에 모두 깊이 룩업 테이블이 기록될 수 있다. 이 때, 프레임과 관련된 깊이 룩업 테이블이 SPS에 기록된 깊이 룩업 테이블과 비교했을 때, 유사도가 기준치를 초과하거나 또는 동일한 경우 슬라이스 헤더가 아닌 SPS에 깊이 룩업 테이블이 기록될 수 있다.
즉, 현재 프레임의 깊이 룩업 테이블이 SPS에 기록된 깊이 룩업 테이블과 비교했을 때 유사도가 기준치를 초과하거나 또는 동일한 경우, dlt_enable_flag = 1 이고, SPS에 기록된 깊이 룩업 테이블이 이용될 수 있다. 그렇지 않은 경우, dlt_enable_flag = 0 이고, SPS에 기록된 깊이 룩업 테이블이 이용되지 않을 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
101: 부호화 장치
102: 복호화 장치

Claims (20)

  1. 깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및
    상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고,
    상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 부호화 방법.
  2. 제1항에 있어서,
    상기 부호화하는 단계는,
    상기 코딩 유닛에 대응하는 현재 블록의 왼쪽 블록 또는 위쪽 블록의 SDC 모드를 고려하여 코딩 유닛을 부호화하는 깊이 영상의 부호화 방법.
  3. 제1항에 있어서,
    상기 코딩 유닛의 잔차 정보는,
    상기 깊이 영상을 구성하는 프레임마다 생성된 깊이 룩업 테이블에 기초하여 인덱스와 매핑되는 깊이 영상의 부호화 방법.
  4. 깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및
    상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고,
    상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 부호화 방법.
  5. 제4항에 있어서,
    상기 부호화하는 단계는,
    상기 코딩 유닛에 대응하는 현재 블록의 왼쪽 블록 또는 위쪽 블록의 SDC 모드를 고려하여 코딩 유닛을 부호화하는 깊이 영상의 부호화 방법.
  6. 제4항에 있어서,
    상기 코딩 유닛의 잔차 정보는,
    상기 깊이 영상을 구성하는 프레임마다 생성된 깊이 룩업 테이블에 기초하여 인덱스와 매핑되는 깊이 영상의 부호화 방법.
  7. 깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 포함하고,
    상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 복호화 방법.
  8. 제7항에 있어서,
    상기 Planar Mode는,
    원래 깊이값과 상기 코딩 유닛에 포함된 복수의 샘플들 중 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들에 기초한 예측 깊이값을 이용하는 SDC 모드인 깊이 영상의 복호화 방법.
  9. 제7항에 있어서,
    상기 DMM 1는,
    원래 깊이값과 상기 코딩 유닛에서 동일한 세그먼트에 속하는 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들로부터 도출된 각 세그먼트의 예측 깊이값을 이용하는 SDC 모드인 깊이 영상의 복호화 방법.
  10. 깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 포함하고,
    상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode), 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 복호화 방법.
  11. 제10항에 있어서,
    상기 Planar Mode는,
    원래 깊이값과 상기 코딩 유닛에 포함된 복수의 샘플들 중 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들에 기초한 예측 깊이값을 이용하는 SDC 모드인 깊이 영상의 복호화 방법.
  12. 제10항에 있어서,
    상기 DMM 1는,
    원래 깊이값과 상기 코딩 유닛에서 동일한 세그먼트에 속하는 왼쪽 상단(left-top), 오른쪽 상단(right-top), 왼쪽 하단(left-bottom), 오른쪽 하단(right-bottom)에 위치한 샘플들로부터 도출된 각 세그먼트의 예측 깊이값을 이용하는 SDC 모드인 깊이 영상의 복호화 방법.
  13. 깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 포함하고,
    상기 SDC 모드는,
    DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드가 제외되는 깊이 영상의 복호화 방법.
  14. 깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 포함하고,
    상기 SDC 모드는,
    DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드 및 DMM2가 제외되는 깊이 영상의 복호화 방법.
  15. 깊이 영상의 부호화 장치에 있어서,
    프로세스를 포함하고,
    상기 프로세서는
    깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및
    상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계
    를 수행하며,
    상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 부호화 장치.
  16. 깊이 영상의 부호화 장치에 있어서,
    프로세스를 포함하고,
    상기 프로세서는
    깊이 영상의 코딩 유닛을 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드로 부호화하는 단계; 및
    상기 코딩 유닛에 적용된 SDC 모드, 코딩 유닛의 잔차 정보를 포함하는 비트스트림을 생성하는 단계
    를 수행하며,
    상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 부호화 장치.
  17. 깊이 영상의 복호화 장치에 있어서,
    상기 복호화 장치는 프로세스를 포함하고,
    상기 프로세서는,
    깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 수행하며,
    상기 SDC 모드는, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 복호화 장치.
  18. 깊이 영상의 복호화 장치에 있어서,
    상기 복호화 장치는 프로세스를 포함하고,
    상기 프로세서는,
    깊이 영상의 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 수행하며,
    상기 SDC 모드는, DC 모드, 평면 모드(Planar Mode) 또는 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1)를 포함하는 깊이 영상의 복호화 장치.
  19. 깊이 영상의 복호화 장치에 있어서,
    상기 복호화 장치는 프로세서를 포함하고,
    상기 프로세서는,
    깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 수행하며,
    상기 SDC 모드는,
    DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드가 제외되는 깊이 영상의 복호화 장치.
  20. 깊이 영상의 복호화 장치에 있어서,
    상기 복호화 장치는 프로세서를 포함하고,
    상기 프로세서는,
    깊이 영상을 구성하는 코딩 유닛에 적용된 인트라 예측과 관련된 심플 깊이 코딩(Simplified Depth Coding: SDC) 모드를 판단하는 단계; 및
    상기 SDC 모드에 따라 코딩 유닛을 복호화하는 단계
    를 수행하며,
    상기 SDC 모드는,
    DC 모드, 평면 모드(Planar Mode), 깊이 모델링 모드 1(Depth Modelling Mode 1: DMM1), 깊이 모델링 모드 2(Depth Modelling Mode 2: DMM2) 중 DC 모드 및 DMM2가 제외되는 깊이 영상의 복호화 장치.
KR1020130168877A 2013-01-04 2013-12-31 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법 KR102216585B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2014/000035 WO2014107038A1 (ko) 2013-01-04 2014-01-03 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
US14/650,058 US10631006B2 (en) 2013-01-04 2014-01-03 Encoding apparatus and decoding apparatus for depth image, and encoding method and decoding method
CN201480004107.1A CN104904220B (zh) 2013-01-04 2014-01-03 用于深度图像的编码、解码设备以及编码、解码方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361748886P 2013-01-04 2013-01-04
US61/748,886 2013-01-04

Publications (2)

Publication Number Publication Date
KR20140089476A true KR20140089476A (ko) 2014-07-15
KR102216585B1 KR102216585B1 (ko) 2021-02-17

Family

ID=51737573

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130168877A KR102216585B1 (ko) 2013-01-04 2013-12-31 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법

Country Status (3)

Country Link
US (1) US10631006B2 (ko)
KR (1) KR102216585B1 (ko)
CN (1) CN104904220B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079941B (zh) * 2013-03-27 2017-08-25 中兴通讯股份有限公司 一种深度信息编解码方法、装置及视频处理播放设备
WO2014166338A1 (en) * 2013-04-11 2014-10-16 Mediatek Inc. Method and apparatus for prediction value derivation in intra coding
US9497485B2 (en) * 2013-04-12 2016-11-15 Intel Corporation Coding unit size dependent simplified depth coding for 3D video coding
WO2015000168A1 (en) * 2013-07-05 2015-01-08 Mediatek Singapore Pte. Ltd. A simplified dc prediction method in intra prediction
US10129542B2 (en) * 2013-10-17 2018-11-13 Futurewei Technologies, Inc. Reference pixel selection and filtering for intra coding of depth map
WO2015139203A1 (en) * 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
CN103826115B (zh) * 2014-03-21 2016-03-02 华为技术有限公司 图像分割方式的编解码处理方法和装置
WO2015200822A1 (en) * 2014-06-26 2015-12-30 Huawei Technologies Co., Ltd Method and device for reducing a computational load in high efficiency video coding
WO2017145756A1 (ja) * 2016-02-22 2017-08-31 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
CN108134940B (zh) * 2018-01-22 2019-11-08 合肥工业大学 应用于视频编码中深度图像帧内预测的编码电路及方法
US11153550B2 (en) * 2018-04-06 2021-10-19 Disney Enterprises, Inc. Depth codec for real-time, high-quality light field reconstruction

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007526457A (ja) 2004-03-01 2007-09-13 イアティア イメージング プロプライアタリー リミティド 深度情報を含む画像の生成方法と装置
EP1784988A1 (en) * 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
KR20100006304A (ko) 2008-07-09 2010-01-19 주식회사 브리지텍 비밀번호 보호 장치 및 그 방법
KR20110054244A (ko) 2009-11-17 2011-05-25 삼성전자주식회사 미디언 필터를 이용한 깊이영상 부호화의 인트라 예측 장치 및 방법
KR20120000485A (ko) 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
KR20120083200A (ko) 2011-01-17 2012-07-25 삼성전자주식회사 깊이 영상 부호화/복호화 장치 및 방법
US9900619B2 (en) * 2012-07-02 2018-02-20 Qualcomm Incorporated Intra-coding of depth maps for 3D video coding
CN102790892B (zh) * 2012-07-05 2014-06-11 清华大学 深度图编码方法及装置
JP6158337B2 (ja) * 2012-09-24 2017-07-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 深度マップコーディング
US9756359B2 (en) * 2013-12-16 2017-09-05 Qualcomm Incorporated Large blocks and depth modeling modes (DMM'S) in 3D video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Fabian Jäger. 3D-CE6.h: Simplified Depth Coding with an optional Depth Lookup Table. Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 2nd Meeting: Shanghai, CN, 13-19 Oct. 2012* *
Gary J. Sullivan et al. Overview of the High Efficiency Video Coding (HEVC) Standard. IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012* *
Hongbin Liu et al. CE5 related: Generic SDC for all Intra modes in 3D-HEVC. Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 6th Meeting: Geneva, Switzerland, 25 Oct - 1 Nov. 2013, JCT3V-F0126* *

Also Published As

Publication number Publication date
CN104904220B (zh) 2019-09-06
US10631006B2 (en) 2020-04-21
US20150350677A1 (en) 2015-12-03
CN104904220A (zh) 2015-09-09
KR102216585B1 (ko) 2021-02-17

Similar Documents

Publication Publication Date Title
KR102216585B1 (ko) 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
TWI578764B (zh) Dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program
CN108293130B (zh) 一种视频编解码方法及装置、非暂时性计算机可读介质
US9171376B2 (en) Apparatus and method for motion estimation of three dimension video
KR101244911B1 (ko) 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
KR101538710B1 (ko) 시간적 블록 병합 모드
CN111699694A (zh) 使用变换跳变标志的图像编码方法和装置
KR20230043079A (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
JP7283024B2 (ja) 画像の符号化方法、復号化方法、エンコーダ、およびデコーダ
CN107211131B (zh) 对数字图像块进行基于掩码的处理的系统和方法
KR102318065B1 (ko) 비디오를 인코딩하기 위한 방법 및 장치
US9503751B2 (en) Method and apparatus for simplified depth coding with extended prediction modes
US20210112269A1 (en) Multi-view coding with exploitation of renderable portions
KR102513756B1 (ko) 이미지 인코딩 방법, 디코딩 방법, 인코더, 디코더 및 저장매체
WO2015137201A1 (en) Method for coding and decoding videos and pictures using independent uniform prediction mode
Luo et al. Security of MVD-based 3D video in 3D-HEVC using data hiding and encryption
CN112806017B (zh) 用于编码变换系数的方法和设备
KR20180126424A (ko) 영상 부호화 방법과 복호화 방법 및 이를 이용한 영상 부호화 장치와 복호화 장치
KR20180054693A (ko) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
CN118044203A (zh) 特征编码/解码方法和装置以及存储比特流的记录介质
WO2022047144A1 (en) Methods and systems for combined lossless and lossy coding
WO2022047129A1 (en) Methods and systems for combined lossless and lossy coding
WO2021211576A1 (en) Methods and systems for combined lossless and lossy coding
CN118435607A (zh) 特征编码/解码方法和设备、在其上存储比特流的记录介质、以及用于发送比特流的方法
KR20210036328A (ko) 영상 부호화 방법과 복호화 방법 및 이를 이용한 영상 부호화 장치와 복호화 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant