WO2013162275A1 - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2013162275A1
WO2013162275A1 PCT/KR2013/003502 KR2013003502W WO2013162275A1 WO 2013162275 A1 WO2013162275 A1 WO 2013162275A1 KR 2013003502 W KR2013003502 W KR 2013003502W WO 2013162275 A1 WO2013162275 A1 WO 2013162275A1
Authority
WO
WIPO (PCT)
Prior art keywords
sub
value
adjacent
current block
area
Prior art date
Application number
PCT/KR2013/003502
Other languages
English (en)
French (fr)
Inventor
성재원
예세훈
구문모
허진
김태섭
정지욱
손은용
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2013162275A1 publication Critical patent/WO2013162275A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 비디오 처리 방법은, 소정의 인트라모드에 대응하는 현재 블록의 인접영역을 판단하는 단계와; 상기 인접영역을 복수의 서브인접영역으로 구분하는 단계와; 상기 서브인접영역과 상기 인트라모드에 기초하여 상기 현재블록을 복수의 서브블록영역으로 구분하는 단계와; 상기 복수의 서브블록영역을 각각 예측하는 단계를 포함하는 것을 특징으로 한다. 이에 따라, 뎁스 데이터에 대해서 텍스쳐 데이터와 별도로 인트라 예측함으로써 뎁스 데이터의 특징을 반영하여 현재블록을 예측할 수 있고, 인트라모드의 방향에 기초하여 현재블록을 예측함으로써 예측 효율을 높이고 계산의 복잡도를 낮출 수 있다.

Description

비디오 신호 처리 방법 및 장치
본 발명은 비디오 신호의 코딩 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 다시점 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성 및 시점간 중복성을 지니고 있는 점에 특징이 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.
발명은 뎁스 데이터에 대해서 텍스쳐 데이터와 별도로 인트라 예측하는 것을 특징으로 한다.
본 발명은 인트라모드에 기초하여 현재블록의 참조인접픽셀을 구하고, 참조인접픽셀의 뎁스값을 기초로 참조인접픽셀을 복수의 영역으로 구분하는 것을 특징으로 한다.
본 발명은 인트라모드 방향을 사용하여 현재블록의 뎁스 데이터 영역을 구분하는 것을 특징으로 한다.
본 발명은 주변영역의 뎁스 데이터를 사용하여 현재블록의 뎁스 데이터의 영역을 구분하는 것을 특징으로 한다.
본 발명은 뎁스 데이터에 대해서 텍스쳐 데이터와 별도로 인트라 예측함으로써 뎁스 데이터의 특징을 반영하여 현재블록을 예측할 수 있다.
본 발명은 인트라모드의 방향에 기초하여 현재블록을 예측함으로써 예측 효율을 높이고 계산의 복잡도를 낮출 수 있다.
도 1은 본 발명이 적용되는 일실시예로서, 뎁스(depth)의 개념을 설명하기 위해 나타낸 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 인트라 예측부의 블록도를 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 뎁스 데이터의 인트라 예측 방법을 도시한 순서도이다.
도 5a 및 도 5b는 본 발명이 적용되는 일실시예로서, 인트라모드의 종류 및 인트라모드에 따른 인접블록영역을 도시한 도면이다.
도 6은 본 발명이 적용되는 일실시예로서, 인트라모드에 따른 인접픽셀을 도시한 도면이다.
도 7a 및 도 7b는 본 발명이 적용되는 일실시예로서, 서브인접영역의 가장자리 경계를 결정하는 순서를 도시한 도면이다.
도 8은 본 발명이 적용되는 일실시예로서, 현재블록을 복수의 서브블록영역으로 구분하는 순서를 도시한 도면이다.
도 9는 본 발명이 적용되는 일실시예로서, 제1 서브현재블록 및 제2 서브현재블록을 뎁스 인트라 예측하는 순서도이다.
도 10은 본 발명이 적용되는 일실시예로서, 인트라모드가 수직모드인 경우, 뎁스 데이터의 인트라 예측 순서를 도시한 도면이다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 처리 방법은, 소정의 인트라모드에 대응하는 현재 블록의 인접영역을 판단하는 단계와; 상기 인접영역을 복수의 서브인접영역으로 구분하는 단계와; 상기 서브인접영역과 상기 인트라모드에 기초하여 상기 현재블록을 복수의 서브블록영역으로 구분하는 단계와; 상기 복수의 서브블록영역을 각각 예측하는 단계를 포함하는 것이 바람직하다.
여기서, 상기 서브인접영역은 제1 서브인접영역 및 제2 서브인접영역을 포함하고, 상기 서브블록영역은 제1 서브현재블록 및 제2 서브현재블록을 포함하고, 상기 예측하는 단계는, 상기 제1 서브인접영역의 픽셀 뎁스값에 기초하여 상기 제1 서브현재블록의 예측값을 결정하는 단계와 상기 제2 서브인접영역의 픽셀 뎁스값에 기초하여 상기 제2 서브현재블록의 예측값을 결정하는 단계를 포함할 수 있다.
그리고, 상기 제1 서브현재블록의 예측값은 상기 제1 서브인접영역의 픽셀 뎁스값의 평균값이고, 상기 제2 서브현재블록의 예측값은 상기 제2 서브인접영역의 픽셀 뎁스값의 평균값일 수 있다. 상기 제1 서브현재블록의 예측값 및 상기 제2 서브현재블록의 예측값은 상기 인트라모드에 따른 예측방향정보에 기초하여 예측될 수 있다.
본 발명의 일 실시예에 따르면, 상기 인접영역을 복수의 서브인접영역으로 구분하는 단계는, 상기 인접영역 내의 인접한 픽셀간의 뎁스 차이값을 판단하는 단계와; 상기 뎁스 차이값 중 최대값을 판단하는 단계와; 상기 최대값을 갖는 픽셀을 경계로, 상기 제1 서브인접영역 및 상기 제2 서브인접영역을 구분하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 상기 인접영역을 복수의 서브인접영역으로 구분하는 단계는, 상기 인접영역의 평균 픽셀 뎁스값을 계산하는 단계와; 상기 평균 픽셀 뎁스값보다 큰 값을 갖는 영역을 상기 제1 서브인접영역으로 판단하고, 상기 평균 픽셀 뎁스값보다 작은 값을 갖는 영역을 상기 제2 서브인접영역으로 판단하는 단계를 포함할 수 있다.
한편, 본 발명에 따르면 상기 인트라모드는 서로 다른 방향성을 갖는 9개의 모드 중 하나일 수 있다. 또는, 상기 인트라모드는 서로 다른 방향성을 갖는 33개의 모드 중 하나일 수 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 비디오 신호 처리 장치는, 소정의 인트라모드에 대응하는 현재 블록의 인접영역을 판단하고, 상기 인접영역을 복수의 서브인접영역으로 구분하는 인접영역 결정부와; 상기 서브인접영역과 상기 인트라모드에 기초하여 상기 현재블록을 복수의 서브블록영역으로 구분하는 현재블록 영역 결정부와; 상기 복수의 서브블록영역을 각각 예측하는 영역기반 뎁스 인트라 예측부를 포함할 수 있다.
그리고, 상기 서브인접영역은 제1 서브인접영역 및 제2 서브인접영역을 포함하고, 상기 서브블록영역은 제1 서브현재블록 및 제2 서브현재블록을 포함하고, 상기 영역기반 뎁스 인트라 예측부는, 상기 제1 서브인접영역의 픽셀 뎁스값에 기초하여 상기 제1 서브현재블록의 예측값을 결정하고, 상기 제2 서브인접영역의 픽셀 뎁스값에 기초하여 상기 제2 서브현재블록의 예측값을 결정할 수 있다.
여기서, 상기 제1 서브현재블록의 예측값은 상기 제1 서브인접영역의 픽셀 뎁스값의 평균값이고, 상기 제2 서브현재블록의 예측값은 상기 제2 서브인접영역의 픽셀 뎁스값의 평균값일 수 있다.
그리고, 상기 영역기반 뎁스 인트라 예측부는, 상기 인트라모드에 따른 예측방향정보에 기초하여 상기 제1 서브현재블록의 예측값 및 상기 제2 서브현재블록의 예측값을 예측할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 상기 인접영역 결정부는 상기 인접영역 내의 인접한 픽셀간의 뎁스 차이값을 판단하고, 상기 뎁스 차이값 중 최대값을 판단하고, 상기 최대값을 갖는 픽셀을 경계로, 상기 제1 서브인접영역 및 상기 제2 서브인접영역을 구분할 수 있다.
본 발명의 다른 실시예에 따르면, 상기 인접영역 결정부는 상기 인접영역의 평균 픽셀 뎁스값을 계산하고, 상기 평균 픽셀 뎁스값보다 큰 값을 갖는 영역을 상기 제1 서브인접영역으로 판단하고, 상기 평균 픽셀 뎁스값보다 작은 값을 갖는 영역을 상기 제2 서브인접영역으로 판단할 수 있다.
다시점 비디오 신호 데이터를 압축 부호화 또는 복호화하는 기술은 공간적 중복성, 시간적 중복성 및 시점간 존재하는 중복성을 고려하고 있다. 또한, 다시점 영상의 경우, 3차원 영상을 구현하기 위해 2개 이상의 시점에서 촬영된 다시점 텍스쳐 영상 및 이에 대응되는 다시점 뎁스 영상을 코딩해야 한다. 뎁스 영상을 코딩함에 있어서, 공간적 중복성, 시간적 중복성 또는 시점간 중복성을 고려하여 압축 코딩할 수 있음은 물론이다. 뎁스 영상의 각 샘플값은 카메라와 해당 화소 간의 거리 정보를 표현한 것이며, 이에 대한 구체적인 설명은 도 1을 참조하여 살펴보기로 한다. 또한, 본 명세서 내에서 뎁스 정보, 뎁스 데이터, 뎁스 픽쳐, 뎁스 시퀀스, 뎁스 코딩, 뎁스 비트스트림 등과 같은 용어들은 뎁스에 관련된 정보로 유연하게 해석될 수 있을 것이다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
도 1은 본 발명이 적용되는 일실시예로서, 뎁스(depth)의 개념을 설명하기 위해 나타낸 것이다.
도 1을 참조하면, 카메라의 위치(Oc)는 3차원 카메라 좌표계의 원점을 나타내며, Z축(optical axis)은 눈이 바라보는 방향과 일직선이 된다. 카메라 좌표계의 임의의 한 점 P=(X,Y,Z)는 Z축에 수직인 2차원 이미지 평면의 임의의 한 점 p=(x,y)으로 투영될 수 있다. 여기서, 2차원 이미지 평면 상의 임의의 한 점 p=(x,y)는 3차원 좌표계의 임의의 한 점 P=(X,Y,Z)의 텍스쳐값 또는 컬러값으로 표현될 수 있고, 이 경우의 2차원 이미지 평면은 텍스쳐 픽쳐를 의미할 수 있다. 한편, 2차원 이미지 평면 상의 p=(x,y)는 3차원 좌표계의 P=(X,Y,Z)의 Z 값으로 표현될 수도 있고, 이 경우의 이미지 평면은 뎁스 픽쳐 또는 뎁스 맵을 의미할 수 있다.
또한, 상기 3차원 좌표계의 P=(X,Y,Z)는 카메라 좌표계의 임의의 한 점을 나타내나, 복수 개의 카메라로 촬영된 경우 상기 복수 개의 카메라들에 대한 공통의 기준 좌표계가 필요할 수 있다. 도 1에서 Ow 점을 기준으로 하는 기준 좌표계의 임의의 점을 Pw=(Xw, Yw, Zw)라 할 수 있고, Pw=(Xw,Yw,Zw)는 3x3 로테이션 매트릭스(rotation matrix) R과 3x1 변환 벡터(translation vector) T를 이용하여 카메라 좌표계의 임의의 한 점 P=(X,Y,Z)으로 변환할 수 있다. 예를 들어, 상기 P는 수학식 1과 같이 획득될 수 있다.
수학식 1
Figure PCTKR2013003502-appb-M000001
상기의 설명에 기초하여 뎁스 픽쳐를 다시 정의하면, 카메라의 위치를 기준으로 카메라의 위치와 실물 간의 거리를 상대적인 값으로 수치화한 정보들의 집합이라 할 수 있다. 뎁스 픽쳐 내의 뎁스 정보는 텍스쳐 픽쳐의 임의의 픽셀에 대응하는 카메라 좌표계 상의 3차원 좌표 P=(X,Y,Z)의 Z 값으로부터 획득될 수 있다. 여기서, Z 값은 실수 범위에 속하는 값이며, 이를 정수 범위에 속하는 값으로 양자화시켜 뎁스 정보로 이용할 수도 있다. 예를 들어, 뎁스 정보는 다음 수학식 2 또는 수학식 3와 같이 양자화될 수 있다.
수학식 2
Figure PCTKR2013003502-appb-M000002
수학식 3
Figure PCTKR2013003502-appb-M000003
여기서, Zq는 양자화된 뎁스 정보를 의미하며, 도 1의 [Top view]를 참조하면, Znear는 Z 좌표값의 하한(the lower limit)을, Zfar는 Z 좌표값의 상한(the upper limit)을 의미할 수 있다. 상기 수학식 2 또는 수학식 3에 따라 양자화된 뎁스 정보는 0~255 범위 내의 정수값을 가질 수 있다.
뎁스 픽쳐는 텍스쳐 영상 시퀀스와 함께 또는 별개의 시퀀스로 코딩될 수 있으며, 이러한 경우 기존의 코덱과의 호환을 위해 다양한 실시예들이 적용될 수 있다. 예를 들어, HEVC 코덱과 호환될 수 있도록 뎁스 코딩 기술이 부가 기술로 적용될 수 있고, 또는 H.264/AVC 다시점 비디오 코딩 내에서 확장 기술로 적용될 수도 있다.
도 2는 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 2를 참조하면, 비디오 디코더는 파싱부(100), 엔트로피 디코딩부(200), 역양자화/역변환부(300), 인트라 예측부(400), 인-루프 필터부(500), 복호 픽쳐 버퍼부(600), 인터 예측부(700)를 포함할 수 있다. 여기서, 파싱부로 입력되는 텍스쳐 데이터와 뎁스 데이터는 하나의 비트스트림으로 전송될 수 있고, 또는 별개의 비트스트림으로 전송될 수도 있다. 파싱부(100)는 입력된 비트스트림을 복호화하기 위해 NAL 단위로 파싱을 수행한다. 입력된 비트스트림이 다시점 관련 데이터(예를 들어, 3DV)인 경우, 입력된 비트스트림은 카메라 파라미터를 포함할 수 있다. 카메라 파라미터에는 고유의(intrinsic) 카메라 파라미터 및 비고유의(extrinsic) 카메라 파라미터가 있을 수 있는데, 고유의 카메라 파라미터는 초점 거리(focal length), 가로세로비(aspect ratio), 주점(principal point) 등이 있을 수 있고, 비고유의 카메라 파라미터에는 세계 좌표계에서의 카메라의 위치정보 등이 있을 수 있다.
엔트로피 디코딩부(200)는 엔트로피 디코딩을 통하여 파싱된 비트스트림으로부터 양자화된 변환 계수, 텍스쳐 픽쳐와 뎁스 픽쳐의 예측을 위한 코딩 정보 등을 추출할 수 있다. 역양자화/역변환부(300)에서는 양자화된 변환 계수에 양자화 파라미터를 적용하여 변환 계수를 획득하고, 변환 계수를 역변환하여 텍스쳐 데이터 또는 뎁스 데이터를 복원할 수 있다. 여기서, 뎁스 블록에 대한 양자화 파라미터는 텍스쳐 데이터의 복잡도를 고려하여 설정될 수 있다. 예를 들어, 뎁스 블록에 대응하는 텍스쳐 블록이 복잡도가 높은 영역인 경우에는 낮은 양자화 파라미터를 설정하고, 복잡도가 낮은 영역인 경우에는 높은 양자화 파라미터를 설정할 수 있다. 텍스쳐 블록의 복잡도는 수학식 4과 같이 복원된 텍스쳐 픽쳐 내에서 서로 인접한 픽셀들 간의 차분값에 기초하여 결정될 수 있다.
수학식 4
Figure PCTKR2013003502-appb-M000004
수학식 4에서 E는 텍스쳐 데이터의 복잡도를 나타내고, C는 복원된 텍스쳐 데이터를 의미하며, N은 복잡도를 산출하고자 하는 텍스쳐 데이터 영역 내의 픽셀 개수를 의미할 수 있다. 수학식 4을 참조하면, 복잡도는 (x,y) 위치에 대응하는 텍스쳐 데이터와 (x-1,y) 위치에 대응하는 텍스쳐 데이터 간의 차분값 및 (x,y) 위치에 대응하는 텍스쳐 데이터와 (x+1,y) 위치에 대응하는 텍스쳐 데이터 간의 차분값을 이용하여 산출될 수 있다. 또한, 복잡도는 텍스쳐 픽쳐와 텍스쳐 블록에 대해서 각각 산출될 수 있고, 이를 이용하여 아래 수학식 5와 같이 양자화 파라미터를 유도할 수 있다.
수학식 5
Figure PCTKR2013003502-appb-M000005
수학식 5를 참조하면, 양자화 파라미터는 텍스쳐 픽쳐(텍스쳐 프레임)의 복잡도와 텍스쳐 블록의 복잡도의 비율에 기초하여 결정될 수 있다. α 및 β는 디코더에서 유도되는 가변적인 정수일 수 있고, 또는 디코더에서의 기결정된 정수일 수 있다.
인트라 예측부(400)는 후술할 도 3의 텍스쳐 인트라 예측부(410)에서 현재 텍스쳐 픽쳐 내의 복원된 텍스쳐 데이터를 이용하여 화면 내 예측을 수행할 수 있으며, 뎁스 인트라 예측부(430)에서 뎁스 픽쳐에 대해서도 화면 내 예측을 수행할 수 있다. 뎁스 픽쳐는 일반적인 컬러 영상 정보를 기록하는 텍스쳐 데이터와 다른 특성을 가지도 있다. 즉, 뎁스 픽쳐의 뎁스 데이터는 이미지의 각 픽셀이 가지는 거리를 그레이 스케일 (gray scale)로 저장하고 있으며, 하나의 블록 내에서는 각 픽셀간의 세밀한 깊이 차이가 심하지 않고, 전경(foreground)과 배경(background)의 두 가지로 나누어 표현할 수 있는 경우가 많다.
한편, 인-루프 필터부(500)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 블록에 인-루프 필터를 적용할 수 있다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 픽쳐의 화질을 향상시킨다. 필터링을 거친 텍스쳐 픽쳐 또는 뎁스 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(600)에 저장될 수 있다. 한편, 텍스쳐 데이터의 특성과 뎁스 데이터의 특성이 서로 상이하기 때문에 동일한 인-루프 필터를 사용하여 텍스쳐 데이터와 뎁스 데이터의 코딩을 수행할 경우, 코딩 효율이 떨어질 수 있다. 따라서, 뎁스 데이터를 위한 별도의 인-루프 필터를 정의할 필요가 있다. 이하, 뎁스 데이터를 효율적으로 코딩할 수 있는 인-루프 필터링 방법으로서, 영역 기반의 적응적 루프 필터 (region-based adaptive loop filter)와 트라일래터럴 루프 필터 (trilateral loop filter)에 대해서 살펴 보기로 한다.
영역 기반의 적응적 루프 필터와 관련하여, 뎁스 블록의 변화량 (variance)에 기초하여 영역 기반의 적응적 루프 필터의 적용 여부를 결정할 수 있다. 여기서, 뎁스 블록의 변화량은 뎁스 블록 내에서 최대 픽셀값과 최소 픽셀값 간의 차분으로 정의될 수 있다. 뎁스 블록의 변화량과 기결정된 문턱값 간의 비교를 통해서 필터 적용 여부를 결정할 수 있다. 예를 들어, 뎁스 블록의 변화량이 기결정된 문턱값보다 크거나 같은 경우, 뎁스 블록 내의 최대 픽셀값과 최소 픽셀값 간의 차이가 큰 것을 의미하므로 필터를 적용할 수 있다. 반대로, 뎁스 변화량이 기결정된 문턱값보다 작은 경우에는 필터를 적용하지 아니할 수 있다. 상기 비교 결과에 따라 필터를 적용하는 경우, 필터링된 뎁스 블록의 픽셀값은 소정의 가중치를 이웃 픽셀값에 적용하여 유도될 수 있다. 여기서, 소정의 가중치는 현재 필터링되는 픽셀과 이웃 픽셀 간의 위치 차이 및/또는 현재 필터링되는 픽셀값과 이웃 픽셀값 간의 차분값에 기초하여 결정될 수 있다. 또한, 이웃 픽셀값은 현재 필터링되는 픽셀값이 아닌 것으로서, 뎁스 블록 내에 포함된 픽셀값 중 어느 하나를 의미할 수 있다.
본 발명에 따른 트라일래터럴 루프 필터는 영역 기반의 적응적 루프 필터와 유사하나, 텍스쳐 데이터를 추가적으로 고려한다는 점에서 차이가 있다. 구체적으로, 트라일래터럴 루프 필터는 다음의 세가지 조건을 비교하여, 이를 만족하는 이웃 픽셀의 뎁스 데이터를 추출할 수 있다.
조건 1은 뎁스 블록 내의 현재 픽셀(p)와 이웃 픽셀(q) 간의 위치 차이를 기결정된 매개변수 σ1과 비교하는 것이고, 조건 2는 현재 픽셀(p)의 뎁스 데이터와 이웃 픽셀(q)의 뎁스 데이터 간의 차분을 기결정된 매개변수 σ2와 비교하는 것이며, 조건 3은 현재 픽셀(p)의 텍스쳐 데이터와 이웃 픽셀(q)의 텍스쳐 데이터 간의 차분을 기결정된 매개변수 σ3과 비교하는 것이다.
상기 세가지 조건을 만족하는 이웃 픽셀들을 추출하고, 이들 뎁스 데이터의 중간값(median) 또는 평균값으로 현재 픽셀(p)을 필터링할 수 있다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면 간 예측을 수행하기 위해서 이전에 코딩된 텍스쳐 픽쳐 또는 뎁스 픽쳐를 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(600)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 나아가, 뎁스 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 뎁스 픽쳐와 다른 시점에 있는 뎁스 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 뎁스 픽쳐의 시점을 식별하는 시점 식별 정보를 이용할 수도 있다. 복호 픽쳐 버퍼부(600)는 보다 유연하게 화면 간 예측을 실현하기 위하여 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method) 등을 이용하여 참조 픽쳐를 관리할 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 뎁스 코딩에 있어서, 뎁스 픽쳐들은 복호 픽쳐 버퍼부 내에서 텍스쳐 픽쳐들과 구별하기 위하여 별도의 표시로 마킹될 수 있고, 상기 마킹 과정에서 각 뎁스 픽쳐를 식별해주기 위한 정보가 이용될 수 있다. 이러한 과정을 통해 관리되는 참조 픽쳐들은 인터 예측부(700)에서 뎁스 코딩을 위해 이용될 수 있다.
인터 예측부(700)는 복호 픽쳐 버퍼부(600)에 저장된 참조 픽쳐와 모션 정보를 이용하여 현재 블록의 모션 보상을 수행할 수 있다. 본 명세서에서 모션 정보라 함은 모션 벡터, 레퍼런스 인덱스 정보를 포함하는 광의의 개념으로 이해될 수 있다. 또한, 모션 보상은 L0 참조 픽쳐 리스트 내의 하나의 참조 픽쳐를 이용하여 수행될 수 있고, L0 참조 픽쳐 리스트뿐만 아니라 L1 참조 픽쳐 리스트로부터의 복수의 참조 픽쳐를 이용하여 수행될 수도 있다.
복수 개의 카메라에 의해 촬영된 다시점 영상의 경우, 카메라의 위치 차이에 따른 시점 간의 변이가 발생할 수 있다. 이러한 시점 간의 변이를 보상하기 위해 변이 벡터 (disparity vector)가 이용될 수 있다. 변이 벡터는 현재 시점에 속한 타겟 블록의 위치와 이웃 시점에 속한 참조 블록의 위치 간의 차이로 정의될 수 있다.
도 3은 도 2에서 설명된 인트라 예측부(400)의 상세 블록도이며, 도 4는 뎁스 데이터의 인트라 예측 방법을 간략하게 도시한 도면이다.
본 발명에 따른 인트라 예측부(400)는 텍스쳐 데이터의 인트라 예측을 수행하는 텍스쳐 인트라 예측부(410)과 뎁스 데이터의 인트라 예측을 수행하는 뎁스 인트라 예측부(430)를 포함할 수 있다.
여기서, 뎁스 인트라 예측부(430)는, 인접영역 결정부(431), 현재블록 영역 결정부(433) 및 영역 기반 인트라 예측부(435)를 포함할 수 있다.
인접영역 결정부(431)는 현재블록의 이웃영역 중 일부를 참조인접영역으로 결정한다(S110). 이때, 참조인접영역은 소정의 인트라모드에 기초하여 결정될 수 있다. 즉, 인트라모드가 수직모드인 경우, 현재블록의 상단에 위치하는 영역이 참조인접영역으로 결정될 수 있다. 또한, 참조인접영역은 현재블록에 이웃한 인접픽셀일 수 있다. 즉, 인트라모드가 수직모드인 경우, 현재블록의 상단에 위치한 픽셀을 현재블록의 참조인접픽셀로 결정할 수 있다. 또한, 인트라모드가 수평모드인 경우, 현재블록의 좌측에 위치하는 영역이 참조인접영역으로 결정될 수 있으며, 이때 참조인접영역 중에서도 현재블록의 좌측에 인접한 픽셀을 참조인접영역, 즉, 참조인접픽셀으로 결정할 수 있다.
참조인접영역이 결정된 후, 인접영역 결정부(431)는 참조인접영역을 적어도 2개의 영역으로 구분하고, 서브인접영역의 가장자리 경계를 결정할 수 있다(S130). 이하, 구분된 영역을 서브인접영역이라 한다. 인접영역이 인접픽셀로 마련되는 경우, 전술한 서브인접영역은 서브인접픽셀이라고 할 수 있으며, 인접영역 결정부(431)는 서브인접픽셀의 가장자리 경계를 결정하게 된다.
현재블록 영역 결정부(433)는 현재블록을 적어도 2개의 영역으로 구분할 수 있다. 이하, 구분된 영역을 서브블록영역이라 한다. 현재블록 영역 결정부(433)는 인트라모드 및 인접영역 결정부(431)에서 구분된 서브인접영역의 가장자리 경계에 기초하여 현재블록을 복수의 서브블록영역으로 구분할 수 있다(S150).
영역 기반 인트라 예측부(435)는 현재블록 영역 결정부(433)에서 구분한 복수의 서브블록영역에 기초하여 각 영역별 대표값을 계산하고(S170) 그 대표값에 기초하여 각각의 서브블록영역의 뎁스 데이터의 뎁스값을 예측할 수 있다(S190).
현재블록 영역 결정부(433)에서 현재블록을 2개의 서브블록영역으로 구분하는 경우, 복수의 서브블록영역은 제1 서브현재블록 및 제2 서브현재블록을 포함할 수 있다. 이 때, 제1 서브현재블록은 제1영역 뎁스 인트라 예측부(437)에서 뎁스 예측되고 제2 서브현재블록은 제2영역 뎁스 인트라 예측부(439)에서 뎁스 예측될 수 있다.
도 5a 및 도 5b는 인트라모드의 종류 및 각각의 인트라모드에 따른 인접블록영역을 도시한 도면이다.
도 5a는 본원발명의 일 실시예에 따른 인트라모드 별 인트라예측 방향을 도시했으며, 이와 같이 본원발명은 총 33개의 인트라 예측 방향에 대응하는 모드를 가질 수 있다. 이 외에도 인트라모드는 인트라 평면예측 (intra planar)모드 및 인트라 DC 모드를 선택적으로 더 포함할 수 있다. 그리고, 각각의 인트라 예측 방향에 따라 도 5b와 같이 현재블록의 주변블록인 블록 A 내지 블록 E 중 적어도 하나를 사용하여 참조인접영역을 결정할 수 있다. 이때, 선택적으로 주변블록인 블록 A, 블록 B 및 블록 D 중 적어도 하나, 또는 블록 A 내지 블록 D 중 적어도 하나를 사용하여 참조인접영역을 결정할 수도 있다. 한편, 참조인접영역은 현재블록과 주변 블록의 유사성을 고려하여 참조할 인접영역을 제한할 수 있다. 이러한 유사성으로는 블록의 크기, 이웃 뷰(view), 소정의 뎁스 데이터를 값는 픽셀에 대응하는 텍스쳐 데이터를 포함할 수 있다.
또한, 본 발명의 다른 실시예에 따르는 경우 인트라모드는 전술한 모드 중 일부 모드만 사용할 수도 있다. 즉, 수평모드, 수직모드, 도 5a의 45도의 방향성을 갖는 45도 예측모드, 수직 -45도 예측모드, 수직 -22.5도 예측모드, 수직 22.5도 예측모드, 수직 67.5도 예측모드, 수직 112.5도 예측모드를 인트라모드로 사용할 수 있다.
다만, 도 5a의 방향성에 따른 인트라모드는 단지 예시적인 것이며, 더 많거나 더 적은 수의 인트라 예측 모드가 본 발명에 적용 가능하다.
도 6은 각각의 인트라모드에 따른 인접픽셀을 도시한 도면이다.
도 6에서 현재블록은 픽셀 a 내지 픽셀 p에 해당하는 4*4 블록에 해당한다. 그리고, 픽셀 B0-B3, AB, A0-A3은 현재블록에 인접해 있는 픽셀들을 도시한 것이다. 여기서, 인트라모드가 수직모드에 해당하는 경우, 화살표와 같이 상하 방향으로 예측이 수행되므로 인접영역 결정부(431)는 현재블록의 상단픽셀인 A0 내지 A3을 현재블록의 참조인접픽셀으로 결정할 수 있다. 인트라모드가 수평모드에 해당하는 경우, 화살표와 같이 좌우 방향으로 예측이 수행되므로 인접영역 결정부(431)는 현재블록의 좌측픽셀인 픽셀 B0 내지 B3을 참조인접픽셀으로 결정할 수 있다. 인트라모드가 45도 예측모드에 해당하는 경우 인접영역 결정부(431)는 현재블록의 좌측, 상단, 좌측상단에 위치한 픽셀인 B0-B3, AB, A0-A3을 참조인접픽셀으로 결정할 수 있다. 인트라모드가 수직 22.5도 방향으로 인트라 예측을 수행하는 수직 22.5도 예측모드에 해당하는 경우 인접영역 결정부(431)는 좌측픽셀 중 일부, 상단, 좌측상단에 위치한 픽셀인 B0-B1, AB, A0-A3을 참조인접픽셀으로 결정할 수 있다. 인트라모드가 수직 -22.5도 방향으로 인트라 예측을 수행하는 수직 -22.5도 예측모드인 경우, 인접영역 결정부(431)는 상단에 위치하는 픽셀인 AO-A3을 참조인접픽셀으로 결정할 수 있다.
도 7a는 본 발명의 일 실시예에 따른 서브인접영역의 가장자리 경계를 결정하는 순서도를 도시한 도면이다.
인접영역 결정부(431)는 인트라모드를 고려하여 현재블록의 참조인접픽셀을 결정한 후, 참조인접픽셀을 복수의 서브인접픽셀으로 구분하여 서브인접픽셀간의 경계를 인접픽셀간의 가장자리 경계로 결정할 수 있다. 이를 위하여, 인접영역 결정부(431)는 참조인접픽셀 중 서로 이웃한 픽셀 간의 뎁스 데이터의 차이값을 계산할 수 있다(S310). 예를 들어, 도 6의 수평모드를 참고하는 경우, 참조인접픽셀은 B0-B3에 해당하므로, 인접영역 결정부(431)는 B0와 B1, B1과 B2, B2와 B3의 뎁스 차이값을 각각 계산할 수 있다. 그 후, 뎁스 차이값들을 서로 비교하여 그 중 뎁스 차이값의 최대값을 식별하고(S330), 최대값을 갖는 인접픽셀 사이의 경계를 가장자리 경계로 결정할 수 있다(S370). 예를 들어, B1-B2의 뎁스 차이값이 최대값을 갖는 경우, B0-B1을 제1 서브인접영역, B2-B3을 제2서브인접영역으로 구분하고, B1과 B2 사이의 경계를 가장자리 경계로 결정할 수 있다. 한편, 본 발명의 일 실시예에 따르는 경우, 인접영역 결정부(431)는 선택적으로 상기 최대값이 기설정된 기준값보다 큰지 여부를 더 판단할 수 있다(S550). 그 결과, 최대값이 기설정된 기준값보다 큰 경우 최대값을 갖는 인접 픽셀 사이의 경계를 가장자리 경계로 결정하고(S370), 최대값이 기설정된 기준값보다 작은 경우 가장자리 경계값을 사용하지 않는다(S350). 이 때, 가장자리 경계값을 사용하지 않는 경우 인접픽셀을 복수의 영역으로 구분하지 않으므로 현재블록 역시 복수의 서브블록영역으로 구분하지 않는다. 따라서, 현재블록은 하나의 영역을 기반으로 뎁스 인트라 예측 될 수 있다.
도 7b는 본 발명의 다른 실시예에 따른 서브인접영역의 가장자리 경계를 결정하는 순서도를 도시한 도면이다.
전술한 바와 같이 인접영역 결정부(431)는 인트라모드를 고려하여 현재블록의 참조인접픽셀을 결정한 후, 참조인접픽셀을 복수의 서브인접픽셀으로 구분하여 서브인접픽셀간의 경계를 인접픽셀간의 가장자리 경계로 결정할 수 있다. 이를 위하여, 인접영역 결정부(431)는 참조인접픽셀들의 평균값을 계산할 수 있다(S510). 그리고, 평균값보다 큰 값을 갖는 픽셀을 제1 서브인접영역, 평균값보다 작은 값은 갖는 픽셀을 제2 서브인접영역으로 구분할 수 있다(S570). 예를 들어, 도 6의 수평모드를 참고하는 경우, 참조인접픽셀은 B0-B3에 해당하므로, 인접영역 결정부(431)는 B0-B3의 평균값을 계산할 수 있고, 평균값보다 큰 값을 갖는 픽셀이 B0 및 B1이고 평균값보다 작은 값을 갖는 픽셀이 B2 및 B3인 경우, B1 및 B2의 경계를 가장자리 경계로 결정할 수 있다. 한편, 본 발명의 일 실시예에 따르는 경우, 인접영역 결정부(431)는 선택적으로 평균값이 기설정된 기준값보다 큰지 여부를 더 판단할 수 있다(S550). 그 결과, 상기 평균값이 기설정된 기준값보다 큰 경우 가장자리 경계를 결정하고(S570), 평균값이 기설정된 기준값보다 작은 경우 가장자리 경계를 결정하지 않을 수 있다(S390). 또한, 본 발명의 다른 실시예에 따르는 경우, 인접영역 결정부(431)는 평균값과 각 픽셀의 뎁스값 간의 차이에 기초하여 분산값을 구하고, 분산값이 기설정된 기준값보다 큰 경우 가장자리 경계를 결정하고(S570) 분산값이 기설정된 기준값보다 작은 경우 가장자리 경계를 사용하지 않을 수 있다(S590).
한편, 인접영역 결정부(431)는 가장자리 경계를 구하기 위하여, 전술한 실시예 이외에도 전체 참조인접픽셀을 사용하여 두 개의 영역으로 클러스터링하는 방법, 예를 들어, k-means methods를 사용할 수도 있다. 또는, 도 7a에서 설명한 바와 같이 인접한 참조픽셀들 간의 차이값을 구하되, 각각의 차이값의 최대값을 구하는 대신, 각각의 차이값이 기설정된 값보다 큰지 여부를 판단하고, 기설정된 값 보다 큰 값을 갖는 픽셀을 제1 서브인접영역, 작은 값을 갖는 픽셀을 제2 서브인접영역으로 구분하여 각 영역 사이를 모두 가장자리 경계로 구분할 수도 있다.
한편, 인접영역 결정부(431)는 가장자리 경계를 구하기 위하여, 도 7a 및 도 7b에 따른 순서를 수행하기 전에 전처리 단계를 더 수행할 수 있다. 즉, 인접영역 결정부(431)은 인접픽셀에 존재하는 노이즈를 제거하기 위하여 소정의 필터를 사용하여 인접픽셀의 뎁스값을 필터링 할 수 있다. 예를 들어 해당 필터는 중간값 필터(median filter)나 스무딩 필터를 포함할 수 있으며, 해당 인접픽셀의 주변 픽셀들을 사용하여 인접픽셀의 값을 필터링할 수 있다.
도 8은 본 발명의 일 실시예에 따라 현재블록을 복수의 서브블록영역으로 구분하는 것을 보여주는 도면이다.
현재블록 영역 결정부(433)은 인접영역 결정부(431)에서 결정한 참조인접픽셀 및 인트라모드에 기초하여 현재블록을 복수의 서브블록영역으로 구분할 수 있다. 구체적으로, 도 8은 가장자리 경계가 B0과 B1 사이이고, 인트라모드가 45도 예측모드인 경우를 일 예로 현재 블록을 복수의 서브블록 영역으로 구분하는 예를 도시하고 있다. 즉, 가장자리 경계와 인트라모드에 해당하는 예측 방향을 결정하고, 가장자리 경계로부터의 예측방향을 기준을 경계로 현재블록의 내부 경계를 판단하여 현재블록의 픽셀을 구분한다. 그 후, 현재블록의 내부 경계가 픽셀 내부에 위치하는 경우, 즉 더 큰 범위를 차지하는 영역으로 해당 픽셀을 위치시킨다. 즉, 도 8에서 인트라 예측 방향을 기준으로 상단영역에 위치하는 영역을 제1 서브현재블록이라 하고, 하단영역에 위치하는 영역을 제2 서브현재블록이라고 하는 경우, 픽셀 e, j 및 o는 제1 서브현재블록이 차지하는 부분이 넓으므로 제1 서브현재블록으로 결정하고, 픽셀 I 및 n은 제2 서브현재블록이 차지하는 부분이 넓으므로 제2 서브현재블록으로 결정한다.
이에 따라, 제1 서브현재블록에 해당하는 픽셀 a, b, c, d, e, f, g, h, I, k, l, o 및 p는 제1 영역 뎁스 인트라 예측부(437)에서 뎁스 인트라 예측하고, 제2 서브블록에 해당하는 픽셀 i, m 및 n는 제2 영역 뎁스 인트라 예측부(439)에서 뎁스 인트라 예측할 수 있다.
도 9는 제1 서브현재블록 및 제2 서브현재블록을 뎁스 인트라 예측하는 순서도이다.
도 9는 도 8과 마찬가지로 가장자리 경계가 B0와 B1 사이이고, 인트라모드가 45도 예측모드인 것을 예시로 하고 있다. 그리고, B1, B2, B3의 뎁스값이 각각 80, 81, 82를 갖고, B0, AB, A0-A3가 각각 55, 50, 51, 54, 48 및 50을 갖는 것을 일 예로 하고 있다. 여기서, B0, AB, A0-A3가 제1 서브인접영역, B1-B3가 제2 서브인접영역이다.
뎁스 인트라 예측부(430)는 제1 서브인접영역의 픽셀 뎁스값을 기초로 제1 서브인접영역의 대표값을 계산하고, 계산된 대표값에 기초하여 제1 서브현재블록을 예측할 수 있으며, 제2 서브인접영역의 픽셀 뎁스값을 기초로 제2 서브인접영역의 대표값을 계산하고, 계산된 대표값에 기초하여 제2 서브현재블록을 예측할 수 있다. 한편, 이 때, 제1 서브인접영역의 대표값을 결정하고, 해당 대표값을 기초로 제1 서브현재블록을 예측하는 단계는 제1 뎁스 인트라 예측부(437)에서 수행될 수 있으며, 2 서브인접영역의 대표값을 결정하고, 해당 대표값을 기초로 제2 서브현재블록을 예측하는 단계는 제2 뎁스 인트라 예측부(439)에서 수행될 수 있다.
한편, 상기 제1 서브인접영역과 제2 서브인접영역의 대표값은 각각의 픽셀 뎁스값을 평균한 값일 수 있다. 예를 들어, 도 9와 같이 제1 서브인접영역에 포함된 픽셀의 뎁스값이 각각 55, 50, 51, 54, 48 및 50을 갖는 경우, 제1 서브인접영역의 대표값은 51일 수 있고, 제2 서브인접영역에 포함된 픽셀의 뎁스값이 각각 80, 81 및 82를 갖는 경우, 제2 서브인접영역의 대표값은 81일 수 있다. 그 후, 본 발명의 일 실시예에 따르는 경우, 제1 서브현재블록의 각 픽셀의 뎁스값은 제1 서브인접영역의 대표값으로 예측할 수 있으며, 제2 서브현재블록의 각 픽셀의 뎁스값은 제2 서브인접영역의 대표값으로 예측할 수 있다.
한편, 본 발명의 다른 실시예에 따르는 경우, 제1 서브현재블록과 제2 서브현재블록의 픽셀의 뎁스값은 각 픽셀별로 최단 거리에 위치한 같은 영역에 속한 인접 블록 픽셀의 값을 사용하여 결정할 수 있다. 즉 이 경우에는 별도로 대표값을 구하지 않고, 단순히 서브인접영역의 픽셀과 서브현재블록의 픽셀간의 거리에만 기초하여 서브현재블록의 뎁스값을 예측할 수 있다.
한편, 본 발명의 다른 실시예에 따르는 경우, 제1 서브현재블록과 제2 서브현재블록의 픽셀의 뎁스값은 인접 픽셀의 값을 사용하여 각 서브현재블록의 값을 균일한 값으로 결정하지 않고, 인접픽셀을 값을 사용하되 거리에 따라 점진적으로 뎁스값이 변경되도록 픽셀의 값을 결정할 수 있다. 또는 본 발명의 다른 실시예에 따르는 경우, 제1 서브현재블록과 제2 서브현재블록의 픽셀의 뎁스값은 인접 블록의 기울기를 고려하여 결정할 수 있다(planar).
도 10은 인트라모드가 수직모드인 경우, 뎁스 데이터의 인트라 예측 방법을 도시한 도면이다.
우선, 현재블록이 a-p 픽셀 값을 갖는 4*4 블록이고, 인접픽셀은 왼쪽 인접픽셀, 위쪽 인접픽셀 및 왼쪽 위 인접픽셀이 마련될 수 있다. 이 때, 단계1과 같이 현재블록의 인트라모드가 수직모드인 경우, 참조 인접픽셀은 위쪽 인접픽셀인 A0-A3으로 결정될 수 있다. 그 후, 단계2와 같이 인접영역 결정부(431)는 가장자리 경계를 결정할 수 있다. 가장자리 경계를 구하는 방법은 전술하였으므로, 중복하여 설명하지 않는다. 이 때, 가장자리 경계가 픽셀 A1과 A2의 경계로 결정된 경우, 제1 서브인접픽셀은 A0-A1으로 결정되고, 제2 서브인접픽셀은 A2-A3으로 결정된다. 그리고, 단계 3에서 도시한 바와 같이 수직모드의 인트라 방향과 가장자리 경계에 기초하여 현재블록의 내부 경계가 결정된다. 이에 따라, 제1 서브인접픽셀의 수직방향에 위치한 현재블록의 픽셀들이 제1 서브현재블록으로 결정되고, 제2 서브인접픽셀에 수직방향에 위치한 현재블록의 픽셀들이 제2 서브현재블록으로 결정될 수 있다. 본 발명은 인트라모드에 따른 방향만 사용하여 서브현재블록을 구분하게 되므로 모든 방향에 대하여 모두 계산하여 서브현재블록을 구분하는 것보다 계산의 복잡도를 낮출 수 있다.
그리고, 단계 4 및 단계 5와 같이 제1 서브인접픽셀의 대표값 P1과 제2 서브인접픽셀의 대표값 P2를 결정한다. 그리고 결정된 대표값에 기초하여 각각의 제1 서브현재블록과 제2 서브현재블록의 뎁스값을 예측할 수 있다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 디코딩하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
본 발명은 비디오 신호를 코딩하는데 이용될 수 있다.

Claims (14)

  1. 비디오 신호 처리 방법에 있어서,
    소정의 인트라모드에 대응하는 현재 블록의 인접영역을 판단하는 단계와;
    상기 인접영역을 복수의 서브인접영역으로 구분하는 단계와;
    상기 서브인접영역과 상기 인트라모드에 기초하여 상기 현재블록을 복수의 서브블록영역으로 구분하는 단계와;
    상기 복수의 서브블록영역을 각각 예측하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  2. 제 1항에 있어서,
    상기 서브인접영역은 제1 서브인접영역 및 제2 서브인접영역을 포함하고,
    상기 서브블록영역은 제1 서브현재블록 및 제2 서브현재블록을 포함하고,
    상기 예측하는 단계는, 상기 제1 서브인접영역의 픽셀 뎁스값에 기초하여 상기 제1 서브현재블록의 예측값을 결정하는 단계와 상기 제2 서브인접영역의 픽셀 뎁스값에 기초하여 상기 제2 서브현재블록의 예측값을 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  3. 제 2항에 있어서,
    상기 제1 서브현재블록의 예측값은 상기 제1 서브인접영역의 픽셀 뎁스값의 평균값이고, 상기 제2 서브현재블록의 예측값은 상기 제2 서브인접영역의 픽셀 뎁스값의 평균값인 것을 특징으로 하는 비디오 신호 처리 방법.
  4. 제 2항에 있어서,
    상기 제1 서브현재블록의 예측값 및 상기 제2 서브현재블록의 예측값은 상기 인트라모드에 따른 예측방향정보에 기초하여 예측되는 것을 특징으로 하는 비디오 신호 처리 방법.
  5. 제 2항에 있어서,
    상기 인접영역을 복수의 서브인접영역으로 구분하는 단계는,
    상기 인접영역 내의 인접한 픽셀간의 뎁스 차이값을 판단하는 단계와;
    상기 뎁스 차이값 중 최대값을 판단하는 단계와;
    상기 최대값을 갖는 픽셀을 경계로, 상기 제1 서브인접영역 및 상기 제2 서브인접영역을 구분하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  6. 제 2항에 있어서,
    상기 인접영역을 복수의 서브인접영역으로 구분하는 단계는,
    상기 인접영역의 평균 픽셀 뎁스값을 계산하는 단계와;
    상기 평균 픽셀 뎁스값보다 큰 값을 갖는 영역을 상기 제1 서브인접영역으로 판단하고, 상기 평균 픽셀 뎁스값보다 작은 값을 갖는 영역을 상기 제2 서브인접영역으로 판단하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  7. 제 1항에 있어서,
    상기 인트라모드는 서로 다른 방향성을 갖는 9개의 모드 중 하나인 것을 특징으로 하는 비디오 신호 처리 방법.
  8. 제 1항에 있어서,
    상기 인트라모드는 서로 다른 방향성을 갖는 33개의 모드 중 하나인 것을 특징으로 하는 비디오 신호 처리 방법.
  9. 비디오 신호 처리 장치에 있어서,
    소정의 인트라모드에 대응하는 현재 블록의 인접영역을 판단하고, 상기 인접영역을 복수의 서브인접영역으로 구분하는 인접영역 결정부와;
    상기 서브인접영역과 상기 인트라모드에 기초하여 상기 현재블록을 복수의 서브블록영역으로 구분하는 현재블록 영역 결정부와;
    상기 복수의 서브블록영역을 각각 예측하는 영역기반 뎁스 인트라 예측부를 포함하는 것을 특징으로 하는 비디오 신호 처리 장치.
  10. 제 9항에 있어서,
    상기 서브인접영역은 제1 서브인접영역 및 제2 서브인접영역을 포함하고,
    상기 서브블록영역은 제1 서브현재블록 및 제2 서브현재블록을 포함하고,
    상기 영역기반 뎁스 인트라 예측부는, 상기 제1 서브인접영역의 픽셀 뎁스값에 기초하여 상기 제1 서브현재블록의 예측값을 결정하고, 상기 제2 서브인접영역의 픽셀 뎁스값에 기초하여 상기 제2 서브현재블록의 예측값을 결정하는 것을 특징으로 하는 비디오 신호 처리 장치.
  11. 제 10항에 있어서,
    상기 제1 서브현재블록의 예측값은 상기 제1 서브인접영역의 픽셀 뎁스값의 평균값이고, 상기 제2 서브현재블록의 예측값은 상기 제2 서브인접영역의 픽셀 뎁스값의 평균값인 것을 특징으로 하는 비디오 신호 처리 장치.
  12. 제 10항에 있어서,
    상기 영역기반 뎁스 인트라 예측부는, 상기 인트라모드에 따른 예측방향정보에 기초하여 상기 제1 서브현재블록의 예측값 및 상기 제2 서브현재블록의 예측값을 예측하는 것을 특징으로 하는 비디오 신호 처리 장치.
  13. 제 10항에 있어서,
    상기 인접영역 결정부는 상기 인접영역 내의 인접한 픽셀간의 뎁스 차이값을 판단하고, 상기 뎁스 차이값 중 최대값을 판단하고, 상기 최대값을 갖는 픽셀을 경계로, 상기 제1 서브인접영역 및 상기 제2 서브인접영역을 구분하는 것을 특징으로 하는 비디오 신호 처리 장치.
  14. 제 10항에 있어서,
    상기 인접영역 결정부는 상기 인접영역의 평균 픽셀 뎁스값을 계산하고, 상기 평균 픽셀 뎁스값보다 큰 값을 갖는 영역을 상기 제1 서브인접영역으로 판단하고, 상기 평균 픽셀 뎁스값보다 작은 값을 갖는 영역을 상기 제2 서브인접영역으로 판단하는 것을 특징으로 하는 비디오 신호 처리 장치.
PCT/KR2013/003502 2012-04-24 2013-04-24 비디오 신호 처리 방법 및 장치 WO2013162275A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261637280P 2012-04-24 2012-04-24
US61/637,280 2012-04-24

Publications (1)

Publication Number Publication Date
WO2013162275A1 true WO2013162275A1 (ko) 2013-10-31

Family

ID=49483497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/003502 WO2013162275A1 (ko) 2012-04-24 2013-04-24 비디오 신호 처리 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2013162275A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110019644A (ko) * 2009-08-20 2011-02-28 광주과학기술원 깊이 영상의 부호화를 위한 양방향 예측 방법 및 장치
KR20110032485A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치
KR20110093792A (ko) * 2008-11-10 2011-08-18 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
WO2011099792A2 (ko) * 2010-02-10 2011-08-18 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR20110117075A (ko) * 2009-01-29 2011-10-26 엘지전자 주식회사 경계 인트라 코딩을 이용한 비디오 신호 처리 방법 및 장치
KR20120000485A (ko) * 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110093792A (ko) * 2008-11-10 2011-08-18 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
KR20110117075A (ko) * 2009-01-29 2011-10-26 엘지전자 주식회사 경계 인트라 코딩을 이용한 비디오 신호 처리 방법 및 장치
KR20110019644A (ko) * 2009-08-20 2011-02-28 광주과학기술원 깊이 영상의 부호화를 위한 양방향 예측 방법 및 장치
KR20110032485A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치
WO2011099792A2 (ko) * 2010-02-10 2011-08-18 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR20120000485A (ko) * 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2015142054A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
JP6178017B2 (ja) ステレオビデオのための深度認識向上
WO2013169031A1 (ko) 비디오 신호 처리 방법 및 장치
CN111971960B (zh) 用于基于帧间预测模式处理图像的方法及其装置
WO2010068020A9 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치
WO2014010935A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013162273A1 (ko) 비디오 신호 처리 방법 및 장치
WO2010087589A2 (ko) 경계 인트라 코딩을 이용한 비디오 신호 처리 방법 및 장치
WO2015139605A1 (en) Method for low-latency illumination compensation process and depth lookup table based coding
WO2013133627A1 (ko) 비디오 신호 처리 방법
WO2014107083A1 (ko) 비디오 신호 처리 방법 및 장치
JP2009523355A (ja) 多視点ビデオの処理
WO2013191436A1 (ko) 비디오 신호 처리 방법 및 장치
TW201811045A (zh) 動態影像解碼裝置、動態影像解碼方法、及記錄有動態影像解碼程式之記錄媒體
CN113315974A (zh) 视频解码器和方法
WO2015142057A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
JP6039178B2 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
WO2013176485A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016056822A1 (ko) 3d 비디오 코딩 방법 및 장치
WO2014010918A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013133587A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014058207A1 (ko) 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
WO2016003209A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
CN115349257A (zh) 基于dct的内插滤波器的使用
CN112640470A (zh) 视频编码器、视频解码器及对应方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13781791

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13781791

Country of ref document: EP

Kind code of ref document: A1