KR20130079261A - 3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치 - Google Patents

3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20130079261A
KR20130079261A KR1020120155314A KR20120155314A KR20130079261A KR 20130079261 A KR20130079261 A KR 20130079261A KR 1020120155314 A KR1020120155314 A KR 1020120155314A KR 20120155314 A KR20120155314 A KR 20120155314A KR 20130079261 A KR20130079261 A KR 20130079261A
Authority
KR
South Korea
Prior art keywords
block
prediction unit
current
current prediction
motion vector
Prior art date
Application number
KR1020120155314A
Other languages
English (en)
Inventor
이충구
이용재
김휘
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Publication of KR20130079261A publication Critical patent/KR20130079261A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

본 발명은 3차원 영상에 적용할 수 있는 움직임 벡터 예측을 통한 영상 부호화 방법 및 부호화 장치, 및 복호화 방법 및 복호화 장치를 개시하고 있다. 부호화 방법은 3차원 영상에서 현재 예측 유닛에 대한 부호화 방법에 있어서, 상기 현재 예측 유닛의 이미 부호화된 주변 블록의 움직임 벡터 중에서 상기 현재 예측 유닛과 동일한 깊이도를 갖는 상기 주변 블록의 움직임 벡터를 상기 현재 예측 유닛의 후보 예측 움직임 벡터로 선정하는 단계; 및 상기 후보 예측 움직임 벡터를 기반으로 화면간 예측(inter prediction)을 수행하여 상기 현재 예측 유닛의 움직임 벡터를 예측하여 복호화기로 전송하는 단계를 포함한다. 따라서, 깊이 정보를 가지는 3차원 영상에 대해 예측 움직임 벡터의 후보 선정을 효율적으로 할 수 있다.

Description

3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치{3D IMAGE ENCODING METHOD AND APPARATUS, AND DECODING METHOD AND APPARATUS}
본 발명은 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치에 관한 것으로, 보다 상세하게는 3차원 영상을 부호화하는 방법 및 장치, 및 복호화하는 방법 및 장치에 관한 것이다.
일반적으로 영상 압축 방법에서는 압축 효율을 높이기 위해 픽쳐들의 중복도를 제거하는 화면간 예측(inter prediction) 및 화면내 예측(intra prediction) 기술을 이용한다.
화면간 예측을 이용해 영상을 부호화하는 방법은 픽처들 사이의 시간적인 중복성(spatial redundancy)을 제거하여 영상을 압축하는 방법으로서 대표적으로 움직임 보상 예측 부호화 방법이 있다.
움직임 보상 예측 부호화는 현재 부호화되는 픽처의 앞 및/또는 뒤에 위치하는 적어도 하나의 참조 픽처에서 현재 부호화되는 블록과 유사한 영역을 검색하여 움직임 벡터(MV: Motion Vector)를 생성하고, 생성된 움직임 벡터를 이용하여 움직임 보상을 수행하여 얻어지는 예측 블록과 현재 예측 유닛의 잔여값(residue)을 DCT(Discrete Cosine Transform) 변환하고 양자화한 후 엔트로피 부호화하여 전송한다.
움직임 보상 화면간 예측의 경우, 하나의 픽처를 소정 크기를 가지는 복수의 블록(block)으로 구분하여 움직임 벡터(MV)를 생성하고, 생성된 움직임 벡터를 이용하여 움직임 보상을 수행한다. 움직임 보상을 수행하여 얻어지는 각각의 예측 블록에 대한 개별적인 움직임 파라미터는 디코더로 전송된다.
3차원 영상의 경우, 영상의 특성상 각 픽셀이 화소 정보뿐만 아니라 깊이(depth) 정보를 포함하고 있으며, 인코더에서 깊이 정보를 구해 디코더로 다시점 비디오 영상 정보 및 깊이 정보를 전송한다. 이때, 움직임 벡터 예측(Motion Vector Prediction)을 사용한다. 예측 움직임 벡터의 후보 블록으로 현재 예측 유닛의 주변 블록의 움직임 벡터를 사용하는데 깊이 정보를 갖는 3차원 영상의 경우 예측 움직임 벡터를 효율적으로 적용하는 방법이 필요하다.
기존의 H.264/AVC 표준에서는, 4화소 단위의 블록에 대해 화면내 예측 부호화를 적용할 경우, 9가지의 예측 모드(즉, 예측 모드 0 내지 8) 중 가장 적절한 예측 모드를 4화소 블록마다 1개씩 선택하고, 선택된 예측 모드를 4화소 블록 단위로 부호화한다.
또한, H.264/AVC 표준에서는, 영상이 낮은 비트율로 부호화되는 경우 복호영상에 블록왜곡이 발생한 상태에서 프레임 메모리에 저장되고 다음 픽처의 움직임 보상 처리에서 상기 블록왜곡을 포함한 영상을 참조하여 부호화하기 때문에 화질의 열화가 전파되는 문제를 해결하기 위해, 프레임 메모리에 복호 영상을 저장하기 전에 블록왜곡 현상을 제거하는 적응적인 디블록킹 필터링(deblocking filtering)을 사용한다.
즉, 적응적 디블록킹 필터링은 동일한 영상 내에서 블록왜곡이 발생하기 쉬운 위치와 블록왜곡이 발생하기 어려운 위치에 각각 디블록킹 필터를 적응적으로 적용함으로써 영상의 블록왜곡이 참조영상에 포함된 상태로 복호영상에 전달하게 되는 것을 방지하여 양호한 복호영상이 출력되도록 한다.
3D 비디오의 경우 3D라는 특성상 깊이 정보가 별도로 존재하며, 주로 부호화기에서 깊이 정보를 생성하여 다시점 컬러 영상과 깊이 영상을 복호화기로 함께 전달한다. 전술한 디블록킹 필터를 3D 비디오에 적용할 경우, 이러한 깊이 정보를 이용하여 블록의 경계에서 디블록킹 필터의 적용 여부를 효율적으로 선택하는 기법이 필요하다.
한국 공개 특허 제10-2004-0049259 (2004년06월11일 공개), 3차원 객체 데이터 부호화 및 복호화 방법 및 장치
본 발명의 목적은 3차원 영상에 적용할 수 있는 움직임 벡터 예측을 통한 영상 부호화 방법 및 부호화 장치를 제공하는 것이다.
본 발명의 다른 목적은 3차원 영상에 적용할 수 있는 움직임 벡터 예측을 통한 영상 복호화 방법 및 복호화 장치를 제공하는 것이다.
본 발명의 다른 목적은 3차원 영상에 적용할 수 있는 깊이 정보를 고려한 블록 병합을 이용하는 3차원 영상 부호화 방법 및 부호화 장치를 제공하는 것이다.
본 발명의 다른 목적은 깊이 정보를 고려한 블록 병합을 이용하는 3차원 영상 복호화 방법 및 복호화 장치를 제공하는 것이다.
본 발명의 다른 목적은 3D 영상의 품질을 유지하면서 부호화 효율을 향상시킬 수 있는 디블록킹 필터링 방법을 제공하는 것이다.
본 발명의 다른 목적은 3D 영상의 품질을 유지하면서 부호화 효율을 향상시킬 수 있는 인-루프 필터링 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 3차원 영상 부호화 방법은 3차원 영상에서 현재 예측 유닛에 대한 부호화 방법에 있어서, 상기 현재 예측 유닛의 이미 부호화된 주변 블록의 움직임 벡터 중에서 상기 현재 예측 유닛과 동일한 깊이도를 갖는 상기 주변 블록의 움직임 벡터를 상기 현재 예측 유닛의 후보 예측 움직임 벡터로 선정하는 단계; 및 상기 후보 예측 움직임 벡터를 기반으로 화면간 예측(inter prediction)을 수행하여 상기 현재 예측 유닛의 움직임 벡터를 예측하여 복호화기로 전송하는 단계를 포함할 수 있다.
상기 주변 블록은 상기 현재 예측 유닛의 좌측 최하단의 제 1 블록, 상기 제 1 블록의 하단에 접해 있는 제 2 블록, 상기 현재 예측 유닛의 상단의 최우측의 제 3 블록, 상기 제 3 블록의 우측에 접해 있는 제 4 블록 및 상기 현재 예측 유닛의 좌상단 블록인 제 5 블록을 포함할 수 있다.
상기 후보 움직임 벡터 선정 단계는 상기 현재 예측 유닛과 동일한 깊이도를 갖는 상기 주변 블록이 적어도 3개인 경우, 상기 제 1 블록, 상기 제 2 블록, 상기 제 3 블록, 상기 제 4 블록 및 상기 제 5 블록 순으로 순차적으로 상기 현재 예측 유닛의 예측 움직임 벡터의 후보로 이용 가능한지 판단하여 상기 현재 예측 유닛의 후보 예측 움직임 벡터를 선정하는 단계를 포함할 수 있다.
상기 후보 움직임 벡터 선정 단계는 상기 현재 예측 유닛과 동일한 깊이도를 갖는 상기 주변 블록이 존재하지 않는 경우, 상기 제 1 블록, 상기 제 2 블록, 상기 제 3 블록, 상기 제 4 블록 및 상기 제 5 블록 순으로 순차적으로 상기 현재 예측 유닛의 예측 움직임 벡터의 후보로 이용 가능한지 판단하여 상기 현재 예측 유닛의 후보 예측 움직임 벡터를 선정하는 단계를 포함할 수 있다.
상기 주변 블록은 상기 현재 예측 유닛의 좌측에 접해 있는 제 1 블록, 상기 현재 예측 유닛의 상단에 접해 있는 제 2 블록, 상기 제 2 블록의 우측에 접해 있는 제 3 블록을 포함할 수 있다.
상기 주변 블록은 상기 현재 예측 유닛의 좌측 최상단에 접해 있는 제 1 블록, 상기 현재 예측 유닛의 상단 최좌측에 접해 있는 제 2 블록, 상기 현재 예측 유닛의 우상단 블록인 제 3 블록을 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 3차원 영상 복호화 방법은 3차원 영상에서 현재 예측 유닛에 대한 복호화 방법에 있어서, 수신된 비트 스트림을 엔트로피 복호화하고 역양자화 및 역변환을 수행하는 단계; 상기 역변환된 비트 스트림을 기반으로 상기 현재 예측 유닛의 이미 부호화된 주변 블록의 움직임 벡터 중에서 상기 현재 예측 유닛과 동일한 깊이를 갖는 상기 주변 블록의 움직임 벡터를 상기 현재 예측 유닛의 후보 예측 움직임 벡터로 선정하는 단계; 및 상기 후보 예측 움직임 벡터를 기반으로 화면간 예측(inter prediction)을 수행하여 상기 현재 예측 유닛의 움직임 벡터를 예측하여 영상을 복원하는 단계를 포함할 수 있다.
상기 주변 블록은 상기 현재 예측 유닛의 좌측 최하단의 제 1 블록, 상기 제 1 블록의 하단에 접해 있는 제 2 블록, 상기 현재 예측 유닛의 상단의 최우측의 제 3 블록, 상기 제 3 블록의 우측에 접해 있는 제 4 블록 및 상기 현재 예측 유닛의 좌상단 블록인 제 5 블록을 포함할 수 있다.
상기 후보 움직임 벡터 선정 단계는 상기 현재 예측 유닛과 동일한 깊이도를 갖는 상기 주변 블록이 적어도 3개인 경우, 상기 제 1 블록, 상기 제 2 블록, 상기 제 3 블록, 상기 제 4 블록 및 상기 제 5 블록 순으로 순차적으로 상기 현재 예측 유닛의 예측 움직임 벡터의 후보로 이용 가능한지 판단하여 상기 현재 예측 유닛의 후보 예측 움직임 벡터를 선정하는 단계를 포함할 수 있다.
상기 후보 움직임 벡터 선정 단계는 상기 현재 예측 유닛과 동일한 깊이도를 갖는 상기 주변 블록이 존재하지 않는 경우, 상기 제 1 블록, 상기 제 2 블록, 상기 제 3 블록, 상기 제 4 블록 및 상기 제 5 블록 순으로 순차적으로 상기 현재 예측 유닛의 예측 움직임 벡터의 후보로 이용 가능한지 판단하여 상기 현재 예측 유닛의 후보 예측 움직임 벡터를 선정하는 단계를 포함할 수 있다.
상기 주변 블록은 상기 현재 예측 유닛의 좌측에 접해 있는 제 1 블록, 상기 현재 예측 유닛의 상단에 접해 있는 제 2 블록, 상기 제 2 블록의 우측에 접해 있는 제 3 블록을 포함할 수 있다.
상기 주변 블록은 상기 현재 예측 유닛의 좌측 최상단에 접해 있는 제 1 블록, 상기 현재 예측 유닛의 상단 최좌측에 접해 있는 제 2 블록, 상기 현재 예측 유닛의 우상단 블록인 제 3 블록을 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 영상 부호화 방법은 3차원 영상의 현재 예측 유닛에 대한 블록 병합을 수행하여 상기 3차원 영상을 부호화하는 방법에 있어서, 상기 현재 예측 유닛의 주변 블록을 상기 현재 예측 유닛과 병합하는 블록 병합 단계; 및 상기 병합된 블록의 움직임 파라미터를 복호화기로 전송하는 전송 단계를 포함하되, 상기 블록 병합 단계는, 상기 현재 예측 유닛의 깊이도와 동일한 깊이도를 갖는 상기 주변 블록을 병합 가능 블록 집합으로 선정하는 집합 선정 단계; 및 상기 병합 가능 블록 집합에 속하는 블록을 기반으로 블록 병합을 위한 후보로 이용 가능한지 판단하여, 상기 판단 결과, 블록 병합을 위한 후보로 이용 가능한 블록을 기반으로 블록 병합을 수행하는 병합 수행 단계를 포함할 수 있다.
상기 주변 블록은 상기 현재 예측 유닛의 좌측 최하단의 제 1 블록, 상기 제 1 블록의 하단에 접해 있는 제 2 블록, 상기 현재 예측 유닛의 상단의 최우측의 제 3 블록, 상기 제 3 블록의 우측에 접해 있는 제 4 블록 및 상기 현재 예측 유닛의 좌상단 블록인 제 5 블록을 포함할 수 있다.
상기 블록 병합 단계는 상기 후보 블록 중에서 상기 현재 예측 유닛과 움직임 벡터가 동일한 후보 블록을 블록 병합을 위한 최종 후보 블록으로 선정하는 단계를 더 포함할 수 있다.
상기 주변 블록은 입력 영상을 대칭 파티션 분할, 비대칭 파티션 분할 및 기하학적 파티션 분할 방법 중 적어도 하나를 적용하여 분할된 블록일 수 있다.
3차원 영상에서 현재 예측 유닛에 대한 복호화 방법에 있어서, 수신된 비트 스트림을 엔트로피 복호화하고 역양자화 및 역변환을 수행하여 잔여값을 복원하는 단계; 상기 역변환된 비트 스트림을 기반으로 예측 유닛 정보 및 움직임 파라미터를 이용하여 움직임 보상을 수행하여 예측 유닛을 생성하는 단계; 및 상기 예측 유닛에 상기 잔여값을 더하여 영상을 복원하는 단계를 포함하되, 상기 현재 예측 유닛의 주변 블록 중에서 상기 현재 예측 유닛과 동일한 깊이도를 갖는 주변 블록은 병합 가능 블록 집합에 포함되고, 상기 병합 가능 블록 집합에 포함된 블록들 중 상기 현재 예측 유닛과 병합된 블록에 대해서는 동일한 움직임 파라미터를 가질 수 있다.
*상기 주변 블록은 상기 현재 예측 유닛의 좌측 최하단의 제 1 블록, 상기 제 1 블록의 하단에 접해 있는 제 2 블록, 상기 현재 예측 유닛의 상단의 최우측의 제 3 블록, 상기 제 3 블록의 우측에 접해 있는 제 4 블록 및 상기 현재 예측 유닛의 좌상단 블록인 제 5 블록을 포함할 수 있다.
상기 주변 블록은 입력 영상을 대칭 파티션 분할, 비대칭 파티션 분할 및 기하학적 파티션 분할 방법 중 적어도 하나를 적용하여 분할된 블록일 수 있다.
전술한 본 발명의 목적을 달성하기 위한 디블록킹 필터링 방법은 현재 블록의 깊이 값 및 상기 현재 블록의 이전에 부호화된 주변 블록의 깊이 값을 기반으로 디블로킹 필터의 적용 여부를 결정하는 단계 및 상기 적용 여부 결정 단계에서 상기 디블로킹 필터를 적용하는 것으로 결정된 경우 상기 현재 블록 및 주변 블록 간의 블록경계강도를 설정하는 단계를 포함할 수 있다. 여기서, 상기 적용 여부를 결정하는 단계는 상기 현재 블록의 깊이 값 및 주변 블록의 깊이 값이 동일한 경우 상기 현재 블록 및 주변 블록 간 경계에 상기 디블로킹 필터를 적용하는 것으로 결정하는 것을 특징으로 할 수 있다. 여기서, 상기 블록경계강도를 설정하는 단계는 현재 블록의 이전에 부호화된 주변 블록에 인트라 예측이 적용되었는지 여부를 판단하는 단계, 상기 판단 결과 상기 현재 블록의 이전에 부호화된 주변 블록에 인트라 예측이 적용된 경우에는 상기 현재 블록과 상기 주변 블록의 경계가 예측 유닛의 경계인지 여부를 판단하여 상기 현재 블록과 상기 주변 블록의 경계가 예측 유닛의 경계인 경우에는 디블록킹 필터의 블록경계강도를 가장 높은 제1 값으로 설정하는 단계, 상기 판단 결과 상기 현재 블록의 주변 블록에 인트라 예측이 적용되었지만 상기 현재 블록과 상기 주변 블록의 경계가 예측 유닛의 경계가 아닌 경우에는 상기 블록경계강도를 상기 제1 값보다 낮은 제2 값으로 설정하는 단계, 상기 판단 결과 상기 현재 블록의 주변 블록에 인트라 예측이 적용되지 않고 인터 예측이 적용된 경우에는 상기 현재 블록의 주변 블록이 부호화된 계수(coded coefficients)를 포함하고 있는지 여부를 판단하는 단계, 상기 현재 블록의 주변 블록이 상기 부호화된 계수(coded coefficients)를 포함하는 경우에는 상기 블록경계강도를 상기 제2 값보다 작은 제3 값으로 설정하는 단계, 상기 현재 블록의 주변 블록에 인트라 예측이 적용되지 않고 상기 인터 예측이 적용된 경우이고 또한 상기 현재 블록의 주변 블록이 상기 부호화된 계수(coded coefficients)를 포함하지 않는 경우에 상기 현재 블록의 주변 블록이 상기 현재 블록과 서로 다른 참조 픽춰 또는 서로 다른 움직임 벡터를 가지는 경우에는 상기 블록경계강도를 상기 제3 값보다 작은 제4 값으로 설정하는 단계 및 상기 현재 블록의 주변 블록에 인트라 예측이 적용되지 않고 상기 인터 예측이 적용된 경우이고 또한 상기 현재 블록의 주변 블록이 상기 부호화된 계수(coded coefficients)를 포함하지 않는 경우에 상기 현재 블록의 주변 블록이 현재블록과 서로 다른 참조 픽춰 또는 서로 다른 움직임 벡터를 가지는 경우가 아닌 경우에는 상기 블록경계강도를 상기 제4 값보다 작은 최저값인 제5 값으로 설정하는 단계를 포함할 수 있다.
본 발명의 다른 목적을 달성하기 위한 인-루프 필터링 방법은 디블로킹 필터를 적용하는 단계 및 상기 디블록킹 필터를 한 이후에 상기 디블록킹 필터가 처리된 픽셀들에 대하여 상기 디블록킹 필터가 처리된 픽셀들과 원래 픽셀들(original pixels)간의 평균적인 차이값인 DC 오프셋(offset)을 보상하기 위한 샘플 적응적 오프셋(SAO; Sample Adaptive Offset)를 상기 디블록킹 필터를 한 이후에 상기 현재 블록의 분할(partitioning)된 블록 단위로 선택적으로 처리하는 단계를 포함할 수 있다. 여기서, 상기 샘플 적응적 오프셋(SAO) 처리 이후에 원래 픽셀들(original pixels)과 복호화된 픽셀들간의 차이값의 제곱(square error)의 합을 최소화하는 위너 필터를 사용하여 적응적 루프 필터(ALF; Adaptive Loop Filter)를 선택적으로 적용하는 단계를 더 포함할 수 있다.
3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치에 따르면, 깊이 정보를 가지는 3차원 영상에 대해 예측 움직임 벡터의 후보 선정을 효율적으로 할 수 있다는 효과가 있다.
3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치에 따르면, 현재 예측 유닛의 깊이와 동일한 깊이를 갖는 주변 블록에 대해 현재 예측 유닛의 움직임 벡터의 예측값으로 사용함으로써 3차원 영상의 현재 예측 유닛의 움직임 벡터 선정시 복잡도를 감소시키면서 정확도를 증가시킬 수 있다는 효과가 있다.
본 발명의 깊이 정보를 고려한 블록 병합을 이용하는 3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치에 따르면, 깊이 정보를 갖는 3차원 영상에 대해 병합 가능 블록 집합의 선정을 보다 효율적으로 할 수 있다는 효과가 있다.
또한, 본 발명의 깊이 정보를 고려한 블록 병합을 이용하는 3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치에 따르면, 현재 예측 유닛의 깊이도와 동일한 깊이도를 갖는 주변 블록을 병합 가능 블록 집합에 포함시켜 화면간 예측을 수행함으로써 3차원 영상의 현재 예측 유닛의 블록 병합시 복잡도를 감소시키면서 정확도를 증가시켜 고화질의 3차원 영상을 제공하는 효과가 있다.
상술한 디블록킹 필터링 방법에 따르면, 화면내 예측 부호화가 적용된 블록에 대해 블록의 경계에서 깊이 정보를 기반으로 동일 객체 여부를 판별하여 디블록킹 필터링의 수행 여부를 결정하고, 해당 블록의 부호화 모드, 코딩 유닛의 경계인지 여부, 부호화된 계수의 포함 여부 및 움직임 벡터가 상이한지 여부를 고려하여 블록경계강도를 차등적으로 설정하고 디블록킹 필터링을 수행한다.
따라서, 불필요한 디블록킹 필터링을 방지하고, 최적의 블록경계강도로 디블록킹 필터링을 수행함으로써 복호된 영상의 품질을 향상시킬 수 있고, 부호화 효율을 향상시킬 수 있다.
또한, 디블록킹 필터를 한 이후에 디블록킹 필터가 처리된 픽셀들에 대하여 DC 오프셋(offset)을 보상하기 위한 샘플 적응적 오프셋(SAO; Sample Adaptive Offset)를 추가적으로 적용하고, 상기 샘플 적응적 오프셋(SAO) 이후에 선택적으로 적응적 루프 필터(ALF; Adaptive Loop Filter)를 적용함으로써 단순히 디블록킹 필터만을 적용한 경우에 비하여 복호된 영상의 품질을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 순환적 코딩 유닛의 구조를 나타내는 개념도,
도 2는 공간적인 후보로서의 주변 블록을 도시한 도면,
도 3은 시간적인(temporal) 후보로서의 주변 블록을 도시한 도면,
도 4는 본 발명의 일 실시예에 따른 3차원 영상 부호화 장치를 개략적으로 나타낸 블록도,
도 5는 본 발명의 일 실싱예에 따른 3차원 영상 부호화 방법을 개략적으로 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 블록 병합을 이용한 영상 부호화 방법을 설명하기 위한 개념도,
도 7a는 하나의 픽처를 쿼드트리 기반 분할(quadtree-based division) 방식으로 예측 블록들(prediction blocks)로 분할한 경우를 나타낸 도면,
도 7b 및 도 7c는 본 발명의 다른 실시예에 따른 비대칭적 파티션 분할(asymmetric partitioning)의 경우 블록 병합(block merging)을 이용한 부호화 방법을 설명하기 위한 개념도,
도 8은 본 발명의 일 실시예에 따른 블록 병합을 이용하는 3차원 영상 부호화 장치의 구성을 나타내는 블록도,
도 9는 본 발명의 일 실시예에 따른 블록 병합을 이용하는 3차원 영상 부호화 방법을 나타내는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 디블록킹 필터링의 대상이 되는 블록 경계의 예시도이다.
도 11은 본 발명의 일 실시예에 따른 디블록킹 필터링 방법을 나타내는 흐름도이다.
도 12는 도 11의 블록경계강도 설정 단계의 상세 흐름도이다.
도 13은 본 발명의 다른 실시예에 따른 인-루프 필터링 방법을 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 일 실시예에서는 HD(High Definition)급 이상의 해상도를 가지는 고해상도에 적용하기 위하여 32x32 픽셀 크기 이상의 확장 매크로블록(Extended Macroblock) 크기를 이용하여 화면간/화면내 예측 변환, 양자화, 엔트로피 부호화 등의 부호화 및 복호화를 수행할 수도 있고, 하기에 설명하는 순환적(recursive) 코딩 유닛(CU: Coding Unit) 구조를 사용하여 부호화 및 복호화를 수행할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 순환적 코딩 유닛의 구조를 나타내는 개념도이다.
도 1을 참조하면, 각 코딩 유닛(CU)은 정방형의 픽셀 크기를 가지며, 2N2N(단위: 픽셀) 크기의 가변적인 크기를 가질 수 있다. 화면간 예측, 화면내 예측, 변환, 양자화, 디블록킹 필터링 및 엔트로피 부호화는 코딩 유닛(CU) 단위로 이루어질 수 있다.
코딩 유닛(CU)은 최대 코딩 유닛(LCU: Largest Coding Unit), 최소 코딩 유닛(SCU: Smallest Coding Unit)을 포함할 수 있고, 최대 코딩 유닛(LCU)과 최소 코딩 유닛(SCU)의 크기는 8 이상의 크기를 가지는 2의 거듭제곱 값으로 나타낼 수 있다.
코딩 유닛의 크기는 8 이상의 크기를 가지는 2의 거듭제곱 값-예를 들어 8x8, 16x16, 32x32, 64x64-를 가질 수 있다. 또한, 코딩 유닛의 크기는 128 x 128 이상의 크기를 가질 수도 있다.
본 발명의 일 실시예에 따른 코딩 유닛(CU)은 순환적인 크기 구조를 가질 수 있다. 도 1은 최대 코딩 유닛(LCU)인 CU0의 한 변의 크기(2N0)가 128(N0=64)이고, 최대 계층 레벨(level) 또는 계층 깊이(depth)가 5인 경우를 나타낸다. 순환적인 구조는 일련의 플래그(flag)를 통하여 표현될 수 있다. 예를 들어, 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)의 플래그 값이 0인 경우, 코딩 유닛(CUk)에 대한 코딩은 현재의 계층 레벨 또는 계층 깊이에 대해 이루어진다.
또는, 플래그 값이 1인 경우 현재의 계층 레벨 또는 계층 깊이가 k인 코딩 유닛(CUk)은 4개의 독립적인 코딩 유닛(CUk +1)으로 분할되며, 분할된 코딩 유닛(CUk+1)은 계층 레벨 또는 계층 깊이가 k+1이 되며, 크기는 Nk +1Nk +1가 된다. 이 경우 코딩 유닛(CUk +1)은 코딩 유닛(CUk)의 서브 코딩 유닛으로 나타낼 수 있다. 코딩 유닛(CUk +1)의 계층 레벨 또는 계층 깊이가 최대 허용 가능한 계층 레벨 또는 계층 깊이에 도달할 때까지 코딩 유닛(CUk +1)은 순환적으로(recursive) 처리될 수 있다. 코딩 유닛(CUk +1)의 계층 레벨 또는 계층 깊이가 최대 허용 가능한 계층 레벨 또는 계층 깊이-도 1에서는 4인 경우를 예로 들었음-과 동일한 경우에는 더 이상의 분할은 허용되지 않는다.
최대 코딩 유닛(LCU)의 크기 및 최소 코딩 유닛(SCU)의 크기는 시퀀스 파라미터 셋(SPS: Sequence Parameter Set)에 포함될 수 있다. 시퀀스 파라미터 셋(SPS)은 최대 코딩 유닛(LCU)의 최대 허용 가능한 계층 레벨 또는 계층 깊이를 포함할 수 있다. 예를 들어, 도 1의 경우는 최대 허용 가능한 계층 레벨 또는 계층 깊이는 5이고, 최대 코딩 유닛(LCU)의 한변의 크기가 128(단위: 픽셀)인 경우, 128x128(LCU), 64x64, 32x32, 16x16 및 8x8(SCU)의 5가지 종류의 코딩 유닛 크기가 가능하다. 즉, 최대 코딩 유닛(LCU)의 크기 및 최대 허용 가능한 계층 레벨 또는 계층 깊이가 주어지면 허용가능한 코딩 유닛의 크기가 결정될 수 있다.
상기한 바와 같이 코딩 유닛의 계층적인 분할 과정이 완료되면 더 이상의 분할 없이 코딩 유닛 계층 트리의 말단 코딩 유닛(leaf Coding Unit)에 대해 화면간 예측 또는 화면내 예측을 수행할 수 있으며, 이러한 말단 코딩 유닛이 화면간 또는 화면내 예측의 기본 단위인 예측 유닛(PU: Prediction Unit)으로 사용된다. 또한, 화면간 예측 또는 화면내 예측을 위하여 상기 말단 코딩 유닛에 대해 파티션(partition) 분할이 수행될 수 있다. 파티션 분할은 예측 유닛(PU)에 대해 수행된다. 여기서, 예측 유닛(PU)는 화면간 예측 또는 화면내 예측을 위한 기본 단위의 의미이며, 기존의 매크로 블록 단위 또는 서브-매크로 블록 단위가 될 수도 있고, 32 X 32 픽셀 크기 이상의 확장 매크로 블록 단위가 될 수도 있다.
예측과 관련된 모든 정보(움직임 벡터, 움직임 벡터의 차이값등)는 화면간 예측의 기본 단위인 예측 유닛별로 디코더로 전송된다.
이러한 예측 유닛을 화면간 예측하는 방법에는 직접(direct) 모드, 스킵(skip) 모드 및 병합(merge) 모드가 있다. 이 중 병합 모드는 하나의 픽처가 계층적으로 말단 코딩 유닛까지 분할한 후 현재 예측 유닛을 이전에 부호화된 후보와 병합하여 동일한 움직임 파라미터를 적용하여 디코더로 전송하는 것을 말한다. 여기서, 움직임 파라미터는 예컨대, 움직임 벡터, 움직임 벡터 차이값 등을 포함할 수 있다. 화면간 예측의 경우 모든 예측 블록들의 집합을 '임시 블록'이라고 하고, 특정 블록과의 병합이 허용되는 블록들의 집합을 '병합 가능 블록'이라고 정의한다.
상기 병합 가능 블록들의 기준은 예를 들어 현재 예측 유닛의 상단(top) 주변 샘플들 및 좌측(left) 주변 블록들, 또는 현재 예측 유닛의 상단(top) 주변 블록 및 좌측(left) 주변 블록의 2개 블록으로 미리 정해둘 수 있다. 또는, 상기 병합 가능 블록들의 기준은 2개 블록 이상, 예를 들어 현재 예측 유닛의 상단(top) 주변 블록들 전부 및 좌측(left) 주변 블록들 전부로 미리 정해둘 수도 있다.
상기 병합 가능 블록들의 기준은 인코더 및 디코더간에 서로 약속에 따라 미리 정해질 수 있다. 예를 들어, 디폴트(default) 값으로 상기와 같이 현재 예측 유닛의 상단(top) 주변 블록들 및 좌측(left) 주변 블록들로 정해놓고 별도로 병합 가능 블록들의 기준을 알려주는 정보를 디코더로 전송하지 않을 수도 있다. 또는 병합 가능 블록들의 기준을 나타내는 정보를 디코더로 보낼 수도 있다.
만약 병합 플래그가 '1'(true)인 경우 하기의 동작이 이루어진다. 만약 병합 가능 블록 집합이 단지 한 개 블록만을 포함하는 경우에는, 이러한 병합 가능 블록 집합에 포함된 한 개의 블록은 블록 병합에 사용된다. 병합 가능 블록 집합이 두 개의 블록을 포함하고 만약 이러한 두 개의 블록의 움직임 파라미터들이 동일하다면, 이러한 병합 가능 블록에 속하는 2개 블록의 움직임 파라미터들은 현재 예측 유닛에 대해서도 사용된다. 예를 들어 merge_left_flag가 '1'(true)인 경우, 병합 가능 블록 집합 중에서 현재 예측 유닛에 대한 상단-좌측 샘플 위치 중 좌측 주변 샘플 위치에 대응되는 블록이 선택될 수 있고, merge_left_flag가 '0'(false)인 경우, 병합 가능 블록 집합 중에서 현재 예측 유닛에 대한 상단-좌측 샘플 위치 중 나머지인 상단 주변 샘플 위치에 대응되는 블록이 선택될 수 있다. 상기와 같이 선택된 블록들에 대한 움직임 파라미터들은 현재 예측 유닛에 대해서도 사용된다.
상단-좌측 샘플 위치 중 직접(상단 또는 좌측) 주변 샘플들을 포함하는 블록들이 병합 가능 블록 집합 내에 포함될 수 있다. 따라서, 현재 예측 유닛은 병합 가능 블록 집합 내의 블록들과 병합된다. 만약 merge_flag가 0(false) 이면, 현재 예측 유닛은 어느 것과도 병합되지 않는다.
한편, 부호화 과정에서, 예측 블록(또는 예측된 예측 유닛)과 현재 블록(또는 현재 예측 유닛)을 감산하여 잔여값을 생성하고, 상기 잔여값(residue)을 DCT(Discrete Cosine Transform)변환하고 양자화한다. 여기서, 상기 잔여값을 변환함에 있어, 예측 유닛 크기 정보에 기초하여 변환을 수행할 수 있고, 예를 들어, 최대 32x32 또는 최대 64x64 픽셀 크기로 변환을 수행할 수 있다. 또는 변환에 있어, 예측 유닛 크기 정보와 독립적으로 별도의 변환 유닛(Transform Unit; TU) 단위로 변환을 수행할 수 있다. 예를 들어, 변환 유닛(TU) 크기는 최소 4 X 4 픽셀 크기부터 최대 32x32 픽셀 크기를 가질 수 있다. 또는 변환 유닛(TU)의 최대 크기는 32x32 픽셀 크기 이상- 예를 들어 64x64 픽셀 크기-를 가질 수도 있다. 상기 변환 유닛 크기 정보는 변환 유닛 정보에 포함되어 디코더로 전송될 수 있다.
도 2는 공간적인 후보로서의 주변 블록을 도시한 도면이다. 일반적인 경우, 주변 블록은 현재 예측 유닛과 접해 있는 여러가지 블록을 포함할 수 있다. 예컨대, 현재 예측 유닛의 좌측에 접해 있는 주변 블록 또는 현재 예측 유닛의 상단에 접해 있는 주변 블록이 모두 공간적인 후보로서 사용될 수 있다. 특히, 계층적인 구조를 갖는 부호화 방법에 있어서는 주변 블록의 크기가 일정하지 않을 수 있고, 현재 예측 유닛과 접해 있으면, 다른 블록 크기를 갖는 주변 블록들도 화면간 예측에 사용되는 주변 블록으로 활용될 수 있다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 3차원 영상 부호화 방법에서의 현재 예측 유닛(PU)에 대한 화면간 예측(inter prediction) 시에 사용될 수 있는 공간적인 주변 블록은 블록 A1(101), 블록 A0(102), 블록 B1(103), 블록 B0(104) 및 블록 B2(105)을 포함할 수 있다. 상기 블록들(101, 102, 103, 104, 105)은 실험적으로 화면간 예측에 의해 움직임 벡터를 예측할 시 예측 움직임 벡터의 후보로서 가장 확률이 높은 블록들이다. 상기 블록들(101, 102, 103, 104, 105)은 움직임 벡터 예측시 우선 순위를 정하여 예측 움직임 벡터로 사용할 수 있는지 판단하게 된다. 상기 우선 순위는 A1(101), 블록 A0(102), 블록 B1(103), 블록 B0(104) 및 블록 B2(105) 순이 사용될 수 있고, 상기 우선 순위를 기반으로 순차적으로 후보 예측 움직임 벡터로 이용가능한지 판단하여 이용 가능한 2개의 움직임 벡터를 최종 후보 예측 움직임 벡터로 선정할 수 있다.
도면에 도시되진 않았지만, 본 발명의 다른 실시예에 따르면, 3차원 영상 부호화 방법에서의 현재 예측 유닛(100)의 공간적인 주변 블록은 현재 예측 유닛(100)의 좌측에 접해 있는 블록, 현재 예측 유닛(100)의 상단에 접해 있는 블록 및 현재 예측 유닛(100)의 우상단 블록을 포함할 수 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 3차원 영상 부호화 방법에서 현재 예측 유닛(100)의 공간적인 주변 블록은 현재 예측 유닛(100)의 좌측 최상단에 접해 있는 블록, 현재 예측 유닛(100)의 상단 최좌측에 접해 있는 블록, 현재 예측 유닛(100)의 우상단 블록을 포함할 수 있다.
상기 본 발명의 다른 실시예 및 또 다른 실시예에 있어서, 주변 블록의 움직임 벡터를 사용하여 수형 성분과 수직 성분 각각의 중앙값을 사용하여 현재 예측 유닛(100)의 예측 움직임 벡터를 생성할 수 있다.
도 3은 시간적인(temporal) 후보로서의 주변 블록을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3차원 영상 부호화 방법에서의 현재 예측 유닛에 대한 화면간 예측(inter prediction) 시에 사용될 수 있는 시간적인 주변 유닛은 블록 TBR(130)을 포함할 수 있다. 도 3을 참조하면, 블록 TBR(130)은 참조 픽처에서 현재 예측 유닛과 대응되는 위치의 블록(120)의 주변 블록 중 최우측 하단의 주변 블록에 우측에 접해 있는 블록이다. 시간적인 후보 블록은 블록 TBR(130) 하나만 예측 움직임 벡터의 후보 블록으로서 고려할 수 있다.
도 2 및 도 3을 참조하면, 현재 예측 유닛(100)의 현재 예측 유닛(100)의 좌측 최하단의 블록(101), 블록(101)의 하단에 접해 있는 블록(102), 현재 예측 유닛(100)의 상단의 최우측의 블록(103), 블록(103)의 우측에 접해 있는 블록(104), 및 현재 예측 유닛(100)의 좌상단 블록(105) 및 이전 참조 영상의 현재 예측 유닛과 대응되는 위치에서 우하단 대각선에 위치한 블록(130), 총 6개의 주변 블록이 현재 예측 유닛(100)의 움직임 벡터를 예측하는데 사용될 수 있다. 즉, 총 6개의 주변 블록의 움직임 벡터가 현재 예측 유닛(100)의 예측 움직임 벡터를 결정하는 예측 움직임 벡터 후보군이 되는 것이다. 경우에 따라 현재 예측 유닛의 움직임 벡터를 예측하는데 이용할 수 없는 주변 블록이 존재하는데 이 경우에는 화면간 예측에 상기와 같이 사용불가능한 주변 블록을 사용하지 않는다.
이용할 수 없는 경우는 예컨대, 상기 주변 블록이 화면간(inter) 예측이 아닌 경우, 즉 화면내(intra) 예측인 경우 예측 움직임 벡터값을 갖지 않기 때문에 이용할 수 없고, 사물의 에지(edge)에 존재하여 움직임 벡터값이 크게 변하는 경우, 현재 예측 유닛(100)의 예측 움직임 벡터의 후보로 사용하기에는 적합하지 않아 이용할 수 없는 경우로 분류한다.
다음으로, 전술한 바와 같이 6 개의 예측 움직임 벡터의 후보군 중에서 사용 가능한 예측 움직임 벡터로 3개의 최종 예측 움직임 벡터 후보를 정하고 이를 기반으로 비트 스트림을 생성한다. 여기서 3개의 예측 움직임 벡터 후보는 공간적인 후보 2개 및 시간적인 후보 1개를 포함할 수 있다. 비트 스트림을 생성할 때, 각각의 비트와 움직임 벡터와의 대응 관계는 다음의 표를 통해 살펴볼 수 있다.
Figure pat00001
표 1을 참조하면, 총 3개의 예측 움직임 벡터만 저장할 수 있음을 알 수 있다. 상위 2개는 주변 블록 A1~B2 중에서 2개의 예측 움직임 벡터가 들어가고 나머지 한 개는 블록(130)의 움직임 벡터가 들어가게 된다. 그리고 3개의 최종 예측 움직임 벡터는 순서대로 S0, S1, S2의 인덱스(index)가 부여된다. 이렇게 선정된 3개의 예측 움직임 벡터 후보 중에서 현재 예측 유닛(100)의 예측 움직임 벡터를 선택하게 된다.
이때, 후보가 비트(bit)화 되는 표 1을 참조하면, 첫 번째 움직임 벡터의 인덱스는 1 비트(bit)로 정해져 있다. 따라서 우선 순위에 있는 2개의 후보를 최종 예측 움직임 벡터 후보로 선택하고 최우선 순위에 있는 예측 움직임 벡터 후보의 인덱스에 상대적으로 적게 비트가 할당되어 있기 때문에 정해진 우선 순위와 다른 결과가 나올 경우에는 마지막에 보내질 예측 움직임 벡터의 인덱스 코딩(coding)에 많은 비트가 사용되어 전송 효율이 좋지 않을 수 있다.
따라서, 가장 선택될 확률이 높은 후보를 우선적으로 확인하여 그 움직임 벡터를 첫 번째 인덱스를 부여하는 것이 데이터 효율 측면에서 중요하다. 이때, 일반적으로 사용될 수 있는 우선 순위를 제 1 우선 순위로 정의할 수 있다. 제 1 우선 순위는 상기한 바와 같이, 실험적으로 정해진 우선 순위로서 그 순서를 도 3을 참조하여 설명하면, 블록 A1(101)->블록 A0(102)->블록 B1(103)->블록 B0(104)->블록 B2(105)의 순이고, 이 순서대로 하나씩 주변 블록의 움직임 벡터가 이용 가능한 블록이면 바로 그 블록의 움직임 벡터에 인덱스를 부여한다. 사용 불가능하면 다음 순서로 넘어가게 된다. 따라서, 움직임 벡터의 이용 가능성을 판단하는 우선 순위는 매우 중요하다. 우선 순위에 기재된 움직임 벡터의 순서에 따라서, 현재 예측 유닛(100)의 예측 움직임 벡터가 달라질 수 있기 때문이다. 따라서, 영상의 특성에 따라 주변 블록을 참조하는 순서를 유동적으로 바꾸는 방법이 있을 수 있다. 즉, 첫 번째 후보에 주변 블록 중 예측 움직임 벡터로 선택될 확률이 가장 높은 주변 블록이 처음으로 인덱스를 부여받게 되는 블록이 되게 하면, 전송 효율 측면에서 이득을 얻을 수 있다.
본 발명의 일 실시예에 따른 3차원 영상 부호화 방법은 상기와 같은 주변 블록을 사용함에 있어서, 3차원 영상의 효율적인 부호화를 위해 주변 블록의 깊이(depth) 정보를 고려한다. 3차원 영상의 경우, 3차원의 특성상 깊이 정보가 존재하며, 부호화기에서 깊이 정보를 구해 복호화기로 다시점 비디오 영상과 깊이 정보를 함께 전송하는 것이 일반적이다.
따라서, 상기와 같이 주변 블록(101, 102, 103, 104, 105)을 활용하되, 상기 주변 블록(101, 102, 103, 104, 105)의 깊이 정보를 기반으로 예측 움직임 벡터의 후보를 결정할 수 있다.
즉, 현재 예측 유닛(100)과 동일한 깊이 정보를 갖는 주변 블록은 현재 예측 유닛(100)과 동일한 객체로 추정할 수 있으므로 동일한 움직임 벡터를 가진 것으로 추정할 수 있다. 따라서, 일반적인 움직임 벡터 선정 방식에 3차원의 특성인 깊이 정보를 접목하여 현재 예측 유닛(100)의 움직임 벡터 예측의 후보로 사용할 수 있다. 즉, 현재 예측 유닛(100)의 움직임 벡터의 예측 값으로 사용할 수 있다.
본 발명의 실시예에 따르면 상기 현재 예측 유닛(100)의 주변 블록, 예컨대 좌측에 접해 있는 주변 블록 및 상단에 접해 있는 주변 블록 중에서 두 개의 공간적인 예측 움직임 벡터에 대한 후보 블록을 선정할 수 있는데 이때, 상기 주변 블록의 깊이 정보를 기반으로 현재 예측 유닛(100)과 동일한 깊이도를 갖는 주변 블록을 예측 움직임 벡터에 대한 후보 블록으로 선정할 수 있다.
본 발명의 일 실시예에 따르면, 상기 주변 블록(101, 102, 103, 104, 105)의 움직임 벡터 중에서 두 개의 공간적인 예측 움직임 벡터 후보를 선정할 수 있는데, 주변 블록(101, 102, 103, 104, 105)의 깊이 정보를 추출하여, 현재 예측 유닛(100)과 비교를 수행할 수 있다. 이때, 주변 블록 중 블록 A1(101)은 2의 깊이도를 갖고, A0(102)는 1의 깊이도, B1(103)은 4의 깊이도, B0(104)는 3의 깊이도, B2(105)는 2의 깊이도를 갖으며, 현재 예측 유닛(100)은 2의 깊이도를 갖는 경우, 상기 현재 예측 유닛(100)과 동일한 2의 깊이도를 갖는 A1(101)과 B2(105)의 움직임 벡터가 현재 예측 유닛(100)의 움직임 벡터 예측을 위한 후보로 선정될 수 있다. 이때, 동일한 깊이 정보를 갖는 주변 블록이 2개 이상인 경우, 상기한 제 1 우선 순위에 따라 예측 움직임 벡터의 공간적인 후보를 선정할 수 있다.
본 발명의 다른 실시예에 따르면, 비교 결과, 주변 블록(101, 102, 103, 104, 105) 중 현재 예측 유닛(100)과 동일한 깊이도를 갖는 주변 블록이 없는 경우, 일반적인 예측 움직임 벡터 후보 선정 방식인 제 1 우선 순위를 사용하여 블록 A1(101)->블록 A0(102)->블록 B1(103)->블록 B0(104)->블록 B2(105)의 순으로 이용 가능 여부를 판단하여 공간적인 후보 2개를 선정할 수 있다.
또 다른 실시예에 따르면, 비교 결과 동일한 깊이도를 갖는 주변 블록이 없는 경우, 현재 예측 유닛(100)과의 깊이도 차이를 기반으로 현재 예측 유닛(100)과 가장 깊이도 차이가 작은 주변 블록의 움직임 벡터를 현재 예측 유닛(100)을 위한 예측 움직임 벡터의 후보로 사용할 수 있다.
상기한 바와 같이, 3차원 영상 부호화 방법에서의 현재 예측 유닛(100)의 공간적인 주변 블록은 현재 예측 유닛(100)의 좌측에 접해 있는 블록, 현재 예측 유닛(100)의 상단에 접해 있는 블록 및 현재 예측 유닛(100)의 우상단 블록을 포함할 수 있고, 또는 현재 예측 유닛(100)의 좌측 최상단에 접해 있는 블록, 현재 예측 유닛(100)의 상단 최좌측에 접해 있는 블록, 현재 예측 유닛(100)의 우상단 블록을 포함할 수 있다.
경우에 따라서, 상기 주변 블록의 움직임 벡터를 사용하여 수형 성분과 수직 성분 각각의 중앙값을 사용하여 현재 예측 유닛(100)의 예측 움직임 벡터를 생성할 수 있다.
또는 본 발명의 다른 실시예에 따르면, 현재 예측 유닛(100)의 주변 블록(101, 102, 103, 104, 105)의 깊이 정보 및/또는 현재 뷰(view)의 현재 예측 유닛(100)과 대응되는 인접 뷰(view)의 대응 블록의 깊이 정보를 기초로 예측 움직임 벡터를 생성할 수도 있다. 부호화기에서는 상기 예측 움직임 벡터(또는 후보 움직임 벡터)를 기초로 화면간 예측을 수행하여 상기 현재 예측 유닛의 움직임 벡터를 예측하여 복호화기로 전송하고, 복호화기에서는 상기 현재 예측 유닛의 이미 부호화된 주변 블록 및/또는 현재 뷰(view)의 현재 예측 유닛(100)과 대응되는 인접 뷰(view)의 대응 블록 중에서 상기 현재 예측 유닛과 동일한 깊이를 갖는 주변 블록 또는 대응 블록의 움직임 벡터를 상기 현재 예측 유닛의 후보 예측 움직임 벡터로 선정하여 상기 후보 예측 움직임 벡터를 기반으로 화면간 예측을 수행하여 상기 현재 예측 유닛의 움직임 벡터를 예측하여 영상을 복원할 수 있다. 즉, 현재 예측 유닛(100)과 동일한 깊이 정보를 갖는 주변 블록 및/또는 인접 뷰(view)의 대응 예측 유닛은 현재 예측 유닛(100)과 동일한 객체로 추정할 수 있으므로 동일한 움직임 벡터를 가진 것으로 추정할 수 있다. 따라서, 일반적인 움직임 벡터 선정 방식에 3차원의 특성인 깊이 정보를 접목하여 현재 예측 유닛(100)의 움직임 벡터 예측의 후보로 사용할 수 있다. 즉, 현재 예측 유닛(100)의 움직임 벡터의 예측 값으로 사용할 수 있다.
본 발명의 일 실시예에 따른 3차원 영상 부호화 방법에 따르면, 깊이도를 기반으로 현재 예측 유닛(100)과 동일한 깊이도를 갖는 주변 블록의 움직임 벡터를 현재 예측 유닛(100)의 예측 움직임 벡터 후보로 사용하기 때문에 현재 예측 유닛(100)의 예측 움직임 벡터로서의 정확도를 제고시킬 수 있고, 특히 먼저 선정된 예측 움직임 벡터가 낮은 비트로 비트화되기 때문에 전송 효율 측면에서도 유리할 수 있다.
도 4는 본 발명의 일 실시예에 따른 3차원 영상 부호화 장치를 개략적으로 나타낸 블록도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3차원 영상 부호화 장치는 주변 블록 선정부(410), 깊이 정보 비교부(420), 후보 예측 움직임 벡터 추출부(430), 화면간 예측부(440) 및 전송부(450)를 포함할 수 있다.
도 4를 참조하면, 주변 블록 선정부(410)는 움직임 벡터 예측을 위한 현재 예측 유닛(100)의 주변 블록을 선정한다. 주변 블록 선정부(410)에서 선정된 주변 블록의 움직임 벡터는 현재 예측 유닛(100)을 움직임 벡터를 예측하는데 사용될 수 있다. 이때, 주변 블록은 도 2의 주변 블록(101, 102, 103, 104, 105)을 공간적인 주변 블록 후보로, 도 3의 블록(130)을 시간적인 주변 블록 후보로 사용할 수 있다.
다음으로, 깊이 정보 비교부(420)는 상기 주변 블록 선정부(410)에서 선정된 주변 블록(101, 102, 103, 104, 105)의 깊이 정보를 현재 예측 유닛(100)의 깊이 정보와 비교한다. 깊이 정보 비교를 위해 주변 블록(101, 102, 103, 104, 105)과 현재 예측 유닛(100)의 깊이 정보를 추출해야 한다. 그리고는 추출된 주변 블록(101, 102, 103, 104, 105)의 깊이도와 현재 예측 유닛(100)의 깊이도를 비교한다.
후보 예측 움직임 벡터 추출부(430)는 동일한 깊이도를 갖는 주변 블록의 움직임 벡터를 현재 예측 유닛(100)의 후보 예측 움직임 벡터로 선정하여 상기 주변 블록의 움직임 벡터를 추출한다.
화면간 예측부(440)는 상기 후보 예측 움직임 벡터 추출부(430)에서 추출된 움직임 벡터를 기반으로 화면간 예측을 수행하여 현재 예측 유닛(100)의 움직임 벡터를 최종 예측할 수 있고, 이를 기반으로 예측 유닛을 생성한다.
전송부(450)는 화면간 예측부(440)에서 생성된 예측 부호화 정보를 기반으로 예측 유닛에 대한 비트 스트림을 생성하여 이를 수신측으로 전송한다.
도 5는 본 발명의 일 실싱예에 따른 3차원 영상 부호화 방법을 개략적으로 나타낸 흐름도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3차원 영상 부호화 방법은 현재주변 블록 선정 단계(510), 주변 블록과 현재 예측 유닛의 깊이 정보 비교 단계(520), 현재 예측 유닛과 동일한 깊이도를 갖는 주변 블록의 움직임 벡터 추출 단계(530), 추출된 후보 움직임 벡터를 기반으로 화면간 예측 수행하는 단계(540) 및 예측 부호화 정보를 기반으로 비트스트림을 생성하여 수신측으로 전송(550)를 포함할 수 있다.
도 5를 참조하면, 주변 블록 선정 단계(510)에서, 영상 부호화 장치는 움직임 벡터 예측을 위한 현재 예측 유닛(100)의 주변 블록을 선정한다. 선정된 주변 블록의 움직임 벡터는 현재 예측 유닛(100)을 움직임 벡터를 예측하는데 사용될 수 있다. 이때, 주변 블록은 도 2의 주변 블록(101, 102, 103, 104, 105)을 공간적인 주변 블록 후보로, 도 3의 블록(130)을 시간적인 주변 블록 후보로 사용할 수 있다.
다음으로, 깊이 정보 비교 단계(520)에서, 영상 부호화 장치는 상기 주변 블록 선정 단계(510)에서 선정된 주변 블록(101, 102, 103, 104, 105)의 깊이 정보를 현재 예측 유닛(100)의 깊이 정보와 비교한다. 깊이 정보 비교를 위해 주변 블록(101, 102, 103, 104, 105)과 현재 예측 유닛(100)의 깊이 정보를 추출해야 한다. 그리고는 추출된 주변 블록(101, 102, 103, 104, 105)의 깊이 정보와 현재 예측 유닛(100)의 깊이도를 비교한다.
후보 예측 움직임 벡터 추출 단계(530)에서, 영상 부호화 장치는 동일한 깊이도를 갖는 주변 블록의 움직임 벡터를 현재 예측 유닛(100)의 후보 예측 움직임 벡터로 선정하여 상기 주변 블록의 움직임 벡터를 추출한다.
화면간 예측 단계(540)는 상기 후보 예측 움직임 벡터 추출 단계(530)에서 추출된 움직임 벡터를 기반으로 화면간 예측을 수행하여 현재 예측 유닛(100)의 움직임 벡터를 최종 예측할 수 있고, 이를 기반으로 예측 유닛을 생성한다.
전송 단계(550)에서, 영상 부호화 장치는 화면간 예측 단계(540)에서 생성된 예측 유닛에 대한 비트 스트림을 수신측으로 전송한다.
본 발명의 실시예들에 따른 3차원 영상 복호화 장치 및 복호화 방법에서는, 전술한 부호화기로부터 전송된 비트 스트림를 이용하여 해당 블록의 움직임 벡터를 복원하여 움직임 예측부에서 블록 단위로 움직임 벡터를 생성하고, 움직임 보상부에서 상기 움직임 예측부에서 생성된 움직임 벡터와 참조 픽처를 이용하여 움직임 보상을 수행한다.
도 6은 본 발명의 일 실시예에 따른 블록 병합을 이용한 영상 부호화 방법을 설명하기 위한 개념도이다. 도 6에 도시된 바와 같이, 현재 예측 유닛(600)에 대해 주변 샘플들을 포함하는 주변 블록으로 구성된 병합 가능 블록 집합에 속하는 블록들을 이용하여 현재 예측 유닛과 병합하는 블록 병합을 수행할 수 있다.
블록 병합을 수행함에 있어서, 4개의 공간적 후보와 1개의 시간적 후보를 현재 예측 유닛과 병합될 수 있는 후보로 선정할 수 있다. 여기서 1개의 시간적 후보는 현재 예측 유닛(600)이 N번째 픽처(또는 프레임)에 속해 있는 블록이라고 가정하였을 때, 이전 픽처(또는 프레임), 즉 N-1번째 픽처에 속해 있는 현재 예측 유닛(600)에 대응되는 블록(610)이 될 수 있다. 따라서, 현재 예측 유닛(600)은 블록(610)과 병합될 수 있고, 블록(610)의 움직임 파라미터와 동일한 파라미터를 적용하여 디코더로 전송할 수 있다.
다음으로, 4개의 공간적인 병합 가능 블록 집합에 속하는 샘플들을 선정할 수 있다. 바람직하게는 부호화 효율을 고려하였을 때, 상기 현재 예측 유닛의 좌측의 최하단의 블록(601), 블록(601)의 하단에 접해 있는 블록(602), 상기 현재 예측 유닛의 상단의 최우측의 블록(603), 블록(603)의 우측에 접해 있는 블록(604) 및 상기 현재 예측 유닛의 좌상단 블록(605)을 선정할 수 있다.
이때, 전술한 바와 같이 병합 가능 블록 집합에 속하는 샘플들은 5개인데 실제 공간적인 후보는 4개가 된다. 따라서, 순서를 정하여서 후보를 유도하고, 후보 유도 도중에 공간적인 후보 4개가 모두 이용가능하면 마지막 후보는 후보 유도가 필요하지 않게 되는 방식으로 후보를 선정한다.
일반적으로, 공간적인 후보를 선정하는 순서는 블록(601), 블록(603), 블록(604), 블록(602) 및 블록(605) 순으로 공간적인 후보를 선정한다. 예컨대, 블록(601), 블록(603), 블록(604) 및 블록(602)이 모두 공간적인 후보로 이용가능하다면 블록(605)은 후보 선정시 고려하지 않는다. 하지만, 상기 블록(601, 603, 604, 602) 중 하나 이상 이용가능하지 않다면, 그것을 제외하고 블록(605)을 후보에 포함시킬 수 있다.
본 발명의 일 실시예에 따른 3차원 영상 부호화 방법은 상기와 같은 주변 블록을 사용함에 있어서, 3차원 영상의 효율적인 부호화를 위해 주변 블록의 깊이(depth) 정보를 고려한다. 3차원 영상의 경우, 3차원의 특성상 깊이 정보가 존재하며, 부호화기에서 깊이 정보를 구해 복호화기로 다시점 비디오 영상과 깊이 정보를 함께 전송하는 것이 일반적이다.
따라서, 상기와 같이 주변 블록(601, 602, 603, 604, 605)을 활용하고, 또한 순서에 따라 주변 블록(601, 602, 603, 604, 605)의 블록 병합 여부를 판단하되, 깊이 정보를 더 고려하여 블록 병합 여부를 판단할 수 있다.
즉, 현재 예측 유닛(600)과 동일한 깊이 정보를 갖는 주변 블록은 현재 예측 유닛(600)과 동일한 객체로 추정할 수 있고, 따라서 동일한 움직임 벡터를 가진 것으로 추정할 수 있다. 따라서, 일반적인 블록 병합 후보 선정 방식에 3차원의 특성인 깊이 정보를 더 포함하여 현재 예측 유닛(600)의 블록 병합의 후보로 사용할 수 있다.
본 발명의 실시예에 따르면, 상기 주변 블록(601, 602, 603, 604, 605) 중에서 4개의 공간적인 병합 가능 후보를 선정할 수 있다. 이때, 주변 블록(601, 602, 603, 604, 605)의 깊이 정보를 추출하여, 현재 예측 유닛과 비교를 수행할 수 있다. 주변 블록 중 블록(601), 블록(602), 블록(603) 및 블록(604)이 현재 예측 유닛(600)과 동일한 깊이도를 갖는다면, 상기 블록(601, 602, 603, 604)은 병합 가능 블록 집합에 포함된다. 상기 주변 블록(601, 602, 603, 604, 605)이 모두 동일한 깊이도를 갖는 경우에는 상기 블록 병합 후보 선정 순서에 입각하여 블록(601, 602, 603, 604)이 모두 이용가능하다면, 블록(605)을 제외한 나머지 블록(601, 602, 603, 604)이 병합 가능 블록 집합에 포함된다. 하지만, 블록(601, 602, 603, 604) 중 어느 하나라도 병합 후보로 이용할 수 없다면 블록(605)은 병합 가능 블록 집합에 포함될 수 있다.
본 발명의 다른 실시예에 따르면, 비교 결과, 주변 블록(601, 602, 603, 604, 605) 중 현재 예측 유닛(600)과 동일한 깊이도를 갖는 주변 블록이 없는 경우, 일반적인 블록 병합 후보 선정 방식을 사용하여 블록(601)->블록(603)->블록(602)->블록(604)->블록(605)의 순으로 이용 가능 여부를 판단하여 공간적인 후보 4개를 선정할 수 있다.
또 다른 실시예에 따르면, 비교 결과 동일한 깊이도를 갖는 주변 블록이 없는 경우, 현재 예측 유닛(600)과의 깊이도 차이를 기반으로 현재 예측 유닛(600)과 가장 깊이도 차이가 작은 주변 블록을 현재 예측 유닛(600)과 병합 가능한 후보 블록으로 사용할 수 있다.
본 발명의 일 실시예에 따른 3차원 영상 부호화 방법에 따르면, 깊이도를 기반으로 현재 예측 유닛(600)과 동일한 깊이도를 갖는 주변 블록을 현재 예측 유닛(600)의 병합 가능 블록 후보로 선정하여 화면간 예측에 사용하기 때문에 현재 예측 유닛(600)의 부호화의 정확도를 제고시킬 수 있고, 정확한 예측을 통해 화질을 개선을 유도할 수 있다.
상기한 방법을 통해 블록 병합을 위한 후보 블록 집합을 선정한 후, 블록 병합을 위한 최종 블록을 선정함에 있어서, 상기 병합 가능 블록 집합에 포함된, 현재 예측 유닛(600)의 주변 블록들을 대상으로 움직임 벡터가 동일한지에 대한 판단을 통해 움직임 벡터가 동일한 주변 블록을 블록 병합을 위한 최종 블록으로 선정하여 블록 병합을 수행할 수 있다.
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른 주변 블록의 파티션된 형태를 도시한 도면이다. 도 7a는 하나의 픽처를 쿼드트리 기반 분할(quadtree-based division) 방식으로 예측 블록들(prediction blocks)로 분할한 경우를 나타낸다. 도 7a의 상단의 가장 큰 크기의 2개의 블록(P1, P2)은 매크로 블록으로서 가장 큰 크기의 예측 블록이다. 도 7a의 나머지 블록들은 해당 매크로블록의 부분 분할(subdivision)에 의해 얻어진다. 현재 예측 유닛은 'X'로 표시하였다.
병합 가능 블록은 다음과 같이 생성될 수 있다.
현재 예측 유닛의 상단-좌측(top-left) 샘플 위치로부터 시작하면, 현재 예측 유닛의 좌측 주변 샘플 위치 및 현재 예측 유닛의 상단 주변 샘플 위치가 블록 병합을 위한 후보 블록 위치가 된다. 병합 가능 블록들의 집합이 비어 있지 않은 경우(not empty)에는, 현재 예측 유닛이 병합 가능 블록과 병합됨을 나타내는 병합 플래그가 디코더로 전송된다. 그렇지 않은 경우, 즉, 병합 플래그가 '0'(false)인 경우, 병합 가능한 블록이 존재하지 않는 경우로서 임시블록들 중 어느 하나의 블록과도 블록 병합이 이루어지지 않은 채 움직임 파라미터들이 디코더로 전송된다.
만약 병합 플래그가 '1'(true)인 경우 하기의 동작이 이루어진다. 만약 병합 가능 블록 집합이 단지 한 개 블록만을 포함하는 경우에는, 이러한 병합 가능 블록 집합에 포함된 한 개의 블록은 블록 병합에 사용된다. 병합 가능 블록 집합이 두 개의 블록을 포함하고 만약 이러한 두 개의 블록의 움직임 파라미터들이 동일하다면, 이러한 병합 가능 블록에 속하는 2개 블록의 움직임 파라미터들은 현재 예측 유닛에 대해서도 사용된다. 예를 들어 merge_left_flag가 '1'(true)인 경우, 병합 가능 블록 집합 중에서 현재 예측 유닛 X에 대한 상단-좌측 샘플 위치 중 좌측 주변 샘플 위치가 선택될 수 있고, merge_left_flag가 '0'(false)인 경우, 병합 가능 블록 집합 중에서 현재 예측 유닛 X에 대한 상단-좌측 샘플 위치 중 나머지인 상단 주변 샘플 위치가 선택될 수 있다. 상기와 같이 선택된 블록들에 대한 움직임 파라미터들은 현재 예측 유닛에 대해서도 사용된다.
도 7a를 참조하면, 상단-좌측 샘플 위치 중 직접(상단 또는 좌측) 주변 샘플들을 포함하는 블록들('Ao', 'Bo')이 병합 가능 블록 집합 내에 포함될 수 있다. 따라서, 현재 예측 유닛 X는 블록 Ao 또는 블록 Bo와 병합된다. 만약 merge_flag가 0(false) 이면, 현재 예측 유닛 X는 블록 Ao 및 블록 Bo 어느 것과도 병합되지 않는다. 만약 블록 Ao 및 블록 Bo가 동일한 움직임 파라미터들을 가진다면 블록 Ao 및 블록 Bo 2개 블록들 중 어느 하나와 병합하더라도 동일한 결과가 얻어지므로 두 개의 블록 Ao 및 블록 Bo를 구분할 필요는 없다. 따라서, 이 경우에는 merge_left_flag는 전송될 필요가 없다. 그렇지 않은 경우, 즉 만약 블록 Ao 및 블록 Bo가 서로 다른 움직임 파라미터들을 가진다면, merge_left_flag가 1이면 현재 예측 유닛 X는 블록 Bo와 병합되고, merge_left_flag가 0이면 현재 예측 유닛 X는 블록 Ao와 병합된다.
도 7b 및 도 7c는 본 발명의 다른 실시예에 따른 비대칭적 파티션 분할(asymmetric partitioning)의 경우 블록 병합(block merging)을 이용한 부호화 방법을 설명하기 위한 개념도이다. 도 7b 및 도 7c는 화면간 예측시 기하학적 파티션 분할을 사용하는 경우의 블록 병합을 2 개의 예를 들어 설명한 것으로서 도 7b및 도 7c에 도시된 경우로만 한정되는 것은 아니며, 다양한 파티션 분할의 경우들의 조합에 대해서도 본 발명의 다른 실시예에 따른 블록 병합을 적용할 수 있음은 물론이다.
도 7b를 참조하면, 현재 예측 유닛 X의 상단-좌측 샘플 위치 중 상단 또는 좌측 주변 샘플들을 포함하는 블록들('A1a', 'B1a' 블록)이 병합 가능 블록 집합 내에 포함될 수 있다. 따라서, 현재 예측 유닛 X는 블록 A1a 또는 블록 B1a와 병합된다. 만약 merge_flag가 0(false) 이면, 현재 예측 유닛 X는 블록 A1a 및 블록 B1a 어느것과도 병합되지 않는다. 예를 들어 merge_left_flag가 '1'(true)인 경우, 병합 가능 블록 집합 중에서 현재 예측 유닛 X에 대한 상단-좌측 샘플 위치 중 좌측 주변 샘플들을 포함하는 블록 B1a가 현재 예측 유닛 X와 병합하기 위하여 선택될 수 있고, merge_left_flag가 '0'(false)인 경우, 병합 가능 블록 집합 중에서 현재 예측 유닛 X에 대한 상단-좌측 샘플 위치 중 나머지인 상단 주변 샘플들을 포함하는 블록 A1a가 현재 예측 유닛 X와 병합하기 위하여 선택될 수 있다.
도 7c를 참조하면, 현재 예측 유닛 X는 병합 가능 블록 집합에 속하는 블록 A1b 또는 블록 B1b와 병합된다. 만약 merge_flag가 0(false) 이면, 현재 예측 유닛 X는 블록 A1b 및 블록 B1b 어느것과도 병합되지 않는다. merge_left_flag가 '1'(true)인 경우, 병합 가능 블록 집합 중에서 블록 B1b가 현재 예측 유닛 X와 병합하기 위하여 선택될 수 있고, merge_left_flag가 '0'(false)인 경우, 블록 A1b가 현재 예측 유닛 X와 병합하기 위하여 선택될 수 있다.
상기한 바와 같이, 대칭적 파티션 분할에 의해 생성된 주변 블록뿐만 아니라, 비대칭적 파티션 분할에 의해 생성된 주변 블록도 블록 병합을 위한 후보 블록으로서 사용될 수 있다. 또한, 기하하적 파티션 분할에 의해 생성된 주변 블록도 블록 병합을 위해 활용될 수 있다.
도 8은 본 발명의 일 실시예에 따른 블록 병합을 이용하는 3차원 영상 부호화 장치의 구성을 나타내는 블록도이다. 도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3차원 영상 부호화 장치는 주변 블록 선정부(810), 깊이 정보 비교부(820), 병합 가능 블록 집합 선택부(830), 화면간 예측부(840) 및 전송부(850)를 포함할 수 있다.
도 8를 참조하면, 주변 블록 선정부(810)는 블록 병합을 위한 후보로서의 현재 예측 유닛(600)의 주변 블록을 선정한다. 주변 블록 선정부(810)에서 선정된 주변 블록은 현재 예측 유닛(600)과 병합될 수 있다. 이때, 주변 블록으로는 도 6의 주변 블록(601, 602, 603, 604, 605)을 공간적인 주변 블록 후보로 사용할 수 있다.
다음으로, 깊이 정보 비교부(820)는 상기 주변 블록 선정부(810)에서 선정된 주변 블록(601, 602, 603, 604, 605)의 깊이 정보를 현재 예측 유닛(600)의 깊이 정보와 비교한다. 깊이 정보 비교를 위해 주변 블록(601, 602, 603, 604, 605)과 현재 예측 유닛(600)의 깊이 정보를 추출해야 한다. 그리고는 추출된 주변 블록(601, 602, 603, 604, 605)의 깊이도와 현재 예측 유닛의 깊이도를 비교한다.
병합 가능 블록 집합 선택부(830)는 동일한 깊이도를 갖는 주변 블록을 선택하여 병합 가능 블록 집합을 생성한다. 즉, 현재 예측 유닛(600)의 후보 병합 블록으로 선정한다.
블록 병합부(840)는 상기 병합 가능 블록 집합 선택부(830)에서 선택된 주변 블록을 기반으로 블록 병합을 수행하여 병합된 블록별로 움직임 파라미터를 생성한다. 이때, 움직임 벡터가 동일한지에 대한 판단을 통해 블록 병합을 위한 최종 블록을 선정하여 상기 선정된 블록과 현재 예측 유닛과의 블록 병합을 수행하는 것이 바람직할 수 있다.
전송부(850)는 블록 병합부(840)에서 생성된 병합된 블록별 움직임 파라미터를 복호화기로 전송한다.
도 9는 본 발명의 일 실시예에 따른 블록 병합을 이용하는 3차원 영상 부호화 방법을 나타내는 흐름도이다. 도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3차원 영상 부호화 방법은 현재 주변 블록 선정 단계(910), 주변 블록과 현재 예측 유닛의 깊이 정보 비교 단계(920), 현재 예측 유닛과 동일한 깊이도를 갖는 주변 블록을 병합 가능 블록 집합으로 선택 단계(930), 병합 가능 블록을 기반으로 블록 병합을 수행하는 단계(940) 및 병합된 블록별 움직임 파라미터를 복호화기로 전송하는 단계(950)를 포함할 수 있다.
도 9를 참조하면, 주변 블록 선정 단계(910)에서, 영상 부호화 장치는 블록 병합을 위한 후보로서의 현재 예측 유닛(600)의 주변 블록을 선정한다. 주변 블록 선정 단계(910)에서 선정된 주변 블록은 현재 예측 유닛(600)과 병합될 수 있다. 이때, 주변 블록으로는 도 6의 주변 블록(601, 602, 603, 604, 605)을 공간적인 주변 블록 후보로 사용할 수 있다.
다음으로, 깊이 정보 비교 단계(920)에서, 영상 부호화 장치는 상기 주변 블록 선정 단계(910)에서 선정된 주변 블록(601, 602, 603, 604, 605)의 깊이 정보를 현재 예측 유닛(600)의 깊이 정보와 비교한다. 깊이 정보 비교를 위해 주변 블록(601, 602, 603, 604, 605)과 현재 예측 유닛(600)의 깊이 정보를 추출해야 한다. 그리고는 추출된 주변 블록(601, 602, 603, 604, 605)의 깊이도와 현재 예측 유닛의 깊이도를 비교한다.
병합 가능 블록 집합 선택 단계(930)에서, 영상 부호화 장치는 동일한 깊이도를 갖는 주변 블록을 선택하여 병합 가능 블록 집합을 생성한다. 즉, 현재 예측 유닛(600)의 후보 병합 블록으로 선정한다.
블록 병합 단계(940)에서, 영상 부호화 장치는 상기 병합 가능 블록 집합 선택 단계(930)에서 선택된 주변 블록을 기반으로 블록 병합을 수행하여 병합된 블록별로 움직임 파라미터를 생성한다.
전송 단계(950)에서, 영상 부호화 장치는 블록 병합 단계(940)에서 생성된 병합된 블록별 움직임 파라미터를 복호화기로 전송한다.
또는 본 발명의 다른 실시예에서는, 영상 부호화 장치는 변위 벡터(disparity vector)를 이용하여 현재 뷰(view)(예: 좌측 뷰)의 특정 블록(또는 현재 예측 유닛)과 인접 뷰(예: 우측 뷰)의 대응 블록간 픽셀값의 차이값이 일정값 이하인 경우 상기 인접 뷰(예: 우측 뷰)의 대응 블록을 블록 병합(block merge)할 후보 블록 중 하나로 선정하여 움직임 벡터가 동일한지를 판단한 후 동일한 경우 블록을 병합하여 동일한 움직임 파라미터를 복호화기로 전송할 수도 있다. 이 경우, 상기 현재 뷰의 특정 블록(또는 현재 예측 유닛)에 대응되는 인접 뷰의 대응 블록간의 픽셀값의 차이값이 소정값 이하인 경우 상기 인접 뷰의 대응 블록을 병합 가능 블록 집합에 포함시키고 상기 병합 가능 블록 집합에 포함된 블록들 중 상기 현재 뷰의 특정 블록(또는 현재 예측 유닛)과 병합된 블록에 대해서는 동일한 움직임 파라미터를 가지도록 할 수 있으며, 영상 복호화기에서는 이러한 블록 병합을 이용하여 상기 현재 뷰의 특정 블록(또는 현재 예측 유닛) 정보 및 움직임 파라미터를 이용하여 움직임 보상을 수행하여 예측 유닛을 생성하여 복호화를 수행할 수 있다.
본 발명의 실시예들에 따른 블록 병합을 이용한 영상 복호화 장치 및 복호화 방법에서는, 전술한 부호화기로부터 전송된 블록 병합된 블록의 움직임 파라미터를 이용하여 해당 블록의 움직임 벡터를 복원하여 움직임 예측부에서 블록 단위로 움직임 벡터를 생성하고, 움직임 보상부에서 상기 움직임 예측부에서 생성된 움직임 벡터와 참조 픽처를 이용하여 움직임 보상을 수행한다.
도 10은 본 발명의 일 실시예에 따른 디블록킹 필터링의 대상이 되는 블록 경계의 예시도이다. 도 10에 도시된 바와 같이, 현재 블록(1110)의 깊이 값과 상기 현재 블록(1110) 이전에 부호화된 주변 블록(1120)의 깊이 값을 기반으로, 상기 현재 블록(1110)과 주변 블록(1120)의 블록 경계에 디블로킹 필터를 적용할지 여부를 결정하고, 상기 디블로킹 필터를 적용하는 것으로 결정된 경우, 상기 현재 블록(1110) 또는 상기 현재 블록 이전에 부호화된 주변 블록(1120)의 인트라 예측 모드의 적용 여부, 상기 블록 경계가 예측 유닛의 경계인지 여부, 부호화된 계수가 포함되었는지 여부 및 서로 다른 참조 픽춰 또는 움직임 벡터를 포함했는지 여부를 기반으로 상기 블록 경계의 블록경계강도를 설정할 수 있다.
도 11은 본 발명의 일 실시예에 따른 디블록킹 필터링 방법을 나타내는 흐름도로서, 부호화 장치 또는 복호화 장치의 디블록킹 필터에 의해 수행되는 디블록킹 필터링 과정을 나타낸 것이다.
도 11에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디블록킹 필터링 방법은 현재 블록의 깊이 값 및 상기 현재 블록의 이전에 부호화된 주변 블록의 깊이 값을 기반으로 디블로킹 필터의 적용 여부를 결정하는 단계(S100) 및 상기 적용 여부 결정 단계에서 상기 디블로킹 필터를 적용하는 것으로 결정된 경우 상기 현재 블록 및 주변 블록 간의 블록경계강도를 설정하는 단계(S200)를 포함할 수 있다.
전술한 바와 같이, 디블록킹 필터링 기술에 의하면 부호화의 단위가 되는 블록간 발생할 수 있는 블록킹 현상을 제거함으로써 영상의 왜곡이 없이 보다 선명하고 향상된 품질의 복호화된 영상을 얻을 수 있다. 그러나 블록의 특성상 블록에 블록킹 현상이 강하게 발생하지 않는 경우가 있으므로, 상기와 같이 블록킹 현상이 강하게 발생하지 않는 경우에도 블록의 조건에 상관없이 강한 강도의 디블록킹 필터를 적용하는 것은 불필요한 왜곡을 발생시켜 오히려 부호화 효율을 저하시키고, 왜곡된 영상을 생성하여 영상의 품질을 저하시킬 수 있다. 또한, 블록과 블록의 경계가 객체의 경계, 즉 엣지(edge)에 해당하는 경우에는 디블록킹 필터를 적용시킴으로써 오히려 객체와 객체의 경계를 불분명하도록 하여 저하된 품질의 영상을 생성시킬 수 있다. 따라서, 부호화에 있어서 상기 블록과 블록의 경계가 엣지에 해당할 경우 디블록킹 필터를 적용하지 않는다. 한편, 블록과 블록의 경계가 엣지에 해당하지는 않더라도, 상기 서로 다른 블록들이 같은 객체에 속하지 않는 경우에는 디블록킹 필터를 적용하는 않도록 하는 것이 보다 효율적인 부호화 방법이 될 수 있다. 따라서, 서로 다른 블록들이 같은 객체에 속하지 않는 경우, 디블로킹 필터를 적용하지 않도록 하는 방법이 필요하다.
3차원 비디오 영상의 경우, 컬러 영상과 함께 객체의 깊이 정보를 포함하는 깊이 영상이 제공될 수 있다. 이러한 깊이 영상을 기반으로, 현재 블록과 상기 현재 블록 이전에 부호화된 주변 블록이 동일한 객체인지 여부를 판단하여 디블록킹 필터의 적용 여부를 결정할 수 있다. 즉, 현재 블록의 깊이 값 및 상기 현재 블록 이전에 부호화된 주변 블록의 깊이 값을 기반으로 디블로킹 필터의 적용 여부를 결정(S100)할 수 있다.
상기 적용 여부를 결정하는 단계(S100)는 상기 현재 블록의 깊이 값 및 상기 현재 블록의 이전에 부호화된 주변 블록의 깊이 값이 동일한 경우 상기 현재 블록 및 주변 블록 간 경계에 상기 디블로킹 필터를 적용하는 것으로 결정할 수 있다. 즉, 현재 블록(1110)의 깊이 값 및 상기 현재 블록(1110)의 이전에 부호화된 주변 블록(1120)의 깊이 값이 서로 동일한 경우, 상기 현재 블록(1110) 및 주변 블록(1120)은 같은 객체를 구성하는 블록으로 보아, 디블록킹 필터를 적용하여 블록킹 현상을 완화할 수 있다. 현재 블록(1110)의 깊이 값 및 상기 현재 블록(1110)의 이전에 부호화된 주변 블록(1120)의 깊이 값이 서로 다른 경우, 상기 현재 블록(1110)과 주변 블록(1120)은 서로 다른 객체를 구성하는 블록으로서 상기 현재 블록(1110)과 주변 블록(1120)의 블록 경계는 디블로킹 필터를 적용하지 않는 것으로 결정할 수 있다.
여기서, 상기 적용 여부를 결정하는 단계(S100)는 상기 현재 블록의 깊이 값 및 상기 현재 블록의 이전에 부호화된 주변 블록의 깊이 값의 차이가 미리 설정한 임계값 이하인 경우 상기 현재 블록 및 주변 블록 간 경계에 상기 디블로킹 필터를 적용하는 것으로 결정할 수 있다. 즉, 현재 블록(1110)의 깊이 값 및 상기 현재 블록(1110)의 이전에 부호화된 주변 블록(1120)의 깊이 값의 차이가 미리 설정한 임계값 이하인 경우, 상기 현재 블록(1110) 및 주변 블록(1120)은 같은 객체를 구성하는 블록으로 보아, 디블록킹 필터를 적용하여 블록킹 현상을 완화할 수 있다. 현재 블록(1110)의 깊이 값 및 상기 현재 블록(1110)의 이전에 부호화된 주변 블록(1120)의 깊이 값의 차이가 미리 설정한 임계값보다 큰 경우, 상기 현재 블록(1110)과 주변 블록(1120)은 서로 다른 객체를 구성하는 블록으로서 상기 현재 블록(1110)과 주변 블록(1120)의 블록 경계는 디블로킹 필터를 적용하지 않는 것으로 결정할 수 있다.
여기서, 상기 깊이 값은 코딩 유닛(Coding Unit, CU), 예측 유닛(Prediction Unit, PU), 또는 변환 유닛(Transform Unit, TU) 단위로 전송될 수 있다. 도 1을 참조하여 전술한 바와 같이, 부호화의 단위는 코딩 유닛, 예측 유닛 및 변환 유닛으로 구분될 수 있다. 여기서, 각각의 코딩 유닛별로 하나의 깊이 값을 갖도록 전송될 수 있고, 각각의 예측 유닛별로 하나의 깊이 값을 갖도록 전송될 수도 있으며, 각각의 변환 유닛별로 하나의 깊이 값을 갖도록 전송될 수도 있다. 또한, 경우에 따라 각각의 픽셀 단위로 서로 다른 깊이 값을 갖도록 전송할 수도 있다.
픽셀 단위로 서로 다른 깊이 값을 갖도록 전송된 경우, 상기 현재 블록(1110) 과 상기 현재 블록 이전에 부호화된 주변 블록(1120)의 경계에 위치한 픽셀의 깊이 값을 상호 비교하여, 디블록킹 필터의 적용 여부를 결정할 수도 있다.
상기와 같이, 깊이 영상의 깊이 값을 이용하여, 현재 블록(1110)과 주변 블록(1120)이 동일한 객체에 포함되는지 여부를 판단하여 디블록킹 필터의 적용여부를 결정함으로써, 객체의 경계에 디블록킹 필터를 적용하여 영상의 품질을 저하시키는 문제를 해결할 수 있다.
도 12는 도 11의 블록경계강도 설정 단계의 상세 흐름도이다.
상기 적용 여부 결정 단계(S100)에서 상기 디블로킹 필터를 적용하는 것으로 결정된 경우 상기 현재 블록 및 주변 블록 간의 블록경계강도를 설정(S200)할 수 있다. 상기 현재 블록(1110) 또는 주변 블록(1120)이 인트라 예측이 적용되었는지 여부, 예측 유닛의 경계인지 여부 등과 같은 블록의 특성에 따라 블록킹 현상의 발생 강도가 변화할 수 있다. 따라서, 각각의 블록 특성을 기반으로 블록경계강도를 설정함으로써, 디블록킹 필터의 적용 강도를 적절히 조절하여 최적의 부호화 효율 및 영상 품질 향상을 실현할 수 있다.
도 12에 도시된 바와 같이, 상기 블록경계강도를 설정하는 단계(S200)는 먼저 현재 블록의 주변 블록(도 10의 P블록과 Q블록)이 인트라 예측이 적용되었는지 여부를 판단(S210)하고, 현재 블록의 주변 블록이 인트라 예측이 적용된 경우에는 다시 상기 현재 블록과 상기 주변 블록의 경계가 예측 유닛의 경계인지 여부를 판단(S220)하여 상기 현재 블록과 상기 주변 블록의 경계가 예측 유닛의 경계인 경우에는 디블록킹 필터는 블록경계강도(Bs: Boundary Strength)를 4로 설정(Bs=4)할 수 있다(S230). 여기서, 상기 Bs=4의 블록경계강도를 제 1값으로 정의할 수 있고 상기 제 1 값이 가장 높은 강도를 의미할 수 있다.
현재 블록의 주변 블록이 인트라 예측이 적용되었지만 상기 현재 블록과 상기 주변 블록의 경계가 예측 유닛의 경계가 아닌 경우에는 디블록경계강도(Bs)를 3으로 설정(Bs=3)할 수 있다(S240). 마찬가지로, 상기 Bs=3의 값을 제 2값으로 정의할 수 있고 상기 제 2값은 상기 제 1값보다 낮은 강도를 의미할 수 있다.
또한, 현재 블록의 주변 블록이 인트라 예측이 적용되지 않고 인터 예측이 적용된 경우에는 현재 블록의 주변 블록(도 10의 P블록과 Q블록)이 부호화된 계수(coded coefficients)를 포함하고 있는지 여부를 판단(S250)하여 현재 블록의 주변 블록(도 10의 P블록과 Q블록)이 부호화된 계수(coded coefficients)를 포함하는 경우에는 디블록경계강도(Bs)를 2로 설정한다(S260). 상기 Bs=2의 값을 제 3값으로 정의할 수 있고, 상기 제 3값은 상기 제 2값보다 낮은 강도를 의미할 수 있다.
현재 블록의 주변 블록이 인트라 예측이 적용되지 않고 인터 예측이 적용된 경우로서 또한 현재 블록의 주변 블록(도 10의 P블록과 Q블록)이 부호화된 계수(coded coefficients)를 포함하지 않는 경우에 현재 블록의 주변 블록이 현재 블록과 서로 다른 참조 픽춰 또는 서로 다른 움직임 벡터(Motion Vector)를 가지는지 여부를 판단(S270)하여, 현재 블록의 주변 블록이 현재 블록과 서로 다른 참조 픽춰 또는 서로 다른 움직임 벡터를 가지는 경우에는 블록경계강도(Bs)를 1로 설정할 수 있다(S280).
여기서 상기 Bs=1의 값을 제 4값으로 정의할 수 있고, 상기 제 4값은 상기 제 3값보다 낮은 강도를 의미할 수 있다. 현재 블록의 주변 블록이 현재 블록과 서로 다른 참조 픽춰 또는 서로 다른 움직임 벡터(Motion Vector)를 가지는 경우가 아닌 경우에는 블록경계강도(Bs)를 0으로 설정할 수 있다(S290). 상기 Bs=0의 값을 제 5값으로 정의할 수 있고, 상기 제 5값은 상기 제 4값보다 낮은 강도를 의미하며 최저값을 의미할 수 있다.
여기서, 디블록킹 필터는 휘도신호(luma) 성분 및 색차신호(chroma) 성분 각각에 대해 디블록킹 필터링을 수행할 수 있고, 각 블록(또는 코딩 유닛)의 수직 경계(vertical edges)에 대해 대해 예측 유닛의 좌측 경계부터 우측으로 진행하면서 먼저 디블록킹 필터링을 수행한 후, 수평 경계(horizontal edges)에 대해 블록의 상단 경계부터 코딩 유닛의 아래 방향으로 디블록킹 필터링을 수행할 수 있다.
상기 디블록킹 필터가 휘도 신호(luma) 성분 및 색차 신호(chroma) 성분 각각에 대해 디블록킹 필터링을 수행하는 경우, 상기 색차 신호(chroma) 성분에 대한 디블로킹 필터링은 상기 블록경계강도(Bs)가 2보다 큰 경우에만 적용되도록 할 수 있다. 즉, 색차 신호(chroma) 성분에 대한 디블로킹 필터링은 상기 블롤 경계강도가 3인 경우(제 2값) 내지 4인 경우(제 1값)인 경우에 적용하도록 할 수 있다.
도 13은 본 발명의 다른 실시예에 따른 인-루프 필터링 방법을 나타내는 흐름도이다.
도 13에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 화면내 예측 부호화를 위한 인-루프 필터링 방법은 전술한 디블로킹 필터링 방법을 적용하는 단계(S510), 샘플 적응적 오프셋(SAO; Sample Adaptive Offset) 처리를 하는 단계(S520) 및 적응적 루프 필터(ALF; Adaptive Loop Filter)를 적용하는 단계(S530)를 포함할 수 있다.
즉, 상기와 같이 디블록킹 필터를 한 이후에 디블록킹 필터가 처리된 픽셀들에 대하여 DC 오프셋(offset)을 보상하기 위한 샘플 적응적 오프셋(SAO; Sample Adaptive Offset)를 추가적으로 처리할 수 있다. 여기서, 상기 DC 오프셋(offset)은 변환 및 양자화후의 디블록킹 필터가 처리된 픽셀들과 원래 픽셀들(original pixels)간의 평균적인 차이값을 의미하며 변환 및 양자화로 인한 오프셋값으로 볼 수 있다. 디블록킹 필터를 한 이후에 현재 블록(코딩 유닛)은 상기 현재 블록의 분할(partitioning)된 블록 단위로 선택적으로 샘플 적응적 오프셋(SAO)를 온/오프할지를 결정할 수 있다. 즉, 샘플 적응적 오프셋(SAO)의 온/오프는 코딩유닛의 분할(partitioning)된 블록 단위로 결정되어 인코더에서 샘플 적응적 오프셋(SAO)의 온/오프 여부에 대한 정보가 디코더로 전송될 수 있다.
한편, 상기샘플 적응적 오프셋(SAO) 이후에 선택적으로 적응적 루프 필터(ALF; Adaptive Loop Filter)를 적용할 수 있다. 적응적 루프 필터(ALF)는 위너필터를 사용하여 디블록킹 필터보다 정밀하게 부호화시 에러를 보상할 수 있다. 구체적으로, 적응적 루프 필터(ALF)는 원래 픽셀들(original pixels)과 복호화된 픽셀들간의 차이값의 제곱(square error)의 합을 최소화하는 위너 필터를 사용하여 디블록킹 필터 및 적응적 오프셋(SAO) 이후에 복원된 신호를 보다 정밀하게 부호화함으로써 에러를 보상할 수 있다. 상기 적응적 루프 필터(ALF) 정보는 슬라이스 헤더에 포함되어 디코더로 전송될 수 있다. 상기 적응적 루프 필터(ALF) 정보는 위너 필터 계수, 적응적 루프 필터(ALF) 온/오프 정보, 필터 형태(filter shape) 정보를 포함할 수 있다. 상기 적응적 루프 필터(ALF)의 온/오프 정보는 코딩 유닛 단위로 슬라이스 헤더에 포함되어 디코더로 전송될 수 있다. 상기 필터 형태(filter shape)는 대칭적인 형태를 가지도록 설계하여 부호화 및 복호화 복잡도를 줄일 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (24)

  1. 3차원 영상에서 현재 예측 유닛에 대한 부호화 방법에 있어서,
    상기 현재 예측 유닛의 이미 부호화된 주변 블록 중에서 상기 현재 예측 유닛의 유닛과 동일한 깊이도를 갖는 주변 블록의 움직임 벡터를 상기 현재 예측 유닛의 후보 예측 움직임 벡터로 선정하는 단계;
    상기 후보 예측 움직임 벡터를 기반으로 화면간 예측(inter prediction)을 수행하여 상기 현재 예측 유닛의 움직임 벡터를 예측하여 복호화기로 전송하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 부호화 방법.
  2. 제 1 항에 있어서,
    상기 주변 블록은 상기 현재 예측 유닛의 좌측 최하단의 제 1 블록, 상기 제 1 블록의 하단에 접해 있는 제 2 블록, 상기 현재 예측 유닛의 상단의 최우측의 제 3 블록, 상기 제 3 블록의 우측에 접해 있는 제 4 블록 및 상기 현재 예측 유닛의 좌상단 블록인 제 5 블록을 포함하는 것을 특징으로 하는 3차원 영상 부호화 방법.
  3. 제 2 항에 있어서, 상기 후보 움직임 벡터 선정 단계는
    상기 현재 예측 유닛과 동일한 깊이도를 갖는 주변 블록이 적어도 3개인 경우, 상기 제 1 블록, 상기 제 2 블록, 상기 제 3 블록, 상기 제 4 블록 및 상기 제 5 블록 순으로 순차적으로 상기 현재 예측 유닛의 예측 움직임 벡터의 후보로 이용 가능한지 판단하여 상기 현재 예측 유닛의 후보 예측 움직임 벡터를 선정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 부호화 방법.
  4. 제 2 항에 있어서, 상기 후보 움직임 벡터 선정 단계는
    상기 현재 예측 유닛과 동일한 깊이도를 갖는 주변 블록이 존재하지 않는 경우, 상기 제 1 블록, 상기 제 2 블록, 상기 제 3 블록, 상기 제 4 블록 및 상기 제 5 블록 순으로 순차적으로 상기 현재 예측 유닛의 예측 움직임 벡터의 후보로 이용 가능한지 판단하여 상기 현재 예측 유닛의 후보 예측 움직임 벡터를 선정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 부호화 방법.
  5. 제 1 항에 있어서,
    상기 주변 블록은 상기 현재 예측 유닛의 좌측에 접해 있는 제 1 블록, 상기 현재 예측 유닛의 상단에 접해 있는 제 2 블록, 상기 제 2 블록의 우측에 접해 있는 제 3 블록을 포함하는 것을 특징으로 하는 3차원 영상 부호화 방법.
  6. 제 1 항에 있어서,
    상기 주변 블록은 상기 현재 예측 유닛의 좌측 최상단에 접해 있는 제 1 블록, 상기 현재 예측 유닛의 상단 최좌측에 접해 있는 제 2 블록, 상기 현재 예측 유닛의 우상단 블록인 제 3 블록을 포함하는 것을 특징으로 하는 3차원 영상 부호화 방법.
  7. 3차원 영상에서 현재 예측 유닛에 대한 복호화 방법에 있어서,
    수신된 비트 스트림을 엔트로피 복호화하고 역양자화 및 역변환을 수행하는 단계;
    상기 역변환된 비트 스트림을 기반으로 상기 현재 예측 유닛의 이미 부호화된 주변 블록 중에서 상기 현재 예측 유닛과 동일한 깊이를 갖는 주변 블록의 움직임 벡터를 상기 현재 예측 유닛의 후보 예측 움직임 벡터로 선정하는 단계;
    상기 후보 예측 움직임 벡터를 기반으로 화면간 예측(inter prediction)을 수행하여 상기 현재 예측 유닛의 움직임 벡터를 예측하여 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 복호화 방법.
  8. 제 7 항에 있어서,
    상기 주변 블록은 상기 현재 예측 유닛의 좌측 최하단의 제 1 블록, 상기 제 1 블록의 하단에 접해 있는 제 2 블록, 상기 현재 예측 유닛의 상단의 최우측의 제 3 블록, 상기 제 3 블록의 우측에 접해 있는 제 4 블록 및 상기 현재 예측 유닛의 좌상단 블록인 제 5 블록을 포함하는 것을 특징으로 하는 3차원 영상 복호화 방법.
  9. 제 8 항에 있어서, 상기 후보 움직임 벡터 선정 단계는
    상기 현재 예측 유닛과 동일한 깊이도를 갖는 주변 블록이 적어도 3개인 경우, 상기 제 1 블록, 상기 제 2 블록, 상기 제 3 블록, 상기 제 4 블록 및 상기 제 5 블록 순으로 순차적으로 상기 현재 예측 유닛의 예측 움직임 벡터의 후보로 이용 가능한지 판단하여 상기 현재 예측 유닛의 후보 예측 움직임 벡터를 선정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 복호화 방법.
  10. 제 8 항에 있어서, 상기 후보 움직임 벡터 선정 단계는
    상기 현재 예측 유닛과 동일한 깊이도를 갖는 주변 블록이 존재하지 않는 경우, 상기 제 1 블록, 상기 제 2 블록, 상기 제 3 블록, 상기 제 4 블록 및 상기 제 5 블록 순으로 순차적으로 상기 현재 예측 유닛의 예측 움직임 벡터의 후보로 이용 가능한지 판단하여 상기 현재 예측 유닛의 후보 예측 움직임 벡터를 선정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 복호화 방법.
  11. 제 7 항에 있어서,
    상기 주변 블록은 상기 현재 예측 유닛의 좌측에 접해 있는 제 1 블록, 상기 현재 예측 유닛의 상단에 접해 있는 제 2 블록, 상기 제 2 블록의 우측에 접해 있는 제 3 블록을 포함하는 것을 특징으로 하는 3차원 영상 복호화 방법.
  12. 제 7 항에 있어서,
    상기 주변 블록은 상기 현재 예측 유닛의 좌측 최상단에 접해 있는 제 1 블록, 상기 현재 예측 유닛의 상단 최좌측에 접해 있는 제 2 블록, 상기 현재 예측 유닛의 우상단 블록인 제 3 블록을 포함하는 것을 특징으로 하는 3차원 영상 부호화 방법.
  13. 3차원 영상의 현재 예측 유닛에 대한 블록 병합을 수행하여 상기 3차원 영상을 부호화하는 방법에 있어서,
    상기 현재 예측 유닛의 주변 블록을 상기 현재 예측 유닛과 병합하는 블록 병합 단계; 및
    상기 병합된 블록의 움직임 파라미터를 복호화기로 전송하는 전송 단계를 포함하되, 상기 블록 병합 단계는,
    상기 현재 예측 유닛의 깊이도와 동일한 깊이도를 갖는 상기 주변 블록을 병합 가능 블록 집합으로 선정하는 집합 선정 단계; 및
    상기 병합 가능 블록 집합에 속하는 블록을 기반으로 블록 병합을 위한 후보로 이용 가능한지 판단하여, 상기 판단 결과, 블록 병합을 위한 후보로 이용 가능한 블록을 기반으로 블록 병합을 수행하는 병합 수행 단계를 포함하는 것을 특징으로 하는 3차원 영상 부호화 방법.
  14. 제 13 항에 있어서,
    상기 주변 블록은 상기 현재 예측 유닛의 좌측 최하단의 제 1 블록, 상기 제 1 블록의 하단에 접해 있는 제 2 블록, 상기 현재 예측 유닛의 상단의 최우측의 제 3 블록, 상기 제 3 블록의 우측에 접해 있는 제 4 블록 및 상기 현재 예측 유닛의 좌상단 블록인 제 5 블록을 포함하는 것을 특징으로 하는 3차원 영상 부호화 방법.
  15. 제 14 항에 있어서, 상기 블록 병합 단계는
    상기 후보 블록 중에서 상기 현재 예측 유닛과 움직임 벡터가 동일한 후보 블록을 블록 병합을 위한 최종 후보 블록으로 선정하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 부호화 방법.
  16. 제 13 항에 있어서,
    상기 주변 블록은 입력 영상을 대칭 파티션 분할, 비대칭 파티션 분할 및 기하학적 파티션 분할 방법 중 적어도 하나를 적용하여 분할된 블록인 것을 특징으로 하는 3차원 영상 부호화 방법.
  17. 3차원 영상에서 현재 예측 유닛에 대한 복호화 방법에 있어서,
    수신된 비트 스트림을 엔트로피 복호화하고 역양자화 및 역변환을 수행하여 잔여값을 복원하는 단계;
    상기 역변환된 비트 스트림을 기반으로 예측 유닛 정보 및 움직임 파라미터를 이용하여 움직임 보상을 수행하여 예측 유닛을 생성하는 단계; 및
    상기 예측 유닛에 상기 잔여값을 더하여 영상을 복원하는 단계를 포함하되, 상기 현재 예측 유닛의 주변 블록 중에서 상기 현재 예측 유닛과 동일한 깊이도를 갖는 주변 블록은 병합 가능 블록 집합에 포함되고, 상기 병합 가능 블록 집합에 포함된 블록들 중 상기 현재 예측 유닛과 병합된 블록에 대해서는 동일한 움직임 파라미터를 가지는 것을 특징으로 하는 3차원 영상 복호화 방법.
  18. 제 17 항에 있어서,
    상기 주변 블록은 상기 현재 예측 유닛의 좌측 최하단의 제 1 블록, 상기 제 1 블록의 하단에 접해 있는 제 2 블록, 상기 현재 예측 유닛의 상단의 최우측의 제 3 블록, 상기 제 3 블록의 우측에 접해 있는 제 4 블록 및 상기 현재 예측 유닛의 좌상단 블록인 제 5 블록을 포함하는 것을 특징으로 하는 3차원 영상 복호화 방법.
  19. 제 17 항에 있어서,
    상기 주변 블록은 입력 영상을 대칭 파티션 분할, 비대칭 파티션 분할 및 기하학적 파티션 분할 방법 중 적어도 하나를 적용하여 분할된 블록인 것을 특징으로 하는 3차원 영상 복호화 방법.
  20. 현재 블록의 깊이 값 및 상기 현재 블록의 이전에 부호화된 주변 블록의 깊이 값을 기반으로 디블로킹 필터의 적용 여부를 결정하는 단계; 및
    상기 적용 여부 결정 단계에서 상기 디블로킹 필터를 적용하는 것으로 결정된 경우 상기 현재 블록 및 주변 블록 간의 블록경계강도를 설정하는 단계를 포함하는 디블록킹 필터링 방법.
  21. 제 20항에 있어서, 상기 적용 여부를 결정하는 단계는
    상기 현재 블록 및 주변 블록의 깊이 값이 동일한 경우 상기 현재 블록 및 주변 블록 간 경계에 상기 디블로킹 필터를 적용하는 것으로 결정하는 것을 특징으로 하는 디블록킹 필터링 방법.
  22. 제 20항에 있어서, 상기 블록경계강도를 설정하는 단계는
    현재 블록의 이전에 부호화된 주변 블록에 인트라 예측이 적용되었는지 여부를 판단하는 단계;
    상기 판단 결과 상기 현재 블록의 이전에 부호화된 주변 블록에 인트라 예측이 적용된 경우에는 상기 현재 블록과 상기 주변 블록의 경계가 예측 유닛의 경계인지 여부를 판단하여 상기 현재 블록과 상기 주변 블록의 경계가 예측 유닛의 경계인 경우에는 디블록킹 필터의 블록경계강도를 가장 높은 제1 값으로 설정하는 단계;
    상기 판단 결과 상기 현재 블록의 주변 블록에 인트라 예측이 적용되었지만 상기 현재 블록과 상기 주변 블록의 경계가 예측 유닛의 경계가 아닌 경우에는 상기 블록경계강도를 상기 제1 값보다 낮은 제2 값으로 설정하는 단계;
    상기 판단 결과 상기 현재 블록의 주변 블록에 인트라 예측이 적용되지 않고 인터 예측이 적용된 경우에는 상기 현재 블록의 주변 블록이 부호화된 계수(coded coefficients)를 포함하고 있는지 여부를 판단하는 단계;
    상기 현재 블록의 주변 블록이 상기 부호화된 계수(coded coefficients)를 포함하는 경우에는 상기 블록경계강도를 상기 제2 값보다 작은 제3 값으로 설정하는 단계;
    상기 현재 블록의 주변 블록에 인트라 예측이 적용되지 않고 상기 인터 예측이 적용된 경우이고 또한 상기 현재 블록의 주변 블록이 상기 부호화된 계수(coded coefficients)를 포함하지 않는 경우에 상기 현재 블록의 주변 블록이 상기 현재 블록과 서로 다른 참조 픽춰 또는 서로 다른 움직임 벡터를 가지는 경우에는 상기 블록경계강도를 상기 제3 값보다 작은 제4 값으로 설정하는 단계; 및
    상기 현재 블록의 주변 블록에 인트라 예측이 적용되지 않고 상기 인터 예측이 적용된 경우이고 또한 상기 현재 블록의 주변 블록이 상기 부호화된 계수(coded coefficients)를 포함하지 않는 경우에 상기 현재 블록의 주변 블록이 현재블록과 서로 다른 참조 픽춰 또는 서로 다른 움직임 벡터를 가지는 경우가 아닌 경우에는 상기 블록경계강도를 상기 제4 값보다 작은 최저값인 제5 값으로 설정하는 단계를 포함하는 디블록킹 필터링 방법.
  23. 제 20항에 있어서, 상기 디블록킹 필터를 한 이후에 상기 디블록킹 필터가 처리된 픽셀들에 대하여 상기 디블록킹 필터가 처리된 픽셀들과 원래 픽셀들(original pixels)간의 평균적인 차이값인 DC 오프셋(offset)을 보상하기 위한 샘플 적응적 오프셋(SAO; Sample Adaptive Offset)를 상기 디블록킹 필터를 한 이후에 상기 현재 블록의 분할(partitioning)된 블록 단위로 선택적으로 처리하는 단계를 더 포함하는 인-루프 필터링 방법.
  24. 제 23항에 있어서, 상기 샘플 적응적 오프셋(SAO) 처리 이후에 원래 픽셀들(original pixels)과 복호화된 픽셀들간의 차이값의 제곱(square error)의 합을 최소화하는 위너 필터를 사용하여 적응적 루프 필터(ALF; Adaptive Loop Filter)를 선택적으로 적용하는 단계를 더 포함하는 인-루프 필터링 방법.
KR1020120155314A 2011-12-30 2012-12-27 3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치 KR20130079261A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020110146783 2011-12-30
KR1020110146785 2011-12-30
KR20110146784 2011-12-30
KR20110146785 2011-12-30
KR20110146783 2011-12-30
KR1020110146784 2011-12-30

Publications (1)

Publication Number Publication Date
KR20130079261A true KR20130079261A (ko) 2013-07-10

Family

ID=48697981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120155314A KR20130079261A (ko) 2011-12-30 2012-12-27 3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치

Country Status (5)

Country Link
US (1) US20150098508A1 (ko)
EP (1) EP2800372A4 (ko)
KR (1) KR20130079261A (ko)
CN (1) CN104025601A (ko)
WO (1) WO2013100635A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015012622A1 (ko) * 2013-07-24 2015-01-29 삼성전자 주식회사 움직임 벡터 결정 방법 및 그 장치
WO2015056945A1 (ko) * 2013-10-14 2015-04-23 삼성전자 주식회사 깊이 인트라 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2015056941A1 (ko) * 2013-10-14 2015-04-23 한국전자통신연구원 다계층 기반의 영상 부호화/복호화 방법 및 장치
WO2015194915A1 (ko) * 2014-06-20 2015-12-23 삼성전자 주식회사 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치
WO2016003209A1 (ko) * 2014-07-03 2016-01-07 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
WO2016178485A1 (ko) * 2015-05-05 2016-11-10 엘지전자 주식회사 영상 코딩 시스템에서 코딩 유닛 처리 방법 및 장치
WO2017039256A1 (ko) * 2015-08-28 2017-03-09 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2017043766A1 (ko) * 2015-09-10 2017-03-16 삼성전자 주식회사 비디오 부호화, 복호화 방법 및 장치
US10091519B2 (en) 2013-10-14 2018-10-02 Electronics And Telecommunications Research Institute Multilayer-based image encoding/decoding method and apparatus

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279573B1 (ko) * 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
US20160021382A1 (en) * 2013-04-05 2016-01-21 Electronics And Telecommunications Research Institute Method for encoding and decoding video using intra-prediction combined between layers
CN105556972B (zh) * 2013-07-18 2019-04-05 三星电子株式会社 用于层间视频解码和编码设备和方法的对深度图像的场景内预测方法
CN105578182B (zh) * 2014-10-15 2019-04-23 联想(北京)有限公司 一种视频编码、解码方法及装置
CN105681814B (zh) * 2014-11-21 2019-03-29 联想(北京)有限公司 一种去块效应滤波方式的确定方法及装置
CN115134608A (zh) * 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
GB2596496B (en) * 2015-09-11 2022-05-18 Kt Corp Method and device for processing video signal
CN107770527B (zh) * 2016-08-21 2021-12-14 上海天荷电子信息有限公司 使用邻近编码参数和最近编码参数的数据压缩方法和装置
CN108111851B (zh) * 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
EP3550844A4 (en) * 2016-11-30 2019-10-09 Panasonic Intellectual Property Corporation of America THREE DIMENSIONAL MODEL DISTRIBUTION METHOD AND THREE DIMENSIONAL MODEL DISTRIBUTION DEVICE
CN112262412A (zh) 2018-06-13 2021-01-22 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
TWI731358B (zh) 2018-06-29 2021-06-21 大陸商北京字節跳動網絡技術有限公司 改進的時域運動向量預測推導
CN109993046B (zh) * 2018-06-29 2021-04-09 长城汽车股份有限公司 基于视觉摄像机的自阴影物体边缘识别方法、装置及车辆
CN112425171A (zh) * 2018-07-18 2021-02-26 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
CN116760998A (zh) * 2018-11-08 2023-09-15 Oppo广东移动通信有限公司 图像信号编码/解码方法及其设备
CN117857806A (zh) * 2018-12-07 2024-04-09 华为技术有限公司 一种编码器、解码器及去块滤波器的边界强度的对应推导方法
WO2020150374A1 (en) 2019-01-15 2020-07-23 More Than Halfway, L.L.C. Encoding and decoding visual information
CN112437312B (zh) * 2019-08-26 2022-05-27 腾讯科技（深圳）有限公司 视频解码方法、编码方法、装置、设备及存储介质
CN112437304B (zh) * 2019-08-26 2022-06-03 腾讯科技（深圳）有限公司 视频解码方法、编码方法、装置、设备及可读存储介质
WO2021110045A1 (en) * 2019-12-03 2021-06-10 Huawei Technologies Co., Ltd. Coding method, device, system with merge mode
CN113225555B (zh) * 2021-03-22 2023-02-07 北京大学 一种视频编解码中的几何划分模式预测方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
JP2011509631A (ja) * 2008-01-11 2011-03-24 トムソン ライセンシング ビデオおよび奥行きの符号化
KR101552639B1 (ko) * 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
KR20110135471A (ko) * 2010-06-11 2011-12-19 (주)휴맥스 블록 병합을 이용한 영상 부호화/복호화 장치 및 방법
KR101598855B1 (ko) * 2010-05-11 2016-03-14 삼성전자주식회사 입체영상 부호화 장치 및 방법
US20130229485A1 (en) * 2011-08-30 2013-09-05 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015012622A1 (ko) * 2013-07-24 2015-01-29 삼성전자 주식회사 움직임 벡터 결정 방법 및 그 장치
WO2015056945A1 (ko) * 2013-10-14 2015-04-23 삼성전자 주식회사 깊이 인트라 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2015056941A1 (ko) * 2013-10-14 2015-04-23 한국전자통신연구원 다계층 기반의 영상 부호화/복호화 방법 및 장치
US10701381B2 (en) 2013-10-14 2020-06-30 Electronics And Telecommunications Research Intitute Multilayer-based image encoding/decoding method and apparatus
US10701380B2 (en) 2013-10-14 2020-06-30 Electronics And Telecommunications Research Institute Multilayer-based image encoding/decoding method and apparatus
US10701382B2 (en) 2013-10-14 2020-06-30 Electronics And Telecommunications Research Institute Multilayer-based image encoding/decoding method and apparatus
US10701379B2 (en) 2013-10-14 2020-06-30 Electronics And Telecommunications Research Institute Multilayer-based image encoding/decoding method and apparatus
US10091519B2 (en) 2013-10-14 2018-10-02 Electronics And Telecommunications Research Institute Multilayer-based image encoding/decoding method and apparatus
WO2015194915A1 (ko) * 2014-06-20 2015-12-23 삼성전자 주식회사 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치
US10368098B2 (en) 2014-06-20 2019-07-30 Samsung Electronics Co., Ltd. Method and device for transmitting prediction mode of depth image for interlayer video encoding and decoding
US10187658B2 (en) 2014-07-03 2019-01-22 Kt Corporation Method and device for processing multi-view video signal
WO2016003209A1 (ko) * 2014-07-03 2016-01-07 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
WO2016178485A1 (ko) * 2015-05-05 2016-11-10 엘지전자 주식회사 영상 코딩 시스템에서 코딩 유닛 처리 방법 및 장치
US10721467B2 (en) 2015-05-05 2020-07-21 Lg Electronics Inc. Method and device for processing coding unit in image coding system
GB2557809A (en) * 2015-08-28 2018-06-27 Kt Corp Method and advice for processing video signal
WO2017039256A1 (ko) * 2015-08-28 2017-03-09 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10750174B2 (en) 2015-08-28 2020-08-18 Kt Corporation Method and device for deriving a prediction sample in decoding/encoding video signal using binary and quad trees
GB2557809B (en) * 2015-08-28 2021-12-01 Kt Corp Method and device for processing video signal
US11368690B2 (en) 2015-08-28 2022-06-21 Kt Corporation Method for decoding video signal by deriving reference sample for intra prediction
US11470317B2 (en) 2015-08-28 2022-10-11 Kt Corporation Method and device for deriving a prediction sample in decoding/encoding video signal using binary and quad trees
US11477452B2 (en) 2015-08-28 2022-10-18 Kt Corporation Method and device for deriving a prediction sample in decoding/encoding video signal using binary and quad trees
US11563943B2 (en) 2015-08-28 2023-01-24 Kt Corporation Method and device for deriving a prediction sample in decoding/encoding video signal using binary and quad trees
WO2017043766A1 (ko) * 2015-09-10 2017-03-16 삼성전자 주식회사 비디오 부호화, 복호화 방법 및 장치

Also Published As

Publication number Publication date
EP2800372A1 (en) 2014-11-05
EP2800372A4 (en) 2015-12-09
WO2013100635A1 (ko) 2013-07-04
US20150098508A1 (en) 2015-04-09
CN104025601A (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
KR20130079261A (ko) 3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치
KR102487618B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US9930359B2 (en) Method for inducing a merge candidate block and device using same
KR20230113257A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한기록 매체
CN109644271B (zh) 用于二叉树分割块的确定候选集的方法及装置
US11533470B2 (en) Method and apparatus for encoding/decoding an image signal
CN116866563A (zh) 图像编码/解码方法、存储介质以及图像数据的传输方法
EP2654301A1 (en) Method for decoding inter predictive encoded motion pictures
EP2536151A2 (en) Method and apparatus for processing a video signal
US11659174B2 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
KR102619133B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102546142B1 (ko) 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
EP2846544A1 (en) Method and apparatus for encoding multi-view images, and method and apparatus for decoding multi-view images
KR20180061027A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11671584B2 (en) Inter-prediction method and video decoding apparatus using the same
US20220368901A1 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
US20230134711A1 (en) Bidirectional prediction method and video decoding apparatus
CN113196783A (zh) 去块效应滤波自适应的编码器、解码器及对应方法
US11962764B2 (en) Inter-prediction method and video decoding apparatus using the same
KR102585178B1 (ko) 효율적인 움직임 정보 예측을 이용한 영상 부호화/복호화 방법과 장치
KR102585179B1 (ko) 효율적인 움직임 정보 예측을 이용한 영상 부호화/복호화 방법과 장치
US11240535B2 (en) Method and device for filtering image in image coding system

Legal Events

Date Code Title Description
N231 Notification of change of applicant
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid