KR102046523B1 - 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치 - Google Patents

Abstract

스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치가 개시되어 있다. 영상 복호화 방법은 잔차 블록 정보의 부호화 여부를 나타내는 소정의 정보를 기초로 예측 대상 블록의 잔차 블록 정보가 존재하는지 여부를 판단하는 단계와 잔차 블록 정보가 존재하는 경우 상기 예측 대상 블록의 화면 내 예측값 및 잔차 블록 정보를 기초로 상기 예측 대상 블록을 복원하는 단계를 포함할 수 있다. 따라서, 화면의 유사도에 따라 잔차 정보 블록이 필요한 예측 대상 블록에 대해서만 화면의 잔차 정보를 부호화 및 복호화를 수행하여 부호화 및 복호화 효율을 증가시킬 수 있다.

Description

스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치{METHODS OF DECODING USING SKIP MODE AND APPARATUSES FOR USING THE SAME}

본 발명은 복호화 방법 및 장치에 관한 것으로 더욱 상세하게는 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치에 관한 것이다.

최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.

영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.

본 발명의 목적은 화소 상관성이 높은 영상을 복원하는 방법을 제공하는 것이다.

또한, 본 발명의 또 다른 목적은 화소 상관성이 높은 영상을 복원하는 방법을 수행하는 장치를 제공하는 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 복호화 방법은 잔차 블록 정보의 부호화 여부를 나타내는 소정의 정보를 기초로 예측 대상 블록의 잔차 블록 정보가 존재하는지 여부를 판단하는 단계와 상기 잔차 블록 정보가 존재하는 경우 상기 예측 대상 블록의 화면 내 예측값 및 상기 잔차 블록 정보를 기초로 상기 예측 대상 블록을 복원하는 단계를 포함할 수 있다. 상기 영상 복호화 방법은 상기 잔차 블록 정보가 존재하지 않는 경우 상기 예측 대상 블록의 화면 내 예측값만으로 예측 대상 블록을 복원하는 단계를 더 포함할 수 있다. 상기 화면 내 예측값은 상기 예측 대상 블록의 참조 픽셀값을 기초로 산출되는 값으로서 소정의 화면 내 예측 모드에 따라 방향성을 가지고 예측되는 값이거나 상기 참조 픽셀들의 산술적인 평균값 또는 가중치 평균값일 수 있다. 상기 영상 복호화 방법은 상기 예측 대상 블록에 대한 화면 내 예측을 수행하는데 있어 선택적으로 사용된 참조 픽셀값 정보를 복호화하는 단계를 더 포함할 수 있다. 상기 화면 내 예측값은 상기 예측 대상 블록의 참조 픽셀의 특성을 고려하여 선택된 참조 픽셀값을 기초로 산출된 화면 내 예측값일 수 있다. 상기 예측 대상 블록의 참조 픽셀의 특성을 고려하여 선택된 참조 픽셀값은 상기 예측 대상 블록의 좌상단 픽셀과 좌측 참조 픽셀의 유사도와 상기 예측 대상 블록의 좌상단 픽셀과 상단 참조 픽셀의 유사도를 비교하여 선택된 참조 픽셀값일 수 있다. 상기 화면 내 예측값은 복수의 화면 내 예측 모드로 예측된 값들의 평균값 또는 가중치 합을 기초로 산출된 값일 수 있다. 상기 잔차 블록 정보의 부호화 여부를 나타내는 소정의 정보는 상기 예측 대상 블록의 주변 블록 정보로부터 유도되는 정보일 수 있다.

상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 복호화 장치는 잔차 블록 데이터를 파싱하는지 여부를 표시하는 정보를 복호화하는 엔트로피 복호화부와 상기 복호화된 인트라 스킵 플래그 정보를 기초로 예측 대상 블록의 잔차 블록 정보 및 예측 블록 생성 정보가 존재하는지 여부를 판단하는 예측부를 포함할 수 있다. 상기 예측부는 상기 잔차 블록 정보가 존재하는 경우 상기 예측 대상 블록의 화면 내 예측값 및 상기 잔차 블록 정보를 기초로 상기 예측 대상 블록을 복원하는 예측부일 수 있다. 상기 예측부는 상기 잔차 블록 정보가 존재하지 않는 경우 상기 예측 대상 블록의 화면 내 예측값만으로 예측 대상 블록을 복원하는 예측부일 수 있다. 상기 화면 내 예측값은 상기 예측 대상 블록의 참조 픽셀값을 기초로 산출되는 값으로서 소정의 화면 내 예측 모드에 따라 방향성을 가지고 예측되는 값이거나 상기 참조 픽셀값들의 산술적인 평균값 또는 가중치 평균값일 수 있다. 상기 예측부는 선택적으로 사용된 참조 픽셀값 정보만을 기초로 화면 내 예측을 수행하는 예측부일 수 있다. 상기 화면 내 예측값은 상기 예측 대상 블록의 참조 픽셀의 특성을 고려하여 선택된 참조 픽셀값을 기초로 산출된 화면 내 예측값일 수 있다. 상기 예측 대상 블록의 참조 픽셀의 특성을 고려하여 선택된 참조 픽셀값은 상기 예측 대상 블록의 좌상단 픽셀과 좌측 참조 픽셀의 유사도와 상기 예측 대상 블록의 좌상단 픽셀과 상단 참조 픽셀의 유사도를 비교하여 선택된 참조 픽셀값일 수 있다. 상기 화면 내 예측값은 복수의 화면 내 예측 모드로 예측된 값들의 평균값 또는 가중치 합을 기초로 산출된 값일 수 있다. 잔차 블록 데이터를 파싱하는지 여부를 표시하는 정보는 상기 예측 대상 블록의 주변 블록 정보로부터 유도되는 정보일 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치에 따르면, 화면의 유사도에 따라 잔차 정보 블록이 필요한 예측 대상 블록에 대해서만 화면의 잔차 정보를 부호화 및 복호화를 수행하여 부호화 및 복호화 효율을 증가시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 영상 부호화 장치를 나타내는 블록도이다.
도 2는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 깊이 정보 영상을 나타낸 이미지이다.
도 4는 본 발명의 실시예에 따른 이미지의 방향과 화소 유사도를 나타낸 그래프이다.
도 5는 본 발명의 실시예에 따른 블록 부호화 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 블록 복호화 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 방향성 화면 내 예측 모드를 나타낸 개념도이다.
도 8는 본 발명의 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 잔차 블록 생성 여부를 결정하는 방법을 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 영상 복호화 방법을 나타낸 순서도이다.
도 13은 본 발명의 실시예에 따른 다차원 영상을 복원하기 위한 방법을 나타낸 개념도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명의 일실시예에 따른 영상 부호화 장치를 나타내는 블록도이다.

도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드(화면 내 예측 모드) 또는 인터(inter) 모드(화면 간 예측 모드)로 부호화를 수행하고 비트스트림을 출력한다. 이하 본 발명의 실시예에서는 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측과 동일한 의미로 사용될 수 있다. 예측 단위에 대한 최적의 예측 방법을 결정하기 위해 예측 단위에 대해 화면 내 예측 방법 및 화면 간 예측 방법이 선택적으로 사용될 수 있다. 영상 부호화 장치(100)는 입력 영상의 원본 블록에 대한 예측 블록을 생성한 후, 원본 블록과 예측 블록의 차분을 부호화한다.

화면 내 예측 모드인 경우, 인트라 예측부(120)(또는 화면 내 예측부도 동일한 의미를 가지는 용어로 사용될 수 있다.)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다.

본 발명의 실시예에 따르면 예측 대상 블록에 대하여 화면 내 예측을 수행하여 산출된 예측 대상 블록의 예측값에 대하여 영상의 화소 상관도에 따라 원본 블록과 예측 대상 블록의 예측값의 차이값인 잔차 블록을 부호화할지 여부를 결정할 수 있다. 예를 들어, 깊이 영상과 같이 화소 상관도가 높은 블록의 경우, 잔차 블록을 부호화하지 않고 예측 대상 블록이 예측 값만으로 구성(생성)되었다는 정보를 복호화기에 전송할 수 있다. 이러한 방법을 통해서 영상의 부호화 효율을 높일 수 있다. 잔차 블록 및 예측 블록 생성 정보의 부호화 여부에 대한 정보는 임의의 플래그 정보를 기초로 표현될 수 있다. 예를 들어, (1) 플래그값이 0인 경우, 예측 대상 블록은 잔여 블록도 부호화된 블록이므로 엔트로피 복호화부에서는 잔여 블록 정보를 복호화하고 역양자화 및 역변환을 수행한 후 예측부에서 생성된 예측 대상 블록의 예측값과 더해져 영상을 복원할 수 있다. (2) 플래그값이 1인 경우, 예측 대상 블록은 잔여 블록이 부호화되지 않은 블록으로서 예측부에서 생성된 예측 대상 블록의 예측값만으로 복원 영상을 생성할 수 있다.

화면 간 예측 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구한다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성한다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력한다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력한다. 엔트로피 부호화부(150)는 입력된 양자화된 계수를 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bitstream)을 출력한다.

화면 간 예측 부호화를 수행시 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 화소값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있으며, 고효율이 적용되는 경우에만 수행될 수도 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장된다.

도 2는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.

도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력한다. 인트라 모드인 경우 화면 내 예측 모드를 사용하여 예측 블록을 생성하고 인터 모드인 경우 화면 간 예측 방법을 사용하여 예측 블록을 생성한다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성한다.

엔트로피 복호화부(210)는 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여 양자화된 계수(quantized coefficient)를 출력한다. 양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 잔여 블록(residual block)이 생성된다.

전술한 바와 같이 예측 대상 블록은 예측 대상 블록이 예측 값만으로 구성(생성)되었다는 정보만 부호화되어 전송된 블록과 잔차 블록 정보가 함께 부호화되어 전송된 블록으로 나뉠 수 있는데, 엔트로피 복호화부를 통해 잔차 블록 정보가 함께 부호화되었는지 여부를 판단하기 위한 소정의 플래그를 복호화하고 복호화된 인트라 스킵 플래그에 따라서 잔차 블록을 복호화할 것인지 아니면 잔차 블록을 복호화하지 않을 것인지 여부를 결정할 수 있다. 예를 들어, (1) 인트라 스킵 플래그가 0인 경우, 예측 대상 블록은 잔여 블록도 부호화된 블록이므로 엔트로피 복호화부에서는 잔여 블록 정보를 복호화하고 역양자화 및 역변환을 수행한 후 예측부에서 생성된 예측 대상 블록의 예측값과 더해져 영상을 복원할 수 있다. (2) 인트라 스킵 플래그가 1인 경우, 예측 대상 블록은 잔여 블록이 부호화되지 않은 블록으로서 예측부에서 생성된 예측 대상 블록의 예측값 만으로 복원 영상을 생성할 수 있다.

화면 내 예측 모드인 경우, 인트라 예측부(240)(또는 화면 간 예측부)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다.

화면 간 예측 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.

잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.

부호화/복호화 장치의 예측 성능을 향상시키기 위한 방법에는 보간(interpolation) 영상의 정확도를 높이는 방법과 차신호를 예측하는 방법이 있다. 여기서 차신호란 원본 영상과 예측 영상과의 차이를 나타내는 신호이다. 본 발명에서 “차신호”는 문맥에 따라 “차분 신호”, “잔여 블록” 또는 “차분 블록”으로 대체되어 사용될 수 있으며, 해당 기술분야에서 통상의 지식을 가진 자는 발명의 사상, 본질에 영향을 주지 않는 범위 내에서 이를 구분할 수 있을 것이다.

전술한 바와 같이 이하, 본 발명의 실시예에서는 설명의 편의상 코딩 유닛(Coding Unit)을 부호화 단위라는 용어로 사용하지만, 부호화 뿐만 아니라 복호화를 수행하는 단위가 될 수도 있다. 영상 부호화기 및 영상 복호화기에 포함된 각 구성부의 의미는 하드웨어적인 의미 뿐만 아니라 알고리즘을 통해 수행될 수 있는 소프트웨어적인 처리 단위도 포함할 수 있다.

또한, 영상 부호화 장치 및 영상 복호화 장치는 입체 영상 부복호화 방법의 영상 정보 예를 들어, 깊이 영상 정보, 다시점 영상 정보를 부복호화하는데 사용될 수 있다. 따라서, 이하, 본 발명의 실시예에서 부호화되고 복호화되는 영상은 깊이 정보 맵을 포함하는 깊이 정보 영상이 될 수 있으며, 휘도 정보 또는 색차 정보를 포함하는 영상이 될 수도 있다.

본 발명의 실시예에서 후술할 영상 부호화 방법 및 영상 복호화 방법은 도 1 및 도 2에서 전술한 영상 부호화기 및 영상 복호화기에 포함된 각 구성부에서 수행될 수 있다. 구성부의 의미는 하드웨어적인 의미 뿐만 아니라 알고리즘을 통해 수행될 수 있는 소프트웨어적인 처리 단위도 포함할 수 있다.

도 3은 본 발명의 실시예에 따른 깊이 정보 영상을 나타낸 이미지이다.

도 3을 참조하면, 깊이 정보 맵은 카메라와 객체 사이의 거리를 나타내는 정보를 포함하고 있어서 화소간의 상관성이 매우 높다. 특히 객체 내부 또는 배경 부분의 경우 동일한 깊이 정보가 광범위하게 나타나는 특성이 있다.

도 4는 본 발명의 실시예에 따른 이미지의 방향과 화소 유사도를 나타낸 그래프이다.

도 4의 그래프는 도 3의 영상 깊이 정보 영상의 임의의 위치에서 수평 혹은 수직 방향으로 각 화소의 값을 표현한 2D 그래프를 나타낸다. 그래프를 참조하면 깊이 정보 맵은 주변 블록과 화소 간 상관성이 매우 높다는 것을 알 수 있으며, 깊이 정보 맵의 객체 내부와 배경 부분에서 깊이 정보의 값이 유사함을 확인할 수 있다.

화소 간의 상관성이 높은 영상에서 화면 내 예측을 수행할 때 예측 대상 블록의 화소값은 주변 블록의 화소값만을 이용하여 거의 예측할 수 있으므로, 현재 블록과 예측 블록 간의 차이값인 잔여신호에 대한 부호화 과정 및 복호화 과정은 필요 없게 된다. 따라서 영상 특성에 따라 잔차 블록 정보를 전송하지 않고 예측 대상 블록이 예측 값만으로 구성(생성)되었다는 정보를 복호화기에 전송할 수 있으며, 이러한 방법을 통해 부호화 효율을 향상시킬 수 있다.

본 발명은 깊이 정보 영상과 같이 화소 간의 상관성이 높은 영상에 대한 화면 내 예측 부호화를 수행시 계산 복잡도를 감소시키고 부호화 효율을 향상시키기 위한 부호화 방법에 대하여 개시한다. 본 발명의 깊이 정보 영상이 아닌 휘도 샘플 또는 색차 샘플을 포함한 영상 정보에 대해서도 적용될 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.

이하, 본 발명의 실시예에서는 화면 내 예측의 대상이 되는 블록을 예측 대상 블록, 예측 대상 블록에 대하여 화면 내 예측을 수행하여 생성된 블록을 예측 블록, 예측 대상이 되는 블록을 원본 블록, 원본 블록에서 예측 블록의 차이를 나타낸 블록을 잔차 블록이라는 용어로 정의하여 사용한다.

도 5는 본 발명의 실시예에 따른 블록 부호화 방법을 나타낸 개념도이다.

도 5를 참조하면, 예측부(화면 간 예측 및 화면 내 예측)을 통해 생성된 예측 블록과 입력 영상의 차이값인 잔차 블록을 부호화하는 방법(1)과 예측부(화면 간 예측 및 화면 내 예측)을 통해 생성된 예측 블록만을 부호화하는 방법(2) 중 하나의 방법을 선택하여 영상을 부호화할 수 있다. 생성된 잔차 블록에 대하여 부호화를 수행할지 아니면 예측 블록만을 사용하여 영상을 부호화할지 여부를 소정의 플래그 정보와 같은 구문 요소 정보를 기초로 표현할 수 있다. 이하, 이러한 구문 요소 정보를 인트라 스킵 플래그라는 용어로 정의하여 사용한다.

전술한 방법(1)은 잔차 블록에 대해 변환 및 양자화를 수행하는 경우 예측 대상 블록에 대한 잔차 블록을 변환, 양자화 및 엔트로피 부호화를 수행하여 비트스트림을 생성할 수 있다. 변환 및 양자화된 블록은 다시 예측에 사용되기 위해 역변환 및 역양자화를 수행하여 버퍼에 포함될 수 있다.

전술한 방법(2)는 잔차 블록에 대해 변환 및 양자화를 수행하지 않은 경우, 즉, 잔차 블록에 대해 부호화를 수행하지 않는 경우는 예측 블록 생성 정보(예를 들어, 화면 내 예측일 경우, 화면 내 예측 모드 정보, 화면 간 예측 일 경우, 움직임 벡터, 참조 픽쳐 인덱스 정보 등)를 부호화하지 않으며, 예측 블록 생성 정보는 현재 블록의 주변 블록들을 통해서 유추될 수 있다. 예를 들어, 예측 대상 블록이 화면 내 예측을 사용할 경우, 주변 블록의 화면 내 예측 모드 정보를 기초로 현재 예측 대상 블록의 화면 내 예측 모드 정보를 유추하여 복호화단에서 예측 블록을 생성할 수 있다.

또 다른 방법의 일예로, 잔차 블록에 대해 변환 및 양자화를 수행하지 않은 경우, 즉, 잔차 블록에 대해 부호화를 수행하지 않는 경우는 예측 블록 생성 정보(예를 들어, 화면 내 예측일 경우, 화면 내 예측 모드 정보, 화면 간 예측 일 경우, 움직임 벡터, 참조 픽쳐 인덱스 정보 등)를 부호화하여 복호화기에 전송할 수 있다.

주변 영상과 유사한 영상의 경우 예측 블록만으로 원본 블록과 유사한 블록을 생성할 수 있으므로 잔차 블록에 대한 변환, 양자화 및 엔트로피 부호화를 수행하지 않고 복원된 예측 블록을 복원된 영상 정보로 사용할 수 있다. 잔차 블록에 대해 부호화를 수행하는지 여부에 대한 정보는 구문 요소 정보인 인트라 스킵 플래그로 표현될 수 있다.

복호화기에는 인트라 스킵 플래그와 같은 정보를 복호화하여 잔여블록에 대하여 엔트로피 복호화를 수행할지 여부를 결정할 수 있다.

도 6은 본 발명의 실시예에 따른 블록 복호화 방법을 나타낸 개념도이다.

도 6을 참조하면, 엔트로피 복호화부를 통해 인트라 스킵 플래그를 복호화하고 복호화된 인트라 스킵 플래그에 따라서 잔차 블록 및 예측 블록 생성 정보를 복호화할 것인지 아니면 잔차 블록 및 예측 블록 생성 정보를 복호화하지 않을 것인지 여부를 결정할 수 있다. 또한, 엔트로피 복호화부를 통해 인트라 스킵 플래그를 복호화하고 복호화된 인트라 스킵 플래그에 따라서 잔차 블록을 복호화할 것인지 아니면 잔차 블록을 복호화하지 않을 것인지 여부를 결정할 수 있다.

(1) 인트라 스킵 플래그가 0인 경우, 예측 대상 블록은 잔여 블록도 부호화된 블록이므로 엔트로피 복호화부에서는 잔여 블록 정보를 복호화하고 역양자화 및 역변환을 수행한 후 예측부에서 생성된 예측 대상 블록의 예측값과 더해져 영상을 복원할 수 있다.

(2) 인트라 스킵 플래그가 1인 경우, 예측 대상 블록은 잔여 블록이 부호화되지 않은 블록으로서 예측부에서 생성된 예측 대상 블록의 예측값 만으로 복원 영상을 생성할 수 있다. 이때 예측 대상 블록의 예측값을 생성하기 위해 예측 블록 생성 정보(예를 들어, 화면 내 예측 모드 정보)를 부호화하지 않고 주변 블록으로부터 유도하거나, 예측 블록 생성 정보에 대해서는 부호화를 수행하여 복호화단에 전송할 수 있다. 예를 들어, 주변 블록의 화면 내 예측 모드 정보를 예측 대상 블록의 화면 내 예측 모드 정보로 사용하거나, 참조 픽셀의 평균값을 예측 대상 블록의 화면 내 예측값으로 사용할 수 있다.

본 발명의 실시예에 따르면 도 5 및 도 6에서 전술한 부호화기 및 복호화기에서 사용될 수 있는 화면 내 예측 방법에 대해 개시한다.

이하, 표 1과 도 7은 본 발명의 실시예에서 사용될 수 있는 화면 내 예측 모드에 대한 것이다. 하지만, 표 1과 도 7은 화면 내 예측 모드의 예시이며 본 발명에서 사용되는 화면 내 예측 모드는 도 7에서 개시한 화면 내 예측 모드에 한정되지 않는다.

표 1은 화면 내 예측 모드 번호와 화면 내 예측 모드를 매핑한 표이다.

<표 1>

표 1을 참조하면, 예측 대상 블록에 대한 화면 내 예측을 수행하기 위해서 휘도 블록은 35 가지의 화면의 화면 내 예측 모드를 사용할 수 있고 이 중 2 번 화면 내 예측 모드 내지 34 번 화면 내 예측 모드는 방향성 화면 내 예측 모드로서 서로 다른 방향의 참조 픽셀을 기준으로 화면 내 예측이 수행될 수 있다. 0번과 1번은 비방향성 화면 내 예측 모드로서 참조 픽셀을 이용하여 예측 대상 블록의 예측 픽셀값 값을 생성하여, 화면 내 예측을 수행 할 수 있다. 여기서, 화면 내 모드에 대한 예측 모드 번호는 지사자일 뿐, 각 예측 모드는 특정 번호에 한정 되지 않는다.

도 7은 본 발명의 실시예에 따른 방향성 화면 내 예측 모드를 나타낸 개념도이다.

도 7을 참조하면 방향성 화면 내 예측 모드는 좌측 하단 방향의 2번 화면 내 예측 모드를 시작으로 시계 방향으로 34번 화면 내 예측 모드까지의 화면 내 예측 모드값이 할당될 수 있다.

도 8는 본 발명의 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.

도 8을 참조하면, 예측 대상 블록의 주변 참조 픽셀값을 기초로 화면 내 예측을 수행할 수 있다.

주변 참조 픽셀값은 예를 들어, NxN 크기의 예측 대상 블록의 상단 좌측에 위치한 픽셀의 좌표를 (x, y)라고 할 경우, (x, y-1)부터 (x+2n-1, y-1)까지의 2n개의 상단 참조 픽셀(800)과, (x-1, y)부터 (x-1, y+2n-1)까지의 2n개의 좌측 참조 픽셀(820)이 될 수 있다.

본 발명의 실시예에 따르면 예측 대상 블록의 좌측에 존재하는 좌측 참조 픽셀 및 예측 대상 블록의 상단에 존재하는 상단 참조 픽셀을 사용하여 화면 내 예측을 수행할 수 있다.

예측 대상 블록의 좌측에 존재하는 좌측 참조 픽셀 및 예측 대상 블록의 상단에 존재하는 상단 참조 픽셀이 가용하지 않은 경우 참조 픽셀을 패딩하여 화면 내 예측을 수행할 수 있다. 예를 들어, 34번 화면 내 예측 모드와 같은 경우, 화면 내 예측을 수행하기 위한 참조 픽셀이 현재 복호화되지 않은 픽셀이 될 수 있고 또 다른 예로 예측 블록이 LCU의 경계에 위치한 경우, 상단의 n~2n-1까지의 픽셀 또는 좌측 n~2n-1까지의 픽셀이 가용하지 않은 경우가 발생할 수 있다. 이러한 경우, 화면 내 예측을 수행하기 위한 참조 픽셀이 존재하지 않으므로 현재 가용한 픽셀값을 가용하지 않은 픽셀값으로 패딩하여 참조 픽셀값을 생성할 수 있다.

도 9는 본 발명의 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.

도 9를 참조하면, 참조 픽셀 중 일부의 참조 픽셀값만을 사용하여 화면 내 예측을 수행할 수 있고 사용된 참조 픽셀의 정보는 부호화되어 복호화단에 전송될 수 있다. 예를 들어, 참조 픽셀 화소값의 평균값으로 예측 대상 블록의 예측값을 산출하되 평균값을 산출하기 위한 참조 픽셀 화소값은 선택적으로 사용될 수 있다. 상단 참조 픽셀만을 이용하여 화면 내 예측을 수행하는 경우 상단 참조 픽셀(900)의 평균값을 예측 대상 블록의 예측값으로 사용할 수 있고, 부호화기에서 상단 참조 픽셀이 예측에 사용되었다는 정보를 예측 대상 블록의 주변 참조 픽셀 화소값들의 상관성을 이용하여 복호화단에서 유추할 수 있다. 또한, 상단 참조 픽셀만을 이용하여 화면 내 예측을 수행하는 경우 상단 참조 픽셀(900)의 평균값을 예측 대상 블록의 예측값으로 사용할 수 있고, 부호화기에서 상단 참조 픽셀이 예측에 사용되었다는 정보를 부호화하여 복호화단에 전송할 수 있다. 이러한 경우, 부호화기에서는 예측 블록 생성 정보(예를 들어, 화면 내 예측 모드 정보)를 전송하지 않을 수 있다.

도 9에서 예로든 참조 픽셀값은 예시적인 것이고 다른 참조 픽셀값(예를 들어, 좌측 참조 픽셀값 또는 참조 픽셀 중 일부 픽셀값)이 예측에 사용될 수 있고 픽셀들의 평균값이 아닌 참조 픽셀에 가중치를 부여한 평균값 또는 중간값과 같은 다양한 값이 예측 대상 블록의 예측값으로 사용될 수 있다.

도 10은 본 발명의 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.

도 10을 참조하면, 예측 대상 블록에 대한 화면 내 예측을 수행하기 위해서 참조 픽셀 정보를 사용할 수 있다. 예를 들어, 예측 대상 블록의 좌상단에 위치한 참조 픽셀(1020)과 좌측 참조 픽셀(1040)의 차이값과 예측 대상 블록의 좌상단에 위치한 참조 픽셀(1020)과 상단 참조 픽셀(1060)의 차이값을 비교하여 두 개의 값 중 어떠한 값이 더 큰지 여부를 비교하여 예측 대상 블록에서 화면 내 예측에 사용할 참조 픽셀을 결정할 수 있다.

예측 대상 블록의 좌상단에 위치한 참조 픽셀(1020)과 좌측 참조 픽셀(1040)의 차이값이 예측 대상 블록의 좌상단에 위치한 참조 픽셀(1020)과 상단 참조 픽셀(1060)의 차이값보다 작은 경우는 상단 참조 픽셀 방향이 좌측 참조 픽셀 방향보다 화소값의 변화가 크다는 의미이므로 상단 참조 픽셀을 화면 내 예측에 사용하여 화면 내 예측을 수행할 수 있다. 반대로 예측 대상 블록의 좌상단에 위치한 참조 픽셀(1020)과 좌측 참조 픽셀(1040)의 차이값이 예측 대상 블록의 좌상단에 위치한 참조 픽셀(1020)과 상단 참조 픽셀(1060)의 차이값보다 큰 경우는 좌측 참조 픽셀 방향의 화소값 변화가 크다는 의미이므로 좌측 참조 픽셀을 화면 내 예측에 사용하여 화면 내 예측을 수행할 수 있다.

또한 그 반대도 가능하다. 예를 들어, 예측 대상 블록의 좌상단에 위치한 참조 픽셀(1020)과 좌측 참조 픽셀(1040)의 차이값이 예측 대상 블록의 좌상단에 위치한 참조 픽셀(1020)과 상단 참조 픽셀(1060)의 차이값보다 작은 경우는 상단 참조 픽셀 방향이 좌측 참조 픽셀 방향보다 화소값의 변화가 크다는 의미이므로 좌측 참조 픽셀을 화면 내 예측에 사용하여 화면 내 예측을 수행할 수 있다.

예측 대상 블록의 좌상단에 위치한 참조 픽셀(1020)과 좌측 참조 픽셀(1040)의 차이값과 예측 대상 블록의 좌상단에 위치한 참조 픽셀(1020)과 상단 참조 픽셀(1060)의 차이값이 크게 차이가 없는 경우는 비방향성 예측 모드인 Planar 모드 또는 DC 모드를 사용하여 화면 내 예측을 수행할 수 있다 .

본 발명의 또 다른 실시예에 따르면 화면 내 예측을 사용하여 화면 내 예측을 수행함에 있어서, 여러 예측 방법을 혼합하여 산술적으로 산출된 값을 블록의 화면 내 예측값으로 사용할 수 있다.

예를 들어, 복수개의 화면 내 예측 모드를 통해 예측된 화면 내 예측값을 사용하여 산출된 값들의 평균값 또는 가중치 합을 사용하여 화면 내 예측을 수행할 수 있다.

도 11은 본 발명의 실시예에 따른 잔차 블록 생성 여부를 결정하는 방법을 나타낸 개념도이다.

본 발명의 실시예에 따르면, 영상에 따라 잔차 블록을 생성하지 않고 예측 블록만으로 블록을 복원할 수 있다. 이때 복원되는 블록이 예측 블록만을 가지고 복원되는 블록인지 아니면 잔차 블록값을 가지고 예측 블록을 기초로 원본 블록을 생성하는 블록인지 여부를 판단하여야 한다. 이때 예측 대상 블록이 잔차 블록을 생성하는 블록인지 아니면 예측 블록만으로 이루어진 블록인지 여부를 부호화하기 위해 주변 블록의 부호화 관련 정보를 사용할 수 있다.

도 11을 참조하면, 하나의 LCU는 복수개의 CU로 분할될 수 이고, 하나의 CU는 복수개의 PU로 분할될 수 있다. 하나의 예측 블록은 화면 내 예측 또는 화면 간 예측을 수행할 수 있고, 이러한 예측 방법을 기초로 산출된 예측 블록을 기초로 원본 블록과의 차이값인 잔차 블록이 생성될 수 있다. 본 발명의 실시예에 따르면 하나의 LCU 내에 포함되는 복수개의 PU는 예측 블록만으로 구성되었고 예측 블록 생성 정보를 따로 보내지 않는다는 정보를 복호화기에 전송하거나, 예측 블록 생성 정보만을 부호화하여 복호화기에 전송하거나, 예측 블록 생성 정보와 잔차 블록 정보를 모두 부호화하여 복호화기에 전송할 수 있다. 예측 블록마다 잔차 블록 정보 전송 여부에 관련된 정보를 소정의 구문 요소를 기초로 부호화를 할 수 있는데, 이러한 잔차 블록 정보 전송 여부에 관련된 정보를 부호화하는 경우 주변 블록의 잔차 블록 전송 여부에 관련된 정보를 엔트로피 부호화하는 경우 영상의 경향성을 반영하여 작은 수의 비트를 사용하여 영상 정보를 전송할 수 있다.

예를 들어, 각 PU는 잔차 블록 전송 여부에 관련된 정보를 소정의 플래그 정보로 전송할 수 있다. 이러한 플래그 정보를 부호화함에 있어서, CABAC, CAVLC와 같은 엔트로피 부호화 방법을 사용함으로서 주변 블록의 잔차 블록 전송 여부 전송 여부를 기초로 엔트로피 부호화를 수행할 수 있다. 주변 블록 중 다수개 블록의 영상 정보를 기초로 예측 대상 블록을 부호화함으로서 영상에 존재하는 소정의 경향성을 반영하여 블록의 잔차 블록 전송 여부 정보를 전송할 수 있다.

아래의 표 2은 블록의 잔차 블록 전송 여부에 대한 정보를 전송하는 방법을 나타내는 신택스 구조이다. 아래의 신택스에서는 mb는 특정한 블록 단위를 나타내는 것으로서 매크로 블록에 한정되는 단위가 아니며, PU와 같은 예측 단위도 될 수 있고 구현에 따라 다양한 블록 단위가 될 수 있다. 또한, 아래에서 후술할 구문 요소는 동일 또는 유사한 의미를 가진 다양한 구문 요소의 형태로 표현될 수 있으며 아래와 같은 역할을 수행하는 구문 요소 정보 또는 본 발명의 본질을 구현하기 위한 구문 요소 정보는 본 발명의 권리 범위에 포함된다.

<표 2>

}

표 2를 참조하면, 슬라이스 레벨과 같은 소정의 상위 레벨 신택스 구조에 현재 해당 영상 단위에 포함되는 블록이 잔차 블록 정보를 포함되어 있는지 여부를 부호화하기 위해 슬라이스 타입 정보를 구분지어 블록 정보를 복호화할 수 있다.

예를 들어, 슬라이스 타입이 화면 내 예측 블록만으로 구성되지 않았을 경우(!I), 엔트로피 부호화 방법(entropy_coding_mode_flag)에 따라 구문 요소 mb_skip_run과 mb_skip_flag를 이용하여 블록이 잔차 블록 정보를 포함하여 부호화되는 블록인지 여부를 표현할 수 있다. 인트라 스킵 플래그는 구문 요소 mb_skip_run과 mb_skip_flag를 포함하는 용어로서 정의되어 사용될 수 있다.

mb_skip_run은 엔트로피 부호화 방법으로 CAVLC를 이용한 경우 사용하는 플래그로서 예를 들어, mb_skip_run 값이 1인 경우 잔차 블록 정보를 전송하지 않고 예측 블록 정보만으로 이루어진 블록이고 mb_skip_run 값이 0인 경우, 잔차 블록 정보를 전송하는 블록이라는 의미로 사용될 수 있다. mb_skip_flag는 엔트로피 부호화 방법으로 CABAC을 이용한 경우 사용하는 플래그로서 예를 들어, mb_skip_flag 값이 1인 경우 잔차 블록 정보를 전송하지 않고 예측 블록 정보만으로 이루어진 블록이고 mb_skip_flag가 0인 경우, 잔차 블록 정보를 전송하는 블록이라는 의미로 사용될 수 있다.

슬라이스 타입이 I 슬라이스로 화면 내 예측 블록만으로 구성된 경우도 엔트로피 부호화 방법(entropy_coding_mode_flag)에 따라 구문 요소 mb_intra_skip_run과 mb_intra_skip_flag를 이용하여 블록이 잔차 블록 정보를 포함하여 부호화되는 블록인지 여부를 표현할 수 있다.

mb_intra_skip_run은 엔트로피 부호화 방법으로 CAVLC를 이용한 경우 사용하는 플래그로서 예를 들어, mb_intra_skip_run 값이 1인 경우 잔차 블록 정보를 전송하지 않고 예측 블록 정보만으로 이루어진 블록이고 mb_intra_skip_run 값이 0인 경우, 잔차 블록 정보를 전송하는 블록이라는 의미로 사용될 수 있다. mb_intra_skip_flag는 엔트로피 부호화 방법으로 CABAC을 이용한 경우 사용하는 플래그로서 예를 들어, mb_intra_skip_flag 값이 1인 경우 잔차 블록 정보를 전송하지 않고 예측 블록 정보만으로 이루어진 블록이고 mb_intra_skip_flag가 0인 경우, 잔차 블록 정보를 전송하는 블록이라는 의미로 사용될 수 있다.

이전에 부호화 또는 복호화된 블록이 잔차 블록 정보를 포함하여 부호화되었는지 여부는 prevMbskipped로 저장되어 다음 블록의 플래그 정보인 mb_intra_skip_run 또는 mb_intra_skip_flag를 엔트로피 부호화할 때 사용할 수 있다.

아래의 표 3은 블록의 잔차 블록 전송 여부에 대한 정보를 전송하는 방법을 나타내는 또 따른 신택스 구조이다.

<표 3>

표 3을 참조하면, mb_skip_flag 또는 mb_intra_skip_flag가 1인 경우, 잔차 블록 정보가 존재하지 않으므로 잔차 블록 정보를 복호화하지 않고 mb_skip_flag 또는 mb_intra_skip_flag가 0인 경우, 잔차 블록 정보가 존재하므로 잔차 블록 정보를 복호화하는 단계를 통해 잔차 블록을 복호화할 수 있다.

도 12는 본 발명의 실시예에 따른 영상 복호화 방법을 나타낸 순서도이다.

도 12를 참조하면, 예측 대상 블록의 잔차 블록 정보가 존재하는지 여부를 판단한다(단계 S1200).

본 발명의 실시예에 따르면, 예측 대상 블록은 잔차 블록 정보를 예측 블록과 함께 잔차 블록 정보를 부호화한 블록 또는 예측 블록만을 부호화한 블록으로 나뉠 수 있으며, 이러한 정보는 플래그 정보로서 엔트로피 복호화될 수 있다.

엔트로피 복호화된 정보를 기초로 예측 대상 블록이 잔차 블록 정보를 예측 블록과 함께 부호화한 블록인지 아니면 예측 블록만을 부호화한 블록인지 여부로 나뉠 수 있으며, 잔차 블록 정보를 추가로 복호화할 지 여부를 결정할 수 있다 .

잔차 블록 정보가 존재하는 경우, 예측 블록 정보와 잔차 블록 정보를 기초로 예측 대상 블록을 복원한다(단계 S1210).

잔차 블록 정보가 존재하지 않는 경우, 예측 대상 블록의 주변 블록을 통해 예측 블록 생성 정보를 유추하여 예측 대상 블록을 복원한다(단계 S1220).

복호화된 정보를 기초로 예측 대상 블록에 대하여 예측 대상 블록이 예측 값만으로 구성(생성)되었다는 정보만을 복원하여 예측 블록을 생성할 수 있다. 전술한 바와 같이 예측 대상 블록의 주변 참조 픽셀 정보를 사용하여 예측 블록을 생성하는 방법을 사용할 경우 복호화기에서는 예측 블록을 생성하기 위한 정보를 따로 복호화할 필요가 없다. 본 발명의 또 다른 실시예로 부호화기에서 화면 내 예측 모드 정보와 같은 예측 블록 생성 정보를 부호화한 값을 복호화하여 예측 대상 블록을 복원하는 것도 가능하다.

도 13은 본 발명의 실시예에 따른 다차원 영상을 복원하기 위한 방법을 나타낸 개념도이다.

도 13을 참조하면, 다차원 영상을 복원하기 위해서 깊이 맵 정보를 복원한다(단계 S1300).

다차원 영상은 깊이 맵 정보와 화소 샘플값 정보(휘도 정보 영상, 색차 정보 영상)과 같은 복수개의 영상으로 구성될 수 있다. 이하의 실시예에서는 깊이 맵 영상에 대해서만 영상 정보를 기초로 잔차 블록 정보를 전송하지 않는 방법에 대하여 기술하나, 화소 샘플 정보에 대하여도 전술한 방법을 사용할 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.

깊이 맵 정보는 영상의 깊이 정보와 관련된 정보로서 영상에 따라 수직 수평 방향으로 상관도가 높은 영상이 될 수 있다. 깊이 맵 정보를 복원하기 위해서는 전술한 바와 같이 엔트로피 복호화된 정보를 기초로 예측 대상 블록이 잔차 블록 정보를 예측 블록과 함께 부호화한 블록인지 아니면 예측 블록만을 부호화한 블록인지 여부로 나뉠 수 있으며, 잔차 블록 정보를 추가로 복호화할 지 여부를 결정할 수 있다. 예측 블록을 생성하기 위한 정보는 부호화되어 전송되거나 주변 복원된 블록으로부터 유추하여 사용할 수 있다.

화소 정보 프레임을 복원한다(단계 S1310).

영상의 구성에 따라 휘도 정보 프레임, 색차 정보 프레임과 같은 화소 정보 프레임을 복원할 수 있다.

복호화된 깊이 맵 정보 프레임과 화소 정보 프레임을 기초로 3차원 영상 프레임을 출력한다(단계 S1320).

복호화기에서는 복호화된 깊이 맵 정보 프레임과 화소 정보 프레임을 기초로 3차원 영상 프레임을 복원할 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (22)

1. 비트스트림으로부터 상기 비트스트림에 대상 블록에 대한 잔차 블록 정보가 존재하는지 여부를 나타내는 부호화 정보를 추출하는 단계; 및
   상기 부호화 정보에 기반하여 상기 대상 블록을 복원하는 단계
   를 포함하고,
   상기 대상 블록의 복원은 상기 대상 블록에 대한 예측에 기반하여 수행되고,
   상기 대상 블록을 복원하는 단계는,
   상기 부호화 정보가 상기 잔차 블록 정보가 존재하지 않음을 나타내는 경우, 상기 대상 블록에 대한 화면 내 예측 방향을 사용하는 화면 내 예측에 기반하여 상기 대상 블록을 복원하는 단계
   를 포함하고,
   상기 화면 내 예측 방향은 상기 화면 내 예측을 위해 사용되는 하나 이상의 참조 픽셀들을 결정하고,
   상기 잔차 블록 정보가 존재하는지 여부를 나타내기 위한 상기 부호화 정보에 대한 값들은 0 및 1인 영상 복호화 방법.
2. 삭제
3. 제1항에 있어서,
   상기 대상 블록을 복원하는 단계는,
   상기 부호화 정보가 상기 잔차 블록 정보가 존재함을 나타내는 경우, 상기 대상 블록의 화면 내 예측값 및 상기 잔차 블록 정보를 기초로 상기 대상 블록을 복원하는 단계
   를 포함하는 영상 복호화 방법.
4. 제3항에 있어서,
   상기 부호화 정보가 상기 잔차 블록 정보가 존재하지 않음을 나타내는 경우 상기 대상 블록은 상기 대상 블록에 대한 상기 화면 내 예측 방향에 기반하여 생성된 화면 내 예측값만을 사용하여 복원되는 영상 복호화 방법.
5. 제3항에 있어서,
   상기 화면 내 예측값은 상기 대상 블록에 대한 참조 픽셀들의 픽셀값들을 기초로 산출되는 값으로서 소정의 화면 내 예측 모드에 따라 방향성을 가지고 예측되는 값이거나 상기 참조 픽셀들의 상기 픽셀값들의 산술적인 평균값 또는 가중치 평균값인 영상 복호화 방법.
6. 대상 블록에 대한 복원에 있어서 잔차 블록 정보가 사용되는지 여부를 나타내는 부호화 정보를 생성하는 단계; 및
   상기 대상 블록을 복원하는 단계
   를 포함하고,
   상기 대상 블록에 대한 복호화에 있어서, 상기 대상 블록의 복원은 상기 대상 블록에 대한 예측에 기반하여 수행되고,
   상기 대상 블록에 대한 복호화에 있어서, 상기 부호화 정보가 상기 잔차 블록 정보가 사용되지 않음을 나타내는 경우 상기 대상 블록은 상기 대상 블록에 대한 화면 내 예측 방향을 사용하는 화면 내 예측에 기반하여 복원되고,
   상기 화면 내 예측 방향은 상기 화면 내 예측을 위해 사용되는 하나 이상의 참조 픽셀들을 결정하고,
   상기 잔차 블록 정보가 존재하는지 여부를 나타내기 위한 상기 부호화 정보에 대한 값들은 0 및 1인 영상 부호화 방법.
7. 삭제
8. 제6항에 있어서,
   상기 대상 블록에 대한 복호화에 있어서, 상기 부호화 정보가 상기 잔차 블록 정보가 사용됨을 나타내는 경우, 상기 대상 블록은 상기 대상 블록의 화면 내 예측값 및 상기 잔차 블록 정보에 기초하여 복원되는 영상 부호화 방법.
9. 제8항에 있어서,
   상기 대상 블록에 대한 복호화에 있어서, 상기 부호화 정보가 상기 잔차 블록 정보가 사용되지 않음을 나타내는 경우 상기 대상 블록은 상기 대상 블록에 대한 상기 화면 내 예측 방향에 기반하여 생성된 화면 내 예측값만을 사용하여 복원되는 영상 부호화 방법.
10. 제8항에 있어서,
    상기 화면 내 예측값은 상기 대상 블록에 대한 참조 픽셀들의 픽셀값들을 기초로 산출되는 값으로서 소정의 화면 내 예측 모드에 따라 방향성을 가지고 예측되는 값이거나 상기 참조 픽셀들의 상기 픽셀값들의 산술적인 평균값 또는 가중치 평균값인 영상 부호화 방법.
11. 제6항의 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록 매체.
12. 대상 블록에 대한 부호화 정보를 생성하는 단계; 및
    상기 부호화 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하고,
    상기 부호화 정보는 상기 비트스트림에 상기 대상 블록에 대한 잔차 블록 정보가 존재하는지 여부를 나타내고,
    상기 대상 블록에 대한 복호화에 있어서, 상기 대상 블록의 복원은 상기 대상 블록에 대한 예측에 기반하여 수행되고,
    상기 대상 블록에 대한 복호화에 있어서, 상기 부호화 정보가 상기 잔차 블록 정보가 존재하지 않음을 나타내는 경우 상기 대상 블록은 상기 대상 블록에 대한 화면 내 예측 방향을 사용하는 화면 내 예측에 기반하여 복원되고,
    상기 화면 내 예측 방향은 상기 화면 내 예측을 위해 사용되는 하나 이상의 참조 픽셀들을 결정하고,
    상기 잔차 블록 정보가 존재하는지 여부를 나타내기 위한 상기 부호화 정보에 대한 값들은 0 및 1인 영상 부호화 방법.
13. 삭제
14. 제12항에 있어서,
    상기 대상 블록에 대한 복호화에 있어서, 상기 부호화 정보가 상기 잔차 블록 정보가 존재함을 나타내는 경우, 상기 대상 블록은 상기 대상 블록의 화면 내 예측값 및 상기 잔차 블록 정보에 기초하여 복원되는 영상 부호화 방법.
15. 제14항에 있어서,
    상기 대상 블록에 대한 복호화에 있어서, 상기 부호화 정보가 상기 잔차 블록 정보가 존재하지 않음을 나타내는 경우 상기 대상 블록은 상기 대상 블록의 상기 화면 내 예측 방향에 기반하여 생성된 화면 내 예측값만을 사용하여 복원되는 영상 부호화 방법.
16. 제14항에 있어서,
    상기 대상 블록에 대한 복호화에 있어서, 상기 화면 내 예측값은 상기 대상 블록에 대한 참조 픽셀들의 픽셀값들을 기초로 산출되는 값으로서 소정의 화면 내 예측 모드에 따라 방향성을 가지고 예측되는 값이거나 상기 참조 픽셀들의 상기 픽셀값들의 산술적인 평균값 또는 가중치 평균값인 영상 부호화 방법.
17. 제12항의 영상 부호화 방법에 의해 생성된 상기 비트스트림을 저장하는 컴퓨터 판독 가능한 기록 매체.
18. 영상의 복호화를 위한 비트스트림을 저장하는 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 비트스트림은,
    상기 비트스트림에 대상 블록에 대한 잔차 블록 정보가 존재하는지 여부를 나타내는 부호화 정보
    를 포함하고,
    상기 대상 블록은 상기 부호화 정보에 기반하여 복원되고,
    상기 대상 블록의 복원은 상기 대상 블록에 대한 예측에 기반하여 수행되고,
    상기 부호화 정보가 상기 잔차 블록 정보가 존재하지 않음을 나타내는 경우 상기 대상 블록은 상기 대상 블록에 대한 화면 내 예측 방향을 사용하는 화면 내 예측에 기반하여 복원되고,
    상기 화면 내 예측 방향은 상기 화면 내 예측을 위해 사용되는 하나 이상의 참조 픽셀들을 결정하고,
    상기 잔차 블록 정보가 존재하는지 여부를 나타내기 위한 상기 부호화 정보에 대한 값들은 0 및 1인 컴퓨터 판독 가능한 기록 매체.
19. 삭제
20. 제18항에 있어서,
    상기 부호화 정보가 상기 잔차 블록 정보가 존재함을 나타내는 경우, 상기 대상 블록은 상기 대상 블록의 화면 내 예측값 및 상기 잔차 블록 정보를 기초로 복원되는 컴퓨터 판독 가능한 기록 매체.
21. 제20항에 있어서,
    상기 부호화 정보가 상기 잔차 블록 정보가 존재하지 않음을 나타내는 경우 상기 대상 블록은 상기 대상 블록의 상기 화면 내 예측 방향에 기반하여 생성된 화면 내 예측값만을 사용하여 복원되는 컴퓨터 판독 가능한 기록 매체.
22. 제20항에 있어서,
    상기 화면 내 예측값은 상기 대상 블록에 대한 참조 픽셀들의 픽셀값들을 기초로 산출되는 값으로서 소정의 화면 내 예측 모드에 따라 방향성을 가지고 예측되는 값이거나 상기 참조 픽셀들의 상기 픽셀값들의 산술적인 평균값 또는 가중치 평균값인 컴퓨터 판독 가능한 기록 매체.

Images