KR20150095254A - 영상 부호화에서의 화면 내 예측 생략 방법 및 장치 - Google Patents

Abstract

영상 부호화에서의 화면 내 예측 생략 방법이 개시된다. 상기 방법은 화면 내 예측을 수행할 현재 블록에 대한 주변 블록을 결정하는 단계 및 상기 주변 블록의 예측 모드 정보, 상기 주변 블록의 부호화 비용 정보, 및 상기 현재 블록과 상기 주변 블록 간의 경계에 위치한 경계 화소에 대한 연관성 정보 중 적어도 하나를 이용하여 상기 현재 블록에 대한 화면 내 예측을 생략할지 여부를 판단하는 단계를 포함한다.

Description

영상 부호화에서의 화면 내 예측 생략 방법 및 장치{INTRA PREDICTION SKIP METHOD AND APPARATUS FOR VIDEO CODING}

본 발명은 영상 부호화 및 복호화 기술에 관한 것으로, 보다 구체적으로는 화면 내 예측에 관한 것이다.

최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.

영상 압축 기술로 현재 픽처의 이전 또는 이후 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 화면 간 예측(inter prediction) 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 화소값을 예측하는 화면 내 예측(intra prediction) 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.

한편, 영상 부호화에서 화면 내 예측은 다양한 방향성을 가지는 예측 모드들을 포함한다. 이러한 다양한 방향성 예측 모드들을 이용하여 예측 신호를 만들고, 예측 신호와 원본 신호의 차를 이용하여 잔차 신호를 생성한다. 그리고 다양한 방향성 모드들 중 최소 율-왜곡(Rate Distortion) 비용을 가지는 방향성 예측 모드가 최적 화면 내 예측 모드가 된다.

하지만, 예측 오차를 줄이기 위해 방향성 예측 모드들의 개수가 늘어나고 다양한 크기의 블록들에 대해 화면 내 예측을 수행함에 따라 화면 내 예측 시의 복잡도가 크게 증가하였다. 예를 들어, HEVC(High Efficiency Video Coding)의 경우, 35가지의 방향성 예측 모드가 있으며, 방향성 예측을 하는 블록들의 크기도 4x4 크기의 블록에서 64x64 크기의 블록까지 다양하다. 이러한 다양한 크기의 모든 블록들에 대해 35가지의 화면 내 예측 모드들을 모두 적용할 경우, 부호화기의 복잡도는 크게 증가하게 된다. 따라서, 화면 내 예측 시의 복잡도를 줄일 수 있는 방법이 필요하다.

본 발명에서는 다양한 부호화 정보 및 블록의 경계 정보를 이용하여 화면 내 예측의 생략 여부를 결정함으로써 화면 내 예측의 복잡도를 줄일 수 있는 방법에 대해 제안한다.

본 발명은 영상의 부호화/복호화 효율을 증가시키기 위한 화면 내 예측 방법 및 장치를 제공한다.

본 발명은 주변 블록의 정보를 이용하여 화면 내 예측 생략 여부를 결정하는 방법 및 장치를 제공한다.

본 발명의 일 실시예에 따르면, 영상 부호화에서의 화면 내 예측 생략 방법이 제공된다. 상기 방법은 화면 내 예측을 수행할 현재 블록에 대한 주변 블록을 결정하는 단계 및 상기 주변 블록의 예측 모드 정보, 상기 주변 블록의 부호화 비용 정보, 및 상기 현재 블록과 상기 주변 블록 간의 경계에 위치한 경계 화소에 대한 연관성 정보 중 적어도 하나를 이용하여 상기 현재 블록에 대한 화면 내 예측을 생략할지 여부를 판단하는 단계를 포함한다.

상기 주변 블록은 상기 현재 블록의 주변에 위치한 블록 및 상기 현재 블록에 대응되는(collocated) 콜 블록 중 적어도 하나를 포함할 수 있다.

본 발명에 따르면, 화면 내 예측의 생략으로 인한 부호화 복잡도가 감소될 수 있다.

도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 화면 내 예측 모드의 예측 방향 및 각 예측 방향에 할당된 모드 값의 일실시예를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 현재 PU(현재 블록)의 주변 블록(주변 참조 블록)을 도시한 도면이다.
도 5는 주변 블록에 대한 우선 순위를 조정하는 방법을 설명하기 위해 도시된 도면이다.
도 6은 본 발명의 일실시예에 따른 현재 블록에 대응되는(collocated) 콜 블록 주변에 위치한 주변 블록들을 나타내는 일예이다.
도 7은 본 발명의 일실시예에 따른 현재 블록과 주변 블록의 경계에 위치한 경계 화소들을 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 영상 부호화에서의 화면 내 예측 방법을 개략적으로 나타내는 순서도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.

본 명세서에서 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 포함한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 1을 참조하면, 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 영상 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다. 이때, 입력 영상은 원 영상(original picture)를 의미할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화/복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽처 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 여기서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터이며, 현재 부호화/복호화 대상 영상과 참조 영상 사이의 오프셋을 나타낼 수 있다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다.

변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터(quantization parameter, 또는 양자화 매개변수)에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bit stream)을 출력할 수 있다. 엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수-골롬(Exponential-Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.

도 1의 실시예에 따른 영상 부호화 장치(100)는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽처 버퍼(190)에 저장될 수 있다.

도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다.

엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.

한편, 설명의 편의상 본 명세서에 사용된 용어에 대해 설명한다.

방향성 예측 모드는 화면 내 예측(인트라 예측)에서 다양한 방향성을 가지는 예측 모드를 의미하며, 방향성 예측 모드의 방향대로 화소를 패딩(padding) 및 보간(interpolation)하여 예측 블록을 생성할 수 있다.

후보 (방향성) 예측 모드는 다양한 화면 내 예측 모드들 중 화면 내 예측에서 사용될 예측 모드를 말한다.

CBF(Coded Block Flag)는 변환 및 양자화 후 블록 상의 계수가 모두 0 값을 가지는지 그렇지 않은지를 알려주는 플래그이다.

부호화 비용은 SAD(Sum of Absolute Difference), SSE(Sum of Squared Error), SATD(Sum of Absolute Transformed Difference), 율-왜곡 비용(Rate-Distortion cost) 등 부호화를 하는데 있어서 필요한 비용을 나타내는 값이다.

MPM(Most Probable Mode)은 특정 주변 블록의 화면 내 예측 모드와 현재 블록의 최적 화면 내 예측 모드가 동일할 경우, 최적 예측 모드 정보를 나타내는 긴 플래그를 보내는 대신 짧은 MPM 플래그를 보내는 모드를 말하며, MPM을 사용할 경우 비트 수를 절약할 수 있다.

BS(Boundary Strength)는 디블록킹 필터링 과정에서 블록 경계에 있는 화소들의 변화를 나타내는 값으로, 이 값에 의해 디블록킹 필터링 수행 여부와 필터링 강도가 결정된다.

도 3은 화면 내 예측 모드의 예측 방향 및 각 예측 방향에 할당된 모드 값의 일실시예를 개략적으로 나타낸 도면이다.

도 3에 도시된 바와 같이, 화면 내 예측 모드는 서로 다른 방향성을 가진다. 또한 각각의 화면 내 예측 모드에는 서로 다른 모드 값이 할당된다.

예를 들어, HEVC(High Efficiency Video Coding)의 화면 내 예측에서는 도 3에 도시된 바와 같이 0~34까지의 모드값을 갖는 총 35가지의 예측 모드를 포함할 수 있다. 이때, 33개의 방향성 예측 모드와 2개의 비방향성 예측 모드(예를 들어, DC 모드, Planar 모드)를 포함할 수 있다.

혹은 화면 내 예측 모드는 현재 블록의 색 성분(color component)이 휘도(luma) 신호인지 색차(chroma) 신호인지에 따라 예측 모드의 개수가 다를 수 있다. 예컨대, 도 3에 도시된 ‘intra_FromLuma’ 모드는 휘도 신호로부터 색차 신호를 예측하는 특정 모드일 수 있다.

부호화기에서는 도 3에 도시된 바와 같은 35가지의 예측 모드를 기반으로 현재 블록에 대한 화면 내 예측을 수행하고, 예측을 위해 사용된 화면 내 예측 모드 정보를 부호화한다. 이때, 부호화 효율을 향상시키기 위해서, 부호화기는 현재 블록에 인접한 주변 블록으로부터 MPM을 도출하고, 도출된 MPM을 기초로 현재 블록의 화면 내 예측 모드 정보를 부호화할 수 있다.

보다 구체적으로 부호화기에서 수행되는 화면 내 예측 방법을 설명하면, 부호화기는 먼저 화면 내 예측을 수행할 현재 블록의 크기를 결정한다(스텝 1). 현재 블록의 크기는 4x4, 8x8, 16x16, 32x32, 64x64 등의 다양한 크기를 가질 수 있다.

여기서, 현재 블록은 부화화 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit), 변환 유닛(TU: Transform Unit) 중 적어도 하나의 크기일 수 있다. 또한, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 서로 다를 수도 있다. 예컨대, 예측 유닛마다 예측 모드가 정해져서 예측이 수행될 수도 있고, 혹은 예측 유닛마다 예측 모드가 정해지고 변환 유닛마다 예측이 수행될 수도 있다.

다음으로, 부호화기는 4x4, 8x8, 16x16, 32x32, 64x64 크기의 블록 각각에 대해 35가지의 화면 내 예측 모드를 적용하는 러프 모드 결정(Rough Mode Decision) 과정을 수행할 수 있다(스텝 2). 예를 들어, 부호화기는 표 1에 도시된 바와 같이, 4x4, 8x8, 16x16, 32x32, 64x64 크기의 블록 각각에 대해 35가지의 예측 모드를 적용하여 예측을 수행하며, 각 모드에 대해 하다마르 변환(Hadamard Transform)을 이용해 각 모드 별 SATD 값을 구할 수 있다. 표 1은 러프 모드 결정 과정 수행 시 각 블록 크기에 적용할 화면 내 예측 모드의 개수를 나타내는 일예이다.

블록 크기	예측 모드의 개수
4x4	35
8x8	35
16x16	35
32x32	35
64x64	35

다음으로, 부호화기는 러프 모드 결정 과정에 의해 도출된 작은 SATD 값을 가지는 상위 몇 개의 모드에 대해 4x4, 8x8, 16x16, 32x32, 64x64 크기의 블록 각각에 DCT(Discrete Cosine Transform)/DST(Discrete Sine Transform)를 수행하고, 그 결과를 바탕으로 예측 모드 별 율-왜곡 비용(RD-Cost)을 구할 수 있다. 가장 작은 율-왜곡 비용을 가지는 예측 모드가 해당 블록의 최적 예측 모드가 된다. 다시 말해, 부호화기는 러프 모드 결정 후 작은 SATD 값을 가지는 상위 몇 개의 예측 모드에 대해서만 변환, 양자화 및 엔트로피 부호화 과정을 모두 거치는 최종 RDO(Full Rate Distortion Optimization)를 수행하여 최적 예측 모드를 결정한다(스텝 3).

표 2는 최종 RDO 수행 시 각 블록 크기에 적용할 화면 내 예측 모드의 개수를 나타내는 일예이다.

블록 크기	예측 모드의 개수
4x4	8+MPM
8x8	8+MPM
16x16	3+MPM
32x32	3+MPM
64x64	3+MPM

예를 들어, 표 2를 참조하면, 부호화기는 4x4 혹은 8x8 크기의 블록에 대해서는 러프 모드 결정 후 작은 SATD 값을 가지는 상위 8개의 모드 및 MPM에 대해서만 최종 RDO를 수행하고, 그 결과 가장 작은 율-왜곡 비용을 가지는 모드를 최적 예측 모드로 결정할 수 있다. 또는, 부호화기는 16x16, 32x32 혹은 64x64 크기의 블록에 대해서는 러프 모드 결정 후 작은 SATD 값을 가지는 상위 3개의 모드 및 MPM에 대해서만 최종 RDO를 수행하고, 그 결과 가장 작은 율-왜곡 비용을 가지는 모드를 최적 예측 모드로 결정할 수 있다.

상술한 화면 내 예측 방법은 최소의 부호화 비용을 가지는 최적 예측 모드를 결정하기 위해서, 다양한 크기의 블록에 대해서 많은 수의 화면 내 예측 모드를 모두 적용하여 예측을 수행하게 되므로, 부호화 복잡도가 크게 증가하게 된다. 따라서, 화면 내 예측 시 복잡도를 줄일 수 있는 방법이 필요하다.

이하, 본 발명에서는 주변 블록 및/또는 상위 블록의 부호화 정보를 이용하여 화면 내 예측을 생략하거나 화면 내 예측을 수행하는 예측 모드의 수를 조정하는 방법에 대해 설명한다.

본 발명의 실시예에 따른 화면 내 예측 생략 기법은 상술한 화면 내 예측 방법의 스텝 1 내지 스텝 3까지 과정을 모두 생략할 수 있다. 또는 예측 블록의 크기에 따라 화면 내 예측 생략 여부를 결정할 수도 있다. 또한, 본 발명의 실시예에 따르면, 예측 블록의 크기에 따라 상술한 화면 내 예측 방법의 스텝 2 및 스텝 3에서 화면 내 예측을 수행할 예측 모드의 수를 결정할 수 있다.

여기서, 부호화 정보는 예측 모드 정보, 블록 크기 정보, 부호화 비용(예를 들어, SAD, SSE, SATD 등) 정보, 참조 리스트 정보, 스킵(Skip)/머지(Merge) 정보, 움직임 벡터 정보, 주변 화소 간의 유사성 정보 등을 말한다.

도 4는 본 발명의 일실시예에 따른 현재 PU(현재 블록)의 주변 블록(주변 참조 블록)을 도시한 도면이다.

화면 내 예측을 수행할 때, 예측 대상 블록은 복수의 파티션(partition)으로 분할될 수 있다. 예측 대상 블록이 복수의 파티션으로 분할될 경우, 복수의 파티션 각각이 예측이 수행되는 단위(PU)일 수 있다. 이때, 예측이 수행되는 현재 PU(현재 블록)는 주변 블록의 부호화 정보를 참조하여 화면 내 예측이 수행될 수 있다. 예컨대, 예측 대상 블록은 2Nx2N, NxN, 2NxN, Nx2N, 2nxnU, 2NxnD, nLx2N, nRx2N의 파티션 타입으로 분할될 수 있으며, 분할된 각 PU는 PU의 좌측, 좌측 하단, 상단, 상단 우측, 상단 좌측에 인접한 주변 참조 블록들의 부호화 정보를 이용하여 예측이 수행될 수 있다.

도 4의 (a)에 도시된 바와 같이, 현재 PU(현재 블록)(400)가 2Nx2N의 파티션 타입으로 분할된 경우, 현재 PU(400)는 현재 PU(400)의 좌측 하단(A), 좌측(B), 상단 우측(C), 상단(D), 상단 좌측(E)에 인접한 블록들을 주변 참조 블록으로 결정할 수 있다. 그리고 주변 참조 블록의 부호화 정보를 이용하여 현재 PU(400)의 화면 내 예측이 수행될 수 있다.

도 4의 (b)에 도시된 바와 같이, 현재 PU(현재 블록)(410)가 2NxN의 파티션 타입으로 분할된 경우, 현재 PU(410)는 현재 PU(410)의 좌측 하단(A), 좌측(B), 상단 우측(C), 상단 좌측(D)에 인접한 블록들을 주변 참조 블록으로 결정할 수 있다. 그리고 주변 참조 블록의 부호화 정보를 이용하여 현재 PU(410)의 화면 내 예측이 수행될 수 있다.

도 4의 (b)에 도시된 바와 같이 2NxN의 파티션 타입으로 분할된 경우, 상단에 위치한 상단 PU(415)는 도 4의 (a)에 도시된 2Nx2N 파티션 타입의 PU(400)와 동일하게 주변 참조 블록을 설정할 수 있으며, 설정된 주변 참조 블록의 부호화 정보를 이용하여 상단 PU(415)의 화면 내 예측을 수행할 수 있다.

도 4의 (c)에 도시된 바와 같이, 현재 PU(현재 블록)(420)가 Nx2N의 파티션 타입으로 분할된 경우, 현재 PU(420)는 현재 PU(420)의 좌측 하단(A), 상단 우측(B), 상단(C), 상단 좌측(D)에 인접한 블록들을 주변 참조 블록으로 결정할 수 있다. 그리고 주변 참조 블록의 부호화 정보를 이용하여 현재 PU(420)의 화면 내 예측이 수행될 수 있다.

도 4의 (c)에 도시된 바와 같이 Nx2N의 파티션 타입으로 분할된 경우, 좌측에 위치한 좌측 PU(425)는 도 4의 (a)에 도시된 2Nx2N 파티션 타입의 PU(400)와 동일하게 주변 참조 블록을 설정할 수 있으며, 설정된 주변 참조 블록의 부호화 정보를 이용하여 좌측 PU(425)의 화면 내 예측을 수행할 수 있다.

현재 PU(현재 블록)(430)는 주변 참조 블록으로 상술한 바와 같이 현재 PU(430)에 공간적으로 인접한 블록을 이용할 수도 있으며, 도 4의 (d)에 도시된 바와 같이 콜(Col: Collocated) 블록(432, 434)을 이용할 수도 있다. 콜 블록(432, 434)은 현재 PU(430)를 포함하는 현재 프레임(예컨대, N번째 프레임)과 시간적으로 인접한 프레임(예컨대, N-1번째 프레임 혹은 N+1번째 프레임) 내에서 현재 PU(430)에 대응되는 블록을 말한다. 예컨대, 이전 프레임 또는 이후 프레임에서 현재 프레임의 현재 PU(430)의 위치와 같은 위치에 있는 블록, 또는 현재 PU(430)에서 구한 움직임 벡터가 가리키는 위치의 블록을 콜 블록으로 결정할 수 있다. 즉, 현재 PU(430)는 콜 블록(432, 434)을 주변 참조 블록으로 결정하고, 결정된 주변 참조 블록의 부호화 정보를 이용하여 예측이 수행될 수 있다.

본 발명에서는 상기와 같이 현재 블록의 주변 참조 블록으로 결정된 블록들에 대해서 우선 순위를 결정하고, 우선 순위에 따라 주변 참조 블록을 이용할 수도 있다. 예를 들어, 도 4의 (a)에 도시된 주변 참조 블록 A ~ E에 대해서 우선 순위를 설정할 수 있으며, 주변 참조 블록 A ~ E 순으로 점점 우선 순위가 낮아지도록 설정할 수 있다.

본 발명의 실시예에 따른 주변 참조 블록(주변 블록)에 대한 우선 순위를 결정하는 방법은, 아래 주어진 (1)~(5)의 조건들 중에서 하나 이상을 조합하여 주변 참조 블록들의 우선 순위를 정할 수 있다.

(1) 주변 참조 블록의 위치

주변 참조 블록의 위치에 따라 우선 순위를 달리 할 수 있다.

(2) 움직임 벡터(motion vector)의 연관성

현재 블록에 대한 화면 간 예측을 통해 계산된 움직임 벡터와의 연관성에 따라 주변 참조 블록에 대한 우선 순위를 달리 할 수 있다. 예를 들어, 현재 블록과 주변 참조 블록 간 움직임 벡터의 차의 절대값이 작을수록 현재 블록과 주변 참조 블록 간의 연관성이 높을 확률이 있으므로, 이러한 연관성이 높은 순으로 주변 참조 블록의 우선 순위를 높게 설정할 수 있다.

(3) 참조 리스트(reference list)

주변 참조 블록의 최적 참조 리스트 정보에 따라 우선 순위를 달리 할 수 있다. 예를 들어, 최적 참조 리스트가 0인 주변 참조 블록의 우선 순위를 높게 하거나, 또는 현재 블록에 대한 화면 간 예측을 통해 구해진 최적 참조 리스트 정보와 동일한 참조 리스트 정보를 가지는 주변 참조 블록의 우선 순위를 높게 정할 수 있다.

(4) 머지(merge) 정보

머지 정보에 따라 우선 순위를 달리 할 수 있다. 예를 들어, 현재 블록에 대한 화면 간 예측을 통해 결정된 최적 예측 모드가 머지 모드인 경우, 머지 모드에 해당되는 주변 참조 블록의 우선 순위를 높게 설정할 수 있다.

(5) 부호화 비용(예를 들어, SAD, SSE, SATD) 정보

주변 참조 블록의 부호화 비용에 따라 우선 순위를 달리 할 수 있다. 예를 들어, 주변 참조 블록의 부호화 비용과 현재 블록의 부호화 비용(현재 블록에 대한 화면 간 예측을 통해 구해진 부호화 비용) 간의 차이가 적은 순서로 주변 참조 블록의 우선 순위를 정할 수 있다.

이하에서는 상술한 바와 같은 주변 참조 블록과 상위 블록의 부호화 정보를 이용하여 본 발명에 따른 화면 내 예측 생략 기법에 대해 설명한다.

A) 예측 모드 정보에 기반한 화면 내 예측 생략 방법

아래 (1)~(4)의 조건들 중 적어도 하나에 해당될 경우, 현재 블록에 대한 화면 내 예측을 생략할 수 있다.

(1) 주변 블록들의 최적 예측 모드가 모두 화면 간 예측 모드로 결정된 경우

(2) 기 지정한 특정 주변 블록의 최적 예측 모드가 화면 간 예측 모드일 경우

예를 들어, 기 지정한 특정 주변 블록은 우선 순위가 가장 높은 주변 블록, 또는 콜 블록일 수 있다. 우선 순위가 가장 높은 주변 블록 혹은 콜 블록이 화면 간 예측 모드일 경우, 현재 블록에 대한 화면 내 예측은 생략될 수 있다.

만일, 우선 순위가 가장 높은 최상위 주변 블록이 없거나 참조가 불가능한 경우, 최상위 주변 블록 다음으로 우선 순위가 높은 차상위 주변 블록을 이용할 수도 있다. 이에 대한 예는 도 5를 참조하여 설명한다.

도 5는 주변 블록에 대한 우선 순위를 조정하는 방법을 설명하기 위해 도시된 도면이다.

도 5를 참조하면, 현재 PU의 주변 블록이 A~E이며, A~E 순으로 우선 순위가 높다고 하자. 이때, 주변 블록 A와 B는 참조가 불가능한 블록이므로, 주변 블록 A와 B 다음으로 우선 순위가 높은 차상위 주변 블록인 C를 현재 PU의 최상위 주변 블록으로 재조정할 수 있다.

(3) 화면 간 예측 모드로 결정된 주변 블록의 수 또는 주변 블록에 대한 지정 점수가 특정 임계치 이상인 경우

예를 들어, 주변 블록들 중 절반 이상이 화면 간 예측 모드로 결정된 경우, 현재 블록에 대한 화면 내 예측은 생략될 수 있다.

또는, 주변 블록에 대한 우선 순위를 매기고 그 우선 순위에 대한 점수를 부여한 후, 주변 블록에 부여된 점수와 일정 점수(특정 임계치)를 비교하여 현재 블록에 대한 화면 내 예측을 생략할지 여부를 결정할 수 있다. 예컨대, 도 4의 (a)에 도시된 바와 같이 현재 블록을 기준으로 5개의 주변 블록들(A~E)과 1개의 콜 블록이 참조 가능한 경우, 주변 블록들(A~E)과 콜 블록 중 화면 간 예측으로 결정된 블록에 대해서만 우선 순위를 매기고, 우선 순위 순으로 해당 블록에 점수를 부여할 수 있다. 일예로, 주변 블록 A는 5점, 주변 블록 B는 4점, 주변 블록 C는 3점, 주변 블록 D는 2점, 주변 블록 E는 1점, 콜 블록은 3점으로 점수가 부여된 경우, 각 블록에 부여된 점수의 총합이 일정 점수(예컨대, 7점) 이상인 경우라면 현재 블록에 대한 화면 내 예측을 생략할 수 있다.

(4) 현재 블록에 대한 화면 간 예측을 통해 구해진 최적 예측 모드가 스킵 모드 또는 머지 모드인 경우

B) 부호화 비용(예를 들어, SAD , SSE , SATD 등) 정보에 기반한 화면 내 예측 생략 방법

아래 (1)~(3)의 조건들 중 적어도 하나에 해당될 경우, 현재 블록에 대한 화면 내 예측을 생략할 수 있다.

(1) 주변 블록의 최적 예측 모드가 화면 간 예측 모드이고, 현재 블록에 대한 화면 간 예측을 통해 계산된 부호화 비용(예를 들어, SAD, SSE, SATD 등)이 주변 블록의 부호화 비용보다 작은 경우

예를 들어, i) 현재 블록의 부호화 비용이 모든 주변 블록들의 부호화 비용보다 작은 경우, 혹은 ii) 현재 블록의 부호화 비용이 주변 블록들의 평균 부호화 비용보다 작은 경우, 혹은 iii) 현재 블록의 부호화 비용이 특정 주변 블록들의 평균 부호화 비용보다 작은 경우, 현재 블록의 화면 내 예측 과정을 생략할 수 있다.

여기서, 특정 주변 블록은 임의로 지정한 주변 블록일 수 있다. 예컨대, 도 4의 (a)에 도시된 것과 같이 주변 블록들이 있는 경우, 주변 블록 A와 B를 임의로 특정 주변 블록으로 지정할 수도 있고, 주변 블록 B와 C를 임의로 특정 주변 블록으로 지정할 수도 있다. 또는, 특정 주변 블록은 우선 순위 1, 2위에 해당하는 주변 블록일 수 있다. 또는, 임의의 우선 순위를 가지는 블록을 특정 주변 블록으로 결정할 수도 있다.

표 3은 주변 블록들의 우선 순위 및 부호화 비용을 나타낸 일예이다. 표 3의 주변 블록들은 도 4의 (a)에 도시된 것과 같은 현재 블록에 인접하여 위치하는 주변 블록들일 수 있다. 표 3의 예에서는 설명의 편의상 현재 블록의 부호화 비용이 1000이라고 가정한다.

주변 블록	우선순위	부호화 비용
A	1	1200
B	2	1500
C	3	1100
D	4	900
E	5	800
평균		1100

표 3의 경우를 예로 들면, 현재 블록의 부호화 비용(1000)이 모든 주변 블록들의 부호화 비용보다 작지 않으므로(즉, 조건 i)을 만족하지 않으므로), 조건 i)의 경우에는 현재 블록에 대한 화면 내 예측을 수행해야 한다. 현재 블록의 부호화 비용(1000)이 주변 블록들의 평균 부호화 비용(1100)보다 작으므로(즉, 조건 ii)를 만족하므로), 조건 ii)의 경우에는 현재 블록에 대한 화면 내 예측을 생략할 수 있다. 현재 블록의 부호화 비용(1000)이 특정 주변 블록들(예컨대, A, B)의 평균 부호화 비용보다 작으므로(즉, 조건 iii)를 만족하므로), 조건 iii)의 경우에는 현재 블록에 대한 화면 내 예측을 생략할 수 있다.

상기와 같이, 화면 내 예측 생략 조건의 조합을 어떻게 설정하느냐에 따라 화면 내 예측 생략 조건이 달라질 수 있다.

(2) 현재 블록에 대한 화면 간 예측을 통해 계산된 부호화 비용(예를 들어, SAD, SSE, SATD 등)이 스킵 또는 머지 모드로 선택된 주변 블록들의 부호화 비용보다 작은 경우

예를 들어, i) 현재 블록의 부호화 비용이 머지나 스킵 모드로 부호화된 모든 주변 블록들의 부호화 비용보다 작은 경우, 혹은 ii) 현재 블록의 부호화 비용이 머지나 스킵 모드로 부호화된 주변 블록들의 평균 부호화 비용보다 작은 경우, 혹은 iii) 현재 블록의 부호화 비용이 특정 주변 블록들의 평균 부호화 비용보다 작은 경우, 현재 블록의 화면 내 예측 과정을 생략할 수 있다.

여기서, 특정 주변 블록은 스킵이나 머지 모드로 부호화된 블록들 중 우선 순위가 가장 높은 주변 블록일 수 있다. 또는, 특정 주변 블록은 스킵이나 머지 모드로 부호화된 블록들 중 부호화 비용이 가장 작은 주변 블록일 수 있다.

표 4는 주변 블록들의 예측 모드 및 부호화 비용을 나타낸 일예이다. 표 4의 주변 블록들은 도 4의 (a)에 도시된 것과 같은 현재 블록에 인접하여 위치하는 주변 블록들일 수 있다. 표 4의 예에서는 설명의 편의상 현재 블록의 부호화 비용이 1000이라고 가정한다.

주변 블록	우선순위	예측 모드	부호화 비용
A	1	스킵	1200
B	2	머지	1500
C	3	인터 2Nx2N	1100
D	4	인터 NxN	900
E	5	인터 NxN	800
평균			1100

표 4의 경우를 예로 들면, 주변 블록 A~E 중 스킵 또는 머지 모드로 부호화된 주변 블록은 A와 B이며, 주변 블록 A와 B의 평균 부호화 비용은 1350이다.

이때, 상기 조건 i), ii), iii)의 경우를 모두 만족하므로, 각 조건일 경우 현재 블록에 대한 화면 내 예측을 생략할 수 있다.

(3) 현재 블록에 대한 화면 간 예측을 통해 계산된 부호화 비용(예를 들어, SAD, SSE, SATD 등)이 이전까지 스킵 또는 머지 모드로 결정된 주변 블록들의 평균 부호화 비용보다 작은 경우

C) 주변 화소( pixel )와의 연관성을 이용한 화면 내 예측 생략 방법

아래 (1)~(3)의 조건들 중 적어도 하나에 해당될 경우, 현재 블록에 대한 화면 내 예측을 생략할 수 있다.

(1) 콜 블록의 주변 블록들의 BS(Boundary Strength) 값이 특정 크기 이상일 경우

예를 들어, i) 현재 블록에 대응되는(collocated) 콜 블록 주변에 위치한 주변 블록들의 BS가 특정 값보다 큰 경우(여기서, 콜 블록의 주변 블록들은 콜 블록의 모든 주변 블록들 또는 콜 블록의 특정 주변 블록으로 지정할 수 있으며, 특정 주변 블록은 예컨대, 최상위 및 차상위의 우선 순위를 가지는 주변 블록일 수 있음), 혹은 ii) 콜 블록의 주변 블록들 중 최상위 우선 순위를 가지는 주변 블록의 BS가 특정 값보다 큰 경우, 혹은 iii) 콜 블록의 주변 블록들 중 최상위 및 차상위 우선 순위를 가지는 주변 블록들의 BS 또는 평균 BS가 특정 값보다 큰 경우, 현재 블록의 화면 내 예측 과정을 생략할 수 있다.

표 5는 콜 블록의 주변 블록들에 대한 우선 순위와 BS 값을 나타낸 일예이다. 표 5에 기재된 콜 블록의 주변 블록들은, 도 6에 도시된 바와 같이 콜 블록의 하단에 위치한 주변 블록(A), 좌측에 위치한 주변 블록(B), 우측에 위치한 주변 블록(C), 상단에 위치한 주변 블록(D)일 수 있다.

주변 블록	우선순위	BS
A	1	0
B	2	0
C	3	1
D	4	2
평균		0.75

표 5의 경우를 예로 들면, BS의 특정 값(임계치)을 1로 가정하였을 경우, 상기 조건 i), ii), iii)의 경우를 모두 만족하지 못하므로, 각 조건일 경우 현재 블록에 대한 화면 내 예측을 수행해야 한다.

(2) 현재 블록의 경계에 인접하여 위치한 인접 블록들의 BS 값이 특정 크기 이상일 경우

C)-(2)에 대한 예시는 기본적으로 상기 C)-(1)에 대한 예시와 동일하며, 차이점은 C)-(1)의 경우 이전 프레임(또는 슬라이스)을 부호화하며 계산된 BS 값을 사용하는 반면, C)-(2)의 경우 현재 블록에 대해 계산된 BS 값이 없으므로 블록 단위로 BS 값의 계산 과정을 거쳐야 한다.

(3) 현재 블록과 주변 블록의 경계에 위치한 경계 화소들 간의 연관성이 떨어지는 경우

예를 들어, 현재 블록과 주변 블록 사이의 경계 화소들에 대한 차이값/분산/표준편차가 특정 값 이상일 경우, 현재 블록에 대한 화면 내 예측을 생략할 수 있다.

이때, 차이값/분산/표준편차에 대한 특정 값(임계치)은 임의로 설정 가능하며, 예컨대, 차이값에 대한 임계치는 5 이하, 분산에 대한 임계치는 3 이하, 표준편차에 대한 임계치는 2 이하로 설정할 수 있다.

주변 블록은 현재 블록의 모든 주변 블록 또는 특정 주변 블록으로 지정할 수 있다. 특정 주변 블록은 예컨대, 최상위 우선 순위를 가지는 주변 블록 및 최상위 우선 순위를 가지는 주변 블록으로 지정할 수 있다.

또는, 현재 블록과 주변 블록 사이의 경계 화소들에 대한 평균 변화량이 일정 범위 이상일 경우, 현재 블록에 대한 화면 내 예측을 생략할 수 있다.

이때, 변화량에 대한 기준 값(임계치)은 임의로 설정 가능하며, 예컨대, 변화량이 +10% ~ -10%를 벗어날 경우 화면 내 예측을 생략할 수 있다.

주변 블록은 상술한 바와 같이, 현재 블록의 모든 주변 블록 또는 특정 주변 블록으로 지정할 수 있다. 특정 주변 블록은 예컨대, 최상위 우선 순위를 가지는 주변 블록 및 최상위 우선 순위를 가지는 주변 블록으로 지정할 수 있다.

도 7은 본 발명의 일실시예에 따른 현재 블록과 주변 블록의 경계에 위치한 경계 화소들을 도시한 도면이다.

도 7을 참조하면, 현재 블록 주변에 위치한 주변 블록은 A~D이며, 이때 현재 블록과 주변 블록 A의 경계(700)에 위치한 경계 화소들은 도 7의 710 및 720에 도시된 바와 같다고 하자.

도 7의 710을 참조하면, 현재 블록과 주변 블록 A 사이의 경계 화소들은 현재 블록의 경계 화소 C₀ ~ C₃, 주변 블록 A의 경계 화소 A₀ ~ A₃를 포함할 수 있다. 이러한 경계 화소 C₀ ~ C₃, A₀ ~ A₃에 대한 차이값/분산/표준편차를 이용하여 현재 블록에 대한 화면 내 예측을 생략할지 여부를 결정할 수 있다.

경계 화소 C₀ ~ C₃, A₀ ~ A₃에 대한 차이값은 수학식 1과 같이 계산될 수 있다.

경계 화소에 대한 분산 및 표준편차는 모든 경계 화소들을 대상으로 구하며, 도 7의 710의 예시에서는 경계 화소 C₀ ~ C₃, A₀ ~ A₃를 대상으로 분산 및 표준 편차를 계산할 수 있다. 만약, 현재 블록과 주변 블록 A 사이의 경계에 더 많은 화소들이 있다면 그 화소 전체를 대상으로 분산 및 표준 편차를 계산할 수 있다.

상기에서 계산된 경계 화소 C₀ ~ C₃, A₀ ~ A₃에 대한 차이값/분산/표준편차가 특정 값(임계치) 이상이라면 현재 블록의 화면 내 예측은 생략될 수 있다.

도 7의 720을 참조하면, 현재 블록과 주변 블록 A 사이의 경계 화소 C₀₀ ~ C₁₃, A₀₀ ~ A₀₃에 대한 평균 변화량을 이용하여 현재 블록에 대한 화면 내 예측을 생략할지 여부를 결정할 수 있다.

경계 화소 A₀₀에 대한 변화량은 수학식 2와 같이 계산될 수 있다.

경계 화소 A₀₀=10, 경계 화소 C₀₀=16, 경계 화소 C₁₀=15라고 할 때, 수학식 2에 의해 경계 화소 A₀₀의 변화량은 [1- {(16/10)/(15/10)}]x100 = 6 %로 계산될 수 있다.

경계 화소들의 평균 변화량은 주변 블록 A의 경계 화소 A₀₀ ~ A₀₃에 대한 변화량을 각각 계산하여 평균 낸 것을 이용할 수 있다.

상기에서 계산된 경계 화소들에 대한 평균 변화량이 일정 범위(임계 범위)를 만족하면 현재 블록의 화면 내 예측은 생략될 수 있다.

상술한 바와 같이, 현재 블록에 대한 화면 내 예측을 생략할지 여부를 결정할 때, 현재 블록과 주변 블록의 경계에 위치한 경계 화소들 간의 연관성(예를 들어, 경계 화소들에 대한 차이값, 분산, 표준편차, 변화량 등)을 이용할 수 있다.

표 6은 현재 블록과 각 주변 블록 간의 경계 화소들에 대한 연관성 항목을 나타낸 일예이다. 표 6의 주변 블록들은 도 7에 도시된 것과 같은 현재 블록에 인접하여 위치하는 주변 블록들일 수 있다.

주변 블록	우선순위	차이값	분산	표준편차	변화량
A	1	0	0	0	1%
B	2	1	2	1	3%
C	3	11	16	7	20%
D	4	4	12	4	10%
평균		4	7.5	3	8.5%

표 6의 경우를 예로 들면, 각 연관성 항목에 대한 임계치 기준은 다음 예와 같이 정할 수 있다.

- 각 연관성 항목의 평균 값을 기준으로 하는 경우, 차이값에 대한 임계치는 5 이하, 분산에 대한 임계치는 10 이하, 표준편차에 대한 임계치는 5 이하, 변화량에 대한 임계치는 +10% ~ -10% 이내로 정할 수 있다.

- 각 연관성 항목의 개별 값을 기준으로 하는 경우, 각 연관성 항목에 대한 임계치 조건을 만족하는 블록이 2개 이상일 경우로 정할 수 있다.

만일, 모든 주변 블록들에 대해 각 연관성 항목의 평균값을 기준으로 하여 화면 내 예측 생략 여부를 판단하는 경우, 표 6에 도시된 각 연관성 항목의 평균값은 상기 예에서 정한 각 연관성 항목의 임계치 조건을 만족하므로, 현재 블록의 화면 내 예측을 생략할 수 있다. 혹은, 모든 주변 블록들에 대해 각 연관성 항목의 개별 값을 기준으로 하여 화면 내 예측 생략 여부를 판단하는 경우, 표 6에 도시된 바와 같이, 각 연관성 항목의 개별 값이 상기 임계치 조건을 만족하는 경우는 주변 블록 A와 B 경우이다. 그러므로, 개별 값 기준의 조건을 만족하는 블록이 2개 이상이기 때문에 현재 블록의 화면 내 예측을 생략할 수 있다.

만일, 특정 주변 블록에 대해 각 연관성 항목의 값을 기준으로 하여 화면 내 예측 생략 여부를 판단하는 경우, 이때 특정 주변 블록은 최상위 또는 차상위 우선 순위의 주변 블록이라고 하면, 표 6에 도시된 바와 같이, 상기 최상위 또는 차상위 우선 순위의 주변 블록(A 혹은 B)은 상기 임계치 조건을 만족한다. 이러한 경우, 현재 블록의 화면 내 예측은 생략될 수 있다.

상술한 바와 같이, 본 발명에 따른 화면 내 예측 생략 기준을 정하는데 있어 주어진 모든 연관성 항목에 대해 연관성 여부를 체크할 수 있을 뿐만 아니라, 하나 이상의 연관성 항목들을 조합하여 생략 기준을 정할 수도 있다.

도 8은 본 발명의 실시예에 따른 영상 부호화에서의 화면 내 예측 방법을 개략적으로 나타내는 순서도이다. 도 8의 방법은 상술한 도 1의 영상 부호화 장치에서 수행될 수 있다.

도 8을 참조하면, 부호화 장치는 화면 내 예측을 수행할 현재 블록에 대한 주변 블록을 결정한다(S800).

주변 블록은, 상술한 바와 같이 현재 블록의 주변에 위치한 블록 및 현재 블록에 대응되는(collocated) 콜 블록 중 적어도 하나를 포함할 수 있다. 또한, 주변 블록에 대한 우선 순위를 결정하고, 우선 순위에 따라 현재 블록에 대한 주변 블록으로 사용할지 여부를 정할 수도 있다.

주변 블록 결정 방법 및 주변 블록에 대한 우선 순위를 결정하는 방법에 대한 구체적인 설명은 상술한 바 있다.

부호화 장치는 주변 블록의 정보를 이용하여 현재 블록에 대한 화면 내 예측을 수행할지 생략할지 여부를 판단한다(S810).

예를 들어, 부호화 장치는 주변 블록의 예측 모드 정보, 주변 블록의 부호화 비용 정보, 현재 블록과 주변 블록 간의 경계 화소 연관성 정보 등을 이용하여 현재 블록의 화면 내 예측 생략 여부를 판단할 수 있다.

현재 블록의 화면 내 예측 생략 방법에 대한 구체적인 설명은 상술한 바 있다.

본 발명의 실시예에 따른 영상 부호화 시 화면 내 예측 방법에서는 화면 내 예측 과정을 생략할 수 있으므로, 부호화 시의 효율을 향상시킬 수 있고 부호화기의 복잡도를 줄일 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (1)

1. 화면 내 예측을 수행할 현재 블록에 대한 주변 블록을 결정하는 단계; 및
   상기 주변 블록의 예측 모드 정보, 상기 주변 블록의 부호화 비용 정보, 및 상기 현재 블록과 상기 주변 블록 간의 경계에 위치한 경계 화소에 대한 연관성 정보 중 적어도 하나를 이용하여 상기 현재 블록에 대한 화면 내 예측을 생략할지 여부를 판단하는 단계를 포함하며,
   상기 주변 블록은 상기 현재 블록의 주변에 위치한 블록 및 상기 현재 블록에 대응되는(collocated) 콜 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 부호화에서의 화면 내 예측 생략 방법.

Images