KR20150145753A - 화면 내 블록 복사 기반의 동영상 부호화 및 복호화 방법 및 장치 - Google Patents

Abstract

본 발명은 화면 내 블록 복사와 관련 된 신택스 요소들에 앞서 코딩 블록 단위에서 예측 타입에 관한 신택스를 먼저 기술함으로써 화면 간 픽쳐에서 화면 간 예측 모드로 코딩되는 블록에 대한 신택스를 효과적으로 기술하고, 화면 내 블록 복사의 on/off에 관련 된 신택스를 시퀀스/픽쳐/슬라이스/블록 단위로 다 계층에서 기술함으로써 효과적으로 비트를 기술하는 비디오 부/복호화 방법 및 장치에 관한 것이다.

Description

화면 내 블록 복사 기반의 동영상 부호화 및 복호화 방법 및 장치 {METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING BASED ON INTRA BLOCK COPY}

본 발명은 영상 처리 기술에 관한 것으로써, 보다 상세하게는 비디오 부/복호화기에서 화면 내 블록 복사를 기반으로 영상을 부호화/복호화하는 방법 및 장치에 관한 것이다.

최근 고해상도, 고화질 영상에 대한 요구가 증가함에 따라 차세대 영상 서비스를 위한 고효율의 비디오 압축 기술에 대한 필요성이 대두되었다. 이러한 시장의 요구에 따라, MPEG (Moving Picture Expert Group)과 VCEG (Video Coding Expert Group)은 2010년 JCT-VC (Joint Collaborative Team on Video Coding)를 구성한 후 HEVC (High Efficiency Video Coding)라는 차세대 비디오 표준 기술을 개발을 시작하였다. 2013년 1월 HEVC version1 표준 기술의 개발이 완료되었으며, HEVC는 종래에 가장 높은 압축 효율을 갖는 것으로 알려진 H.264/AVC High 프로파일에 비하여 동일 주관적 화질 기준으로 약 50%의 압축 효율 향상을 달성하였다.

JCT-VC는 HEVC version1의 표준화 이후 4:0:0, 4:2:2, 4:4:4 컬러 포맷 및 최대 16비트까지의 비트 심도 (bit-depth)를 지원하기 위한 표준 기술로 RExt (range extension) 을 개발하고 있다. 또한, JCT-VC는 HEVC를 기반으로 스크린 콘텐츠를 효과적으로 부호화하기 위한 비디오 압축 기술을 개발하기 위하여 2014년 1월 Joint Call for Proposal를 발행하였다.

본 발명의 일부 실시예는 입력 영상을 효과적으로 부호화/복호화 하기 위하여 화면 내 블록 복사 기반의 예측 부호화 기술을 사용함으로써, 부호화 성능을 향상 시키는 방법 및 장치를 제공하는 것을 그 목적으로 한다.

또한, 본 발명의 일부 실시예는 일부 블록이 화면 내 블록 복사 기반의 예측 모드를 포함하여 부호화/복호화되는 경우, 효과적인 신택스 (Syntax) 구조를 갖게 하는 장치 및 방법을 제공하는데 그 목적이 있다.

또한, 본 발명의 일부 실시예는 화면 내 블록 복사 기반의 예측 부호화/복호화 기술의 사용 여부에 대한 정보를 소정의 픽쳐 그룹 또는 슬라이스 단위에서 효과적으로 기술할 수 있도록 하는 장치 및 방법을 제공하는 데에 그 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 복호화 장치는, 블록 단위로 화면 내 예측 또는 화면 간 예측 모드로 부호화 된 것인지를 나타내는 신택스를 기술하고, 화면 내 예측 모드로 부호화 된 경우에 있어 다시 화면 내 블록 블록 복사 기반의 예측 모드로 부호화된 것인지를 나타내는 플래그 정보를 기술한다.

또한, 본 발명의 다른 실시예에 따른 영상 부호화/복호화 장치는, 화면 내 블록 복사 기반의 예측 모드 사용 여부에 대한 정보를 효율적으로 기술하기 위하여, 화면 내 블록 복사 기반의 예측 모드의 사용 가능 여부를 시퀀스, 픽쳐, 슬라이스, 블록 단위로 다 계층적에서 기술한다.

전술한 본 발명의 과제 해결 수단에 의하면, 화면 내 예측 또는 화면 간 예측 모드로 부호화 된 것인지를 나타내는 신택스를 화면 내 블록 복사 기반의 예측 모드에 대한 신택스보다 앞서 기술함으로써, 화면 간 픽쳐에서 화면 간 예측 모드로 코딩되는 블록에 대한 예측 부호화 모드에 대한 발생 비트를 최소화 시킬 수 있다.

또한, 전술한 일부 실시예에 의하면, 화면 내 블록 복사 기반의 예측 모드를 지원함에 있어서, 화면 내 블록 복사 기반의 예측 모드의 사용 유무에 대한 정보를 다양한 계층에서 계층적으로 기술함으로써 관련 된 비트의 전송량을 적절히 제어하여 부호화/복호화 효율을 최적화 시킬 수 있다.

도 1은 본 발명이 적용되는 비디오 복호화 장치의 구성을 나타내는 블록도이다.
도 2는 블록 단위에서 수행 되는 화면 내 블록 복사 기반의 예측 부호화/복호화를 도시한 예시도이다.
도 3은 화면 내 블록 복사 기반의 예측 부호화/복호화를 포함하는 경우에 코딩 유닛 단위에서 기술되는 신택스 요소의 예시도이다.
도 4는 픽쳐 모드에 따라 적응적인 신택스 요소를 가지는 구성을 도시한 블록도이다.
도 5는 화면 내 픽쳐에서 화면 내 블록 복사 기반의 예측 모드를 포함하여 복호화를 수행하는 영상 복호화 장치의 세부 구성을 도시한 블록도이다.
도 6은 화면 간 픽쳐에서 화면 내 블록 복사 기반의 예측 모드를 포함하여 복호화를 수행하는 영상 복호화 장치의 세부 구성을 도시한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치에서 각 픽쳐의 타입, 각 블록의 예측 모드, 화면 내 블록 복사 기반의 예측 모드의 사용 여부, 화면 내 블록 복사 스킵 모드, 화면 내 블록 복사 병합 모드 플래그 값에 따라 블록 단위로 수행되는 영상 복호화 장치의 동작을 간략하게 도시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 영상 부호화/복호화 방법 및 장치에서 시퀀스 파라미터 셋 (Sequence Parameter Set) 단위에서 화면 내 블록 복사 기반의 예측 모드의 사용 여부를 기술하는 신택스 요소에 대한 예시도이다.
도 9는 본 발명의 다른 실시예에 따른 영상 부호화/복호화 방법 및 장치에서 픽쳐 파라미터 셋 (Picture Parameter Set) 단위에서 화면 내 블록 복사 기반의 예측 모드의 사용 여부를 기술하는 신택스 요소에 대한 예시도이다.
도 10은 본 발명의 다른 실시예에 따른 영상 부호화/복호화 방법 및 장치에서 슬라이스 (Slice) 단위에서 화면 내 블록 복사 기반의 예측 모드의 사용 여부를 기술하는 신택스 요소에 대한 예시도이다.
도 11은 본 발명의 다른 실시예에 따른 영상 복호화 방법 및 장치에서 다양한 레벨에서 기술되는 화면 내 블록 복사 기반의 예측 모드의 사용 여부에 대한 신택스에 따라 복호화를 수행하는 영상 복호화 장치의 동작을 간략하게 도시한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계" 는 "~를 위한 단계"를 의미하지 않는다.

또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시 예 및 분리된 실시 예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

이하에서는, 본 발명에서 제안하는 영상 복호화 장치에 대해 도 1을 참고하여 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른 영상 복호화 장치를 전체적으로 도시한 블록도이다. 참고로, 영상 부호화 과정과 영상 복호화 과정은 많은 부분에서 서로 대응되므로, 이 기술 분야에 속한 기술자라면 후술될 영상 복호화 과정에 대한 설명을 통해 영상 부호화 과정도 쉽게 이해할 수 있을 것이다.

도 1은 본 발명이 적용되는 비디오 복호화 장치의 구성을 나타내는 블록도이다.

도 1 을 참조하면, 본 발명에서 제안하는 영상 복호화 장치는 엔트로피 복호화부(100), 역양자화부(110), 역변환부(120), 화면 간 예측부(130), 화면 내 예측부(140), 화면 내 블록 복사부(150), 합산부(155), 디블록킹 필터부(160), 샘플 적응적 오프셋(SAO)부(170), 참조 영상 버퍼(180)를 포함할 수 있다.

엔트로피 복호화부(100)는 입력된 비트스트림을 복호화하여 신택스 요소(syntax elements) 및 양자화된 계수 등과 같은 복호화 정보를 출력한다. 이때, 신택스 요소에 포함된 예측 모드 정보는 어떠한 예측 모드에 의해 각각의 블록이 부호화된 것인지 혹은 복호화될 것인지에 대한 정보이다. 본 발명의 경우 각 블록은 화면 내 예측 모드, 화면 간 예측 모드, 및 화면 내 블록 복사 기반의 예측 모드 중 하나의 예측 모드로 복호화 될 수 있다.

역양자화부(110) 및 역변환부 (120)는 양자화된 계수를 수신하여 역양자화 및 역변환을 차례대로 수행하고, 잔차 신호(residual signal)를 출력한다.

화면 간 예측부(130)는 부호화기로부터 전송된 움직임 벡터와 복원 영상 버퍼(180)에 저장되어 있는 복원 영상을 이용하여 움직임 보상을 수행함으로써, 화면 간 예측 기반의 예측 신호를 생성한다.

화면 내 예측부(140)는 복호화 되는 현재 블록과 인접하는 기 복호화된 주변 블록의 화소 값을 이용하여 공간적 예측을 수행함으로써, 화면 내 예측 기반의 예측 신호를 생성한다.

화면 내 블록 복사부(150)는 복호화 되는 현재 픽쳐 내에서 일부 영역을 예측 신호로 생성한다.

화면 간 예측부(130), 화면 내 예측부(140), 또는 화면 내 블록 복사부(150)로부터 출력된 예측 신호는 합산부(155)를 통해 잔차 신호와 합해지고, 그에 따라 블록 단위로 생성된 복원 신호는 복원된 영상을 포함한다.

복원된 블록 단위의 영상은 디블록킹 필터부(160)와 SAO 수행부(170)로 전달된다. 디블록킹 필터링 및 샘플 적응적 오프셋이 적용된 복원 픽쳐는 복원 픽쳐 버퍼(180)에 저장되며, 화면 간 예측부(130)에서 참조 픽쳐로써 사용될 수 있다.

도 2는 블록 단위에서 수행 되는 화면 내 블록 복사 기반의 예측 부호화/복호화를 도시한 예시도이다.

도 2 를 참조하면, 현재 복호화 하려는 블록(200)을 포함하는 현재 코딩 트리 유닛(CTU(n))과 이미 부호화/복호화된 영역 내의 위치하는 코딩 트리 유닛(CTU(n-1))이 도시되어 있다.

코딩하려는 블록(200)이 화면 내 블록 복사 기반의 예측 모드로 복호화 되는 경우 기존에 복호된 영역으로부터 예측 블록 (230)을 생성할 수 있다. 블록이 화면 내 블록 복사 기반의 예측 모드로 부호화된 경우 부호화기에서는 예측 블록의 위치인 블록 벡터를 복호화기로 전송한다. 이때 전송되는 비트의 양을 최소화하기 위하여 현재 부호화하려는 블록(200)의 주변에 위치하는 블록들 (210, 220)의 블록 벡터 값으로부터 블록 벡터를 예측한 후 그 차분 값만을 전송한다.

복호화기에서는 복호화하려는 블록(200)이 화면 내 블록 복사 기반의 예측 모드로 부호화된 경우 블록 벡터의 차분 값을 전송 받은 후, 주변의 블록들 (210, 220)의 블록 벡터 값을 사용하여 해당 블록에 대한 블록 벡터를 복원한다. 복원된 블록 벡터를 사용하여 현재 블록에 대한 예측 블록 (230)을 생성한다.

블록이 화면 내 블록 복사 기반의 예측 모드로 부호화/복호화되는 경우 해당 블록은 화면 내 블록 복사 스킵 모드 또는 화면 내 블록 복사 병합 모드로 부호화/복호화 될 수 있다.

현재 블록이 화면 내 블록 복사 스킵 모드로 예측이 수행된 경우 부호화/복호화되는 블록 (200)의 블록 벡터는 주변 블록 (210, 220)들의 블록 벡터 중 하나의 값으로 대체된다. 이때 부호화기에서는 블록 벡터 선택을 위한 인덱스 정보를 전송하며, 복호화기에서는 전송 받은 인덱스 정보를 통해 블록 벡터를 복원한다. 현재 블록이 화면 내 블록 복사 스킵 모드로 부호화/복호화 된 경우에는 픽셀에 대한 차분 값들은 기술되지 않으며 화면 내 블록 복사를 통한 예측 블록이 최종 복원 블록이 된다. 이때 블록 (200)의 주변 블록들은 (210)과 (220)의 위치로 제한되지 않으며 다른 위치의 블록 또는 다수의 블록을 사용하여 리스트(List) 형태로 구성될 수 있다.

현재 블록이 화면 내 블록 복사 병합 모드로 예측이 수행된 경우 부호화/복호화되는 블록 (200)의 블록 벡터는 주변 블록 (210, 220)들의 블록 벡터 중 하나의 값으로 대체된다. 이때 부호화기에서는 화면 내 블록 복사 병합 모드의 예측 여부를 나타내는 플래그와 블록 벡터 선택을 위한 인덱스 정보를 전송하며, 복호화기에서는 전송받은 플래그를 통해 화면 내 블록 복사 병합 모드 사용 여부를 판단하며, 인덱스 정보를 통해 블록 벡터를 복원한다. 현재 블록이 화면 내 블록 복사 병합 모드로 부호화/복호화 된 경우에는 픽셀에 대한 차분 값들이 기술되며, 블록 벡터를 통해 복원된 예측 블록과 차분 블록 값을 합하여 최종 복원 블록이 된다. 이때 블록 (200)의 주변 블록들은 (210), (220)으로 제한하지 않으며 다른 위치의 블록 또는 다수의 블록을 사용하여 리스트(List) 형태로 구성될 수 있다.

도 3 은 화면 내 블록 복사 기반의 예측 부호화/복호화를 포함하는 경우에 코딩 유닛 단위에서 기술되는 신택스 요소의 예시도이다.

도 3 을 참조하면, 코딩 유닛 단위의 신택스에서 코딩 유닛의 예측 모드를 판단할 수 있는 플래그(pred_mode_flag; 300), 화면 내 블록 복사 모드의 사용 여부를 판단할 수 있는 플래그(intra_bc_flag; 310), 화면 내 블록 복사 스킵 모드의 사용 여부를 판단할 수 있는 플래그(intra_bc_skip_flag; 320), 화면 내 블록 복사 병합 모드의 사용 여부를 판단할 수 있는 플래그(intra_bc_merge_flag; 330), 및 화면 내 블록 복사 병합/스킵 모드로 예측되었을 때, 선택된 예측 블록의 위치 정보를 알 수 있는 인덱스(intra_bc_merge_index; 350)들이 기술될 수 있다.

코딩하려는 CU가 포함된 픽쳐가 화면 간 픽쳐인 경우, 예측 모드 판단 플래그 (pred_mode_flag; 300)를 통해 블록이 화면 간 예측 모드로 부호화 되었는지를 먼저 판단하고, 화면 간 예측 모드가 아닌 경우에는 화면 내 블록 복사 모드 또는 화면 내 예측 모드를 위한 추가 정보를 복호화 한다.

코딩하려는 CU가 포함된 픽쳐가 화면 내 픽쳐인 경우에는 예측 모드 판단 플래그 (pred_mode_flag; 300) 값을 파싱하지 않고, 화면 내 블록 복사 및 화면 내 예측을 위한 플래그 및 인덱스 정보만을 확인한다.

화면 내 블록 복사 모드로 부호화 되었을 경우, intra_bc_skip_flag (320)를 복호화 하여 블록이 화면 내 블록 복사 스킵 모드로 부호화 되었는지를 확인한다.

intra_bc_skip_flag (320)가 1인 경우, 블록이 화면 내 블록 복사 스킵 모드로 부호화 되었음을 의미하며, intra_bc_merge_index (350)를 복호화 하여 복호화 하는 블록의 주변 블록에 대한 인덱스 정보를 확인한다. 복호화 하는 블록은 인덱스 정보를 통해 주변 블록의 블록 벡터를 이용하여, 예측 블록을 생성하고, 복원한 예측 블록을 이용하여, 최종 복원 블록을 생성한다.

intra_bc_skip_flag (320)가 0인 경우, 블록이 화면 내 블록 복사 병합 모드 또는 화면 내 블록 복사 모드로 부호화 되었음을 의미하며, intra_bc_merge_flag (340)를 복호화 하여, 화면 내 블록 병합 모드 또는 화면 내 블록 모드로 부호화 되었는지를 확인한다.

intra_bc_merge_flag (340)가 1인 경우, 화면 내 블록 복사 병합 모드로 부호화 되었음을 의미하며, intra_bc_merge_index (350)를 복호화 하여, 복호화 하는 블록의 주변 블록에 대한 인덱스 정보를 확인한다. 복호화 하는 블록은 인덱스 정보를 통해 주변 블록의 블록 벡터를 이용하여, 예측 블록을 생성하고, 복원한 예측 블록과 차분 블록 값을 합하여 최종 복원 블록을 생성한다.

intra_bc_merge_flag (340)가 1인 경우, 기존의 화면 내 블록 복사 모드로 부호화 되었음을 의미하며, 블록의 크기에 따라 mvd_coding (350)을 통해 블록 벡터를 복호화 하여, 예측 블록을 생성하고, 복원한 예측 블록과 차분 블록 값을 합하여 최종 복원 블록을 생성한다.

또한, 블록에 대한 화면 내 예측 또는 화면 간 예측 모드 부호화 여부 플래그를 화면 내 블록 복사 기반의 예측 모드에 대한 플래그 보다 앞서 기술함으로써, 화면 간 픽쳐에서 화면 간 예측 모드로 부호화 되는 블록에 대한 예측 부호화 모드에 대한 발생 비트를 최소화 시킬 수 있다.

도 4 는 픽쳐 모드에 따라 적응적인 신택스 요소를 가지는 구성을 도시한 블록도이다.

도 4 를 참조하면, 본 발명의 일 실시예에 따른 영상 복호화 장치는 화면 간 픽쳐 모드 판단부 (400)를 통해 현재 코딩 블록을 포함하는 픽쳐의 픽쳐 모드에 따라 화면 내 픽쳐 예측 모드 복호화부 (420)와 화면 간 픽쳐 예측 모드 복호화부 (430)로 구분하여 복호화를 수행한다.

픽쳐 모드가 화면 간 픽쳐 모드일 경우, 화면 간 픽쳐 예측 모드 복호화부 (430)를 통해 코딩 유닛의 예측 모드 플래그 (pred_mode_flag; 300), 화면 내 블록 복사 모드의 사용 여부를 판단할 수 있는 플래그(intra_bc_flag; 310), 화면 내 블록 복사 스킵 모드의 사용 여부를 판단할 수 있는 플래그(intra_bc_skip_flag; 320), 화면 내 블록 복사 병합 모드의 사용 여부를 판단할 수 있는 플래그(intra_bc_merge_flag; 330), 및 화면 내 블록 복사 병합/스킵 모드로 예측되었을 때, 선택된 예측 블록의 위치 정보를 알 수 있는 인덱스(intra_bc_merge_index; 350) 등이 복호화 될 수 있다. 이때 현재 코딩 유닛이 화면 간 예측 모드로 부호화 된 경우에는 화면 간 예측 모드에 관련된 신택스 들이 복호화 된다.

픽쳐 모드가 화면 내 픽쳐 모드일 경우, 화면 내 픽쳐 예측 모드 복호화부 통해 화면 내 블록 복사 모드의 사용 여부를 판단할 수 있는 플래그(intra_bc_flag; 310), 화면 내 블록 복사 스킵 모드의 사용 여부를 판단할 수 있는 플래그(intra_bc_skip_flag; 320), 화면 내 블록 복사 병합 모드의 사용 여부를 판단할 수 있는 플래그(intra_bc_merge_flag; 330), 및 화면 내 블록 복사 병합/스킵 모드로 예측되었을 때, 선택된 예측 블록의 위치 정보를 알 수 있는 인덱스(intra_bc_merge_index; 350) 등이 복호화 될 수 있다.

도 5는 화면 내 픽쳐에서 화면 내 블록 복사 기반의 예측 모드를 포함하여 복호화를 수행하는 영상 복호화 장치의 세부 구성을 도시한 블록도이다.

도 5 를 참조하면, 코딩하려는 CU를 포함하는 픽쳐가 화면 내 픽쳐 모드인 경우, 블록에 대한 복호화 과정은 화면 내 블록 복사 플래그 복호화부 (510), 화면 내 블록 복사 스킵 플래그 복호화부(520) 및 기존의 화면 내 예측 모드 또는 화면 내 블록 복사 모드 복호화부 (530)로 구성될 수 있다.

화면 내 픽쳐 예측 모드 복호화부 (500)는 블록이 화면 내 예측 모드로 부호화 된 것인지 또는 화면 간 예측 모드로 부호화 된 것인지를 판단한다. 이때 픽쳐의 타입이 화면 내 픽쳐인 경우에는 신택스 요소의 파싱 없이 화면 내 예측 모드로 부호화 된 것으로 간주한다.

화면 내 블록 복사 플래그 복호화부 (510)에서는 화면 내 블록 복사의 사용여부를 판단하는 플래그를 복호화 하여 블록이 화면 내 블록 복사 모드로 예측되었는지를 확인한다.

현재 블록이 화면 내 블록 복사로 부호화 된 경우, 화면 내 블록 복사 스킵 플래그 복호화부 (520)에서는 화면 내 블록 복사 스킵 플래그를 복호화 하여 화면 내 블록 복사 스킵 모드로 부호화되었는지를 확인한다.

기존의 화면 내 예측 모드 또는 화면 내 블록 복사 모드 복호화부 (530)에서는 화면 내 블록 복사 플래그 복호화부 (510), 화면 내 블록 복사 스킵 플래그 복호화부 (520)에서 복호화한 정보를 이용하여 블록을 기존의 화면 내 예측 모드 또는 화면 내 블록 복사 모드 기반의 예측을 수행한다.

도 6 은 화면 간 픽쳐에서 화면 내 블록 복사 기반의 예측 모드를 포함하여 복호화를 수행하는 영상 복호화 장치의 세부 구성을 도시한 블록도이다.

도 6 을 참조하면, 화면 간 픽쳐 모드인 경우, 블록에 대한 복호화 과정은 블록 스킵 모드 플래그 복호화부 (610), 예측 모드 플래그 복호화부 (620), 화면 내 블록 복사 플래그 복호화부 (630), 화면 내 블록 복사 스킵 플래그 복호화부 (640), 기존의 화면 내 예측 모드 또는 기존의 화면 간 예측 모드 또는 화면 내 블록 복사 모드 복호화부 (650)로 구성된다.

블록 스킵 모드 플래그 복호화부 (610)에서는 코딩 블록이 화면 간 예측 기반의 스킵 모드로 부호화되었는지를 판단하는 복호화부이다.

예측 모드 플래그 복호화부 (620)에서는 코딩 유닛의 예측 모드를 판단할 수 있는 플래그(pred_mode_flag; 300) 를 복호화 하여 현재 블록이 화면 내 예측 모드 또는 화면 간 예측 모드로 부호화 된 것인지를 판단한다.

현재 코딩하려는 블록이 화면 내 예측 모드로 코딩 된 것으로 판단 된 경우,화면 내 블록 복사 플래그 복호화부 (630)에서는 블록이 화면 내 블록 복사 여부를 판단하는 플래그 (intra_bc_flag; 310)를 복호화 하여 화면 내 블록 복사 모드로 예측되었는지를 확인한다.

현재 코딩하려는 블록이 화면 내 블록 복사로 부호화 된 경우, 화면 내 블록 복사 스킵 플래그 복호화부 (640)에서는 화면 내 블록 복사 스킵 플래그 (intra_bc_skip_flag; 320)를 복호화 하여 현재 블록이 화면 내 블록 복사 스킵 모드로 부호화되었는지를 확인한다.

기존의 화면 내 예측 모드 또는 기존의 화면 간 예측 모드 또는 화면 내 블록 복사 모드 복호화부 (650) 에서는 블록 스킵 모드 플래그 복호화부 (610), 예측 모드 플래그 복호화부 (620), 화면 내 블록 복사 플래그 복호화부 (630), 및 화면 내 블록 복사 스킵 플래그 복호화부 (640)에서 복호화 한 정보를 이용하여 블록을 기존의 화면 내/화면 간 예측 모드 복호화 또는 화면 내 블록 복사 모드 기반으로 예측 값을 생성한다.

도 7 은 본 발명의 일 실시예에 따른 영상 복호화 장치에서 각 픽쳐의 타입, 각 블록의 예측 모드, 화면 내 블록 복사 기반의 예측 모드의 사용 여부, 화면 내 블록 복사 스킵 모드, 화면 내 블록 복사 병합 모드 플래그 값에 따라 블록 단위로 수행되는 영상 복호화 장치의 동작을 간략하게 도시한 도면이다.

도 7 을 참조하면, 블록 예측 모드 판단부 (700)는 pred_mode_flag (300)을 복호화하여 화면 간 예측 모드로 부호화 되었는지에 대한 여부를 판단 (710) 할 수 있다.

pred_mode_flag (300)이 0인 경우 복호화 하려는 블록이 화면 간 예측 모드로 부호화 되었음을 의미하며, 이 경우 화면 간 예측 모드 복호화부 (730)를 통하여 복호화가 진행된다. pred_mode_flag (300)이 1인 경우 복호화 하려는 블록이 화면 내 예측 모드로 부호화 되었음을 의미 하며, 이 경우 화면 내 블록 복사 모드 사용 여부 판단부 (720)로부터 복호화가 수행된다.

화면 내 블록 복사 모드 사용 여부 판단부 (720)에서는 intra_bc_flag (310)의 값을 확인하여 복호화 하려는 블록이 화면 내 블록 복사 모드로 부호화 되었는지를 판단 (740)한다. intra_bc_flag (310)이 1인 경우, 블록이 화면 내 블록 복사 모드를 사용하여 부호화 되었음을 의미하며, intra_bc_flag (310)이 0인 경우, 기존의 화면 내 예측 모드로 부호화 되었음을 의미한다. 현재 블록이 기존의 화면 내 예측 모드로 부호화 된 경우, 화면 내 예측 모드 복호화부 (760)에서 복호화를 진행하게 된다.

현재 블록이 화면 내 블록 복사 예측 모드 기반으로 부호화 된 경우, 화면 내 블록 복사 스킵 모드 부호화 여부를 intra_bc_skip_flag (320)를 복호화 하여, 화면 내 블록 복사 스킵 모드로 부호화 되었는지를 판단 (750)한다.

스킵 모드 판단 과정(750)에서 intra_bc_skip_flag (320)가 1인 경우, 블록이 화면 내 블록 복사 스킵 모드로 부호화 되었음을 의미하며, 화면 내 블록 복사 병합 모드 인덱스 복호화부 (770)로부터 intra_bc_merge_index (350)를 복호화 하여, 복호화 하는 블록의 주변 블록으로부터 블록 벡터 정보를 얻는다. 현재 블록이 화면 내 블록 복사 스킵 모드로 부호화 된 경우 예측 값이 최종 복원 블록이 된다.

스킵 모드 판단 과정(750)에서 intra_bc_skip_flag (320)가 0인 경우, 블록이 화면 내 블록 복사 병합 모드 또는 화면 내 블록 복사 모드로 부호화 되었음을 의미한다. 이 경우 추가로 intra_bc_merge_flag (330)를 복호화 하여 화면 내 블록 복사 병합 모드로 부호화 되었는지를 판단 (780) 한다.

병합 모드 판단 과정(780)에서 intra_bc_merge_flag (330)가 1인 경우, 화면 내 블록 복사 병합 모드로 부호화 되었음을 의미하며, 화면 내 블록 복사 병합 모드 인덱스 복호화부 (790)에서 intra_bc_merge_index (340)를 복호화 하여, 복호화 하는 블록의 주변 블록으로부터 블록 벡터 정보를 복호화 하고, 이를 통해 예측 블록을 생성한 후 차분 블록과 합하여 최종 복원 블록을 생성한다.

병합 모드 판단 과정(780)에서 intra_bc_merge_flag (330)가 0인 경우 화면 내 블록 복사 모드로 부호화 되었음을 의미하며, 화면 내 블록 복사 모드 복호화부 (795)에서 블록 벡터의 차분 값과 주변 블록으로부터 블록 벡터의 예측 값으로 블록 벡터를 복원한 후, 이를 통해 예측 블록을 생성한다. 생성 된 예측 값은 차분 블록과 합해져 최종 복원 블록을 생성한다.

도 8 은 본 발명의 다른 실시예에 따른 영상 부호화/복호화 방법 및 장치에서 시퀀스 파라미터 셋 (Sequence Parameter Set) 단위에서 화면 내 블록 복사 기반의 예측 모드의 사용 여부를 기술하는 신택스 요소에 대한 예시도이다.

도 8 를 참조하면, sps_intra_bc_enabled_flag (800)는 시퀀스 단위에서 화면 내 블록 복사 기반의 예측 모드의 사용 여부를 기술한다. 해당 플래그 값이 1이면 해당 시퀀스 파라미터 셋을 참조하는 픽쳐 파라미터 셋, 슬라이스 세그먼트 헤더, 코딩 블록 레벨에서 추가적으로 화면 내 블록 복사 기반의 예측 모드에 대한 on/off 플래그 값이 선택적으로 기술될 수 있다. 해당 플래그 값이 0인 경우에는, 해당 시퀀스 파라미터 셋을 참조하는 픽쳐 파라미터 셋, 슬라이스 세그먼트 헤더, 코딩 블록 레벨에서 추가적으로 화면 내 블록 복사 기반의 예측 모드에 대한 on/off 플래그 값이 기술되지 않는다.

도 9 는 본 발명의 다른 실시예에 따른 영상 부호화/복호화 방법 및 장치에서 픽쳐 파라미터 셋 (Picture Parameter Set) 단위에서 화면 내 블록 복사 기반의 예측 모드의 사용 여부를 기술하는 신택스 요소에 대한 예시도이다.

도 9 를 참조하면, pps_intra_bc_enabled_flag (900)은 픽쳐 그룹 또는 픽쳐 단위에서 화면 내 블록 복사 기반의 예측 모드의 사용 여부를 기술하는 플래그이다. 시퀀스 파라미터 셋에서 기술되는 sps_intra_bc_enabled_flag 값이 1인 경우, 픽쳐 파라미터 셋에서 추가로 pps_intra_bc_enabled_flag (900)가 기술 된다. 해당 플래그 값이 1인 경우, 해당 픽쳐 파라미터 셋을 참조하는 슬라이스 세그먼트 헤더, 코딩 블록 레벨에서 추가적으로 화면 내 블록 복사 기반의 예측 모드에 대한 on/off 플래그 값이 선택적으로 기술될 수 있다.

해당 플래그 값이 0인 경우, 해당 픽쳐 파라미터 셋을 참조하는 슬라이스 세그먼트 헤더, 코딩 블록 레벨에서 추가적으로 화면 내 블록 복사 기반의 예측 모드에 대한 on/off 플래그 값이 기술되지 않는다.

도 10 은 본 발명의 다른 실시예에 따른 영상 부호화/복호화 방법 및 장치에서 슬라이스 (Slice) 단위에서 화면 내 블록 복사 기반의 예측 모드의 사용 여부를 기술하는 신택스 요소에 대한 예시도이다.

도 10 을 참조하면, slice_intra_bc_enabled_flag (1000)은 슬라이스 단위에서 화면 내 블록 복사 기반의 예측 모드의 사용 여부를 나타내는 플래그이다. 해당 플래그는 현재 슬라이스 세그먼트가 참조하는 픽쳐 파라미터 셋에서 기술된 pps_intra_bc_enabled_flag (900) 값이 1인 경우 기술된다.

해당 플래그 값이 1인 경우, 현재 슬라이스 세그먼트 헤더내의 코딩 블록 레벨에서 추가적으로 화면 내 블록 복사 기반의 예측 모드에 대한 on/off 플래그 값이 선택적으로 기술될 수 있다.

해당 플래그 값이 0인 경우, 현재 슬라이스 세그먼트 헤더내의 코딩 블록 레벨에서 추가적으로 화면 내 블록 복사 기반의 예측 모드에 대한 on/off 플래그 값이 선택적으로 기술되지 않으며 모두 off 된 것으로 간주된다.

도 11 은 본 발명의 다른 실시예에 따른 영상 복호화 방법 및 장치에서 다양한 레벨에서 기술되는 화면 내 블록 복사 기반의 예측 모드의 사용 여부에 대한 신택스에 따라 복호화를 수행하는 영상 복호화 장치의 동작을 간략하게 도시한 도면이다.

도 11 을 참조하면, 부호화된 시퀀스의 비트스트림 (1100)이 본 발명의 다른 실시예에 따른 영상 복호화기로 입력 되면, 해당 영상이 화면 내 블록 복사 모드를 사용 했는지에 대한 정보를 다양한 단계에서 확인한다.

시퀀스 파라미터 셋에서 sps_intra_bc_enabled_flag (800)를 복호화 하여 화면 내 블록 복사 기반의 예측 모드 사용 여부를 판단하게 되며, sps_intra_bc_enabled_flag (800)가 0인 경우, 시퀀스 계층에서 화면 내 블록 복사 모드를 사용하지 않았음을 의미하며, 해당 시퀀스 파라미터 셋을 참조하는 픽쳐 파라미터 셋, 슬라이스 세그먼트 헤더, 코딩 유닛 단위에서는 화면 내 블록 복사의 on/off를 기술하기 위한 신택스가 기술되지 않는다.

sps_intra_bc_enabled_flag (800)가 1인 경우, 시퀀스 계층에서 화면 내 블록 복사 모드가 사용 될 수 있음을 의미하며, 이 경우 하위 단계인 픽쳐 파라미터 셋에서 화면 내 블록 복사 기반의 예측 모드 사용 여부를 확인 (1120)한다. 이처럼, 시퀀스 계층에서 화면 내 블록 복사 기반의 예측 모드를 사용한 경우, pps_intra_bc_enabled_flag (900)를 복호화 하여 픽쳐 계층에서 화면 내 블록 복사 기반의 예측 모드 사용 여부를 판단 (1120)하게 되며, pps_intra_bc_enabled_flag (900)가 0인 경우, 해당 픽쳐 파라미터 셋을 갖는 픽쳐 그룹 또는 픽쳐 계층에서 화면 내 블록 복사 기반의 예측 모드를 사용하지 않았음을 의미한다.

pps_intra_bc_enabled_flag (900)가 1인 경우, 픽쳐 계층에서 화면 내 블록 기반의 예측 모드를 사용하였음을 의미하며, 이 경우 슬라이스 단위에서 화면 내 블록 복사 기반의 예측 모드 사용 여부를 추가로 확인 (1140)한다. slice_intra_bc_enabled_flag (1000)가 0인 경우, 슬라이스 계층에서 화면 내 블록 복사 기반의 예측 모드를 사용하지 않았음을 의미하며, 이 경우 해당 슬라이스 내의 코딩 유닛 레벨에서는 화면 내 복사 예측 모드의 on/off에 대한 추가 신택스가 기술되지 않는다.

slice_intra_bc_enabled_flag (1000)가 1인 경우, 슬라이스 계층에서 화면 내 블록 복사 기반의 예측 모드를 사용하였음을 의미하며, 이 경우 추가로 블록 단위의 코딩 유닛 단위의 intra_bc_flag 확인부를 통해서 코딩 유닛 단위로 화면 내 복사 모드의 사용 여부를 판단한다.

본 발명의 다른 실시예는 영상/픽쳐/슬라이스 계층으로 화면 내 블록 복사 모드 사용 여부에 따라 선택 적응적으로 블록 복호화 신택스 사용하는 것을 목적으로 하며, 도 8, 도 9 및 도 10의 플래그들의 명칭 및 신택스 상에서의 위치는 한 예 이며 제한되지 않는다.

Claims (2)

1. 비디오 부호화/복호화 장치의 코딩 블록 단위에서, 화면 내 복사 기반의 예측과 관련된 다수의 신택스 요소에 앞서 코딩 블록의 예측 타입을 먼저 기술하는 것을 특징으로 하는 비디오 부/복호화 방법 및 장치
   
2. 블록 단위로 화면 내 블록 복사 모드의 예측 부호화의 수행 여부에 대한 정보를 효과적으로 표현하기 위하여 시퀀스, 픽쳐 그룹, 픽쳐, 슬라이스 및 슬라이스 세그먼트 단위에서 계층적으로 화면 내 블록 복사 모드의 부호화 여부를 기술하는 비디오 부/복호화 방법 및 장치
   

Images