KR101767944B1 - 복호 영상 버퍼 압축장치 및 그 압축방법 - Google Patents

복호 영상 버퍼 압축장치 및 그 압축방법 Download PDF

Info

Publication number
KR101767944B1
KR101767944B1 KR1020100111333A KR20100111333A KR101767944B1 KR 101767944 B1 KR101767944 B1 KR 101767944B1 KR 1020100111333 A KR1020100111333 A KR 1020100111333A KR 20100111333 A KR20100111333 A KR 20100111333A KR 101767944 B1 KR101767944 B1 KR 101767944B1
Authority
KR
South Korea
Prior art keywords
decoded image
block size
image buffer
compression
adaptive
Prior art date
Application number
KR1020100111333A
Other languages
English (en)
Other versions
KR20120050031A (ko
Inventor
송진한
임정연
최윤식
김용구
최영호
홍순기
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020100111333A priority Critical patent/KR101767944B1/ko
Priority to PCT/KR2011/008548 priority patent/WO2012064120A2/ko
Publication of KR20120050031A publication Critical patent/KR20120050031A/ko
Application granted granted Critical
Publication of KR101767944B1 publication Critical patent/KR101767944B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

복호 영상 버퍼 압축장치 및 그 압축방법이 개시된다. 본 발명의 실시예에 따른 복호 영상 버퍼 압축장치는, 영상의 국지적 화소값 분포에 기초하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 조절하는 적응적 블록크기 결정부; 적응적 블록크기 결정부에 의해 결정된 블록 크기를 수행단위로 하여 복호 영상의 비트 깊이를 감소시키는 적응적 스케일링(Adaptive scaling)을 수행하는 복호 영상 버퍼 압축부; 및 복호 영상 버퍼 압축부에서 발생한 복호 영상의 최소 화소값과 적응적 시프트(Shift value) 값을 포함하는 부가정보를 저장하는 부가정보 저장부를 포함하는 것을 특징으로 한다.

Description

복호 영상 버퍼 압축장치 및 그 압축방법{Decoded Frame Buffer Compression Apparatus and Method therefor}
본 발명의 실시예는 복호 영상 버퍼 압축장치 및 그 압축방법에 관한 것이다. 보다 상세하게는, 영상의 국지적 화소값 분포를 고려하여 적응적으로 수행 블록의 크기를 설정하고, 적응적 스케일링을 통해 복호 영상의 비트 깊이를 감소시키며, 그에 따라 발생하는 부가 정보를 효율적으로 저장함으로써 영상 부호화기 및 복호화기에서 복호 영상의 저장을 위한 내부 메모리의 사용량을 효과적으로 줄일 수 있는 복호 영상 버퍼 압축장치 및 그 압축방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 비디오 부호기의 압축 성능 향상을 위해 다양한 기법들이 연구되고 있는데, 그 중 최적 복원 필터를 통해 참조 영상으로 사용되는 복호 영상의 에러를 감소시킴으로써 압축 효율을 높이는 적응적 루프 필터 기법(ALF: Adaptive Loop Filter), 참조 영상에 적응적 보간 필터를 적용하여 움직임 벡터의 정확성을 높임으로써 압축 효율을 높이는 적응적 보간 필터 기법(AIF: Adaptive Interpolation Filter) 등의 필터링 기반 방식들은 기존의 영상 압축 기술들의 한계를 극복하여 괄목할 만한 압축 성능 향상을 보여주었다. 따라서 최근 Toshiba Inc.에서는 이러한 필터링을 수행함에 있어 외부로부터 제공되는 신호의 비트 깊이(bit depth)를 내부적으로 증가시켜 산술 연산의 정확성을 높이는 방법으로 더 높은 성능 향상을 이룰 수 있는 점에 착안하여, 영상 복/부호기의 내부 비트 깊이를 증가시키는 내부 비트 깊이 증가 기법(IBDI: Internal Bit Depth Increase)을 제안하였다. 제안한 IBDI 기법을 통해 내부 연산 정확성이 증가함으로써 기존의 ALF와 AIF 등의 필터링을 사용하는 기술들의 압축 성능이 더욱 향상되는 결과를 얻을 수 있었다.
하지만 IBDI 기법은 부호기와 복호기에서 모두 내부 비트 깊이를 증가시켜야 하기 때문에 내부 메모리 필요량이 크게 증가하는 문제가 발생한다. 예를 들어 8 bit의 원본 영상을 12bit으로 증가시켰을 때, 내부 연산을 위한 메모리의 필요량과 메모리 대역은 모두 1.5배 증가한다. 이러한 내부 메모리 필요량이 증가하는 문제는 부호화 대상이 되는 비디오가 UHD(Ultra High Definition)(4K(4320x2160), 8K(7680x4320))와 같이 매우 높은 해상도를 가지는 경우나, 메모리 자원이 한정되어 있는 휴대용 단말기 등의 복호기에서는 매우 중요한 문제이다.
따라서 Toshiba Inc.는 IBDI를 사용하였을 때의 내부 메모리 증가 문제를 해결하기 위해서, 도 1과 같이 영상을 고정된 크기의 영역으로 분할한 후 분할 영역의 통계적 특성을 이용하여 적응적으로 라운딩(Rounding)을 수행하여 메모리의 비트 깊이를 줄이는 복호 영상 버퍼 압축 기법(Adaptive scaling 기법)을 제안하였다. 실제로 영상을 4x4 단위의 고정 크기 영역으로 분할한 후, 각각의 영역에 적응적 스케일링(Adaptive scaling) 기법을 적용한 경우, 내부 연산은 12 비트(bit)정확도로 수행하면서도 복호 영상 플레인의 내부 메모리는 기존의 화소 당 8 비트보다 낮은 7.71 비트를 유지할 수 있었으며, 이로 인해 감소하는 압축 감소하는 압축 효율은 평균적으로 0.13%로 매우 미미한 수준이다.
구체적으로 4 x 4의 고정된 블록 크기 단위로 IBDI를 통해 4 비트의 내부 비트 깊이가 증가한 8 비트 복호 영상에 적응적 스케일링을 적용하여 압축을 수행하는 방법을 살펴보면 다음과 같다.
(1) 4x4 블록 내의 16개 화소값 중 최소값 min과 최대값 max를 찾는다.
(2) 12 비트 깊이인 min을 8 비트 깊이의 값(M = min >> 4 )으로 변환한다.
(3) max와 (M<<4)의 차이를 계산하여 동적 범위(dynamic range) R을 결정한다.
(4) R이 (128<<S)보다 작은 최소의 S를 찾는다.
(5) 만약 S가 4와 같다면, 16 개의 화소를 P(=(pixel_value+8)>>4)로 변환하여 화소당 8 비트로 저장하고, M을 0으로 셋팅한다(이런 경우는 아래 설명에서 flag=1로 두어 다른 경우와 구분한다). S가 4보다 작은 경우에는 16 개의 화소를 P(=(pixel_value-(M<<4))>>S)로 변환하여 화소당 7 비트로 저장하고, S(2 비트), M(8 비트) 또한 저장한다.
따라서 위의 방법을 통해 한 4x4 블록에 소요되는 총 내부 메모리를 살펴보면 다음과 같다.
우선 S가 IBDI의 내부 비트 증가량과 같은지(S=4인지)를 복호기에 알려주는데 플래그(flag) 1 비트가 소요된다. 앞서 설명한 바와 같이 이러한 경우(flag=0), 16개의 화소가 각기 4비트 시프트되어 8 비트로 저장되고, 따라서 1 비트(flag) + 16 x 8 비트(화소) = 129 비트의 메모리가 소요된다. 이와는 달리 S가 4보다 작은 경우에는(flag=1) 시프트 값(shift value) S를 저장하는데 2 비트의 메모리와 최소값 M을 저장하는데 8 비트, 마지막으로 16 개 화소를 저장하는데 7 비트의 내부 메모리가 소요되어 모두 1 비트(flag) + 2 비트(S) + 8 비트(M) + 16 x 7 비트(화소) = 123 비트의 내부 메모리가 필요하다. 실제 영상에서 사용되는 내부 메모리의 수는 플래그가 0인 경우와 플래그가 1인 경우의 분포에 따라 결정되겠지만, 이들의 분포가 1:1이라 가정하면, 블록당 평균 126 비트의 내부 메모리가 소요되며, 이를 화소당 소요 메모리로 환산하면 7.875 비트가 된다. 이렇듯 적응적 스케일링을 통해 IBDI에 의해 발생한 내부 메모리 증가 문제를 어느 정도 해결할 수 있었지만, 4x4 블록 단위로 저장되는 S가 IBDI의 내부 비트 증가량과 같은지를 판단하는 플래그, 2 비트 시프트 값(shift value) S, 그리고 8 비트 최소값 M과 같은 부가 정보량에 의해 적응적 스케일링의 성능 향상 정도가 제한되는 문제가 존재한다.
본 발명의 실시예는 전술한 문제점을 효율적으로 해결하기 위하여 창안된 것으로서, 영상의 부호화 특성에 부합하는 적응적 스케일링 수행 블록 크기를 설정하며, 부가 정보간의 상호 연관성을 이용하여 효율적으로 부가정보를 저장할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 복호 영상 버퍼 압축장치는, 영상의 국지적 화소값 분포에 기초하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 조절하는 적응적 블록크기 결정부; 적응적 블록크기 결정부에 의해 결정된 블록 크기를 수행단위로 하여 복호 영상의 비트 깊이를 감소시키는 적응적 스케일링(Adaptive scaling)을 수행하는 복호 영상 버퍼 압축부; 및 복호 영상 버퍼 압축부에서 발생한 복호 영상의 최소 화소값과 적응적 시프트(Shift value) 값을 포함하는 부가정보를 저장하는 부가정보 저장부를 포함하는 것을 특징으로 한다.
여기서, 적응적 블록크기 결정부는, 복호 영상 버퍼에 대한 압축을 수행하여 발생하는 화질 열화와 부가 정보량 사이의 율-왜곡 최적 결정을 통한 쿼드-트리(Quad-tree) 분할방법에 기초하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 가변할 수 있다.
또한, 적응적 블록크기 결정부는, 현재 프레임의 변환행렬의 크기, 움직임 예측/보상을 수행하는 블록크기를 포함하는 선행 부호화 정보를 문맥정보로 하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 결정할 수 있다.
또한, 부가정보 저장부는, 부가 영상의 최소 화소값의 경우, 인접 수행 블록간의 통계적 유사성에 기반한 공간적 예측 부호화를 이용하여 발생하는 부가 정보량을 감소시킬 수 있다.
또한, 부가정보 저장부는, 부가 영상의 시프트 값의 경우, 발생 빈도에 따른 통계적 예측 부호화를 이용하여 발생하는 부가정보를 감소시킬 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 복호 영상 버퍼 압축방법은, 영상의 국지적 화소값 분포에 기초하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 조절하는 단계; 블록크기 조절단계에 의해 결정된 블록 크기를 수행단위로 하여 복호 영상의 비트 깊이를 감소시키는 적응적 스케일링을 수행하는 단계; 및 적응적 스케일링 수행단계에서 발생한 복호 영상의 최소 화소값과 적응적 시프트 값을 포함하는 부가정보를 저장하는 단계를 포함하는 것을 특징으로 한다.
여기서, 블록크기 조절단계는, 복호 영상 버퍼에 대한 압축을 수행하여 발생하는 화질 열화와 부가 정보량 사이의 율-왜곡 최적 결정을 통한 쿼드-트리 분할방법에 기초하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 가변할 수 있다.
또한, 적응적 블록크기 조절단계는, 현재 프레임의 변환행렬의 크기, 움직임 예측/보상을 수행하는 블록크기를 포함하는 선행 부호화 정보를 문맥정보로 하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 결정할 수 있다.
또한, 부가정보 저장단계는, 부가 영상의 최소 화소값의 경우, 인접 수행 블록간의 통계적 유사성에 기반한 공간적 예측 부호화를 이용하여 발생하는 부가 정보량을 감소시킬 수 있다.
또한, 부가정보 저장단계는, 부가 영상의 시프트 값의 경우, 발생 빈도에 따른 통계적 예측 부호화를 이용하여 발생하는 부가정보를 감소시킬 수 있다.
본 발명의 실시예에 따르면, 영상의 국지적 화소값 분포를 고려하여 적응적으로 수행 블록의 크기를 설정하고, 적응적 스케일링을 통해 복호 영상의 비트 깊이를 감소시키며, 그에 따라 발생하는 부가 정보를 효율적으로 저장함으로써 영상 부호화기 및 복호화기에서 복호 영상의 저장을 위한 내부 메모리의 사용량을 효과적으로 줄일 수 있게 된다.
도 1은 고정 크기의 블록단위로 적응적 스케일링을 적용하는 방법의 개념을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 복호 영상 버퍼 압축장치를 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 쿼드-트리(Quad-tree) 정보 구조의 예를 나타낸 도면이다.
도 4는 도 3의 쿼드-트리를 이용한 영상에 대한 가변 블록의 적응적 스케일링 방법의 개념을 설명하기 위해 도시한 도면이다.
도 5는 8 비트 깊이 최소값을 효율적으로 저장하기 위한 문맥 템플릿의 예를 나타낸 도면이다.
도 6은 화소값의 동적 구간(Dynamin Range)과 시프트 값의 관계를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 복호 영상 버퍼 압축방법을 나타낸 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 2는 본 발명의 실시예에 따른 복호 영상 버퍼 압축장치를 개략적으로 도시한 도면이다. 도면을 참조하면, 복호 영상 버퍼 압축장치(200)는 적응적 블록크기 결정부(210), 복호 영상 버퍼 압축부(220) 및 부가정보 저장부(230)를 포함한다.
적응적 블록크기 결정부(210)는 영상의 국지적 화소값 분포에 기반하여 복호 영상 버퍼 압축을 수행하기 위한 블록 크기를 조절한다. 적응적 스케일링 방법을 이용한 복호 영상 버퍼 압축은, 수행 블록에 대하여 블록 최소 화소값과 적응적 시프트 값 등의 부가정보가 발생하게 되므로 수행 블록 크기를 작게 설정하면 발생하는 부가 정보량이 증가하게 되어 복호 영상 버퍼 압축효과가 떨어지는 문제점이 존재한다. 반대로 수행 블록 크기를 크게 설정하면 부가 정보량은 크게 감소하지만, 수행 블록에 포함되어 있는 화소값의 동적 범위(dynamic range)가 증가하게 되어 복호 영상 압축에 위한 화질 열화가 발생하게 된다. 이렇듯 적응적 스케일링 방법을 이용한 복호 영상 버퍼 압축 방법에서 수행 블록 크기 설정은 압축 효율과 화질 열화 측면에서 최적의 균형점을 제시하기 위한 중요한 열쇠이다.
첫 번째로, 본 발명의 실시예에서는 도 3에 도시한 바와 같은 쿼드-트리(Quad-tree) 기반 영상 분할 방법을 이용하여 영상에 적응적 블록 크기 설정 기법을 제공한다. 쿼드-트리 분할 방법은 다음과 같이 바텀-업(bottom-up) 방식의 율-왜곡 최적화 과정으로 진행된다. 도 3에 나타낸 바와 같이 l 번째 계층(Layer 1) 블록 Bl의 하위 계층 블록인 4 개 Bl -1,m, m=0,...,3의 최적 쿼드-트리 구조를 알고 있다고 가정하고, 4 개의 하위 계층 블록 Bl -1,m을 하나의 상위 블록 Bl으로 합칠 것인지 아닌지를 아래의 수학식 1을 통해 율-왜곡 최적화 관점에서 선택한다.
[수학식 1]
Figure 112010073275504-pat00001
수학식 1에서 ΔDl는 4 개의 하위 블록을 하나의 상위 블록으로 합하였을 때 증가하는 오류량을 나타내며 ΔRl는 하나의 상위 블록으로 합치면서 감소하는 부가 정보량을 나타낸다. 마지막으로 상수 λ는 율-왜곡 관점에서 최적점을 찾기 위한 라그랑지 승수(Lagrange multiplier)이다. 이러한 라그랑지 승수 λ는 부호화 과정에서의 비트율 제약에 의해 적응적으로 바뀌게 되는데, 부호화 구조(I, P, B frame structure)와 양자화 변수(Quantization Parameter: QP)에 의해 적응적으로 변화된다. 따라서 도 4에 나타난 바와 같이 영상의 평탄 면에서는 4개의 하위 블록을 하나의 상위 블록으로 합하였을 때 증가하는 오류량보다 부가 정보량의 감소량이 크게 되므로 하나의 큰 상위 블록으로 합쳐서 복호 영상 버퍼 압축을 수행하게 된다.
두 번째로, 본 발명의 실시예에서는 현재 프레임의 변환 행렬(Transform matrix)의 크기, 움직임 예측/보상을 수행하는 블록 크기 등의 선행 부호화 정보를 문맥정보로 하여 버퍼 압축 수행 블록의 크기를 결정하는 방법을 구현하였다. 즉, 복호 영상 압축을 수행하는 단계에서는 부호기에서 영상을 변환하기 위해 사용한 변환 행렬의 크기와 움직임 예측/보상을 위한 블록 크기 등의 선행 정보들이 결정되어 있다. 이때 변환 행렬의 크기와 움직임 예측/보상을 위한 블록 크기는 부호기에서 영상의 구성 특성에 적합하게 선택되므로, 적응적 블록크기 결정부(210)에서는 변환 행렬의 크기 또는 움직임 예측/보상을 위한 블록 크기와 동일하게 복호 영상에 대한 압축 수행의 블록 크기를 설정하는 방법을 사용할 수 있다.
복호 영상 버퍼 압축부(220)는 적응적 블록크기 결정부(210)에서 제공된 수행 블록 단위로 복호 영상 버퍼에 대한 압축을 수행한다. 본 발명의 실시예에서는 적응적 스케일링 방법을 이용하여 복호 영상 버퍼를 압축하며, 수행 결과로 비트 깊이가 감소한 복호 영상 화소값, 수행블록 내의 최소 화소값 그리고 화소값의 동적 범위를 목표 범위로 조정하기 위한 시프트 값이 발생한다. 비트 깊이가 감소한 복호 영상을 제외한 나머지 두 가지 부가정보는 복호 영상 버퍼 영역에 별도로 저장된다. 이러한 부가정보 발생량을 줄이기 위하여 부가정보 저장부(230)에서는 인접 수행블록과의 공간적 유사성을 이용하여 부가정보를 저장한다.
부가정보 저장부(230)는 복호 영상 압축을 통해 발생한 부가정보를 효율적으로 저장하기 위한 구성요소이다. 복호 영상 압축을 통해 발생한 부가정보는 도 4에서 확인할 수 있듯이, 수행 블록의 최소 화소값을 나타내는 M과 수행 블록의 동적 범위를 목표 범위로 맞추기 위한 시프트 값을 나타내는 S이다.
도 5는 8 비트 깊이 최소값을 효율적으로 저장하기 위한 문맥 템플릿의 예를 나타낸 도면이다. 8 비트 깊이의 M을 효율적으로 저장하기 위해, 도 5와 같이 현재 수행 블록과 인접한 주변 블록을 문맥정보 템플릿으로 사용하여 다음의 식을 이용한다.
[수학식 2]
Figure 112010073275504-pat00002
수학식 2에서 MC는 현재 블록의 최소 화소값, MA는 좌측 블록의 최소 화소값, 그리고 MB는 상위 블록의 최소 화소값을 나타낸다. 따라서 현재 수행 블록과 인접한 주변 블록의 통계적 특성이 유사하다는 성질을 이용하여 주변 블록의 평균으로 현재 수행 블록의 예측 화소값 MPerd을 생성하고 현재 수행 블록의 최소 화소값 MC와의 차이값(M'C)만을 저장한다.
도 6은 화소값의 동적 구간(Dynamin Range)과 시프트 값의 관계를 나타낸 도면으로서, (a)는 영상의 동적 구간이 목표 구간(Target Range)보다 짧은 경우를 나타내며, (b)는 영상의 동적 구간이 목표 구간보다는 길고 목표 구간의 2배보다는 짧은 경우를 나타낸다.
S는 도 6과 같이 수행 블록 화소값의 동적 범위가 목표 범위보다 작을 경우, 그 값이 0으로 결정된다. 적응적 블록크기 결정부(210)에서는 화질 열화를 줄이기 위해 화소값의 동적 범위가 큰 영역은 더 작은 수행 블록 사이즈를 할당하여 동적 범위를 작게 한다. 따라서 총 0, 1, 2, 3 의 4 가지 값을 가지는 2 비트 깊이 S 중 0이 가장 큰 빈도로 출현하게 된다. 또한 S=1 경우가 두 번째 높은 빈도로 출현하고, S=3인 경우는 매우 드물게 발생한다. 이러한 발생 빈도의 확률적 특성을 이용하여 S를 효율적으로 저장하기 위하여, 본 발명의 실시예에서는 S의 발생 빈도에 따른 가변 길이 부호를 발생시키고, 이를 이용하여 저장하는 방법을 제안한다.
표 1은 S의 발생빈도에 따라 발생시킨 절삭형 단항 부호(Truncated Unary Code)이다. 절삭형 단항 부호를 이용함으로써 짧은 부호 길이를 갖는 S=0인 경우가 다수 발생하게 되어 전체적으로 S를 저장하기 위한 부가 정보량이 감소하는 이득을 볼 수 있다.
Figure 112010073275504-pat00003
도 7은 도 2의 복호 영상 버퍼 압축장치에 의한 복호 영상 버퍼 압축방법을 나타낸 흐름도이다.
도 2 및 도 7을 참조하면, 적응적 블록크기 결정부(210)는 영상의 국지적 화소값 분포에 기반하여 복호 영상 버퍼 압축을 수행하기 위한 블록 크기를 조절하여 결정한다(S710). 이때, 적응적 블록크기 결정부(210)는 복호 영상 버퍼에 대한 압축을 수행하여 발생하는 화질 열화와 부가 정보량 사이의 율-왜곡 최적 결정을 통한 쿼드-트리 분할방법에 기초하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 가변할 수 있다. 또한, 적응적 블록크기 결정부(210)는 현재 프레임의 변환행렬의 크기, 움직임 예측/보상을 수행하는 블록크기를 포함하는 선행 부호화 정보를 문맥정보로 하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 결정할 수 있다.
복호 영상 버퍼 압축부(220)는 적응적 블록크기 결정부(210)에서 결정된 블록 크기를 수행 단위로 하여 복호 영상의 비트 깊이를 감소시키는 적응적 스케일링을 수행한다(S720). 본 발명의 실시예에서는 적응적 스케일링 방법을 이용하여 복호 영상 버퍼를 압축하며, 수행 결과로 비트 깊이가 감소한 복호 영상 화소값, 수행블록 내의 최소 화소값 그리고 화소값의 동적 범위를 목표 범위로 조정하기 위한 시프트 값이 발생한다. 비트 깊이가 감소한 복호 영상을 제외한 나머지 두 가지 부가정보는 복호 영상 버퍼 영역에 별도로 저장된다. 이러한 부가정보 발생량을 줄이기 위하여 부가정보 저장부(230)에서는 인접 수행블록과의 공간적 유사성을 이용하여 부가정보를 저장한다(S730). 이때, 부가정보 저장부(230)는 부가 영상의 최소 화소값의 경우, 인접 수행 블록간의 통계적 유사성에 기반한 공간적 예측 부호화를 이용하여 발생하는 부가 정보량을 감소시킬 수 있다. 또한, 부가정보 저장부(230)는 부가 영상의 시프트 값의 경우, 발생 빈도에 따른 통계적 예측 부호화를 이용하여 발생하는 부가정보를 감소시킬 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는, 영상의 국지적 화소값 분포를 고려하여 적응적으로 수행 블록의 크기를 설정하고, 적응적 스케일링을 통해 복호 영상의 비트 깊이를 감소시키며, 그에 따라 발생하는 부가 정보를 효율적으로 저장함으로써 영상 부호화기 및 복호화기에서 복호 영상의 저장을 위한 내부 메모리의 사용량을 효과적으로 줄일 수 있는 효과를 발생하는 매우 유용한 발명이다.
200: 복호 영상 버퍼 압축장치
210: 적응적 블록크기 결정부
220: 복호 영상 버퍼 압축부
230: 부가정보 저장부

Claims (10)

  1. 복호 영상 버퍼 압축장치에 있어서,
    영상의 국지적 화소값 분포에 기초하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 조절하는 적응적 블록크기 결정부;
    상기 적응적 블록크기 결정부에 의해 결정된 블록 크기를 수행단위로 하여 복호 영상의 비트 깊이를 감소시키는 적응적 스케일링(Adaptive scaling)을 수행하는 복호 영상 버퍼 압축부; 및
    상기 복호 영상 버퍼 압축부에서 발생한 복호 영상의 최소 화소값과 적응적 시프트(Shift value) 값을 포함하는 부가정보를 생성하는 부가정보 저장부
    를 포함하는 것을 특징으로 하는 복호 영상 버퍼 압축장치.
  2. 제 1항에 있어서,
    상기 적응적 블록크기 결정부는,
    상기 복호 영상 버퍼에 대한 압축을 수행하여 발생하는 화질 열화와 부가 정보량 사이의 율-왜곡 최적 결정을 통한 쿼드-트리(Quad-tree) 분할방법에 기초하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 가변하는 것을 특징으로 하는 복호 영상 버퍼 압축장치.
  3. 제 1항에 있어서,
    상기 적응적 블록크기 결정부는,
    영상을 변환하기 위해 사용한 변환행렬의 크기 또는 움직임 예측/보상을 수행하는 블록크기를 포함하는 선행 부호화 정보를 문맥정보로 하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 결정하는 것을 특징으로 하는 복호 영상 버퍼 압축장치.
  4. 제 1항에 있어서,
    상기 부가정보 저장부는,
    인접 수행 블록간의 통계적 유사성에 기반한 공간적 예측 부호화를 이용하여 상기 최소 화소값을 생성하는 것을 특징으로 하는 복호 영상 버퍼 압축장치.
  5. 제 1항에 있어서,
    상기 부가정보 저장부는,
    발생 빈도에 따른 통계적 예측 부호화를 이용하여 상기 적응적 시프트 값을 생성하는 것을 특징으로 하는 복호 영상 버퍼 압축장치.
  6. 복호 영상 버퍼 압축방법에 있어서,
    영상의 국지적 화소값 분포에 기초하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 조절하는 단계;
    상기 블록크기 조절단계에 의해 결정된 블록 크기를 수행단위로 하여 복호 영상의 비트 깊이를 감소시키는 적응적 스케일링을 수행하는 단계; 및
    상기 적응적 스케일링 수행단계에서 발생한 복호 영상의 최소 화소값과 적응적 시프트 값을 포함하는 부가정보를 생성하는 단계
    를 포함하는 것을 특징으로 하는 복호 영상 버퍼 압축방법.
  7. 제 6항에 있어서,
    상기 블록크기 조절단계는,
    상기 복호 영상 버퍼에 대한 압축을 수행하여 발생하는 화질 열화와 부가 정보량 사이의 율-왜곡 최적 결정을 통한 쿼드-트리 분할방법에 기초하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 가변하는 것을 특징으로 하는 복호 영상 버퍼 압축방법.
  8. 제 6항에 있어서,
    상기 블록크기 조절단계는,
    영상을 변환하기 위해 사용한 변환행렬의 크기 또는 움직임 예측/보상을 수행하는 블록크기를 포함하는 선행 부호화 정보를 문맥정보로 하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 결정하는 것을 특징으로 하는 복호 영상 버퍼 압축방법.
  9. 제 6항에 있어서,
    상기 부가정보를 생성하는 단계는,
    인접 수행 블록간의 통계적 유사성에 기반한 공간적 예측 부호화를 이용하여 상기 최소 화소값을 생성하는 것을 특징으로 하는 복호 영상 버퍼 압축방법.
  10. 제 6항에 있어서,
    상기 부가정보를 생성하는 단계는,
    발생 빈도에 따른 통계적 예측 부호화를 이용하여 상기 적응적 시프트 값을 생성하는 것을 특징으로 하는 복호 영상 버퍼 압축방법.


KR1020100111333A 2010-11-10 2010-11-10 복호 영상 버퍼 압축장치 및 그 압축방법 KR101767944B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100111333A KR101767944B1 (ko) 2010-11-10 2010-11-10 복호 영상 버퍼 압축장치 및 그 압축방법
PCT/KR2011/008548 WO2012064120A2 (ko) 2010-11-10 2011-11-10 복호 영상 버퍼 압축장치 및 그 압축방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100111333A KR101767944B1 (ko) 2010-11-10 2010-11-10 복호 영상 버퍼 압축장치 및 그 압축방법

Publications (2)

Publication Number Publication Date
KR20120050031A KR20120050031A (ko) 2012-05-18
KR101767944B1 true KR101767944B1 (ko) 2017-08-14

Family

ID=46051430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100111333A KR101767944B1 (ko) 2010-11-10 2010-11-10 복호 영상 버퍼 압축장치 및 그 압축방법

Country Status (2)

Country Link
KR (1) KR101767944B1 (ko)
WO (1) WO2012064120A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476207B1 (ko) * 2015-11-12 2022-12-08 삼성전자주식회사 반도체 장치의 동작 방법 및 반도체 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201532A (ja) 2006-01-23 2007-08-09 Sharp Corp データ格納制御装置、データ復元制御装置、画像形成装置、データ格納制御方法、データ復元制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE159396T1 (de) * 1991-06-04 1997-11-15 Qualcomm Inc System zur adaptiven kompression der blockgrössen eines bildes
KR20070083677A (ko) * 2004-09-14 2007-08-24 개리 데모스 고품질 광역 다중-레이어 이미지 압축 코딩 시스템
KR101088375B1 (ko) * 2005-07-21 2011-12-01 삼성전자주식회사 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201532A (ja) 2006-01-23 2007-08-09 Sharp Corp データ格納制御装置、データ復元制御装置、画像形成装置、データ格納制御方法、データ復元制御方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
S. Hong, et al. Selective merging-based reference frame memory compression. 2011 IEEE Pacific Rim Conf. on Comm., Computers and Signal Processing. Aug. 2011. pp.896-900
T. Chujoh, et al. TE2: Adaptive scaling for bit depth compression on IBDI. JCT-VC of ITU-T and ISO/IEC. JCTVC-C075 Ver.3, Oct. 9, 2010, pp.1-5
홍순기 외 2명. 선택적 수행블록 병합을 이용한 참조 영상 메모리 압축 기법. 방송공학회논문지. 2011년 3월. 제16권, 제2호, pp.339-349

Also Published As

Publication number Publication date
WO2012064120A3 (ko) 2012-07-19
KR20120050031A (ko) 2012-05-18
WO2012064120A2 (ko) 2012-05-18

Similar Documents

Publication Publication Date Title
KR102418957B1 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
US11785218B2 (en) Image decoding apparatus
JP5893790B2 (ja) 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
US10298954B2 (en) Device and method for image encoding/decoding using prediction direction conversion and selective encoding
US20150063452A1 (en) High efficiency video coding (hevc) intra prediction encoding apparatus and method
KR20110047697A (ko) 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
KR20090108499A (ko) 인트라 예측 모드 결정 방법 및 그 장치와 이를 이용한영상 부호화/복호화 방법 및 그 장치
KR102624286B1 (ko) 영상 분석을 이용한 비디오 부호화/복호화 방법 및 장치
KR101767944B1 (ko) 복호 영상 버퍼 압축장치 및 그 압축방법
JP2018522445A (ja) サンプル値補償のための映像符号化方法及びその装置、並びにサンプル値補償のための映像復号方法及びその装置
US11218705B2 (en) Information processing device and video encoding method
JP2024000443A (ja) 映像符号化装置及びプログラム
JP2023049881A (ja) 映像符号化装置及びプログラム
KR20120126050A (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant