KR20180024702A - 영상에 대한 적응적 rdpcm 방법, 적응적 rdpcm에 기반한 인코딩 방법 및 적응적 rdpcm에 기반한 디코딩 방법 - Google Patents

영상에 대한 적응적 rdpcm 방법, 적응적 rdpcm에 기반한 인코딩 방법 및 적응적 rdpcm에 기반한 디코딩 방법 Download PDF

Info

Publication number
KR20180024702A
KR20180024702A KR1020160111417A KR20160111417A KR20180024702A KR 20180024702 A KR20180024702 A KR 20180024702A KR 1020160111417 A KR1020160111417 A KR 1020160111417A KR 20160111417 A KR20160111417 A KR 20160111417A KR 20180024702 A KR20180024702 A KR 20180024702A
Authority
KR
South Korea
Prior art keywords
rdpcm
block
residual signal
current block
adaptive
Prior art date
Application number
KR1020160111417A
Other languages
English (en)
Other versions
KR101845622B1 (ko
Inventor
강제원
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020160111417A priority Critical patent/KR101845622B1/ko
Publication of KR20180024702A publication Critical patent/KR20180024702A/ko
Application granted granted Critical
Publication of KR101845622B1 publication Critical patent/KR101845622B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

적응적 RDPCM에 기반한 디코딩 방법은 디코더가 인코딩된 비트스트림에서 적응적 RDPCM 수행 여부에 대한 정보를 추출하는 단계, 상기 디코더가 화면간 예측을 기반하여 복호된 현재 프레임에서 RDPCM을 수행하고자 하는 현재의 블록에 인접하고 RDPCM으로 잔차 신호가 예측된 샘플 블록에 대한 가중치를 결정하는 단계 및 상기 인코더가 상기 현재의 블록에 대한 화면간 예측의 결과값, 상기 샘플 블록에 대한 잔차 신호 및 상기 가중치를 이용하여 상기 현재 블록에 대한 RDPCM을 수행하여 잔차 신호를 복호하는 단계를 포함한다.

Description

영상에 대한 적응적 RDPCM 방법, 적응적 RDPCM에 기반한 인코딩 방법 및 적응적 RDPCM에 기반한 디코딩 방법{ADAPTIVE RDPCM METHOD FOR VIDEO CODING, VIDEO ENCODING METHOD BASED ON ADAPTIVE RDPCM AND VIDEO DECODING METHOD BASED ON ADAPTIVE RDPCM}
이하 설명하는 기술은 RDPCM에 기반한 영상 코딩 기법에 관한 것이다.
최근 컴퓨터 합성 기술 및 디지털 콘텐츠 제작 기술의 발달과 더불어 컴퓨터의 합성에 의하여 제작한 스크린 콘텐츠 비디오가 새로운 멀티미디어 서비스에 널리 사용되고 있다. 스크린 콘텐츠 비디오는 일반 비디오와 달리 색상 대조비가 높은 그래픽, 문자, 숫자 등을 다수 포함하고 있어 HD/UHD 방송을 위하여 개발이 된 HEVC (High Efficiency Video Coding) 동영상 압축 표준과 같은 기존의 압축 기술로는 효율적인 압축이 용이하지 않을 수 있다.
HEVC 확장표준에서는 손실 압축의 경우 TU (transform unit)가 변환 생략 (transform skipping) 모드로 부호화할 때 잔차 신호에 대해서 RDPCM (residual differential pulse-code modulation)을 수행하는 방식이 개발되었다. 변환 생략 모드는 잔차 신호를 변환하지 않고 직접 엔트로피 부호화하는 기법으로 색대비가 높은 그래픽 요소의 경계에서 발생하는 높은 주파수 영역 대의 잔차 성분이 많아 스크린콘텐츠 비디오 압축에 유용하게 사용할 수 있다. RDPCM은 변환 생략 과정에서 엔트로피 부호화를 위한 잔차 성분의 에너지 총량을 줄여 보다 뛰어난 압축 성능을 제공하도록 한다.
Y. L. Lee, K.H. Han, and G. Sullivan, "Improved lossless intra coding for H.264/AVC," IEEE　Trans. Image Processing, 2006. M. Nacarri, A. Gabriellini, M. Mrak, S. Blasi and E. Izquierdo, "Inter prediction Residual DPCM", JCTVC-M0442, Apr. 2013.
이하 설명하는 기술은 인접한 샘플 잔차 신호에 기반한 RDPCM 기법을 제공하고자 한다.
영상에 대한 적응적 RDPCM 방법은 영상 처리 장치가 화면간 예측이 수행된 프레임에서 RDPCM 예측을 수행하고자 하는 현재의 블록에 인접하고 RDPCM 예측이 수행된 복수의 샘플 블록을 결정하는 단계, 상기 영상 처리 장치가 RDPCM 예측이 수행된 영역을 기준으로 상기 복수의 샘플 블록에서 양자화된 잔차 신호에 대한 가중치를 결정하는 단계 및 상기 영상 처리 장치가 상기 양자화된 잔차 신호에 상기 가중치를 부여한 값을 이용하여 상기 현재의 블록에 대한 RDPCM을 수행하는 단계를 포함한다.
적응적 RDPCM에 기반한 인코딩 방법은 인코더가 현재 프레임에 대해 화면간 예측을 수행하는 단계, 상기 인코더가 상기 현재 프레임에서 RDPCM을 수행하고자 하는 현재의 블록에 인접하고 RDPCM으로 잔차 신호가 예측된 샘플 블록에 대한 가중치를 결정하는 단계, 상기 인코더가 상기 현재의 블록에 대한 화면간 예측의 결과값, 상기 샘플 블록에 대한 잔차 신호 및 상기 가중치를 이용하여 상기 현재 블록에 대한 RDPCM을 수행하여 잔차 신호를 예측하는 단계 및 상기 인코더가 상기 현재 블록에 대한 잔차 신호를 엔트로피 코딩하는 단계를 포함한다.
적응적 RDPCM에 기반한 디코딩 방법은 디코더가 인코딩된 비트스트림에서 적응적 RDPCM 수행 여부에 대한 정보를 추출하는 단계, 상기 디코더가 화면간 예측을 기반하여 복호된 현재 프레임에서 RDPCM을 수행하고자 하는 현재의 블록에 인접하고 RDPCM으로 잔차 신호가 예측된 샘플 블록에 대한 가중치를 결정하는 단계 및 상기 인코더가 상기 현재의 블록에 대한 화면간 예측의 결과값, 상기 샘플 블록에 대한 잔차 신호 및 상기 가중치를 이용하여 상기 현재 블록에 대한 RDPCM을 수행하여 잔차 신호를 복호하는 단계를 포함한다.
이하 설명하는 기술은 예측 대상인 잔차 신호에 인접한 샘플 잔차 신호에 학습한 가중치를 부여하여 효과적으로 현재의 잔차 신호를 예측할 수 있다.
도 1은 V-RDPCM을 수행하는 과정에 대한 예이다.
도 2는 잔차 신호 예측을 위한 샘플의 위치를 도시한 예이다.
도 3은 적응적 V-RDPCM을 수행하는 영역에 대한 예이다.
도 4는 적응적 RDPCM에 기반한 영상 인코딩 방법에 대한 순서도의 예이다.
도 5는 적응적 RDPCM에 기반한 영상 디코딩 방법에 대한 순서도의 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
HEVC/SCC (screen content coding)의 RDPCM은 수평 및 수직 방향의 화면 내 예측 후 동일 방향으로 RDPCM을 수행하는 implicit RDPCM 방식과 화면 간 예측 후 수평 (H-RDPCM) 혹은 수직 (V-RDPCM) 방향의 RDPCM을 선택적으로 수행하고 RDPCM 예측 방향 정보를 비트스트림을 통해 복호 측으로 전송하는 explicit RDPCM 방식을 이용할 수 있다. 이하 설명하는 기술은 explicit RDPCM 방식에 관한 것이다. 이하 설명하는 코딩은 인코더 및 디코더에서 수행한다. 한편 인코더 및 디코더는 영상을 일정하게 처리하는 컴퓨터 장치 또는 영상 처리 장치라고 할 수 있다.
도 1은 V-RDPCM을 수행하는 과정에 대한 예이다. 도 1(a)는 무손실 코딩(lossless coding)에서 V-RDPCM을 수행하는 과정이고, 도 1(b)는 손실 코딩(lossy coding)에서 V-RDPCM을 수행하는 과정에 대한 예이다. V-RDPCM은 수직 방향으로 RDPCM을 수행하는 것이다. 도 1(a)에서 ri,j는 N×N 블록에서 잔차 샘플을 의미한다. 현재의 잔차 샘플 ri,j는 상측 잔차 샘플인 ri-1,j로부터 예측된다. 참고로 H-RDPCM에서 현재의 잔차 샘플 ri,j는 좌측 잔차 샘플인 ri,j-1로부터 예측된다. 도 1(b)의 손실 코딩은 도 1(a)의 무손실 코딩과 달리 각 잔차 샘플이 양자화된 잔차 (quantized residue)로부터 예측된다.
손실 코딩에서 N×N 크기 블록의 잔차 신호 ri,j에 대하여 수직 방향의 RDPCM 적용 후 남은 2차 잔차 신호
Figure pat00001
는 아래의 수학식 1로 표현할 수 있다.
Figure pat00002
Q(r)은 양자화 잡음을 포함하는 복원한 잔차 신호이다. V-RDPCM의 경우 인코더는 2차 잔차신호
Figure pat00003
를 엔트로피 부호화 후 디코더에 전송하고 다음 행의 잔차 신호 예측을 위하여 복원하여 예비한다. 해당 예측 과정은 블록의 모든 행에 대해서 순차적으로 진행한다. 반대로 디코더는 아래의 수학식 2와 같이 복원한 2차 잔차 신호를 순차적으로 더하여 현재 i번째 행의 잔차 신호를 다음과 같이 복원한다.
Figure pat00004
이하 설명하는 코딩 기법은 HEVC 확장표준에 따라 손실 압축을 수행하는 과정에서 수행하는 RDPCM에 관한 것이다. 이하 설명하는 RDPCM은 현재 잔차 샘플에 대해 인접하는 잔차 성분을 사용하여 예측을 수행한다. 이하 설명하는 RDPCM은 현재 잔차 샘플에 대해 인접한 잔차 성분의 가중 합으로부터 보다 정확한 예측을 수행한다. 이하 설명하는 RDPCM을 적응적(adaptive) RDPCM이라고 명명한다. 인코더는 비트율-왜곡 최적화를 통하여 적응적 RDPCM을 행할지 여부를 결정하여 비트스트림으로 전송하는 explicit RDPCM 방식을 따른다. 적응적 RDPCM은 아래의 수학식 3과 같이 잔차 샘플에 대한 예측을 수행한다. 이하 N×N 크기 블록을 기준으로 설명한다. 이하 설명의 편의를 위해 적응적 V-RDPCM를 중심으로 설명한다.
Figure pat00005
수학식 3에서 여기서 K는 이미 인코딩을 완료한 인접 영역을 의미하고, k1와 k2는 현재 인코딩을 수행하는 잔차 신호 ri,j에 대한 예측에 사용되는 잔차 샘플의 위치 인덱스이다. α는 가중치 파라미터이다.
Figure pat00006
는 잔차 신호 ri,j의 주변에 위치하면서 ri,j의 예측에 사용되는 양자화된 잔차 신호이다.
인코더는 α를 이미 예측이 완료된 샘플을 기준으로 학습하여 결정할 수 있다. 이 경우 인코더는 α를 비트스트림으로 디코더에 전송하지 않고, 디코더가 이미 복호된 샘플을 기준으로 학습하여 α를 결정할 수 있다.
현재 잔차 신호의 예측을 위한 샘플은 부호화 성능, 복잡도, 병렬 처리 등을 고려하여 결정할 수 있다. 도 2는 잔차 신호 예측을 위한 샘플의 위치를 도시한 예이다. 도 2(a)는 일반적인 RDPCM에 대한 예이고, 도 2(b)는 적응적 V-RDPCM에 대한 예이고, 도 2(c)는 적응적 H-RDPCM에 대한 예이다.
도 2(a)와 같이 현재 인코딩을 수행하고자 하는 잔차 신호 ri,j에 대해 바로 인접한 좌측 샘플 및 상측 샘플을 사용할 수 있다. 또한 좌측과 상측이라는 두 개의 방향을 사용하면 병렬 처리에 어려움이 있을 수 있다. 따라서 병렬 처리를 고려하면 V-RDPCM의 경우 잔차 신호 ri,j에 대해 도 2(b)와 같이 상측 샘플만을 사용할 수 있다. 또 R-RDPCM의 경우 잔차 신호 ri,j에 대해 도 2(c)와 같이 좌측 샘플만을 사용할 수 있다. 나아가 연산의 복잡도를 고려하여 잔차 신호 ri,j에 대한 좌측에 위차한 모든 샘플 또는 상측에 위치한 모든 샘플을 사용하지 않고, 일부 샘플만을 사용할 수 있다.
이하 설명하는 적응적 RDPCM은 V-RDPCM의 경우 도 2(b)와 같이 현재 예측하고자 하는 잔차 신호 ri,j의 위치에서 상측 샘플 중 좌상측(ri-1,j-1) 샘플, 상측(ri-1,j1) 샘플 및 우상측(ri-1,j+1) 샘플을 사용한다고 가정한다. 이 경우 적응적 RDPCM에서 V-RDPCM에 대한 잔차 신호 예측은 아래의 수학식 4와 같다. 수학식 4에서 j는 0에서 N-1까지이다.
Figure pat00007
한편 R-RDPCM도 도 2(c)와 같이 잔차 신호 ri,j의 위치에서 좌측 샘플 중 좌상측(ri-1,j-1) 샘플, 좌측 샘플(ri,j-1) 및 좌하측(ri+1,j-1) 샘플을 사용할 수 있다.
이제 잔차 신호 ri,j에 대한 예측을 수행하기 위하여 샘플에 대한 가중치를 결정해야 한다. 인코더가 상기 수학식 4에서의 각 샘플에 대한 가중치 α를 비트스트림에 인코딩하여 전송할 수도 있다. 다만 인코더가 모든 잔차 신호에 대해 사용하는 복수의 가중치를 디코더로 전송한다면 전송하는 데이터량이 늘어나는 문제가 생긴다. 따라서 기본적으로 인코더는 잔차 신호 ri,j에 대한 예측을 수행하는데 사용하는 각 샘플에 대한 가중치를 학습을 통해 결정한다. 인코더는 이미 잔차 신호를 학습한 영역을 이용하여 잔차 신호 ri,j에 대한 인접 샘플의 가중치를 학습한다.
도 3은 적응적 V-RDPCM을 수행하는 영역에 대한 예이다. 도 3에서 Ωi,j는 현재의 잔차 신호 ri,j에 대해 샘플의 가중치를 학습하기 위한 영역을 나타낸다. 도 3에서 Ωi,j는 M × 3 크기의 블록으로 음영으로 표시하였다. 도 3에서 Ωi,j는 잔차 신호 ri,j를 중심으로 인접한 제1 상측 샘플 3개와 상기 제1 상측 샘플 3개에서 상측에 인접한 제2 상측 샘플 3개를 포함한다. Ωi,j = {ri-m, j-n | m = 1,...,M 이고, n = -1, 0, 1}이다. 한편 Ωi,j는 도 3과 다른 영역을 사용할 수 있다. 다만 Ωi,j는 기본적으로 이미 예측이 완료된 영역이어야 한다. 또한 예측하고자 하는 잔차 신호 ri,j에 바로 인접한 샘플은 포함하는 것이 바람직하다. 설명의 편의를 위해 M = 2라고 가정한다.
도 3에서 Ωl i,j는 영역 Ωi,j에 위치한 어느 하나의 샘플을 의미한다. l = 1,..., |Ωi,j|이다. Ωl i,j에 대한 왜곡값 Di,j를 아래의 수학식 5와 같이 정의할 수 있다.
Figure pat00008
수학식 5에서 d(l)은 ri,j 와 Ωl i,j 사이의 맨해튼 거리(Manhattan distance)이다. d(l)은 ri,j 와 가까울 수록 높은 가중치를 부여하게 된다. σd는 실험적으로 결정될 수 있는 값으로 2.5를 사용할 수 있다. Ωi,j에서의 2차 잔차 신호
Figure pat00009
는 아래의 수학식 6과 같다.
Figure pat00010
수학식 6에서 K는 현재의 잔차 신호 ri,j에 대해 Ωl i,j에서 사전에 결정된 3개의 샘플 위치를 의미한다. αk1, k2는 모델 계수이다. 모델 계수 αk1, k2는 상기 수학식 5를 최소화하는 값으로 결정할 수 있다. 수학식 5를 최소화하는 모델 계수 αk1, k2는 다양한 방식으로 결정할 수 있다. 예컨대, 최소제곱법(least square optimization)과 같은 기법을 사용할 수 있다. 최소제곱법은 이상치의 근사에 취약하며 샘플 데이터 사이에 강한 공선 관계가 발생할 때 변수의 해석력이 저하되는 문제가 있다. 스크린 콘텐츠의 경우 그래픽 요소의 경계에서 발생하는 잔차 신호는 공간 상에서 인접 화소 사이에서 변화량이 매우 크고 경계 안에서는 작아지는 계단 함수 형태의 신호 특성 상 최소 제곱법이 적합하지 않을 수 있다. 따라서 모델 계수 αk1, k2를 결정하기 위하여 계수에 L1 페널티(penalty)를 주어 계수의 추정 값이 0이거나 0에 근접하도록 하는 희소 모형을 사용할 수 있다. 상기 수학식 5의 왜곡 함수는 아래의 수학식 7과 같이 수정할 수 있다.
Figure pat00011
수학식 6에서 P(α)는 L1 정규화 항(regularization term)에 해당한다. P(α) = ∑(k1, k2) ∈ K |αk1, k2|이고, β는 상수이다. 이제 아래의 수학식 8과 같이 수학식 7을 최소화하는 최적의 파라미터 α* k를 얻을 수 있다. α* k가 결국 잔차 신호 ri,j의 위치에 대한 샘플들에 대한 가중치(예컨대, 수학식 4의 α)가 되는 것이다.
Figure pat00012
수학식 8에서
Figure pat00013
는 가능한 αk의 모든 집합을 의미한다.
이제 최종적으로 인코더는 잔차 신호 ri,j에 대한 RDPCM을 수행할 수 있다. 디코더 단에서도 동일한 동작으로 복호한 샘플 영역을 이용하여 현재의 잔차 신호 ri,j에 대한 가중치 결정 및 RDPCM을 수행할 수 있다.
도 4는 적응적 RDPCM에 기반한 영상 인코딩 방법(100)에 대한 순서도의 예이다. 인코더는 변환 생략 모드로 부호화를 시작한다고 가정한다(110). 이때 인코더는 적응적 RDPCM을 수행할지 여부를 결정할 수 있다(120). 인코더는 비트율-왜곡 최적화를 기반으로 적응적 RDPCM의 수행 여부를 결정할 수 있다. 인코더는 RDPCM 오프(off) 모드, 적응적 V-RDPCM 모드 및 적응적 H-RDPCM 모드 중 하나를 선택할 수 있다. RDPCM 오프 모드는 RDPCM을 수행하지 않고, 변환 생략 모드로 부호화를 수행하는 것이다. 인코더는 3가지 후보 모드에 대한 왜곡값 및 비트율을 더한 값을 기준으로 가장 비용이 적은 모드를 선택할 수 있다. 인코더는 선택한 모드에 따라 RDPCM 오프 모드로 동작(130)하거나, 적응적 V-RDPCM 모드로 동작(140)하거나, 또는 적응적 H-RDPCM 모드로 동작한다. 인코더는 자신이 선택한 모드에 대한 정보를 비트스트림에 담아서 디코더에 전달한다.
적응적 V-RDPCM 모드 또는 적응적 H-RDPCM 모드에 대해 전술한 설명을 정리한다. 인코더는 explicit RDPCM을 수행하는 것으로 가정한다. 인코더는 화면간 예측을 수행한다. 즉 인코더는 이전 프레임의 정보를 이용하여 현재 프레임에 대한 예측을 수행하고, 적응적 V-RDPCM 모드 또는 적응적 H-RDPCM 모드로 잔차 신호에 대한 예측을 수행한다.
적응적 V-RDPCM 모드를 기준으로 설명하면, 인코더는 잔차 신호(
Figure pat00014
)를 예측하고자 하는 블록이 현재 프레임에서 첫 번째 행이라면 화면간 예측으로 결정된 값을 그대로 사용한다(수학식 4에서 i=0인 경우). 인코더는 잔차 신호를 예측하고자 하는 블록이 첫 번째 행이 아닌 경우 예측이 완료된 잔차 신호를 이용하여 현재의 잔차 신호에 대한 RDPCM을 수행한다. 인코더는 도 2(b)와 같이 현재의 잔차 신호를 기준으로 좌상측 샘플, 상측 샘플 및 우상측 샘플을 사용하여 현재의 잔차 신호를 예측한다. 인코더는 도 3과 같이 이미 예측이 완료된 샘플 영역을 이용하여 인접한 샘플 신호에 대한 가중치를 결정한다. 최종적으로 인코더는 인접한 샘플 신호와 가중치를 이용하여 현재의 잔차 신호를 예측한다. 인코더는 수학식 4와 같이 화면간 예측으로 예측된 값에 가중치가 부여된 인접한 샘플 신호를 감산하여 현재의 잔차 신호를 결정한다. 이와 같은 방식을 반복하여 인코더는 현재 프레임에 속한 잔차 신호에 대한 RDPCM을 수행한다. 인코더는 잔차 신호
Figure pat00015
를 엔트로피 코딩하여 디코더로 전달한다. 또한 인코더는 다음 행에 대한 잔차 신호 예측을 위하여 현재 엔트로피 코딩한 비트스트림을 복원하여 잔차 신호를 준비한다. 참고로 적응적 H-RDPCM 모드는 전술한 바와 같이 예측하는 방향만이 V-RDPCM 모드와 다르다.
도 5는 적응적 RDPCM에 기반한 영상 디코딩 방법(200)에 대한 순서도의 예이다. 디코더에서 수행하는 과정은 인코더가 수행한 과정의 역순에 해당한다. 디코더는 먼저 인코딩된 비트스트림에서 적응적 RDPCM 수행 여부에 대한 정보를 추출한다(210). RDPCM 오프 모드로 인코딩된 비트스트림이라면 RDPCM을 수행하지 않고 일반적인 디코딩을 수행한다. 적응적 V-RDPCM 모드 또는 적응적 H-RDPCM 모드가 수행된 비트스트림이라면 해당하는 모드에 따라 복호를 수행해야 한다.
적응적 V-RDPCM 모드를 기준으로 설명한다. 디코더는 화면간 예측에 기반하여 현재의 프레임을 복호한다. 디코더는 복호하고자하는 블록이 프레임의 첫 번째 행(i=0)에 위치한 경우 현재의 화면간 예측된 값을 그대로 잔차 신호로 사용한다(수학식 4에서 i=0인 경우에 대응됨). 복호하고자하는 블록이 프레임에서 두 번째 행 이후(i>0)에 위치한 경우 디코더는 먼저 복호된 영역에서 적어도 일부를 이용하여 샘플 신호에 대한 가중치를 결정한다(220). 가중치 결정 과정은 전술한 수학식 5 내지 수학식 8과 동일하다. 디코더는 현재의 잔차 신호에 가중치가 부여된 인접한 샘플 신호의 합산값을 더하여 현재의 장차 신호에 대한 RDPCM 예측을 수행한다(230). 디코더는 현재 프레임 내에서 잔차 신호에 대한 RDPCM 예측을 모두 수행한다. 현재 프레임에 대한 잔차 신호 예측이 종료되지 않은 상태라면 다음 잔차 신호에 대한 RDPCM 예측을 수행한다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (12)

  1. 영상 처리 장치가 화면간 예측이 수행된 프레임에서 RDPCM 예측을 수행하고자 하는 현재의 블록에 인접하고 RDPCM 예측이 수행된 복수의 샘플 블록을 결정하는 단계;
    상기 영상 처리 장치가 RDPCM 예측이 수행된 영역을 기준으로 상기 복수의 샘플 블록에서 양자화된 잔차 신호에 대한 가중치를 결정하는 단계; 및
    상기 영상 처리 장치가 상기 양자화된 잔차 신호에 상기 가중치를 부여한 값을 이용하여 상기 현재의 블록에 대한 RDPCM을 수행하는 단계를 포함하는 영상에 대한 적응적 RDPCM 방법.
  2. 제1항에 있어서,
    상기 RDPCM이 V-RDPCM인 경우 상기 복수의 샘플 블록은 상기 현재의 블록에 바로 인접한 좌상측 블록, 상측 블록 및 우상측 블록이고, 상기 RDPCM이 R-RDPCM인 경우 상기 복수의 샘플 블록은 상기 현재의 블록에 바로 인접한 좌상측 블록, 좌측 블록 및 좌하측 블록인 영상에 대한 적응적 RDPCM 방법.
  3. 제1항에 있어서,
    상기 현재의 블록이 프레임에서 첫 번째 행에 위치한 경우 상기 현재의 블록에 대한 잔차 신호는 화면간 예측으로 산출된 값을 그대로 사용하는 영상에 대한 적응적 RDPCM 방법.
  4. 제1항에 있어서,
    상기 현재의 블록이 프레임에서 두 번째 행 이후에 위치한 경우 상기 현재의 블록에 대한 잔차 신호는 상기 현재의 블록에 대한 화면간 예측 결과값에서 상기 복수의 샘플 블록 각각에 대해 상기 양자화된 잔차 신호에 가중치를 곱한 값을 감산한 값인 영상에 대한 적응적 RDPCM 방법.
  5. 인코더가 현재 프레임에 대해 화면간 예측을 수행하는 단계;
    상기 인코더가 상기 현재 프레임에서 RDPCM을 수행하고자 하는 현재의 블록에 인접하고 RDPCM으로 잔차 신호가 예측된 샘플 블록에 대한 가중치를 결정하는 단계;
    상기 인코더가 상기 현재의 블록에 대한 화면간 예측의 결과값, 상기 샘플 블록에 대한 잔차 신호 및 상기 가중치를 이용하여 상기 현재 블록에 대한 RDPCM을 수행하여 잔차 신호를 예측하는 단계; 및
    상기 인코더가 상기 현재 블록에 대한 잔차 신호를 엔트로피 코딩하는 단계를 포함하는 적응적 RDPCM에 기반한 인코딩 방법.
  6. 제5항에 있어서,
    상기 인코더가 비트율-왜곡 최적화를 이용하여 상기 RDPCM을 수행하지 여부를 결정하는 단계를 더 포함하는 적응적 RDPCM에 기반한 인코딩 방법.
  7. 제5항에 있어서,
    상기 RDPCM이 V-RDPCM인 경우 상기 복수의 샘플 블록은 상기 현재의 블록에 바로 인접한 좌상측 블록, 상측 블록 및 우상측 블록이고, 상기 RDPCM이 R-RDPCM인 경우 상기 복수의 샘플 블록은 상기 현재의 블록에 바로 인접한 좌상측 블록, 좌측 블록 및 좌하측 블록인 적응적 RDPCM에 기반한 인코딩 방법.
  8. 제5항에 있어서,
    상기 인코더는 상기 현재의 블록이 프레임에서 두 번째 행 이후에 위치한 경우 상기 현재의 블록에 대한 잔차 신호를 상기 현재의 블록에 대한 화면간 예측 결과값에서 상기 복수의 샘플 블록 각각에 대해 양자화된 잔차 신호에 가중치를 곱한 값을 감산한 값으로 결정하는 적응적 RDPCM에 기반한 인코딩 방법.
  9. 디코더가 인코딩된 비트스트림에서 적응적 RDPCM 수행 여부에 대한 정보를 추출하는 단계;
    상기 디코더가 화면간 예측을 기반하여 복호된 현재 프레임에서 RDPCM을 수행하고자 하는 현재의 블록에 인접하고 RDPCM으로 잔차 신호가 예측된 샘플 블록에 대한 가중치를 결정하는 단계; 및
    상기 인코더가 상기 현재의 블록에 대한 화면간 예측의 결과값, 상기 샘플 블록에 대한 잔차 신호 및 상기 가중치를 이용하여 상기 현재 블록에 대한 RDPCM을 수행하여 잔차 신호를 복호하는 단계를 포함하는 적응적 RDPCM에 기반한 디코딩 방법.
  10. 제9항에 있어서,
    상기 RDPCM이 V-RDPCM인 경우 상기 복수의 샘플 블록은 상기 현재의 블록에 바로 인접한 좌상측 블록, 상측 블록 및 우상측 블록이고, 상기 RDPCM이 R-RDPCM인 경우 상기 복수의 샘플 블록은 상기 현재의 블록에 바로 인접한 좌상측 블록, 좌측 블록 및 좌하측 블록인 적응적 RDPCM에 기반한 디코딩 방법.
  11. 제9항에 있어서,
    상기 디코더는 상기 현재의 블록이 프레임에서 첫 번째 행에 위치한 경우 상기 현재 블록에 대한 잔차 신호는 상기 현재의 블록에 대한 화면간 예측 결과값을 그대로 사용하는 적응적 RDPCM에 기반한 디코딩 방법.
  12. 제9항에 있어서,
    상기 디코더는 상기 현재의 블록이 프레임에서 두 번째 행 이후에 위치한 경우 상기 현재의 블록에 대한 잔차 신호를 상기 현재의 블록에 대한 화면간 예측 결과값에서 상기 복수의 샘플 블록 각각에 대해 양자화된 잔차 신호에 가중치를 곱한 값을 가산합 값으로 결정하는 적응적 RDPCM에 기반한 디코딩 방법.
KR1020160111417A 2016-08-31 2016-08-31 영상에 대한 적응적 rdpcm 방법, 적응적 rdpcm에 기반한 인코딩 방법 및 적응적 rdpcm에 기반한 디코딩 방법 KR101845622B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160111417A KR101845622B1 (ko) 2016-08-31 2016-08-31 영상에 대한 적응적 rdpcm 방법, 적응적 rdpcm에 기반한 인코딩 방법 및 적응적 rdpcm에 기반한 디코딩 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160111417A KR101845622B1 (ko) 2016-08-31 2016-08-31 영상에 대한 적응적 rdpcm 방법, 적응적 rdpcm에 기반한 인코딩 방법 및 적응적 rdpcm에 기반한 디코딩 방법

Publications (2)

Publication Number Publication Date
KR20180024702A true KR20180024702A (ko) 2018-03-08
KR101845622B1 KR101845622B1 (ko) 2018-04-05

Family

ID=61726418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160111417A KR101845622B1 (ko) 2016-08-31 2016-08-31 영상에 대한 적응적 rdpcm 방법, 적응적 rdpcm에 기반한 인코딩 방법 및 적응적 rdpcm에 기반한 디코딩 방법

Country Status (1)

Country Link
KR (1) KR101845622B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020185058A1 (ko) * 2019-03-13 2020-09-17 현대자동차주식회사 차등 부호화를 이용하는 영상 복호화 장치
WO2020218793A1 (ko) * 2019-04-20 2020-10-29 엘지전자 주식회사 Bdpcm에 기반한 영상 코딩 방법 및 그 장치
WO2021141462A1 (ko) * 2020-01-10 2021-07-15 성균관대학교산학협력단 Bdpcm을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021141227A1 (ko) 2020-01-10 2021-07-15 엘지전자 주식회사 영상 디코딩 방법 및 그 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100355829B1 (ko) * 2000-12-13 2002-10-19 엘지전자 주식회사 영상의 공간적 유사성을 이용한 ｄｐｃｍ 영상 부호화 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020185058A1 (ko) * 2019-03-13 2020-09-17 현대자동차주식회사 차등 부호화를 이용하는 영상 복호화 장치
WO2020218793A1 (ko) * 2019-04-20 2020-10-29 엘지전자 주식회사 Bdpcm에 기반한 영상 코딩 방법 및 그 장치
US20220038698A1 (en) * 2019-04-20 2022-02-03 Lg Electronics Inc. Bdpcm-based image coding method and device therefor
US11470320B2 (en) 2019-04-20 2022-10-11 Lg Electronics Inc. BDPCM-based image coding method and device therefor
US11812022B2 (en) 2019-04-20 2023-11-07 Lg Electronics Inc. BDPCM-based image coding method and device therefor
WO2021141462A1 (ko) * 2020-01-10 2021-07-15 성균관대학교산학협력단 Bdpcm을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
KR101845622B1 (ko) 2018-04-05

Similar Documents

Publication Publication Date Title
US10659804B2 (en) Method and apparatus for encoding/decoding images using adaptive motion vector resolution
RU2608264C2 (ru) Способ и устройство для кодирования/декодирования вектора движения
KR20200026863A (ko) 인트라 예측 방법 및 그 장치
KR101943049B1 (ko) 영상 부호화/복호화 방법 및 장치
CN102792695A (zh) 通过使用大变换单元对图像进行编码和解码的方法和设备
US20220046268A1 (en) Method and apparatus for encoding/decoding images using adaptive motion vector resolution
JP2015111895A (ja) ピクチャ境界の符号化単位を符号化／復号化する方法及びその装置
KR101845622B1 (ko) 영상에 대한 적응적 rdpcm 방법, 적응적 rdpcm에 기반한 인코딩 방법 및 적응적 rdpcm에 기반한 디코딩 방법
US9491480B2 (en) Motion vector encoding/decoding method and apparatus using a motion vector resolution combination, and image encoding/decoding method and apparatus using same
CN102474611A (zh) 通过控制运动矢量的精度对图像编码/解码的方法和设备
CN102870411A (zh) 用于视频处理的装置、方法和计算机程序
CN102845063A (zh) 用于视频编码的设备、方法和计算机程序
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
KR101377529B1 (ko) 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치
CN105049854A (zh) 用于对画面进行编码和解码的方法及对应设备
KR20100044333A (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
WO2012081895A1 (ko) 인트라 예측 방법 및 그 장치
KR20110098089A (ko) 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
KR101997655B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20110050914A (ko) 방향적 인트라 예측 장치 및 그 예측 방법
KR20170126817A (ko) 고속 영상 부호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right