KR20140057669A - 인트라 예측 장치 - Google Patents

인트라 예측 장치 Download PDF

Info

Publication number
KR20140057669A
KR20140057669A KR1020147010241A KR20147010241A KR20140057669A KR 20140057669 A KR20140057669 A KR 20140057669A KR 1020147010241 A KR1020147010241 A KR 1020147010241A KR 20147010241 A KR20147010241 A KR 20147010241A KR 20140057669 A KR20140057669 A KR 20140057669A
Authority
KR
South Korea
Prior art keywords
block
unit
encoding
subset
intra prediction
Prior art date
Application number
KR1020147010241A
Other languages
English (en)
Inventor
오수미
양문옥
Original Assignee
엠앤케이홀딩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44834700&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20140057669(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 엠앤케이홀딩스 주식회사 filed Critical 엠앤케이홀딩스 주식회사
Publication of KR20140057669A publication Critical patent/KR20140057669A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

높은 영상 품질을 유지하면서 동영상 신호의 압축률을 높이기 위한 동영상 부호화 장치가 개시된다. 잔차 블록에 소요되는 비트수를 최소화하기 위해 변환 부호화 블록의 크기에 따라 양자화된 변환 계수들을 복수개의 서브셋으로 적을적으로 분할하고, 각각의 서브셋 단위로 0이 아닌 양자화 계수들을 스캔하여 부호화한다. 또한, 상기 현재 블록의 상기 현재 블록에 인접한 유효한 참조 화소들과, 상기 생성된 참조화소들을 필터링한 후에 상기 필터링된 참조 화소들을 이용하여 현재 블록의 인트라 예측 모드를 결정한다. 따라서, 현재 블록의 잔차 블록에 소요되는 데이터량을 최소화할 수 있는 효과가 있다.

Description

영상 부호화 장치 및 방법{IMAGE ENCODING DEVICE AND METHOD}
본 발명은 영상처리장치 및 방법에 관한 것으로, 더욱 상세하게는 영상의 잔차 신호의 양을 줄이고, 잔차 신호를 엔트로피 부호화하는 장치에 관한 것이다.
높은 영상 품질을 유지하면서 낮은 데이터 레이트로 동영상 신호를 효율적으로 전송하기 위해 다양한 디지털 동영상 압축 기술이 제안되어 왔다. 이러한 동영상 압축 기술로는 H.261, MPEG-2/H.262, H.263, MPEG-4, AVC/H.264등이 있다. 상기한 압축 기술은 이산 코사인 변환(DCT: Discrete Cosine Transform) 기법, 움직임 보상(MC: Motion Compensation) 기법, 양자화(Quantization) 기법, 엔트로피 부호화(Entropy coding) 기법 등을 포함하고 있다.
영상 부호화를 위해 각 픽쳐는 복수개의 슬라이스로 나누어지고, 각 슬라이스는 복수개의 소정 크기의 부호화 단위 블록으로 나누어진다. HD급 이상의 영상에서는 영상이 비교적 평탄해지는 영역이 많으므로, MB보다 큰 단위의 부호화 단위 블록으로 부호화를 하는 것이 영상 압축률을 높일 수 있다.
그러나, 부호화 단위 블록의 크기가 커짐에 따라, 영상 압축의 복잡도를 증가시키지 않으면서 영상 압축률을 높이기 위해서는 새로운 예측 모드들의 도입이 요구되고, 변환 부호화, 엔트로피 부호화, 인트라 예측 및 인터 예측 부호화에서의 변화가 요구된다.
본 발명은 동영상 부호화 장치에 관한 것으로, 보다 상세하게는 동영상 소정 크기 이상의 변환 부호화된 잔차신호를 효과적으로 부호화하기 위한 장치를 제공하기 위한 것이다.
상기한 본 발명의 목적을 달성하기 위한 본 발명에 따른 동영상 부호화 장치는 입력되는 영상을 소정 크기의 부호화 단위 블록으로 분할하고, 상기 부호화 단위 블록별로 예측 부호화 블록의 크기 및 예측 모드를 결정하는 부호화 모드 결정부, 부호화 단위 블록과 인트라 예측 또는 인터 예측을 통해 생성된 예측 블록의 잔차 블록을 변환부호화 및 양자화하는 변환부호화/양자화부, 상기 양자화된 잔차 블록을 역양자화하고 역변환하여 주파수 영역으로 변환하는 역양자화/변환복호화부, 상기 역양자화/변환복호화부로부터 수신된 영상 데이터에 디블록킹 필터를 과정을 적용하는 디블록킹 필터링부, 예측 부호화 블록을 생성하는 예측 블록 생성부 및 상기 변환부호화/양자화부에 의해 양자화된 변환 계수를 부호화하는 엔트로피 부호화부를 포함하고, 상기 엔트로피 부호화부는 변환 부호화 블록의 크기가 소정 크기 이상인 경우 양자화된 변환 계수들을 복수개의 서브셋으로 분할하고, 각각의 서브셋 단위로 0이 아닌 양자화 계수들을 스캔하여 엔트로피 부호화한다.
본 발명에 따르면, 부호화하고자 하는 블록의 잔차 신호의 양을 줄임으로써 부호화 효율을 향상시킬 수 있다. 또한, 엔트로피 부호화시에 0이 아닌 양자화된 변환 계수를 효과적으로 스캔함으로써, 엔트로피 부호화시 쇼요되는 비트수를 최소화시킴으로써 부호화 효율을 향상시킬 수 있다.
도 1은 본 발명에 따른 실시예에 따른 블록분할 구조를 나타내는 도면이다.
도 2는 본 발명에 따른 부호화 모드 결정 방법을 나타내는 도면이다.
도 3은 본 발명에 따른 동영상 부호화 장치를 나타내는 도면이다.
도 4 내지 도 6은 본 발명에 따른 방향 적응적 블록분할 방법을 나타내는 도면이다.
도 7은 잔차신호를 부호화하는 방법을 설명하는 도면이다.
이하, 본 발명의 여러가지 실시예들을 예시적인 도면을 통해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
영상 부호화를 위해 각 픽쳐는 복수개의 슬라이스로 나누어지고, 각 슬라이스는 복수개의 소정 크기의 부호화 단위 블록으로 나누어진다. HD급 이상의 영상에서는 영상이 비교적 평탄해지는 영역이 많으므로, 16x16 크기의 MB보다 큰 단위의 부호화 단위 블록으로 부호화를 하는 것이 영상 압축률을 높일 수 있다.
본 발명에 따른 부호화 단위 블록은 16x16 크기의 MB뿐만 아니라 32x32 크기의 블록, 64x64 크기의 블록일 수 있다. 또한 8x8 크기 또는 더 작은 크기의 블록도 부호화 단위 블록이 될 수 있다. 편의상 가장 큰 부호화 단위 블록을 슈퍼매크로블록(SMB)로 지칭한다. 그리고, 상기 슈퍼매크로블록의 크기는 가장 작은 부호화 단위 블록의 크기를 나타내는 정보 및 깊이 정보로 결정될 수 있다. 상기 깊이 정보는 상기 슈퍼매크로블록의 크기와 가장 작은 부호화 단위 블록의 크기 사이의 차이값을 나타낸다.
따라서, 영상 시퀀스의 모든 픽쳐의 부호화에 사용하게 될 부호화 단위 블록들은 SMB 및 이들의 서브블록들일 수 있다. 영상 시퀀스에 사용하게 될 부호화 단위 블록의 종류는 디폴트로 지정되거나 시퀀스 헤더에서 지정할 수 있다. 상기 시퀀스 헤더에서 지정할 경우, 상기 영상 시퀀스에 사용하게 될 부호화 단위 블록의 종류는 상기 가장 작은 부호화 단위 블록의 크기 및 깊기 정보로 결정된다.
각 픽쳐 또는 슬라이스는 SMB 단위로 나누어진다. 그리고, 각 SMB는 SMB 또는 SMB의 서브블록 단위로 인트라 예측(Intra Pediction) 또는 인터 예측(Inter Prediction) 부호화되고 복호화된다.
부호화 단위 블록(즉, SMB 또는 SMB의 서브블록)이 정확히 복호화되기 위해서는, 부호기에서는 상기 부호화 단위 블록의 예측 부호화 블록의 크기 정보 및 인트라 예측 부호화되었는지 인터 예측 부호화되었는지를 나타내는 예측 모드 정보를 비트스트림에 추가하여야 한다. 이를 위해 상기 예측 모드 정보와 예측 부호화 블록의 크기를 나타내는 정보가 상기 부호화 단위 블록에 포함되어야 한다. 상기 예측 모드는 슬라이스의 타입에 따라 달라진다.
슬라이스의 타입이 인트라(I)인 경우에는 슬라이스 내의 모든 예측 부호화 블록인 인트라 예측 되므로, 예측 부호화 블록의 크기에 따라 예측 부호화 블록의 예측 타입을 결정할 수 있다. 그러나, 슬라이스 타입이 단방향 예측(P) 또는 쌍방향 예측(B)인 경우에는 예측 모드 정보 및 예측 부호화 블록의 크기에 따라 결정되는 예측 부호화 블록의 예측 타입을 결정하는 것이 바람직하다. 따라서, 슬라이스 타입, 상기 예측 모드 정보 및 예측 부호화 블록의 크기를 나타내는 정보에 기초하여 상기 예측 부호화 블록의 예측 타입을 생성하여 상기 부호화 단위 블록의 헤더에 삽입하는 것이 바람직하다.
예측 부호화 블록이 인트라 예측 부호화 되는 경우에는 상기 예측 타입 이외에도 인트라 예측에 사용되는 인트라 예측 모드 정보가 복호기로 전송되어야 한다.
예측 부호화 블록이 인터 예측 부호화 되는 경우에는 단방향 예측과 쌍방향 예측 중 어느 하나로 부호화된다. 단방향 예측의 경우에는 단방향 예측을 위한 예측 부호화 블록의 예측 타입 이외에도 예측시 사용된 참조 픽쳐 정보 및 움직임 벡터 정보가 비트스트림에 포함되어야 한다. 쌍방향 예측의 경우에는 쌍방향 예측을 위한 블록의 예측 타입 이외에 쌍방향 예측에 사용된 2개의 참조 픽쳐 정보 및 움직임 벡터 정보가 예측 부호화 블록의 헤더에 포함되어야 한다. 상기 움직임 벡터 정보는 움직임 벡터 및 움직임 벡터 예측자(Motion vector predictor)를 나타내는 정보를 포함할 수 있다.
도 1은 본 발명에 따른 64x64 크기의 부호화 단위 블록(SMB)에 대해 허용 가능한 예측 부호화 블록의 계층적 분할 구조를 나타낸다.
SMB가 부호화 단위 블록으로 사용될 경우에는 도 1에 도시된 바와 같이, 블록분할이 4단계의 서브 블록분할단계로 구성되는 것이 바람직하나, 이에 한정되는 것은 아니다. 블록 분할이 4단계의 서브블록 분할단계로 구성될 경우에는 총 13개의 블록 타입(64x64, 64x32, 32x64, 32x32, 32x16, 16x32, 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4)이 정의될 수 있다.
이 경우, MB보다 큰 사이즈의 인터 예측 부호화 블록들에 대한 전송할 데이터가 존재하지 않는 경우가 발생한다. 따라서, 예측 블록의 크기가 64x64인 경우에는 MB64_SKIP mode, SMB가 32x32일 경우에는 MB32_ SKIP mode를 새롭게 추가하는 것이 바람직하다. 상기 모드 정보를 복호기로 전송하기 위해 MB64_SKIP_flag 또는 MB32_SKIP_flag가 사용될 수 있다. 이들 값이 1이면 대응 예측 부호화 블록의 전송 데이터가 존재하지 않음을 나타낸다.
한편, 연속적인 SMB가 모두 부호화되지 않는 경우에는 맨 처음의 SMB에만 MB64_SKIP_flag를 삽입하고, 연속하는 SMB에는 상기 정보를 생략할 수도 있다. 이 경우 연속하여 SKIP되는 SMB의 개수를 slice 또는 맨 앞의 SMB에 추가할 수 있다. 구체적으로, 연속되는 SMB가 모두 부호화되지 않으면, 첫번째 SMB의 SMB_SKIP_flag=1로 설정하고, 연속하는 여러 개의 SMB에 대해서도 공통적으로 적용될 수 있다. 이 경우에는 연속하여 부호화되지 않는 SMB의 개수에 대응하는 정보 (예를 들어, SMB_SKIP_number)를 슬라이스에 추가할 수 있다.
부호화 단위 블록이 32x32 크기를 갖는 경우에는 기존에 존재하는 블록들(16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4)에 더하여 32x32, 32x16, 16x32을 예측 부호화 블록으로 사용할 수 있다.
인터 예측 모드에서의 부호화 단위 블록의 예측 타입(Mb32_type)은 이 0이면 32x32 partition, 1이면 32x16 partition, 2이면 16x32 partition, 3이면 16x16 partition을 나타내도록 할 수 있다.
부호화 단위 블록이 4개의 하위 부호화 단위 블록으로 나뉘어지면, 4개의 하위 부호화 단위 블록은 래스터 스캔 순서로 부호화되어 전송된다. 이 경우, 양자화 파라미터는 부호화 단위 블록마다, 모든 하위 부호화 단위 블록에 동일한 양자화 파라미터가 적용될 경우에는 상위 부호화 단위 블록의 헤더에서 한번만 전송하는 것이 바람직하다. 그러나, 하위 부호화 단위 블록에서 양자화 파라미터를 변경할 필요가 있는 경우에는 상위 부호화 단위 블록 또는 선행하는 동일 레벨의 부호화 단위 블록의 양자화 파라미터를 기준으로 차이값만을 전송할 수 있다.
각 하위 부호화 단위 블록은 쿼드트리(quadtree) 방식으로 분할되고, cbp 및 잔차 계수도 쿼드트리 방식으로 전송될 수 있다. 1비트의 cbp를 도입하여 그 값이 1이면 상기 부호화 단위 블록이 적어도 하나 이상의 0이 아닌 계수를 갖고, 0이면 모든 계수가 0임을 나타낼 수 있다.
도 2는 SMB의 크기가 64x64인 경우에 결정되는 부호화 모드의 결정 방법을 나타낸다.
따라서, 도 2에 도시된 바와 같이, SMB가 64x64 블록인 경우, 부호화기는 64x64 블록이 스킵 가능한지 여부를 결정하고, 스킵 가능한 경우에는 부호화 모드를 SKIP으로 결정한다. 이때에는 mb64_skip_flag가 복호기로 전 송되어야 한다. 64x64 블록에 부호화할 데이터가 존재하되 32x32 블록으로 분할되지 않는 경우에는 SMB가 64x64, 64x32, 32x64 중 어느 크기로 부호화되는지 여부에 대한 정보, 인트라 부호화되는지 인터 부호화되는지 여부에 대한 정보를 SMB 헤더에 삽입하고, 이들 정보에 따라 부호화된 데이터를 이용하여 SMB 데이터 블록을 생성한다.
64x64 블록에 부호화할 데이터가 존재하되 32x32 블록으로 분할되는 경우에는 마찬가지로 해당 32x32 블록에 부호화할 데이터가 존재하는지를 판단하여 존재하지 않을 경우 상기 32x32 블록 모드를 SKIP으로 결정하고, mb32_skip_flag를 복호기로 전송한다.
그러나, 상기 32x32 블록에 부호화할 데이터가 존재하되 16x16 블록으로 분할되지 않는 경우에는 상기 32x32 블록이 32x32, 32x16, 16x32 중 어느 크기로 부호화되는지 여부에 대한 정보, 인트라 부호화되는지 인터 부호화되는지 여부에 대한 정보를 상기 32x32 블록 헤더에 삽입하고, 이들 정보에 따라 부호화된 데이터를 이용하여 데이터 블록을 생성한다.
상기 32x32 블록에 부호화할 데이터가 존재하되 16x16 블록으로 분할되는 경우에는 상기 16x16 블록에 부호화할 데이터가 존재하는지를 판단하여 존재하지 않을 경우 상기 16x16 블록 모드를 SKIP으로 결정하고, mb16_skip_flag를 복호기로 전송한다. 그러나, 상기 16x16 블록에 부호화할 데이터가 존재하는 경우에는 각 16x16 블록이 16x16, 16x8, 8x16 중 어느 크기로 부호화되는지 여부에 대한 정보, 인트라 부호화되는지 인터 부호화되는지 여부에 대한 정보를 상기 16x16 블록 헤더에 삽입하고, 이들 정보에 따라 부호화된 데이터를 이용하여 데이터 블록을 생성한다.
이와 같이 다양한 크기의 블록이 사용될 경우 블록 크기 정보는 시퀀스 레벨, 픽쳐레벨, 슬라이스 레벨, SMB 또는 그 하위의 부호화 단위 블록마다 바뀔 수 있다.
도 3은 본 발명에 따른 동영상 부호화 장치를 나타내는 블록도이다.
도 3를 참조하면, 본 발명에 따른 동영상 부호화 장치는 부호화 모드 결정부(110), 변환부호화/양자화부(120), 엔트로피 부호화부(130), 인트라 예측부(140), 움직임 보상부(150), 움직임 추정부(155), 역양자화/변환복호화부(160), 블록 필터링부(170), 픽쳐 저장부(180), 감산부 및 가산부를 포함한다.
부호화 모드 결정부(110)는 입력되는 비디오 신호를 분석하여 픽쳐를 소정 크기의 부호화 단위 블록으로 분할하고, 상기 부호화 단위 블록별로 예측 부호화 블록의 크기 및 예측 모드를 결정한다. 그리고, 부호화 모드 결정부(110)는 결정된 부호화 크기에 대응하는 예측 부호화 블록을 감산기(180)로 보낸다.
변환부호화/양자화부(120)는 감산기로부터 수신된 잔차 블록을 변환부호화하기 위해 변환 블록의 크기를 결정한다. 상기 변환 블록의 크기는 상기 예측 부호화 블록의 크기보다 작거나 같은 것이 바람직하나, 인터 모드에서는 달리 설정될수도 있다. 즉, 인터 모드에서는 상기 변환 블록의 크기가 상기 예측 부호화 블록보다 클 수 있다. 이 경우, 변환부호화/양자화부는 감산기(180)로부터 수신된 복수개의 잔차 블록을 수신하여 복수개의 잔차 블록으로 구성된 하나의 변환 부호화 블록을 생성한다. 상기 변환 블록의 크기는 상기 부호화 단위 블록보다는 작거나 같다. 그리고, 상기 변환부호화/양자화부는 상기 변환 블록을 2차원의 이산 코사인 변환(DCT)하여 변환 계수를 생성한다. 상기 DCT는 정수변환 DCT(integer DCT)인 것이 바람직하다.
그리고, 변환부호화/양자화부(120)는 상기 변환 계수들을 양자화하기 위한 양자화 스텝 사이즈를 결정하고, 결정된 양자화 스텝 사이즈 및 부호화 모드에 따라 결정되는 양자화 매트릭스를 이용하여 상기 변환 계수를 양자화한다.
역양자화/변환복호화부(160)는 변환부호화/양자화부(120)에 의해 양자화된 양자화 계수를 역양자화한후, 역변환하여 주파수 영역으로 변환된 잔차 블록을 공간 영역의 잔차 블록으로 복원한다.
디블록킹 필터링부(160)는 역양자화/역변환부호화부(141)로부터 역양자화 및 역변환된 영상 데이터를 입력 받아 블록킹(blocking) 효과를 제거하기 위한 필터링 과정을 수행한다. 상기 디블록킹 필터링 과정은 미리 정해진 크기 이상의 크기를 갖는 예측 부호화 블록 및 변환 블록의 경계에 적용하는 것이 바람직하다. 상기 크기는 8x8일 수 있다. 상기 디블록킹 필터링 과정은 필터링할 경계(boundary)를 결정하는 단계, 상기 경계에 적용할 경계 필터링 강도(bounary filtering strength)를 결정하는 단계, 디블록킹 필터의 적용 여부를 결정하는 단계, 상기 디블록킹 필터를 적용할 것으로 결정된 경우, 상기 경계에 적용할 필터를 선택하는 단계를 포함한다.
상기 디블록킹 필터의 적용 여부는 i) 상기 경계 필터링 강도가 0보다 큰지 여부 및 ii) 상기 필터링할 경계에 인접한 2개의 블록(P 블록, Q블록) 경계 부분에서의 픽셀값들이 변화 정도를 나타내는 값이 양자화 파라미터에 의해 결정되는 제1 기준값보다 작은지 여부에 의해 결정된다.
상기 필터는 적어도 2개 이상인 것이 바람직하다. 블록 경계에 위치한 2개의 픽셀들간의 차이값의 절대값이 제2 기준값보다 크거나 같은 경우에는 상대적으로 약한 필터링을 수행하는 필터를 선택한다. 상기 제2 기준값은 상기 양자화 파라미터 및 상기 경계 필터링 강도에 의해 결정된다.
픽쳐 저장부(180)는 필터링된 영상 데이터를 디블록킹 필터링부(160)로부터 입력 받아 픽쳐(picture) 단위로 영상을 복원하여 저장한다. 픽쳐는 프레임 단위의 영상이거나 필드 단위의 영상일 수 있다. 픽쳐 저장부(180)는 다수의 픽쳐를 저장할 수 있는 버퍼(도시되지 않음)를 구비한다.
움직임 추정부(155)는 상기 픽쳐 저장부(180)에 저장된 적어도 하나 이상의 참조 픽쳐를 이용하여 움직임 추정을 수행하고, 참조 픽쳐를 나타내는 참조 픽쳐 인덱스 및 움직임 벡터를 출력한다.
움직임 보상부(150)는 움직임 추정부(155)로부터 입력된 참조 픽쳐 인덱스 및 움직임 벡터에 따라, 픽쳐 저장부(150)에 저장된 다수의 참조 픽쳐들 중 움직임 추정에 이용된 참조 픽쳐로부터, 부호화하고자 하는 블록에 대응하는 예측 블록을 추출하여 출력한다.
인트라 예측부(140)는 예측이 수행되는 픽처 내부의 재구성된 화소값을 이용하여 인트라 예측 부호화를 수행한다. 인트라 예측부(140)는 예측 부호화할 현재 블록을 입력 받아 현재 블록의 크기에 따라 미리 설정된 개수의 인트라 예측 모드 중에 하나를 선택하여 인트라 예측을 수행한다.
엔트로피 부호화부(130)는 변환부호화/양자화부(120)에 의해 양자화된 양자화 계수, 움직임 추정부(155)에 의해 생성된 움직임 정보 등를 엔트로피 부호화한다. 양자화된 변환 계수는 미리 정해진 스캐닝 방법에 의해 1차원의 양자화 변환 계수로 변환되어 엔트로피 부호화된다.
이하, 도 3을 참조하여 인트라 예측 과정을 설명한다.
먼저, 인트라 예측부(140)는 인트라 예측 부호화 블록의 위치 및 크기 정보를 부호화 모드 결정부(110)로부터 수신한다.
다음으로, 현재 예측 부호화 블록의 인트라 예측 모드를 결정하기 위해 유효한 참조 화소를 픽쳐 저장부(180)로부터 수신한다. 상기 참조 화소들은 부호화되어 복원된 화소들로서, 현재 픽쳐의 이전에 부호화된 영역에서 현재 블록에 인접한 화소들이다. 현재 블록이 현재 픽쳐의 상측 경계에 위치하는 경우에는 현재 블록의 상측에 인접한 화소들이 정의되지 않는다. 현재 블록이 현재 픽쳐의 좌측 경계에 위치하는 경우에는 현재 블록의 좌측에 인접한 화소들이 정의되지 않는다. 또한, 현재 블록이 슬라이스 상측 경계 및 좌측 경계에 위치하는 경우, 상측 또는 좌측에 인접한 화소들이 정의되지 않는다.
상기와 같이 현재 블록의 좌측 또는 상측에 인접한 화소들이 존재하지 않거나, 미리 부호화되어 복원된 화소들이 존재하지 않는 경우에는 유효한 화소들만을 이용하여 현재 블록의 인트라 예측 모드를 결정할 수 있다.
그러나, 상기 존재하지 않는 참조 화소들을 현재 블록에 인접한 화소들 또는 인접하지는 이용 가능한 화소들을 이용하여 참조 화소를 생성할 수도 있다. 예를 들어, 상측 블록의 화소들이 유효하지 않은 경우에는 좌측 화소들의 일부를 이용하여 상측 화소들을 생성할 수 있다.
한편, 현재 블록의 상측 또는 좌측 화소들이 존재하는 경우에도 상기 화소들이 속하는 블록의 부호화 모드에 따라 유효하지 않은 화소로 결정될 수 있다. 예를 들어, 현재 블록의 상측에 인접한 화소가 속하는 블록이 인터 부호화되어 복원된 블록일 경우에는 상기 화소들을 유효하지 않은 화소들로 판단할 수 있다. 이 경우에는 현재 블록에 인접한 블록이 인트라 부호화되어 복원된 블록에 속하는 화소들을 이용하여 유효하지 않은 참조화소들의 위치에 대응하는 위치에 유효한 참조 화소들을 생성할 수 있다.
다음으로, 참조 화소들을 이용하여 현재 블록의 인트라 예측 모드를 결정한다. 인트라 예측 모드의 수는 블록의 크기에 의존한다.
블록의 크기에 따라, 33개, 16개 또는 2개의 방향성 모드들(directional modes)과 하나 이상의 비방향성 모드들이 허용된다. 상기 비방향성 모드는 DC 모드 또는 플래너(planar) 모드일 수 있다.
또한, 동일한 블록 크기를 갖더라도 서로 다른 개수의 유효한 인트라 예측 모드의 수가 할당될 수 있다. 동일한 크기의 블록에 서로 다른 개수의 인트라 예측 모드가 허용됨을 나타내기 위해 시퀀스 헤더, 픽쳐 헤더, 슬라이스 헤더 및 부호화 유닛 헤더 중 적어도 하나에 이를 나타내는 정보를 삽입할 수 있다. 시퀀스 헤더 또는 픽쳐 헤더에 삽입하는 것이 바람직하다.
다음으로, 현재 블록의 인트라 예측 모드가 결정되면, 현재 블록의 예측 블록을 생성한다. 상기 예측 블록은 현재 블록의 인트라 예측 모드에 기초하여 유효한 참조 화소(생성된 화소 포함) 또는 이들의 선형결합을 이용하여 생성한다. 예를 들어, 특정 방향의 방향성 모드에서는 현재 블록의 상측의 유효한 참조 픽셀과 현재 블록이 좌측의 유효한 참조 픽셀들을 이용하여 예측 블록을 생성할 수 있다.
예측 블록을 생성하기 위해 사용되는 상기 유효한 참조 화소들은 필터링된 참조 화소들일 수 있다. 상기 유효한 참조 화소들에 적용할 필터는 복수개인 것이 바람직하다. 또한, 상기한 복수개의 필터가 현재 블록의 크기 및 인트라 예측 모드에 따라 적응적으로 적용되는 것이 바람직하다.
다음으로, 현재 블록과 상기 인트라 예측부(120)에 의해 생성된 예측 블록의 잔차 블록은 변환부호화/양자화부(140) 및 엔트로피 부호화부(150)를 통해 부호화된다.
한편, 현재 블록의 인트라 예측 모드는 별도로 부호화된다. 상기 인트라 예측 모드의 부호화는 인트라 예측부(120)에서 행해질 수도 있고, 별도의 인트라 예측 모드 부호화 장치(미도시) 또는 엔트로피 부호화부(150)에서 행해질 수도 있다.
현재 블록의 상측 블록의 인트라 예측모드와, 현재 블록의 좌측 블록의 인트라 예측 모드를 이용하여 현재 블록의 인트라 예측 모드를 부호화한다.
먼저, 상기 현재 블록의 좌측 및 상측 블록의 인트라 예측 모드를 유도한다. 상기 상측 블록이 복수개 존재하는 경우에는 가장 좌측에 위치하는 상측 블록 또는 가장 작은 모드번호를 갖는 블록을 현재 블록의 상측 블록으로 설정한다. 또한, 상기 좌측 블록이 복수개 존재하는 가장 상측에 위치하는 좌측 블록 또는 가장 작은 모드번호를 갖는 블록을 현재 블록의 좌측 블록으로 설정한다. 상기 상측 블록 또는 좌측 블록이 인트라 모드로 부호화되지 않은 경우에는 DC 모드(모드번호 2)를 상기 상측 블록 또는 좌측 블록의 인트라 예측모드로 설정할 수 있다.
다음으로, 상기 상측 또는 좌측 블록의 인트라 예측 모드번호가 현재 블록의 허용 가능한 인트라 예측 모드의 수보다 크거나 같으면 상기 상측 또는 좌측 블록의 인트라 예측 모드를 현재 블록에 허용된 인트라 예측 모드들 중 하나로 변환한다.
다음으로, 현재 블록의 인트라 예측 모드번호가 상기 좌측 및 상측 블록의 인트라 예측 모드번호들 중 하나와 동일하면, 인접 블록의 모드와 동일함을 나타내는 플래그와 상기 상측 및 좌측 블록의 인트라 예측 모드들 중 어느 하나를 가리키는 플래그를 전송한다. 이 경우, 현재 블록의 상기 좌측 및 상측 블록의 인트라 예측 모드가 동일하면 상기 인접 블록의 모드와 동일함을 나타내는 플래그만을 전송할 수 있다. 또한, 상기 상측 및 좌측 블록의 인트라 예측 모드들 중 어느 하나만이 유효하고 현재 블록의 인트라 예측 모드와 동일한 경우에도 상기 인접 블록의 모드와 동일함을 나타내는 플래그 만을 전송할 수 있다.
그러나, 현재 블록의 인트라 예측 모드가 상기 좌측 및 상측 블록의 인트라 예측 모드들과 다른 모드일 경우에는, 현재 블록의 인트라 예측 모드번호가 상기 좌측 및 상측 블록의 인트라 예측 모드번호보다 작은지 여부를 판단한다.
판단결과, 현재 블록의 좌측 및 상측 블록의 인트라 예측 모드번호 모두가 현재 블록의 인트라 예측 모드번호보다 큰 경우에는 현재 블록의 인트라 예측 모드를 최종 인트라 예측 모드로 결정한다. 그러나, 현재 블록의 좌측 및 상측 블록의 인트라 예측 모드번호들 중 하나만이 현재 블록의 인트라 예측 모드번호보다 크지 않는 경우에는 현재 블록의 인트라 예측 모드번호를 1만큼 감소시킨 모드번호를 갖는 인트라 예측 모드를 현재 블록의 최종 인트라 예측 모드로 결정한다. 그리고, 현재 블록의 좌측 및 상측 블록의 인트라 예측 모드번호들 모두가 현재 블록의 인트라 예측 모드번호보다 크지 않는 경우에는 현재 블록의 인트라 예측 모드번호를 2만큼 감소시킨 모드번호를 갖는 인트라 예측 모드를 현재 블록의 최종 인트라 예측 모드로 결정한다.
다음으로, 현재 블록의 최종 인트라 예측 모드를 부호화한다. 현재 블록의 상측 블록과 좌측 블록의 인트라 예측 모드가 동일한지 여부에 따라 서로 다른 부호화 테이블을 이용하여 현재 블록의 최종 인트라 예측 모드를 부호화한다. 상기 현재 블록의 상측 블록 또는 좌측 블록의 인트라 예측 모드는 변환된 인트라 예측 모드일 수 있다. 즉, 상기 상측 블록 및 좌측 블록의 허용 가능한 인트라 예측 모드들을 소정 개수의 인트라 예측 모드로 매핑하는 테이블에 의해 변환된 인트라 예측 모드일 수 있다. 상기 소정 개수는 9 또는 3일 수 있다.
이하에서는 도 3의 엔트로피 부호화부(130)의 양자화 변환 계수 부호화 과정을 설명한다.
변환 부호화되어 양자화된 변환 계수는 CAVLC 또는 CABAC를 이용하여 엔트로피 부호화되어야 한다. 이 경우 변환 부호화의 크기가 커지게 되면 0이 아닌 개수를 스캔하여 엔트로피 부호화하기 위해 많은 수의 비트가 할당될 가능성이 높다. 따라서, 소정 크기 이상의 변환 부호화 블록의 블록에 대해서는 상기 비트 수를 줄이기 위한 새로운 스캔 방법들이 도입되는 것이 바람직하다.
먼저, 변환 양자화된 계수들을 복수개의 영역으로 분할할지 여부를 판단한다. 상기 분할여부의 결정은 변환 부호화의 크기에 의존한다. 즉, 변환 부호화 블록의 크기가 소정 크기 이상인 경우에는 상기 변환 부호화된 양자화 계수들을 복수개의 영역으로 분할한다. 상기 소정 크기는 8x8 또는 16x16인 것이 바람직하다. 상기 복수개의 영역은 하나의 메인 서브셋과 적어도 하나 이상의 잔여 서브셋으로 구성된다. 메인 서브셋은 DC 계수를 포함하는 좌상측에 위치하고, 상기 잔여 서브셋은 메인 서브셋 이외의 영역을 커버한다.
다음으로, 상기 변환 부호화 블록이 소정 크기 이상인 경우에는 상기 상기 메인 서브셋과 상기 적어도 하나 이상의 잔여 서브셋으로 나누어 각각의 서브셋에 포함되어 있는 양자화된 계수들을 스캔하여 부호화한다. 상기 서브셋 내의 양자화된 계수들의 스캔은 복수개의 스캔 패턴 중 하나를 이용할 수 있다. 상기 서브셋 내의 양자화된 계수의 넌제로인 픽셀의 분포에 따라 비트수가 최소가 되는 스캔 패턴을 결정하고, 결정된 스캔패턴을 복호기로 전송할 수 있다. 상기 복수개의 스캔 패턴은 지그재그 스캔, 수직스캔, 수평스캔을 포함할 수 있다. 또한, MPEG-4의 수직우선스캔 또는 수평우선 스캔을 포함할 수도 있다. 이 경우, 서브셋마다 스캔 패턴을 전송할 경우에는 소요 비트수가 많이 들게 되므로, 복수개의 서브셋에 동일한 스캔패턴을 적용할 수도 있다.
한편, 상기 스캔패턴이 예측 모드 및 인트라 예측 방향에 따라 적응적으로 결정될 수 있다. 예를 들어, 인터 예측 모드의 경우에는 미리 정해진 스캔 패턴(예를 들어, 지그재그 스캔)만을 적용하거나, 상기 복수개의 스캔방법들 중 하나를 적용할 수 있다. 전자의 경우에는 스캔패턴 정보를 복호기로 전송할 필요가 없으나, 후자의 경우에는 스캔패턴 정보를 복호기로 전송하여야 한다. 인트라 예측의 경우에는 인트라 예측 방향에 따라 미리 정해진 스캔방법을 적용할 수 있다. 예를 들어, 수직방향의 인트라 예측 모드에 대해서는 수평스캔을, 수평방향의 인트라 예측 모드에 대해서는 수직스캔을 적용할 수 있고, DC 모드에 대해서는 지그재그 스캔을 적용할 수 있다.
상기 변환 부호화 블록 내의 상기 메인 서브셋과 적어도 하나 이상의 잔여 서브셋에 적용할 스캔 패턴은 미리 정해진 패턴(예를 들어, 지그재그 스캔)일 수 있다. 상기 미리 정해진 패턴은 지그재그 스캔일 수 있다. 그러나, 상기 서브셋들을 지그재그 스캔 외에 수평우선스캔 또는 수직우선스캔일 수도 있다. 상기 서브셋들에 적용되는 스캔 패턴도 예측 모드 및 인트라 예측 방향에 따라 적응적으로 결정될 수 있다. 즉, 인터 예측 모드의 경우에는 미리 정해진 스캔 패턴(예를 들어, 지그재그 스캔)만을 적용하거나, 상기 복수개의 스캔방법들 중 하나를 적용할 수 있다. 인트라 예측의 경우에는 인트라 예측 방향에 따라 미리 정해진 스캔방법을 적용할 수 있다.
상기 서브셋 내의 양자화 계수들의 스캔순서는 역방향을 적용하는 것이 오히려 효과적일 수 있다. 즉, 스캔 패턴에 따라 상기 서브셋 내의 0이 아닌 마지막 양자화 계수로부터 역방향으로 0이 아닌 양자화 계수들을 스캔하여 엔트로피 부호화할 수 있다. 마찬가지로, 상기 서브셋들의 스캔패턴에 따라, 상기 서브셋의 스캔 순서도 변환 부호화 블록 내의 0이 아닌 마지막 양자화 계수를 포함하는 서브셋으로부터 역방향으로 서브셋들을 스캔하여 엔트로피 부호화할 수 있다.
한편, 복호기에서의 올바른 엔트로피 복호화를 위해, 부호기는 상기 변환 부호화 블록내의 0이 아닌 마지막 양자화 계수의 위치 및 상기 변환 부호화 블록내의 각 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타낼 수 있는 정보를 부호화하여 복호기로 전송한다. 상기 정보는 각각의 서브셋 내의 0이 아닌 마지막 양자화 계수의 위치를 나타내는 정보일 수 있다. 또한, 상기 정보는, H.264 CABAC 부호화와 유사하게, 변환 부호화 블록내의 양자화 계수가 해당 스캔 위치에 대한 변환계수가 0인지 여부를 표시하는 플래그 및 변환계수가 0이 아닌 경우 변환 부호화 블록내의 0이 아닌 마지막 양자화 계수인지를 표시하는 플래그로 구성된 맵 정보일 수 있다. 상기 맵 정보가 적용될 경우에, 상기 맵 정보를 생성하기 위한 스캔패턴은 상기 서브셋 내의 스캔 패턴과 동일한 스캔 패턴일 수 있다.
상기 변환 부호화 블록의 양자화 개수를 스캔하기 위한 또 다른 예로서, 소정 크기의 양자화된 블록의 계수를 인터리브 방식으로 재배열하여 복수개의 서브 블록으로 변환하고, 서브블록들 각각에 대해 스캔하여 부호화할 수도 있다.
한편, 영상이 특정 방향으로 경계를 가지는 경우에는 균등 예측 모드를 이용할 경우, 움직임 경계부분에서는 유사한 데이터에 대해서 서로 다른 서브블록들이 사용되어 불필요한 오버헤드를 발생시킬 수 있다. 이러한 경우에는 영상의 경계 부분의 형상에 따라 부호화 단위 블록을 특정방향으로 분할하여 각각의 분할된 영역을 움직임 예측하는 것이 더욱 효과적일 수 있다.
도 4 내지 도 6을 참조하여, 영상의 특성을 고려하여 방향에 적응적으로 블록을 분할하는 방법을 설명한다. 도 4, 도 5 및 도 6에서는 부호화 단위 블록의 크기가 32x32인 경우를 예로 들어 설명한다. 그러나, 이에 한정되는 것은 아니며, 64x64, 16x16 블록에 대해서도 동일하게 적용될 수 있다.
가장 간단한 적응적인 모드는 예측 영역의 국부적인 지형의 통계적 의존성을 추출하기 위해 부호화 단위 블록을 직선을 이용하여 2개의 블록으로 분할하는 것이다. 즉, 영상의 경계부분을 직선으로 매칭시켜 분할하는 것이다.
도면에 도시된 바와 같이, 32x32 블록의 영상을 가로 지르는 경계가 존재하는 경우, 기존의 영상 분할 방법에서는 영상을 효율적으로 압축하기 위해 영 상을 가로지르는 경계 부분을 작은 블록으로 분할하는 것이 요구된다.
따라서 도 4에 도시된 바와 같이, 하나의 32x32 블록을 적어도 10개로 분할하여 부호화 하는 것이 요구되고, 이때에 각 영상 분할을 표시하기 위한 정보와 함께 10개의 움직임 벡터를 복호기로 전송하여야 함에 따라 영상 정보 이외의 부가 정보가 매우 많이 요구된다.
한편, 도 5 또는 도 6에 도시된 바와 같이, 32x32 블록을 가로 지르는 영상 경계가 존재하는 경우, 그 영상 경계를 표현하는 하나 이상의 직선과 매칭시킬 경우, 복호기로 전송하여야 하는 부가정보의 수를 획기적으로 줄일 수 있다.
예를 들어, 도 5에 도시된 바와 같이, 32x32 블록을 가로지르는 경계를 2개의 직선으로 매칭시킬 경우, 32x32 블록은 4개의 16x16 블록으로 분할되고, 첫번째와 네번째 16x16 블록을 각각 블록 경계와 매칭시킨 직선을 얻을 수 있다. 이 경우 소요되는 분할영역은 6개이며, 이에 따라 복호기로 전송해야 하는 움직임 벡터도 6개로 줄일 수 있다.
마찬가지로, 도 6에 도시된 바와 같이 블록을 가로 지르는 경계를 1개의 직선으로 매칭시킬 경우, 32x32 블록은 2개의 블록으로 분할되어 1개의 블록모드정보와 2개의 움직임 벡터만을 복호기로 전송하면 된다.
한편, 직선을 이용하여 블록을 분할할 경우에는 사용된 직선정보를 복호기로 추가적으로 전송하여야 한다. 이하 전송해야 할 직선 정보에 대해 설명한다.
전송해야 할 직선 정보는 다양한 방법으로 전송이 가능하다.
첫번째 예로서, 직선에 대한 정보를 미리 정해진 위치로부터의 거리와 각도로 표현하는 방법이다. 이 경우 미리 정해진 위치는 블록의 좌상귀의 pixel 또는 중심부의 pixel일 수 있다. 그리고 거리는 정수이거나 양자화된 값일 수 있다. 각도 0~180 사이일 수 있으며, 각도 또한 양자화된 값일 수 있다.
두번째 예로는, 블록을 가로지르는 직선의 양 끝부분의 위치값을 복 호기로 전송하는 것이다. 위치 값은 블록의 좌상귀의 pixel로부터 출발하여 블록 의 경계를 시계방향으로 돌면서 얼마만큼 떨어져 있는지를 나타내는 값으로 표현할 수 있다. 이 경우 양 끝부분 중 하나는 시계방향으로, 다른 하나는 시계 반대 방향으로 돌면서 떨어진 위치를 표현함으로써 직선정보를 표현할 수도 있다. 또한, 양 끝부분 중 하나의 위치가 정해지면 이로부터 다른 끝부분 위치는 상대적인 위치값을 이용하여 직선정보를 표현할 수 있다. 이 경우에는 적은 비트수로 더욱 다양한 형태의 형상에 근접하는 직선 정보를 표현할 수 있다.
한편, 현재 블록에 대한 직선정보는 이미 방향 적응적으로 분할 부호화된 이웃 블록들이 존재하는 경우에는 이들 중 어느 하나로부터 선택된 직선정보와의 차분정보를 전송하는 것이 더욱 효과적이다. 보다 바람직하게는 현재 블록과 동일한 방향으로 분할된 블록들의 방향정보를 이용하여 차분정보를 부호화하는 것이다. 현재 블록에 대한 직선정보 또는 차분정보는 하나의 대응 인덱스로 표현 되는 것이 바람직하고, 이는 가변장부호화되어 전송될 수 있다.
한편, 상기 방향 적응적 분할 방법은 예측 부호화 블록의 크기에 따라 적용여부를 결정하는 것이 바람직하다. 너무 작은 부호화 블록에 대해 이를 적용하는 것은 오히려 전송해야 할 정보량 및 복잡도를 증가시킬 수 있으므로 적용하지 않는 것이 바람직하다.
한편, 도 7에 도시된 바와 같이 영상의 경계 부분의 형상에 따라 예측 부호화 블록을 분할하는 방법을 특정 방향에 대해서만 적용하고, 소정 개수로 한정할 수도 있다. 예를 들어, 블록을 분할 하는 방법을 수평, 수직, 상향 대각선, 하향 대각선의 4가지 방향으로 한정할 수도 있고, 수평, 수직의 2가지 방향으로 한정할 수도 있다. 상기 특정 방향으로 블록을 분할하는 경우의 수가 예측 부호화 블록의 크기에 따라 달라질 수 있다. 예를 들어, 32x32 크기의 예측 부호화 블록에 대해서는 특정 방향(예를 들어, 수평 방향)으로 7가지, 16x16 크기의 예측 부호화 블록에 대해서는 3가지 방법으로 나눌 수 있도록 설정할 수 있다. 또한, 예측 부호화 블록의 크기에 관계없이 동일한 수의 방법으로 예측 부호화 블록을 분할할 수도 있다.
Chroma에 대해서도 동일 파티션으로 분할이 가능하며, 이하에서의 모든 방법도 이에 적용 가능하다. 각각의 분할 영역을 갖는 예측 부호화 블록은 헤더에 분할 블록의 존재를 나타내는 플래그, 분할이 어떻게 되었는지를 나타내는 정보, 각 분할 영역별로 참조하는 부호화된 참조 픽쳐 인덱스를 포함하여야 한다.
하나의 블록을 방향 적응적으로 예측할 경우에는 2개의 분할된 영역 각각에 대하여 움직임 예측 및 움직임 보상을 하여야 한다. 따라서, 각각의 분할된 영역마다 움직임 벡터를 구하고, 움직임 벡터에 기초하여 얻어진 참조 영역과의 잔차신호를 각 분할된 영역마다 구하여 부호화하여야 한다.
잔차신호는 다음의 여러가지 방법들 중 어느 하나로 부호화될 수 있다.
먼저, 하나의 예측 부호화 블록에 대해 분할된 2개의 영역마다의 잔차 신호를 구한 후 2개의 잔차신호를 더하여 하나의 블록 잔차신호를 형성하여 변환 부호화할 수 있다. 이 경우에는 경계면을 중심으로 각각의 분할된 영역의 잔차 신호의 분포가 전체적인 분포가 차이가 있을 확률이 크기 때문에 상기 경계면에 필터를 적용하는 것이 바람직하다.
다른 방법으로, 각각의 분할된 영역에 모양 적응적 변환(Shape-adaptive transform)을 이용하여 부호화할 수 있다. 도 7에 도시된 바와 같이, 하나의 블록이 2개의 영역으로 분할될 경우, 좌상쪽 블록은 그대로 수평방향 1-D transform을 수행한 후, 수직방향 1-D transform을 수행하면 되고, 우하쪽의 블록은 도면과 같이 재정렬 또는 180도 회전하여 1-D transform을 수행한 후, 수직방향 1-D transform을 수행하면 된다. 이 경우 각 분할 영역별로 독립적으로 부호화된 잔차계수를 복호기로 전송할 수도 있고, 결합하여 전송할 수도 있다.
또 다른 방법으로, 분할된 각각의 영역별로 패딩을 수행하여 블록을 생 성한 후 부호화할 수도 있다. 즉, 현재 분할 영역을 부호화할 때, 블록의 구성하는 다른 분할 영역을 현재 분할 영역의 값으로 패딩하여 하나의 블록으로 구성한 후 2차원 변환 부호화하는 것이다. 패딩은 수평패딩(정의되지 않은 영역을 정의된 영역으로부터 수평방향으로 복사)과 수직패딩(정의되지 않은 영역을 정의된 영역으로부터 수평방향으로 복사)을 이용할 수 있다. 이 경우 바람직하게는 수평패딩을 한 후 수직패딩을 수행하는 것이 바람직하다. 또한, 정의된 하나 이상의 픽셀에 인접한 정의되지 않은 픽셀은 정의된 픽셀들의 선형 결합으로 패팅할 수도 있다. 또한, 분할방향에 따라 방향성을 주어 수평 또는 수 직 패딩 중 어느 것을 먼저 행하게 할 수도 있다.
다음으로 움직임 벡터 예측에 대해 설명한다.
하나의 블록을 직선을 이용하여 2개의 영역으로 분할한 경우, 분할된 각각의 영역의 움직임 벡터는 이미 부호화된 움직임 벡터를 이용하여 차분부호화 된다.
첫번째 방법으로는 분할된 영역의 첫번째 영역은 인접한 블록들의 움직임 벡터들 중 하나를 움직임 벡터 예측자로 선택하고, 두번째 영역은 첫번째 영역을 제외한 인접한 블록들의 움직임 벡터들 중 하나를 움직임 벡터 예측자로 선택할 수 있다.
두번째 방법으로는 분할된 각각의 영역 중 첫번째 영역은 인접한 블록의 움직임 벡터들 중 하나를 움직임 벡터 예측자로 결정하고, 두번째 영역은 첫번째 영역의 움직임 벡터를 움직임 벡터 예측자로 선택할 수 있다.
세번째 방법으로는 분할된 블록의 방향성을 고려하여, 현재 블록에 인접한 블록들 중에 방향 적응적 분할된 블록이 존재하는 경우, 이들의 움직임 벡터를 참조 움직임 벡터로 하는 경우이다. 따라서, 방향 적응적 분할된 블록이 복수 개 존재할 경우에는 미리 정해진 순서 또는 분할 방향이 유사한 블록의 움직임 벡터를 참조 움직임 벡터로 할 수 있다.
네번째 방법은 분할된 각각의 영역 중 첫번째 영역은 상기 첫번째 영역에 인접한 블록들 중 어느 하나의 움직임 벡터를 상기 첫번째 영역의 움직임 벡터로 설정하고, 두번째 영역은 상기 두번째 영역에 인접한 블록들의 움직임 벡터 및 이전 픽쳐의 동일 위치의 블록 또는 분할 영역의 움직임 벡터들 중 어느 하나를 움직임 벡터 예측자로 선택하여 차분 움직임 벡터를 부호화할 수 있다.
여기서는 블록분할을 위해 하나의 직선을 이용하였지만, 2개 이상의 직선으로 구성된 정보를 통해 하나의 블록을 2개 이상의 분할 영역으로 분할하는 것도 가능하며, 분할된 영역에 대한 부호화는 위에 언급한 내용들이 그대로 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. 동영상 부호화 장치에 있어서,
    입력되는 영상을 소정 크기의 부호화 단위 블록으로 분할하고, 상기 부호화 단위 블록별로 예측 부호화 블록의 크기 및 예측 모드를 결정하는 부호화 모드 결정부;
    부호화 단위 블록과 인트라 예측 또는 인터 예측을 통해 생성된 예측 블록의 잔차 블록을 변환부호화 및 양자화하는 변환부호화/양자화부;
    상기 양자화된 잔차 블록을 역양자화하고 역변환하여 주파수 영역으로 변환하는 역양자화/변환복호화부;
    상기 역양자화/변환복호화부로부터 수신된 영상 데이터에 디블록킹 필터를 과정을 적용하는 디블록킹 필터링부;
    예측 부호화 블록을 생성하는 예측 블록 생성부; 및
    상기 변환부호화/양자화부에 의해 양자화된 변환 계수를 부호화하는 엔트로피 부호화부를 포함하고,
    상기 엔트로피 부호화부는 변환 부호화 블록의 크기가 소정 크기 이상인 경우 양자화된 변환 계수들을 복수개의 서브셋으로 분할하고, 각각의 서브셋 단위로 0이 아닌 양자화 계수들을 스캔하여 엔트로피 부호화하는 것을 특징으로 하는 동영상 부호화 장치.
  2. 제1항에 있어서, 상기 서브셋 내의 0이 아닌 양자화 계수들은 복수개의 스캔 패턴 중 하나에 의해 역방향으로 스캔되는 것을 특징으로 하는 동영상 부호화 장치.
  3. 제1항에 있어서, 상기 서브셋 내의 0이 아닌 양자화 계수들을 스캔하는 스캔패턴과 상기 서브셋들을 스캔하는 스캔패턴은 동일한 것을 특징으로 하는 동영상 부호화 장치.
  4. 제1항에 있어서, 상기 서브셋 내의 0이 아닌 양자화 계수들을 스캔하는 스캔패턴은 인트라 예측 모드에 따라 결정되는 것을 특징으로 하는 동영상 부호화 장치.
  5. 제1항에 있어서, 상기 엔트로피 부호화부는 상기 변환 부호화 블록내의 0이 아닌 마지막 양자화 계수의 위치 및 상기 서브셋 내의 0이 아닌 양자화 계수를 식별할 수 있는 정보를 상기 상기 양자화 계수와 별도로 부호화하는 것을 특징으로 하는 동영상 부호화 장치.
KR1020147010241A 2010-04-23 2011-04-22 인트라 예측 장치 KR20140057669A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20100038158 2010-04-23
KR1020100038158 2010-04-23
PCT/KR2011/002972 WO2011133002A2 (ko) 2010-04-23 2011-04-22 영상 부호화 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137020592A Division KR20130103803A (ko) 2010-04-23 2011-04-22 영상 부호화 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140057669A true KR20140057669A (ko) 2014-05-13

Family

ID=44834700

Family Applications (10)

Application Number Title Priority Date Filing Date
KR1020127028862A KR101376136B1 (ko) 2010-04-23 2011-04-22 영상 부호화 장치 및 방법
KR1020137020595A KR101476117B1 (ko) 2010-04-23 2011-04-22 동영상 부호화 장치
KR1020167020630A KR20160093104A (ko) 2010-04-23 2011-04-22 영상 부호화 장치 및 방법
KR1020167020633A KR20160093107A (ko) 2010-04-23 2011-04-22 영상 복호화 장치
KR1020147010242A KR20140057670A (ko) 2010-04-23 2011-04-22 동영상 부호화 장치
KR1020137020592A KR20130103803A (ko) 2010-04-23 2011-04-22 영상 부호화 장치 및 방법
KR1020147010241A KR20140057669A (ko) 2010-04-23 2011-04-22 인트라 예측 장치
KR1020167020631A KR20160093105A (ko) 2010-04-23 2011-04-22 영상 부호화 장치 및 방법
KR1020147010243A KR20140057671A (ko) 2010-04-23 2011-04-22 동영상 부호화 장치
KR1020167020632A KR20160093106A (ko) 2010-04-23 2011-04-22 영상 복호화 장치

Family Applications Before (6)

Application Number Title Priority Date Filing Date
KR1020127028862A KR101376136B1 (ko) 2010-04-23 2011-04-22 영상 부호화 장치 및 방법
KR1020137020595A KR101476117B1 (ko) 2010-04-23 2011-04-22 동영상 부호화 장치
KR1020167020630A KR20160093104A (ko) 2010-04-23 2011-04-22 영상 부호화 장치 및 방법
KR1020167020633A KR20160093107A (ko) 2010-04-23 2011-04-22 영상 복호화 장치
KR1020147010242A KR20140057670A (ko) 2010-04-23 2011-04-22 동영상 부호화 장치
KR1020137020592A KR20130103803A (ko) 2010-04-23 2011-04-22 영상 부호화 장치 및 방법

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020167020631A KR20160093105A (ko) 2010-04-23 2011-04-22 영상 부호화 장치 및 방법
KR1020147010243A KR20140057671A (ko) 2010-04-23 2011-04-22 동영상 부호화 장치
KR1020167020632A KR20160093106A (ko) 2010-04-23 2011-04-22 영상 복호화 장치

Country Status (28)

Country Link
US (11) US9100651B2 (ko)
EP (8) EP2947877B1 (ko)
JP (8) JP5688136B2 (ko)
KR (10) KR101376136B1 (ko)
CN (11) CN104717498B (ko)
AU (6) AU2011243334B2 (ko)
BR (6) BR122014030030A2 (ko)
CA (9) CA2857849C (ko)
CY (6) CY1116723T1 (ko)
DK (6) DK2950533T3 (ko)
ES (8) ES2618917T3 (ko)
HR (6) HRP20150964T1 (ko)
HU (8) HUE034476T2 (ko)
IL (6) IL222579A (ko)
LT (5) LT2947878T (ko)
MX (6) MX348488B (ko)
MY (11) MY162154A (ko)
PE (8) PE20170651A1 (ko)
PH (5) PH12014501184A1 (ko)
PL (8) PL2950533T3 (ko)
PT (6) PT2947878T (ko)
RS (6) RS55761B1 (ko)
RU (7) RU2549157C1 (ko)
SG (11) SG10201503179VA (ko)
SI (6) SI2950533T1 (ko)
SM (2) SMT201500244B (ko)
WO (1) WO2011133002A2 (ko)
ZA (1) ZA201208766B (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867854B2 (en) * 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
HUE034476T2 (en) * 2010-04-23 2018-02-28 M&K Holdings Inc Equipment for image coding
KR20110123651A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
EP2574056A4 (en) * 2010-05-19 2016-03-30 Sk Telecom Co Ltd DEVICE AND METHOD FOR IMAGE ENCODING / DECODING
US9338449B2 (en) 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
US9167253B2 (en) 2011-06-28 2015-10-20 Qualcomm Incorporated Derivation of the position in scan order of the last significant transform coefficient in video coding
CN107483927B (zh) 2011-09-09 2020-06-05 株式会社Kt 用于解码视频信号的方法
US9787982B2 (en) 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
HUE049155T2 (hu) * 2011-09-14 2020-09-28 Samsung Electronics Co Ltd Eljárás és berendezés predikció egység (PU) kódolásához a méretén és megfelelõ dekódoló berendezésen alapulva
KR20130049523A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
KR20130050404A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
ES2961654T3 (es) 2012-06-29 2024-03-13 Electronics & Telecommunications Res Inst Método y dispositivo para codificar/decodificar imágenes
GB2496015B (en) * 2012-09-05 2013-09-11 Imagination Tech Ltd Pixel buffering
CN103220529B (zh) * 2013-04-15 2016-02-24 北京大学 一种视频编解码环路滤波的实现方法
CN103428492B (zh) * 2013-07-16 2016-11-16 山东大学 一种高清AVS编码中快速zig-zag扫描的方法
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
KR102218196B1 (ko) 2013-10-28 2021-02-23 삼성전자주식회사 인코더, 이의 동작 방법과, 상기 인코더를 포함하는 장치들
US9813730B2 (en) * 2013-12-06 2017-11-07 Mediatek Inc. Method and apparatus for fine-grained motion boundary processing
KR102445242B1 (ko) * 2014-03-19 2022-09-21 삼성전자주식회사 경계 필터링을 수반한 비디오 부호화 및 비디오 복호화 방법 및 장치
KR101663668B1 (ko) * 2014-06-27 2016-10-07 삼성전자주식회사 영상 패딩영역의 비디오 복호화 및 부호화 장치 및 방법
CN112218074A (zh) * 2014-10-20 2021-01-12 谷歌有限责任公司 连续预测域
CN105631905A (zh) * 2014-10-29 2016-06-01 新相微电子（开曼）有限公司 一种用于tft-lcd驱动ic的图像压缩算法及控制装置
KR20160131526A (ko) * 2015-05-07 2016-11-16 삼성전자주식회사 시스템 온 칩, 상기 시스템 온 칩을 포함하는 디스플레이 시스템, 및 상기 디스플레이 시스템의 동작 방법
US10142627B2 (en) 2015-06-18 2018-11-27 Qualcomm Incorporated Intra prediction and intra mode coding
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US9699461B2 (en) * 2015-08-14 2017-07-04 Blackberry Limited Scaling in perceptual image and video coding
KR20180040515A (ko) * 2015-09-10 2018-04-20 삼성전자주식회사 부호화 장치, 복호화 장치, 그 부호화 및 복호화 방법
CN114222139A (zh) * 2016-05-28 2022-03-22 世宗大学校产学协力团 视频信号的解码方法
US20170347094A1 (en) * 2016-05-31 2017-11-30 Google Inc. Block size adaptive directional intra prediction
CN109661819B (zh) 2016-08-31 2023-11-07 株式会社Kt 用于处理视频信号的方法和设备
JP6891895B2 (ja) * 2016-09-16 2021-06-18 ソニーグループ株式会社 画像処理装置および画像処理方法
EP3300362A1 (en) * 2016-09-27 2018-03-28 Thomson Licensing Method for improved intra prediction when reference samples are missing
CN117041564A (zh) 2016-11-29 2023-11-10 成均馆大学校产学协力团 影像编码/解码方法、装置以及对比特流进行存储的记录介质
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
CN108933941A (zh) * 2017-05-26 2018-12-04 富士通株式会社 图像编码方法和装置以及图像解码方法和装置
CN107864379B (zh) * 2017-09-28 2021-07-02 珠海亿智电子科技有限公司 一种应用于视频编解码的压缩方法
EP3487177A1 (en) * 2017-11-21 2019-05-22 Thomson Licensing Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
US10771783B2 (en) * 2018-06-11 2020-09-08 Google Llc Transforms for large video and image blocks
SG11202013015PA (en) 2018-07-02 2021-01-28 Huawei Tech Co Ltd Apparatus and method for filtering in video coding
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
JP7242861B2 (ja) 2018-09-04 2023-03-20 華為技術有限公司 二方向インター予測に適用される参照フレーム取得方法および装置
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
JP7418152B2 (ja) * 2018-12-17 2024-01-19 キヤノン株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
CN111385572B (zh) * 2018-12-27 2023-06-02 华为技术有限公司 预测模式确定方法、装置及编码设备和解码设备
KR20200083357A (ko) 2018-12-28 2020-07-08 인텔렉추얼디스커버리 주식회사 화면 간 예측 부호화 및 복호화 방법 및 장치
CN111416975B (zh) * 2019-01-08 2022-09-16 华为技术有限公司 预测模式确定方法和装置
KR20200087086A (ko) * 2019-01-10 2020-07-20 세종대학교산학협력단 영상 부호화/복호화 방법 및 장치
US10728555B1 (en) * 2019-02-06 2020-07-28 Sony Corporation Embedded codec (EBC) circuitry for position dependent entropy coding of residual level data
US10666986B1 (en) 2019-03-08 2020-05-26 Sony Corporation Sub-block based entropy coding for embedded image codec
CN110113614B (zh) * 2019-05-13 2022-04-12 格兰菲智能科技有限公司 图像处理方法及图像处理装置
CN110418131B (zh) * 2019-07-15 2021-07-27 杭州电子科技大学 一种码率预估方法及基于码率预估快速模式决策方法
US11553208B2 (en) 2019-11-27 2023-01-10 Tencent America LLC Method and system of video coding using a subset of available intra prediction modes for multiple reference lines
CN112004088B (zh) * 2020-08-06 2024-04-16 杭州当虹科技股份有限公司 一种适用于avs2编码器的cu级qp分配算法
WO2023068731A1 (ko) * 2021-10-22 2023-04-27 엘지전자 주식회사 영상 디코딩 방법 및 그 장치

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748244A (en) * 1995-03-28 1998-05-05 Daewoo Electronics Co., Ltd. Adaptive runlength coding based on zero and non-zero subblocks
JP2001016595A (ja) * 1999-04-30 2001-01-19 Fujitsu Ltd 動画像符号化装置および復号装置
EP1296524A1 (en) * 2001-09-20 2003-03-26 STMicroelectronics S.r.l. Process and apparatus for the compression of digital video signals, a system and a computer program product therefor
KR100798446B1 (ko) * 2001-09-26 2008-01-28 에스케이 텔레콤주식회사 적응적 더블 스캔 방법
WO2003053066A1 (en) * 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
CN1265649C (zh) * 2002-01-24 2006-07-19 株式会社日立制作所 运动图像的编码方法、解码方法、编码装置及解码装置
KR100846778B1 (ko) * 2002-07-16 2008-07-16 삼성전자주식회사 복수개의 주사 패턴을 이용한 부호화 방법, 복호화 방법,및 그 장치
JP2004180064A (ja) * 2002-11-28 2004-06-24 Ricoh Co Ltd 情報圧縮装置および方法、ならびにそのプログラム
US7392195B2 (en) * 2004-03-25 2008-06-24 Dts, Inc. Lossless multi-channel audio codec
JP2006054846A (ja) * 2004-07-12 2006-02-23 Sony Corp 符号化方法、符号化装置、復号方法、復号装置およびそれらのプログラム
CN1665301A (zh) * 2005-03-07 2005-09-07 清华大学 一种视频编解码中的自适应的扫描方法
CN1870748A (zh) * 2005-04-27 2006-11-29 王云川 因特网协议电视
KR100736086B1 (ko) * 2005-09-06 2007-07-06 삼성전자주식회사 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치
EP2733952A1 (en) * 2005-10-21 2014-05-21 Electronics and Telecommunications Research Institute Method for encoding moving picture using adaptive scanning
JP4114885B2 (ja) * 2005-10-31 2008-07-09 松下電器産業株式会社 画像符号化装置、方法、及びプログラム
KR100728031B1 (ko) * 2006-01-23 2007-06-14 삼성전자주식회사 가변 블록 크기 움직임 예측을 위한 부호화 모드 결정 방법및 장치
JP2007300389A (ja) * 2006-04-28 2007-11-15 Victor Co Of Japan Ltd 画像符号化装置および画像符号化プログラム
KR100927733B1 (ko) * 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
ES2369214T3 (es) * 2007-03-14 2011-11-28 Nippon Telegraph And Telephone Corporation Método y dispositivo de estimación de la cantidad de código, su programa y medio de almacenamiento.
KR100871588B1 (ko) * 2007-06-25 2008-12-02 한국산업기술대학교산학협력단 인트라 부호화 장치 및 그 방법
KR100968027B1 (ko) * 2007-06-27 2010-07-07 티유미디어 주식회사 가변블록 기반의 디블록킹 필터링 방법 및 장치와, 이에적용되는 디블록킹 필터
JP2009027541A (ja) * 2007-07-20 2009-02-05 Ntt Docomo Inc 画像符号化装置、方法及びプログラム、並びに、画像復号装置、方法及びプログラム
US20090245351A1 (en) * 2008-03-28 2009-10-01 Kabushiki Kaisha Toshiba Moving picture decoding apparatus and moving picture decoding method
KR101457894B1 (ko) * 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
NO2559244T3 (ko) * 2010-04-13 2017-12-30
JP5676744B2 (ja) * 2010-04-13 2015-02-25 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン エントロピー符号化
HUE034476T2 (en) * 2010-04-23 2018-02-28 M&K Holdings Inc Equipment for image coding
US9215470B2 (en) * 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
KR20120012385A (ko) * 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
PL3125553T3 (pl) * 2010-08-17 2018-09-28 M&K Holdings Inc. Sposób kodowania trybu intra-predykcji
US8976861B2 (en) * 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
US10992958B2 (en) * 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
WO2012093969A1 (en) * 2011-01-07 2012-07-12 Agency For Science, Technology And Research Method and an apparatus for coding an image
US9106913B2 (en) * 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
US9338449B2 (en) * 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
US9172962B2 (en) * 2012-01-20 2015-10-27 Blackberry Limited Methods and systems for pipelining within binary arithmetic coding and decoding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
KR20140129607A (ko) * 2013-04-30 2014-11-07 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
US9215464B2 (en) * 2013-09-19 2015-12-15 Blackberry Limited Coding position data for the last non-zero transform coefficient in a coefficient group

Also Published As

Publication number Publication date
MY162152A (en) 2017-05-24
US9191673B2 (en) 2015-11-17
PT2947878T (pt) 2017-05-08
WO2011133002A3 (ko) 2012-03-08
JP5877236B2 (ja) 2016-03-02
US20150222907A1 (en) 2015-08-06
AU2014202817B2 (en) 2015-11-12
US20150222901A1 (en) 2015-08-06
MY157593A (en) 2016-06-30
PL2945382T3 (pl) 2017-11-30
JP2013526178A (ja) 2013-06-20
JP2015111915A (ja) 2015-06-18
SI2950533T1 (sl) 2017-05-31
LT2945382T (lt) 2017-09-11
IL246885B (en) 2018-01-31
JP2015084599A (ja) 2015-04-30
SI2945382T1 (sl) 2017-09-29
SG10201503179VA (en) 2015-06-29
US20150222908A1 (en) 2015-08-06
CA2935205C (en) 2018-01-30
JP2016165125A (ja) 2016-09-08
HRP20150964T1 (hr) 2015-10-09
US20150222894A1 (en) 2015-08-06
CN105120273B (zh) 2017-10-24
SG10201503185PA (en) 2015-06-29
US9232224B2 (en) 2016-01-05
PH12014501184B1 (en) 2015-05-11
CY1118425T1 (el) 2017-06-28
IL222579A (en) 2016-11-30
PL2950534T3 (pl) 2017-07-31
CN105245886A (zh) 2016-01-13
CN104717498A (zh) 2015-06-17
PT2563020E (pt) 2015-10-09
RU2014118778A (ru) 2015-11-27
BR122014030030A2 (pt) 2019-08-20
CN104717498B (zh) 2017-09-19
CA2935176C (en) 2018-03-13
CN105120274B (zh) 2017-09-19
CA2934927A1 (en) 2011-10-27
PE20130929A1 (es) 2013-09-07
SMT201600448B (it) 2017-01-10
CA2935205A1 (en) 2011-10-27
SG10201503151YA (en) 2015-06-29
AU2014202820B2 (en) 2015-11-05
PE20170650A1 (es) 2017-05-11
MY162148A (en) 2017-05-24
RS55829B1 (sr) 2017-08-31
US9264719B2 (en) 2016-02-16
PE20142178A1 (es) 2014-12-20
RU2014118777A (ru) 2015-11-27
HRP20171353T1 (hr) 2017-11-03
CN105245885B (zh) 2017-11-10
SG10201503176SA (en) 2015-06-29
SG10201503178RA (en) 2015-06-29
ES2618917T3 (es) 2017-06-22
CA2934942C (en) 2018-07-10
KR101476117B1 (ko) 2014-12-24
US20150222902A1 (en) 2015-08-06
US20150222898A1 (en) 2015-08-06
PE20170653A1 (es) 2017-05-13
AU2014202818A1 (en) 2014-06-19
PE20170649A1 (es) 2017-05-11
MX348487B (es) 2017-06-15
RU2523963C2 (ru) 2014-07-27
BR122014030028A2 (pt) 2019-08-20
JP5928966B2 (ja) 2016-06-01
AU2014202819A1 (en) 2014-06-19
PL3197158T3 (pl) 2019-12-31
MX348488B (es) 2017-06-15
IL246884A (en) 2017-08-31
EP2945382A1 (en) 2015-11-18
CY1116723T1 (el) 2017-03-15
EP2563020B1 (en) 2015-08-12
SI2950534T1 (sl) 2017-05-31
RU2658141C2 (ru) 2018-06-19
RS54213B1 (en) 2015-12-31
CY1119314T1 (el) 2018-02-14
RU2012149839A (ru) 2014-05-27
EP2563020A4 (en) 2013-12-18
ES2897491T3 (es) 2022-03-01
HUE057125T2 (hu) 2022-05-28
IL246886A (en) 2017-12-31
CN105245885A (zh) 2016-01-13
CN105245877A (zh) 2016-01-13
CA2935202A1 (en) 2011-10-27
SG10201503173PA (en) 2015-06-29
EP2947877A1 (en) 2015-11-25
BR112012026809B1 (pt) 2022-03-29
US9197895B2 (en) 2015-11-24
AU2014202819B2 (en) 2015-11-12
CA2934942A1 (en) 2011-10-27
JP2015122773A (ja) 2015-07-02
RS55761B1 (sr) 2017-07-31
US9197897B2 (en) 2015-11-24
HUE034476T2 (en) 2018-02-28
ES2602677T3 (es) 2017-02-22
PL2563020T3 (pl) 2016-01-29
CN105245887A (zh) 2016-01-13
JP5919404B2 (ja) 2016-05-18
PH12014501185A1 (en) 2015-05-11
HRP20170726T1 (hr) 2017-08-11
BR112012026809A2 (ko) 2018-04-03
CN104601998B (zh) 2016-08-17
JP5919407B2 (ja) 2016-05-18
EP2950533B1 (en) 2017-02-15
HRP20170729T1 (hr) 2017-07-28
CN105120273A (zh) 2015-12-02
KR20130103803A (ko) 2013-09-24
SG10201503180SA (en) 2015-06-29
US20150222896A1 (en) 2015-08-06
IL222579A0 (en) 2012-12-31
MX348485B (es) 2017-06-15
KR20160093107A (ko) 2016-08-05
MY162153A (en) 2017-05-24
PH12014501187B1 (en) 2015-05-11
AU2014202817A1 (en) 2014-06-19
AU2011243334A1 (en) 2012-12-13
DK2947877T3 (en) 2017-01-23
US9100651B2 (en) 2015-08-04
RU2656985C2 (ru) 2018-06-07
ES2546514T3 (es) 2015-09-24
RS55261B1 (sr) 2017-02-28
RU2014118776A (ru) 2015-11-27
EP2947878B1 (en) 2017-02-15
SG10201503182WA (en) 2015-06-29
RU2014118779A (ru) 2015-11-27
JP2015039231A (ja) 2015-02-26
CN105120274A (zh) 2015-12-02
PH12014501183A1 (en) 2015-05-11
JP5919406B2 (ja) 2016-05-18
RU2014118774A (ru) 2015-05-27
HRP20170054T1 (hr) 2017-03-10
PL2947877T3 (pl) 2017-06-30
HRP20170724T1 (hr) 2017-07-28
PL2950533T3 (pl) 2017-07-31
PH12014501186A1 (en) 2015-05-11
MX2012012333A (es) 2013-02-26
EP2950534B1 (en) 2017-02-15
WO2011133002A2 (ko) 2011-10-27
PH12014501183B1 (en) 2015-05-11
SG10201503183TA (en) 2015-06-29
SG10201503177TA (en) 2015-06-29
EP2947877B1 (en) 2016-10-12
US20150222893A1 (en) 2015-08-06
CA2857849A1 (en) 2011-10-27
MX348486B (es) 2017-06-15
EP3565247A1 (en) 2019-11-06
EP3197158A1 (en) 2017-07-26
MY179498A (en) 2020-11-09
KR20160093105A (ko) 2016-08-05
ES2620772T3 (es) 2017-06-29
KR20160093104A (ko) 2016-08-05
JP6084730B2 (ja) 2017-02-22
MY163233A (en) 2017-08-30
PE20170654A1 (es) 2017-05-13
RU2658137C2 (ru) 2018-06-19
RS56193B1 (sr) 2017-11-30
KR20140057671A (ko) 2014-05-13
CN105245883A (zh) 2016-01-13
DK2945382T3 (en) 2017-08-28
CA2934927C (en) 2017-07-18
RU2659470C2 (ru) 2018-07-02
ES2618932T3 (es) 2017-06-22
JP5919405B2 (ja) 2016-05-18
ES2746015T3 (es) 2020-03-04
SMT201500244B (it) 2015-10-30
US9197896B2 (en) 2015-11-24
MX348484B (es) 2017-06-15
CY1118908T1 (el) 2018-03-07
PL3565247T3 (pl) 2022-01-31
ES2632996T3 (es) 2017-09-18
US9191672B2 (en) 2015-11-17
EP2945382B1 (en) 2017-06-07
JP2015122774A (ja) 2015-07-02
IL233840A (en) 2017-12-31
SI2947878T1 (sl) 2017-05-31
LT2947878T (lt) 2017-03-27
SI2947877T1 (sl) 2017-01-31
CA2935202C (en) 2018-01-30
KR101376136B1 (ko) 2014-03-21
CN104601998A (zh) 2015-05-06
MY162149A (en) 2017-05-24
PE20170651A1 (es) 2017-05-12
HUE034345T2 (en) 2018-02-28
CA2934940C (en) 2018-01-16
AU2011243334B2 (en) 2014-07-24
CA2857849C (en) 2020-02-11
AU2014202816A1 (en) 2014-06-12
PL2947878T3 (pl) 2017-07-31
AU2014202820A1 (en) 2014-06-19
DK2950534T3 (en) 2017-05-01
CN105245877B (zh) 2017-11-10
LT2950534T (lt) 2017-03-10
PT2950534T (pt) 2017-05-17
MY162147A (en) 2017-05-24
CN105245883B (zh) 2017-11-10
BR122014030027A2 (pt) 2019-08-20
PT2950533T (pt) 2017-05-08
PT2947877T (pt) 2016-11-07
EP2947878A1 (en) 2015-11-25
EP2563020A2 (en) 2013-02-27
EP2950534A1 (en) 2015-12-02
IL233841A (en) 2017-10-31
SG185371A1 (en) 2012-12-28
PE20170652A1 (es) 2017-05-12
BR122014030029A2 (pt) 2019-08-20
HUE032615T2 (en) 2017-10-30
HUE032617T2 (en) 2017-10-30
DK2950533T3 (en) 2017-05-01
EP2950533A1 (en) 2015-12-02
US20130022115A1 (en) 2013-01-24
KR20130131424A (ko) 2013-12-03
BR122014030026A2 (pt) 2019-08-13
EP3197158B1 (en) 2019-06-26
CY1118877T1 (el) 2018-01-10
IL233840A0 (en) 2014-09-30
IL233841A0 (en) 2014-09-30
CA2934940A1 (en) 2011-10-27
KR20140057670A (ko) 2014-05-13
PH12014501184A1 (en) 2015-05-11
DK2563020T3 (en) 2015-10-05
AU2014202816B2 (en) 2015-11-12
CA2797047C (en) 2016-09-20
HUE031188T2 (hu) 2017-07-28
CN105245886B (zh) 2017-11-10
RU2549157C1 (ru) 2015-04-20
CN103004197B (zh) 2015-11-25
PT2945382T (pt) 2017-07-11
AU2014202818B2 (en) 2015-11-12
US9191674B2 (en) 2015-11-17
RS55780B1 (sr) 2017-07-31
MY157877A (en) 2016-07-26
EP3565247B1 (en) 2021-08-18
US9237348B2 (en) 2016-01-12
LT2950533T (lt) 2017-03-27
SI2563020T1 (sl) 2015-11-30
US20150222895A1 (en) 2015-08-06
MY163232A (en) 2017-08-30
ZA201208766B (en) 2013-08-28
CA2935176A1 (en) 2011-10-27
CA2797047A1 (en) 2011-10-27
JP5688136B2 (ja) 2015-03-25
JP2015111914A (ja) 2015-06-18
US9264718B2 (en) 2016-02-16
PH12014501186B1 (en) 2015-05-11
HUE046331T2 (hu) 2020-02-28
CN105245884B (zh) 2018-02-02
PH12014501187A1 (en) 2015-05-11
DK2947878T3 (en) 2017-05-01
CA2934930A1 (en) 2011-10-27
RU2014118780A (ru) 2015-11-27
RU2658148C2 (ru) 2018-06-19
MY162154A (en) 2017-05-24
CN105245887B (zh) 2017-09-19
PH12014501185B1 (en) 2015-05-11
KR20160093106A (ko) 2016-08-05
CN105245884A (zh) 2016-01-13
CN103004197A (zh) 2013-03-27
CA2934930C (en) 2018-12-11
CY1118907T1 (el) 2018-01-10
KR20130061680A (ko) 2013-06-11
LT2947877T (lt) 2017-01-10
US20150222899A1 (en) 2015-08-06
HUE026246T2 (en) 2016-06-28

Similar Documents

Publication Publication Date Title
KR101476117B1 (ko) 동영상 부호화 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101001391; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160304

Effective date: 20180417

S901 Examination by remand of revocation
E902 Notification of reason for refusal
S601 Decision to reject again after remand of revocation