KR20110028734A - 고해상도 동영상의 부호화/복호화 방법 및 장치 - Google Patents

고해상도 동영상의 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR20110028734A
KR20110028734A KR1020090086305A KR20090086305A KR20110028734A KR 20110028734 A KR20110028734 A KR 20110028734A KR 1020090086305 A KR1020090086305 A KR 1020090086305A KR 20090086305 A KR20090086305 A KR 20090086305A KR 20110028734 A KR20110028734 A KR 20110028734A
Authority
KR
South Korea
Prior art keywords
block
transform
quantization
type
encoding
Prior art date
Application number
KR1020090086305A
Other languages
English (en)
Other versions
KR101302660B1 (ko
Inventor
김수년
임정연
이영렬
문주희
전병우
김해광
서정훈
김기오
홍성욱
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020090086305A priority Critical patent/KR101302660B1/ko
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to US13/395,811 priority patent/US9154809B2/en
Priority to CN201510005030.6A priority patent/CN104506876B/zh
Priority to CN201510003806.0A priority patent/CN104506875B/zh
Priority to PCT/KR2010/006017 priority patent/WO2011031044A2/ko
Priority to CN201080051482.3A priority patent/CN102598669B/zh
Priority to CN201510002700.9A priority patent/CN104539974B/zh
Priority to CN201510003856.9A priority patent/CN104539957B/zh
Publication of KR20110028734A publication Critical patent/KR20110028734A/ko
Application granted granted Critical
Publication of KR101302660B1 publication Critical patent/KR101302660B1/ko
Priority to US14/692,452 priority patent/US9621895B2/en
Priority to HK15106259.6A priority patent/HK1205840A1/xx
Priority to US14/874,025 priority patent/US9584810B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

본 발명은 고해상도 영상 부호화/복호화 방법 및 장치에 관한 것이다.
본 발명은 현재 블록을 예측하여 예측 블록을 생성하고, 현재 블록과 예측 블록을 감산하여 잔여 블록을 생성하며, 현재 블록의 블록 타입에 따라 변환 및 양자화 타입을 결정하며, 결정된 변환 및 양자화 타입에 따라 잔여 블록을 변환 및 양자화하며, 변환 및 양자화된 잔여 블록을 부호화하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
본 발명에 의하면, 영상에서 나타나는 시간적/공간적으로 인접한 화소들의 높은 상관성을 이용한 부호화를 수행할 수 있어 부호화 효율을 높일 수 있을 뿐만 아니라, 블록 왜곡을 감소시켜 압축 효율을 향상시킬 수 있으며, 필터링의 수행 회수를 줄일 수 있어 영상의 부호화 및 복호화를 위한 장치의 구현 복잡도를 낮출 수 있다.
고해상도, 동영상, 부호화, 복호화, 변환, 양자화, 스캐닝, 필터링

Description

고해상도 동영상의 부호화/복호화 방법 및 장치{High Definition Video Encoding/Decoding Method and Apparatus}
본 발명은 고해상도 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 다양한 형태의 블록 단위로 부호화 및 복호화를 수행하고 그에 적합한 블록 형태로 변환, 양자화, 스캐닝, 필터링을 수행함으로써 부호화 효율을 향상시키기 위한 방법 및 장치에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 더욱 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced video Coding)이라 호칭하고 MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동 발표되었다. H.264/AVC(이하 'H.264'로 약칭함) 표준안에서는 다양한 형태의 서브블록(Subblock)을 가지는 매크로블록(Macroblock) 단위로 인트라 예측/인터 예측(Intra Prediction/Inter Prediction)을 수행하여 잔차 신호(Residual Signal)를 생성하며, 생성된 잔차 신호를 변환(Transform)하고 양자화(Quantization)한 후 부호화하여 부호화된 데이터의 비트수를 더욱 줄일 수 있다.
통상적인 매크로블록 단위의 부호화 과정을 부호화기 측면에서 살펴 보면, 입력 영상을 매크로블록 단위로 나누고, 각 매크로블록에 대해서 인터 모드(Inter Mode) 또는 인트라 모드(Intra Mode)에 따라 가질 수 있는 서브블록의 크기로 예측을 수행하여 잔차 블록(Residual Block)을 생성하며, 생성된 잔차 블록은 4x4 또는 8x8 단위의 이산 코사인 변환(DCT: Discrete Cosine Transform)을 기반으로 설계된 정수 변환(Integer Transform)을 적용하여 변환 계수(Transform Coefficient)를 생성하며, 변환 계수를 다시 주어진 양자화 계수(QP: Quantization Parameter)에 따라 양자화한다. 그리고 변환 과정 및 양자화 과정으로 인하여 발생하는 블록화 현상을 루프 필터링(Loop Filtering)을 통해 줄인다.
H.264와 같은 통상적인 영상 압축 기술에서는 부호화 할 영상을 16x16 매크로블록 단위로 나누어 부호화를 수행하며, 변환의 단위도 4x4 블록 크기, 8x8 블록 크기로 고정되어 있어서, 화소간에 높은 상관성을 가지는 영상의 경우 부호화 효율이 저하되는 문제점이 있다. 즉, 화소간에 높은 상관성을 가지는 경우 16x16 블록 크기의 매크로블록보다 큰 매크로블록 단위 또는 다양한 형태의 매크로블록 단위로 예측하는 것이 효율적일 수 있으며, 그에 따라 변환 단위도 4x4 블록 크기 또는 8x8 블록 크기가 아닌 다양한 형태로 예측하는 것이 효율적일 수 있으나, 통상적인 영상 압축 기술에서는 매크로블록의 크기와 변환의 크기가 고정되어 있어 영상의 특성에 따라 적응적인 부호화가 불가능하여 부호화 효율이 저하되는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 고해상도 영상에 적합한 다양한 형태의 매크로블록 단위로 부호화를 수행하고, 그에 상응하는 다양한 형태의 예측, 변환 및 양자화, 스캐닝, 필터링 등을 수행하여 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 방법에 있어서, 현재 블록을 예측하여 예측 블록을 생성하는 단계; 현재 블록과 예측 블록을 감산하여 잔여 블록을 생성하는 단계; 현재 블록의 블록 타입에 따라 변환 및 양자화 타입을 결정하고, 결정된 변환 및 양자화 타입에 따라 잔여 블록을 변환 및 양자화하는 단계; 및 변환 및 양자화된 잔여 블록을 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 현재 블록을 예측하여 예측 블록을 생성하는 예측기; 현재 블록과 예측 블록을 감산하여 잔여 블록을 생성하는 감산기; 현재 블록의 블록 타입에 따라 변환 및 양자화 타입을 결정하고, 결정된 변환 및 양자화 타입에 따라 잔여 블록을 변환 및 양자화하는 변환기 및 양자화기; 및 변환 및 양자화된 잔여 블록을 부호화하는 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록을 복원하는 단계; 변환 및 양자화된 잔여 블록을 변환 및 양자화 타입에 따라 역 양자화 및 역 변환하여 잔여 블록을 복원하는 단계; 현재 블록을 예측하여 예측 블록을 생성하는 단계; 및 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록을 복원하는 복호화기; 변환 및 양자화된 잔여 블록을 변환 및 양자화 타입에 따라 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역 양자화기 및 역 변환기; 현재 블록을 예측하여 예측 블록을 생성하는 예측기; 및 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 영상에서 나타나는 시간적/공간적으로 인접한 화소들의 높은 상관성을 이용한 부호화를 수행할 수 있어 부호화 효율을 높일 수 있을 뿐만 아니라, 블록 왜곡을 감소시켜 압축 효율을 향상시킬 수 있으며, 필터링의 수행 회수를 줄일 수 있어 영상의 부호화 및 복호화를 위한 장치의 구현 복잡도를 낮출 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서 는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 영상을 부호화하는 장치로서, 예측기(Predictor, 110), 감산기(Subtracter, 120), 변환기 및 양자화기(Transformer and Quantizer, 130), 스캐너(Scanner, 140), 부호화기(Encoder, 150), 역 양자화기 및 역 변환기(Inverse Quantizer and Transformer, 160), 가산기(Adder, 170) 및 필터(Filter, 180)를 포함하여 구성될 수 있다. 이러한 영상 부호화 장치(100)는 개인용 컴퓨터(PC: Personal Computer), TV, 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이 어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등 일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비 하는 다양한 장치를 의미한다.
부호화하고자 하는 입력 영상은 블록 단위로 입력될 수 있는데, 블록은 매크로블록(Macroblock)이 될 수 있다. 본 발명의 일 실시예에서 매크로블록의 형태는 MxN 일 수 있다. 여기서, M과 N은 2n(단, n은 1 이상의 정수임)의 값을 가지는 정수일 수 있는데, 특히 M과 N은 16보다 크고 동일한 정수일 수 있다. 또한, 부호화할 프레임마다 다른 형태의 블록을 이용할 수 있으며, 이에 대한 정보인 블록 타입에 대한 정보를 각 프레임마다 부호화하여, 영상 복호화 장치에서 부호화된 데이터를 복호화할 때 복호화할 프레임의 블록의 형태를 결정하도록 할 수 있다. 어떠한 형태의 블록을 이용할지에 대한 결정은 현재 프레임을 다양한 형태의 블록으로 부호화하여 최적의 효율을 내는 블록의 형태를 선택하거나, 프레임의 특성을 분석하여 분석된 특성에 따라 블록의 형태를 선택할 수 있다. 예를 들면, 프레임의 영상이 가로 방향의 상관성이 높으면 가로 방향으로 긴 형태의 블록이 선택될 수 있고, 세로 방향의 상관성이 높으면 세로 방향으로 긴 형태의 블록이 선택될 수 있다.
이를 위해, 영상 부호화 장치(100)는 블록 타입을 결정하고 블록 타입에 대 한 정보를 부호화하여 부호화 데이터에 포함시키는 블록 타입 결정기(미도시)를 추가로 포함하여 구성될 수 있다.
예측기(110)는 입력 영상에서 현재 부호화하고자 하는 블록(이하에서는 '현재 블록(Current Block)'라 칭함)을 예측하여 예측 블록(Predicted Block)을 생성한다. 즉, 예측기(110)는 인트라 예측(Intra Prediction) 또는 인터 예측(Inter Prediction) 등을 이용하여 입력 영상에서 현재 블록을 예측함으로써 예측 화소값(Predicted Pixel Value)을 각 화소의 화소값으로 가지는 예측 블록을 생성한다.
이때, 예측 화소값을 최적화하기 위해, 필요에 따라 블록은 더 작은 형태의 블록으로 나뉘어져 예측될 수 있다. 즉, 블록으로부터 분할된 서브블록(Subblock) 단위로 예측 블록이 생성될 수 있다. 여기서, 블록은 전술한 바와 같이 정사각형 혹은 직사각형 형태를 가지는 MxN 형태의 블록일 수 있으며, 서브블록은 블록(또는 매크로블록)의 크기를 넘어서지 않는 범위 내에서 가로와 세로 각각 2n 크기를 가지는 QxP 형태의 블록일 수 있다.
감산기(120)는 현재 블록에서 예측 블록을 감산하여 잔여 블록(Residual Block)을 생성한다. 즉, 감산기(120)는 현재 블록의 각 화소의 원 화소값 (Original Pixel Value)과 예측 블록의 각 화소의 예측 화소값의 차이값을 계산하여 잔여 신호(Residual Signal)를 가지는 잔여 블록을 생성한다.
변환기 및 양자화기(130)는 현재 블록의 블록 타입에 따라 변환 및 양자화 타입을 결정하고, 결정된 변환 및 양자화 타입에 따라 잔여 블록을 변환 및 양자화 한다. 즉, 변환기 및 양자화기(130)는 잔여 블록의 잔여 신호를 주파수 영역(Frequency Domain)으로 변환하여 변환 계수(Transform Coefficient)를 가지는 잔여 블록을 생성하고 양자화하여 양자화된 변환 계수를 가지는 변환 및 양자화된 잔여 블록(Transformed and Quantized Residual Block)을 생성한다.
변환기 및 양자화기(130)가 잔여 블록을 변환 및 양자화할 때, 양자화 과정에 변환 과정이 포함되어 있기 때문에 양자화가 완료되어야만 변환도 완료된다. 여기서, 변환 방식으로는 하다마드 트랜스폼(Hadamard Transform), 이산 코사인 트랜스폼 기반의 정수 변환(Discrete Cosine Transform Based Integer Transform, 이하 '정수 변환'이라고 약칭함) 등과 같은 공간 영역의 영상 신호를 주파수 영역으로 변환하는 기법이 이용될 수 있으며, 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.
또한, 변환 및 양자화 타입은 현재 블록의 크기를 초과하지 않는 범위 내에서 PxQ 블록 크기의 변환 및 양자화와 같이 다양하게 변형될 수 있다. 여기서, PxQ 블록 크기의 변환 및 양자화는 통상적인 4x4 블록 크기의 변환 및 양자화와 8x8 블록 크기의 변환 및 양자화에 추가로 MxN 블록 크기의 현재 블록이 가질 수 있는 서브블록 크기의 변환 및 양자화일 수 있다.
이를 위해, 변환기 및 양자화기(130)는 현재 블록의 블록 타입에 따라 변환 및 양자화 타입을 결정하여 잔여 블록을 변환 및 양자화할 수 있다. 이때, 현재 블 록의 블록 타입이 인트라 블록 타입인 경우, 변환 및 양자화 타입을 인트라 블록 타입의 블록 크기와 동일하게 결정할 수 있으며, 현재 블록의 블록 타입이 인터 블록 타입인 경우, 부호화 비용을 이용하여 복수 개의 변환 및 양자화 타입 중 하나의 변환 및 양자화 타입을 결정할 수 있다. 여기서, 복수 개의 변환 및 양자화 타입은 서브블록의 블록 크기와 동일한 변환 및 양자화 타입일 수 있지만 이뿐만 아니라 다른 다양한 블록 크기를 가지는 변환 및 양자화 타입이 될 수도 있다. 변환 및 양자화기(130)가 잔여 블록을 변환 및 양자화하는 과정에 대해서는 후술하는 과정에서 상세히 설명한다.
여기서, 현재 블록이란 영상 부호화 장치(100)에서 현재 부호화하고자 하는 블록을 말한다. 블록 타입이란 블록을 부호화하는 방식과 블록 크기를 지정하는 블록의 유형으로서, 인트라 블록 타입과 인터 블록 타입으로 분류될 수 있다. 인트라 블록 타입은 다시 인트라 4x4 블록 타입, 인트라 8x8 블록 타입, 인트라 16x16 블록 타입으로 세부적으로 나누어질 수 있으며, 이외에도 인트라 32x32 블록 타입, 인트라 16x32 블록 타입 등 다양한 인트라 블록 타입으로 나누어질 수 있다. 인터 블록 타입은 인터 4x4 블록 타입, 인터 8x4 블록 타입, 인터 4x8 블록 타입, 인터 8x8 블록 타입, 인터 8x16 블록 타입, 인터 16x8 블록 타입, 인터 16x16 블록 타입 등으로 세부적으로 나누어 질 수 있으며, 이외에도 인터 32x16 블록 타입, 인터 16x32 블록 타입, 인터 32x32 블록 타입 등 다양한 인터 블록 타입으로 나누어질 수 있다.
스캐너(140)는 변환기 및 양자화기(130)에 의해 변환 및 양자화된 잔여 블록 의 양자화 변환 계수들을 스캐닝(Scanning)하여 양자화 변환 계수열을 생성한다. 이때, 스캐닝 방식은 변환 기법, 양자화 기법, 블록(매크로블록 또는 서브블록)의 특성을 고려하며, 스캐닝 순서는 스캐닝한 양자화 변환 계수열이 최소의 길이가 되도록 결정된다. 도 1에서는 스캐너(140)가 부호화기(150)와 독립적으로 구현되는 것으로 도시하고 설명하지만, 스캐너(140)는 생략되어 그 기능이 부호화기(150)에 통합될 수 있다.
부호화기(150)는 변환 및 양자화된 잔여 블록을 부호화하여 부호화 데이터를 생성한다. 즉, 부호화기(150)는 변환기 및 양자화기(130)에 의해 변환 및 양자화된 잔여 블록의 양자화 변환 계수들을 스캔하여 생성되는 양자화 변환 계수열을 부호화하여 부호화 데이터를 생성하거나 스캐너(140)에 의해 스캔되어 생성되는 양자화 변환 계수열을 부호화하여 부호화 데이터를 생성한다.
이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 이용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다. 또한, 부호화기(150)는 양자화 변환 계수열을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 여기서, 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들이란 블록 타입에 대한 정보, 예측 모드가 인트라 예측 모드인 경우에는 인트라 예측 모드에 대한 정보, 예측 모드가 인터 예측 모드인 경우에는 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있지만, 이외의 다양한 정보들이 될 수도 있다.
역 양자화기 및 역 변환기(160)는 변환기 및 양자화기(130)에 의해 변환 및 양자화된 잔여 블록을 역 양자화(Inverse Quantization)하고 역 변환(Inverse Transform)하여 잔여 블록을 복원(Reconstruction)한다. 역 양자화와 역 변환은 변환기 및 양자화기(130)가 수행한 변환 과정과 양자화 과정을 역으로 수행함으로써 이루어질 수 있다. 즉, 역 양자화기 및 역 변환기(160)는 변환기 및 양자화기(140)로부터 전달되는 변환 및 양자화에 관한 정보(예를 들어, 변환 및 양자화 타입에 대한 정보)를 이용하여 변환기 및 양자화기(130)가 변환 및 양자화한 방식을 역으로 수행하여 역 양자화 및 역 변환을 수행할 수 있다.
가산기(170)는 예측기(110)에 의해 예측된 예측 블록과 역 양자화 및 역 변환기(170)에 의해 역 양자화 및 역 변환된 잔여 블록을 가산하여 현재 블록을 복원한다.
필터(180)는 가산기(170)에 의해 복원되는 현재 블록을 필터링(Filtering)한다. 이때, 필터(180)는 영상의 블록 단위의 변환 및 양자화에 의해 블록 경계에서 발생하는 블록화 현상(Blocking Effects)과 양자화 과정에서 고주파 손실로 인해 영상의 에지(Edge) 주변에서 발생하는 링잉 노이즈(Ringing Noise)를 감소시킨다. 여기서, 블록화 현상과 링잉 노이즈를 감소시키기 위해 각각 디블록킹 필터(Deblocking Filter)와 디링잉 필터(Deringing Filter)가 이용될 수 있는데, 디블록킹 필터와 디링잉 필터 두 가지 모두를 이용하는 방법, 두 가지 중 한 가지 필터만을 이용하는 방법, 두 가지 모두를 이용하지 않는 방법 중 하나를 선택적으로 이용할 수 있다. 또한, 디블록킹 필터링은 서브블록 간의 경계와 매크로블록 간의 경계에 필터를 적용하거나 매크로블록 간의 경계에만 필터를 적용하는 방법 중 하나를 선택적으로 이용할 수 있다.
한편, 통상적인 영상 부호화에서, 영상 부호화를 위해 사용되는 매크로블록의 형태는 가로, 세로가 동일한 16x16 화소이며, 각 매크로블록에 대해 인트라 예측 및 인터 예측 중 하나 이상이 수행되어 예측 블록이 생성될 수 있다. 매크로블록 단위로 영상을 부호화하는 것은 영상의 지역적인 특성을 고려한 효율적인 부호화가 가능하기 때문에 널리 사용되고 있는 부호화 방법이다. 그리고 예측 블록을 생성하기 위해 다양한 방법의 인트라 예측 또는 인터 예측을 사용하기 때문에 높은 부호화 효율을 보인다.
도 2 내지 도 4는 통상적인 영상 부호화에서 이용되는 매크로블록 타입에 따른 인트라 예측 모드를 나타낸 예시도이다.
도 2는 매크로블록 타입이 인트라 4x4 매크로블록인 경우의 9 가지의 인트라 예측 모드를 나타낸 예시도이고, 도 3은 매크로블록 타입이 인트라 8x8 매크로블록인 경우의 9 가지의 인트라 예측 모드를 나타낸 예시도이며, 도 4는 매크로블록 타입이 인트라 16x16 매크로블록인 경우의 4 가지의 인트라 예측 모드를 나타낸 예시도이다.
매크로블록 타입이 인트라 블록 타입인 경우, 부호화할 매크로블록은 인트라 예측을 이용하여 예측된다. 인트라 블록 타입도 세부적으로 인트라 4x4 매크로블록, 인트라 8x8 매크로블록, 인트라 16x16 매크로블록 등으로 구분되는데, 각각의 경우에 매크로블록은 도 2 내지 도 4에 도시한 바와 같은 예측 모드에 따라 이미 부호화되고 복호화되어 복원된 인접 블록의 인접 화소들을 이용하여 예측된다.
도 5는 통상적인 영상 부호화에서 이용되는 매크로블록 타입에 따른 인터 예측 모드를 나타낸 예시도이다.
매크로블록 타입이 인터 예측 타입인 경우, 부호화할 매크로블록은 인터 예측을 이용하여 예측된다. 이 경우, 도 3에 도시한 바와 같이, 매크로블록은 이전에 이미 부호화되고 복호화되어 복원된 프레임을 이용하여 16x16, 16x8, 8x16 또는 8x8 블록 크기로 예측되어 예측 블록이 생성되는데, 매크로블록이 8x8 블록 크기로 예측되는 경우에는 각 8x8 블록들은 8x8, 8x4, 4x8 또는 4x4 블록 크기로 예측되어 예측 블록이 생성된다.
하지만, 통상적인 영상 부호화와 같이 16x16 블록 크기의 매크로블록 단위로 고해상도 영상을 부호화하면, 고해상도 영상이 갖는 특징인 화소간의 높은 상관성을 이용한 효율적인 부호화를 수행할 수 없다. 이는, 확장된 MxN 블록 크기의 매크로블록 단위로 생성된 예측 블록의 예측 정확도와 통상적인 16x16 블록 크기의 매크로블록으로 생성된 예측 블록의 예측 정확도가 비슷하므로, 16x16 블록 크기의 매크로블록 단위로 영상을 부호화 하는 경우 부호화할 매크로블록의 개수가 많아져 부호화 효율이 저하되기 때문이다.
또한, 통상적인 영상 부호화에서는 이산 코사인 변환을 기반으로 하는 4x4 블록 크기 또는 8x8 블록 크기의 정수 변환을 이용한다. 정수 변환은 이산 코사인 변환의 특성을 최대한 유지하면서 이산 코사인 변환이 갖는 단점인 실수 단위의 연산을 수행하지 않고 정수 단위 연산만을 수행하므로, 부호화 효율과 복잡도 측면에 서 장점이 있다. 블록 단위의 변환으로 인하여 발생하는 블록화 현상과 링잉 노이즈는 필터링을 이용하여 최소화될 수 있다.
하지만, 영상 부호화 장치(100)는 더욱 다양한 PxQ 블록 크기의 변환 및 양자화를 추가적으로 이용하여 고해상도 영상을 부호화하는 것이 통상적인 4x4 블록 크기 또는 8x8 블록 크기의 변환 및 양자화만을 이용하여 고해상도 영상을 부호화하는 것보다 더욱 효율적이다. 이는, 고해상도 영상의 특징인 높은 상관성을 가지는 화소들이 밀집해 있는 넓은 영역을 부호화할 경우, 통상적인 4x4 블록 크기의 변환 및 양자화 또는 8x8 블록 크기의 변환 및 양자화만을 이용하게 되면 블록화 현상이 많이 발생하고 고주파 성분에서 많은 손실이 발생하기 때문이다.
반면, 다양한 형태의 PxQ 블록 크기의 변환 및 양자화를 선택적으로 이용하여 변환 및 양자화를 수행할 수 있다면, 블록화 현상을 줄일 수 있고 고주파 성분에서의 손실을 통상적인 블록 크기의 변환 및 양자화만을 이용하는 경우보다 줄일 수 있어 링잉 노이즈도 줄일 수 있다. 그에 따라 필터링 작업의 회수도 줄어들어 영상 부호화 장치(100)와 후술할 영상 복호화 장치의 복잡도 측면에서 많은 부분을 차지하고 있는 필터링 작업을 위한 복잡도를 줄일 수 있다. 또한, 다양한 형태의 PxQ 블록 크기의 변환 및 양자화가 이용되기 때문에, 스캐너(140)에서 변환기 및 양자화기(130)에 의해 생성되는 양자화 변환 계수를 변환 및 양자화를 위한 블록 크기에 적합한 방식으로 스캐닝하여 부호화 효율을 높일 수 있다.
따라서, 본 발명의 일 실시예에서는 16x16 블록 크기의 매크로블록으로 영상을 부호화하는 통상적인 영상 부호화 방식과는 달리, 확장된 형태의 MxN 블록 크기 의 매크로블록 단위로 예측하여 잔여 블록을 생성하고 변환 및 양자화를 위한 블록 크기도 4x4 블록 크기 또는 8x8 블록 크기만을 이용하는 것이 아니라 다양한 형태의 PxQ 블록 크기에 따라 변환 및 양자화를 수행하고 변환 및 양자화의 블록 크기에 적합한 필터링 및 스캐닝을 수행한다.
도 6은 본 발명의 일 실시예에 따른 MxN 블록 크기의 매크로블록을 나타낸 예시도이다.
본 발명의 일 실시예에 따르면, 도 6에 도시한 바와 같이, 32x32 블록 크기의 매크로블록, 32x16 블록 크기의 매크로블록 등이나 이외에도 64x64 블록 크기의 매크로블록, 128x128 블록 크기의 매크로블록, 64x128 블록 크기의 매크로블록 등 다양한 블록 크기의 매크로블록 단위로 영상을 부호화할 수 있다. 도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 MxN 블록 크기의 매크로블록은 정사각형의 형태뿐만 아니라 직사각형의 형태를 가질 수도 있다.
도 7은 본 발명의 일 실시예에 따른 MxN 블록 크기의 매크로블록이 가질 수 있는 다양한 종류의 서브 매크로블록을 나타낸 예시도이다.
도 7에서는 매크로블록이 32x16 블록 크기인 경우, 매크로블록이 가질 수 있는 서브 매크로블록의 블록 크기의 종류를 예시적으로 나타내었다. 이와 같은 서브 매크로블록을 이용하여 매크로블록을 예측하면 원래의 매크로블록과 더욱 유사한 예측 블록을 생성할 수 있으므로, 부호화 효율을 더욱 높일 수 있다. 이때 MxN 블록 크기의 매크로블록에서 크기를 결정하는 M과 N은 2n으로 결정될 수 있으며, JxK 서브 매크로블록의 블록 크기를 결정하는 J와 K는 M과 N을 초과하지 않는 범위 내에서 2n 단위를 갖는다.
한편, 변환기 및 양자화기(130)는 잔여 블록을 변환 및 양자화 타입에 따라 변환 및 양자화함으로써, 잔여 블록의 잔여 신호들을 변환 계수로 변환하고 양자화하여 양자화 변환 계수를 생성한다. 이때, 변환기 및 양자화기(130)는 변환 및 양자화에 이용할 변환 및 양자화의 블록 크기를 부호화하고자 하는 블록의 블록 타입에 따라 다르게 결정할 수 있다.
예를 들어, 블록 타입이 인트라 블록 타입인 경우, 인트라 예측을 수행하는 블록 크기로 변환 및 양자화의 블록 크기가 결정될 수 있다. 즉, 인트라 4x4 예측이라면 4x4 블록 크기의 변환 및 양자화가 이용되고, 인트라 8x8 예측이라면 8x8 블록 크기의 변환 및 양자화가 이용되며, 인트라 16x16 예측이라면 16x16 블록 크기의 변환 및 양자화 타입가 이용되며, 인트라 16x8 예측이라면 16x8 블록 크기의 변환 및 양자화가 이용될 수 있다. 따라서, 인트라 예측을 수행하는 크기가 PxQ 블록 크기라면, PxQ 블록 크기의 변환 및 양자화 타입으로 결정될 수 있다.
다른 예로, 블록 타입이 인터 블록 타입인 경우, 복수 개의 변환 및 양자화의 블록 크기 중에서 부호화 비용이 최소가 되는 변환 및 양자화의 블록 크기로 결정될 수 있다. 즉, 4x4 블록 크기의 변환 및 양자화, 8x8 블록 크기의 변환 및 양자화, 16x16 블록 크기의 변환 및 양자화, 32x16 블록 크기의 변환 및 양자화, 8x16 블록 크기의 변환 및 양자화, 16x8 블록 크기의 변환 및 양자화 등 중에서 하 나의 블로 크기의 변환 및 양자화를 선택하여 선택된 블록 크기의 변환 및 양자화를 이용하여 잔여 블록을 변환 및 양자화할 수 있다. 이뿐만 아니라, 블록 타입이 인터 블록 타입인 경우, 현재 블록이 서브블록을 가지는 경우(즉, 현재 블록이 매크로블록이고 서브 매크로블록을 가지는 경우), 서브블록의 크기의 변환 및 양자화를 복수 개의 블록 크기의 변환 및 양자화에 포함시켜 부호화 비용이 최소가 되는 블록 크기의 변환 및 양자화를 변환 및 양자화 타입으로 결정할 수 있다. 여기서, 부호화 비용은 율-왜곡 비용이 될 수 있으나 반드시 이에 한정되지 않고 해당 블록 크기의 변환 및 양자화에 따라 잔여 블록을 부호화하는 데 소요되는 비용이라면 어떠한 비용이어도 된다.
이하에서는 변환 및 양자화 타입이 8x4 블록 크기의 변환 및 양자화로 결정된 것으로 가정하여, 본 발명의 일 실시예에 따른 변환 및 양자화 과정을 설명한다.
8x4 블록 크기의 변환은 4x4 블록 크기의 정수 변환과 8x8 블록 크기의 정수 변환을 조합하여 설계될 수 있으며, 수학식 1과 같이 나타낼 수 있다.
Figure 112009056274490-PAT00001
수학식 1에서 X는 8x4 블록 크기의 예측 블록에 의해 생성된 8x4 블록 크기의 잔여 블록을 나타내고, A는 4x4 블록 크기의 정수 변환을 위한 행렬을 나타내며, B는 8x8 블록 크기의 정수 변환을 위한 행렬을 나타내며, T는 해당 행렬의 행과 열이 바뀐 행렬인 전치 행렬을 나타내며, Y는 8x4 블록 크기의 잔여 블록 X에 대하여 8x4 블록 크기의 변환이 수행된 결과인 변환된 잔여 블록을 나타낸다.
위의 수학식 에서 A와 B T 를 엘레먼트(Element)를 나타내면, 수학식 2와 같이 나타낼 수 있다.
Figure 112009056274490-PAT00002
A = , B =
수학식 2에서, 행렬 A의 x는
Figure 112009056274490-PAT00004
, y는
Figure 112009056274490-PAT00005
, z는
Figure 112009056274490-PAT00006
이고, 행렬 B의 a는
Figure 112009056274490-PAT00007
, b는
Figure 112009056274490-PAT00008
, c는
Figure 112009056274490-PAT00009
, d는
Figure 112009056274490-PAT00010
, e는
Figure 112009056274490-PAT00011
, f는
Figure 112009056274490-PAT00012
, g는
Figure 112009056274490-PAT00013
이다. 여기서, 이산 코사인 변환의 특성인 직교성을 유지하면서 정수 연산을 수행하기 위해 각 4x4 크기의 정수 변환과 8x8 크기의 정수 변환은 수학식 3과 같이 분해되고 근사화된다.
Figure 112009056274490-PAT00014
A =
B =
Figure 112009056274490-PAT00015
수학식 3에서, 행렬 A의, x는 그대로
Figure 112009056274490-PAT00016
y는
Figure 112009056274490-PAT00017
,w(=
Figure 112009056274490-PAT00018
Figure 112009056274490-PAT00019
로 각각 근사화 된다. 행렬 B의, a는 그대로
Figure 112009056274490-PAT00020
이고, b는
Figure 112009056274490-PAT00021
, c는
Figure 112009056274490-PAT00022
, K(=
Figure 112009056274490-PAT00023
)는
Figure 112009056274490-PAT00024
, L(=
Figure 112009056274490-PAT00025
)는
Figure 112009056274490-PAT00026
, M(=
Figure 112009056274490-PAT00027
)는
Figure 112009056274490-PAT00028
로 각각 근사화 된다. 이러한 과정을 통하여 수학식 1은 다음의 수학식 4와 같이 나타낼 수 있다.
Figure 112009056274490-PAT00029
수학식 4에서 X와 Y는 수학식 1과 동일하고, C는 수학식 3의 행렬 A에서 오른쪽 4x4 행렬을 나타내며, D T 는 수학식 3의 행렬 B에서 왼쪽 8x8 행렬을 나타낸다. 그리고
Figure 112009056274490-PAT00030
연산은
Figure 112009056274490-PAT00031
의 결과 행렬과 행렬 E의 같은 위치의 계수들끼리 곱해주는 연산을 나타낸다. 행렬 E는 수학식 1을 수학식 4로 근사화 및 분해하는 과정에서 유도된 8x8 행렬을 나타내며, 행렬의 엘레멘트는 수학식 4과 같다.
Figure 112009056274490-PAT00032
Figure 112009056274490-PAT00033
=
수학식 5에서, 행렬 E의 x, y, a, b, c는 수학식 3의 값과 동일하다. 한편, 수학식 5에서 행렬 C, D T , E가 갖는 계수들은 정수가 아닌 것을 알 수 있는데, 정수 연산을 위하여 각 행렬들은 수학식 6와 같이 스케일링(Scaling)된다.
Figure 112009056274490-PAT00034
C =
D =
Figure 112009056274490-PAT00035
E =
Figure 112009056274490-PAT00036
수학식 6의 스케일링 과정이 완료되면, 8x4 블록 크기의 정수 변환이 설계되는데, 정수 변환을 위해 행렬 E를 양자화 과정에 포함시켜 최종적인 8x4 블록 크기 의 정수 변환이 설계된다.
기본적인 양자화 과정은 수학식 7과 같이 나타낼 수 있다.
Figure 112009056274490-PAT00037
수학식 7에서, Y ij 는 잔차 블록을 변환한 후 행렬로 표현되는 원소들을 나타내며, Qstep은 양자화 단계(Quantization Step)의 크기를 나타낸다.
수학식 7과 같이 수행되는 기본적인 양자화 동작을 실제의 8x4 블록 크기의 변환 및 양자화을 위한 양자화 과정에 적용되도록 나타내면 수학식 8과 수학식 9로 나타낼 수 있다.
Figure 112009056274490-PAT00038
Figure 112009056274490-PAT00039
수학식 8에서, W ij 는 잔여 블록의 각 잔여 신호를 변환한 후 행렬로 표현되는 원소들을 나타내며, MF는 양자화 계수(Quantization Parameter)에 따라 결정되는 증배 계수(Multiplication Factor)를 나타내며, f는 양자화 과정에서의 반올림으로 인한 오류와 데드존(Dead Zone)의 크기를 결정하는 요소로서 현재 블록이 인트라 예측으로 예측된 경우에는
Figure 112009056274490-PAT00040
이고, 인터 예측으로 예측된 경우에는
Figure 112009056274490-PAT00041
으로 고정된다. 여기서, qbits는
Figure 112009056274490-PAT00042
이며, floor는 내림(Round Down) 연산을 의미하는데, qbits는 변환 후의 변환 계수가 갖는 최대값 및 최소값에 따라 변경될 수 있다.
이때, 수학식 6에서의 행렬 E는 MF에 포함되며 MF는 수학식 10과 같다.
Figure 112009056274490-PAT00043
수학식 9에서 PF가 행렬 E를 의미하며, 변환의 형태와 근사화에 따라서 PF가 변하기 때문에 각 변환에 적합한 MF를 구하여 사용해야 한다.
도 8은 본 발명의 일 실시예에 따른 8x4 변환에 대한 MF를 나타내는 예시도이다.
수학식 6의 행렬 E의 계수 위치에 따라 MF값이 변화하기 때문에 도 8의 첫 번째 행은 수학식 6의 행렬 E에 따른 계수의 위치를 나타내고, 도 8의 첫번째 열은 Qstep을 의미한다. 여기서, 사용되는 MF값은 수학적으로 도출해낸 값이지만, 정수 변환은 영상 부호화를 위한 최적의 변환이 아니므로 MF값의 수정이 가능하다.
이상에서 전술한 8x4 블록 크기의 변환 및 양자화를 응용하면 4x8 블록 크기의 변환 및 양자화, 16x8 블록 크기의 변환 및 양자화 등 PxQ 블록 크기의 변환 및 양자화와 같은 다양한 변환 및 양자화 타입에 따라 변환 및 양자화를 수행할 수 있다.
도 9는 본 발명의 일 실시예에 따라 다양한 변환 및 양자화 타입이 적용된 경우의 필터링을 설명하기 위한 예시도이다.
도 9에서는 현재 블록이 32x32 블록 크기의 매크로블록인 경우의 잔여 블록을 다양한 형태의 변환 및 양자화 타입에 따라 변환 및 양자화하고 다시 역 양자화 및 역 변환한 후 예측 블록과 가산하여 복원되는 현재 블록을 예시적으로 나타내었다.
도 9에서, 실선은 현재 블록인 매크로블록 혹은 현재 블록의 서브 매크로블록의 경계를 나타낸다. 실선의 원으로 표시되는 영역의 내부에 있는 경계에 대하여 필터링을 수행하는 경우, 점선으로 표시된 블록 경계에 대해서만 필터링이 수행된다. 이때, 수행되는 필터링은 블록화 현상을 줄여주는 디블록킹 필터링이 이용될 수 있으며, 이 경우 이용되는 디블로킹 필터는 1차원 저역 통과 필터(Low Pass Filter)이다. 필터링은 수직 방향의 블록 경계에 대한 수행된 후 수평 방향의 블록 경계에 대하여 수행된다.
통상적인 영상 부호화 방식에서는 4x4 블록 크기의 정수 변환 또는 8x8 블록 크기의 정수 변환만을 이용하여 변환 및 양자화되기 때문에, 디블로킹 필터링 및/또는 디링잉 필터링해야 하는 블록의 경계가 많아져서 필터링을 수행하는 회수가 많아진다. 하지만, 본 발명의 일 실시예에 따라 PxQ 블록 크기의 변환 및 양자화를 수행하면, 필터링을 수행하는 회수가 통상적인 영상 부호화 방식보다 줄어들기 때문에 필터링을 위한 영상 부호화 장치(100)와 영상 복호화 장치의 구현 복잡도를 줄일 수 있으며, 블록화 현상도 덜 발생하여 부호화 효율을 높일 수 있다.
또한, 본 발명의 일 실시예에 따라 PxQ 블록 크기의 변환 및 양자화를 수행 하면, 변환 및 양자화되는 블록 크기가 커져서 필터링을 위해 참조되는 화소들의 개수가 많아질 수 있으며, 그에 따라 필터링을 수행한 결과가 더욱 정확해 져서 블록화 현상이나 링잉 현상을 더욱 줄일 수 있다.
도 10 본 발명의 일 실시예에 따라 블록 경계에 디블로킹 필터링하는 과정을 설명하기 위한 예시도이다.
도 10에서, a, b, c, d, e, f는 블록 경계에 디블로킹 필터링을 수행하기 전의 화소들을 나타내며, b', c', d', e'는 블록 경계에 디블로킹 필터링을 수행한 후의 화소들을 나타내며, 화소들의 수직 위치는 화소의 밝기를 나타낸다. c와 d 화소의 가운데에 있는 실선은 블록 경계를 나타낸다. 도 10을 통해 알 수 있듯이, 블록 경계에 디블로킹 필터링을 수행하기 전에는 블록 경계에서 화소의 밝기 차이가 커져서(화소 c와 d 사이에서 밝기의 차이가 급격히 증가함) 블록화 현상이 발생한다.
이러한 블록화 현상을 줄이기 위해, 블록 경계에 디블로킹 필터링을 수행하여 도 10에 도시한 바와 같이 필터링을 수행하기 전의 화소 b, c, d, e의 밝기를 주변의 화소의 밝기를 이용하여 보정하여 b', c', d', e'의 화소를 생성할 수 있다.
이때, 디블로킹 필터링에 이용되는 1차원 저역 통과 필터로서는 강한 필터(Strong Filter)와 약한 필터(Weak Filter)가 이용될 수 있다. 강한 필터는 수학식 11과 같이 구현될 수 있으며, 약한 필터는 수학식 12와 같이 구현될 수 있다.
Figure 112009056274490-PAT00044
Figure 112009056274490-PAT00045
수학식 10과 수학식 11에서, b, c, d, e, f, d'은 도 8의 화소를 나타내고 α는 반올림을 위한 상수를 나타낸다.
수학식 10과 수학식 11을 통해 알 수 있듯이, 강한 필터를 이용하여 필터링하면 필터링되는 화소가 인접 화소로부터 많은 영향을 받고, 약한 필터를 이용하여 필터링하면 필터링되는 화소에 가중치를 두므로 인접 화소로부터의 영향이 줄어든다. 이러한 개념을 적용하여 강한 필터와 약한 필터에 적용되는 가중치를 변경하여 필터링할 수 있으며, 인접 화소의 개수와 필터링을 수행할 화소의 개수도 선택적으로 적용하여 필터링할 수 있다. 따라서, 본 발명의 일 실시예에 따르면, PxQ 크기의 변환 및 양자화를 수행하여 블록 경계에 디블로킹 필터링을 수행할 때 참조할 인접 화소의 개수를 더욱 많이 이용할 수 있으므로, 필터링 효과를 더욱 높일 수 있다.
도 11은 본 발명의 일 실시예에 따라 디링잉 필터링을 수행하는 과정을 설명하기 위한 예시도이다.
디링잉 필터를 수행하기 위해서는 복원되는 영상에서 에지를 찾아야 하며, 에지를 찾기 위해 소벨 연산(Sobel Operation)과 같은 에지 검출 과정이 수행된다. 도 11에서는 에지가 검출된 블록을 나타내었다. 도 11에서 검정색으로 채워진 화소들이 영상에서 검출된 에지를 나타내고, A는 필터링이 수행될 화소를 나타내며, B와 C는 수평 방향으로 필터링될 때의 인접 화소를 나타낸다. 링잉 노이즈(Ringing Noise)를 줄이기 위해 에지가 검출되는 블록의 화소들에 대하여 디링잉 필터링이 수행된다. 이때 사용되는 필터는 수학식 13과 같이 구현될 수 있으며, 에지가 검출된 블록의 각 화소는 수직 방향으로 필터링된 후에 수평 방향으로 필터링된다.
Figure 112009056274490-PAT00046
수학식 13에서, A는 필터링이 수행될 화소를 나타내며, B와 C는 수평 방향으로 필터링될 때의 인접 화소 또는 수직 방향으로 필터링될 때의 인접 화소를 나타내며, A'은 필터링이 수행된 화소를 나타낸다. β, γ, δ는 각각 B 화소, A 화소, C 화소가 에지인지 여부에 따라 다르게 적용되는 가중치를 나타내고, α는 반올림 상수, λ는 β, γ, δ의 합을 나타낸다.
디링잉 필터링은 에지가 아닌 화소에 대하여 수행되며, B 또는 C가 에지인 경우, B와 C가 에지인 경우, B와 C가 에지가 아닌 경우 등으로 구분되어 화소별로 부여되는 가중치가 달라질 수 있다. 예를 들어, B 또는 C가 에지인 경우, B가 에지면 C의 가중치가 가장 커지고 C가 에지면 B의 가중치가 가장 커진다. B와 C가 에지인 경우, B와 C의 가중치는 0이 되며, B와 C가 에지가 아닐 경우, A의 가중치가 가장 커진다.
위의 개념을 적용하여 각 화소에 적용되는 가중치를 변경하여 디링잉 필터링을 수행할 수 있으며, 참조되는 인접 화소의 개수 또한 선택적으로 사용할 수 있다. 따라서, 본 발명의 일 실시예에 따르면, PxQ 블록 크기의 변환 및 양자화를 수행하여 에지가 있는 블록에 디링잉 필터링을 수행할 때 참조할 인접 화소의 개수를 더욱 많이 이용할 수 있으므로, 필터링 효과를 더욱 높일 수 있다.
도 12는 본 발명의 일 실시예에 따른 변환 및 양자화 타입에 따른 스캐닝 순서를 나타낸 예시도이다.
본 발명의 일 실시예에서는 다양한 변환 및 양자화 타입에 따라 변환 및 양자화를 수행하므로 스캐너(140) 또는 부호화기(150)는 변환 및 양자화된 잔여 블록의 양자화 변환 계수들을 변환 및 양자화 타입에 따라 스캐닝하여 양자화 변환 계수열을 생성한다. 도 12에서는 변환 및 양자화된 잔여 블록이 8x4 블록 크기인 경우와 4x8 블록 크기인 경우, 양자화 변환 계수를 스캐닝하는 순서를 예시적으로 나타내었다.
도 12에 도시한 스캐닝 순서는 본 발명의 일 실시예에 따라 사용되는 다양한 변환 및 양자화 타입에 맞게 응용되어 이용될 수 있으며, 적합한 스캐닝 순서에 따라 양자화 변환 계수들을 스캐닝하면 부호화 효율을 더욱 높일 수가 있다. 이산 코사인 변환의 경우, 통상적으로 변환 후의 변환 계수가 낮은 에너지를 가지는 주파수 부분에 모이므로, 변환 계수가 블록의 왼쪽 상단(DC 계수 쪽)에 모이는 성향을 보이는데, 정수 변환도 이산 코사인 변환을 기반으로 하기 때문에 동일한 성향을 보인다. 따라서, DC 계수의 위치를 시작점으로 하고 DC 계수와 가까운 위치의 계수 부터 변환 계수의 에너지가 적어지는 방향으로 스캐닝하는 것이 효율적일 수 있다.
부호화기(150)는 도 12에 도시한 바와 같은 스캐닝 순서 또는 이와 유사한 스캐닝 순서에 따라 스캐닝되어 생성되는 양자화 변환 계수열을 다양한 방식으로 부호화하여 비트열을 생성할 수 있다. 하지만, 부호화기(150)는 기존의 문맥 기반 적응적 가변 길이 부호화(CAVLC: Context-based Adaptive Variable Length Coding, 이하 'CAVLC'라 칭함)를 응용하여 변환 및 양자화된 잔여 블록을 스캐닝하고 부호화할 수 있다.
도 13 내지 도 18은 본 발명의 일 실시예에 따른 변환 및 양자화 타입에 따른 CAVLC 적용 방법을 설명하기 위한 예시도이다.
통상적인 영상 부호화에서는, CAVLC는 4x4 블록 크기의 블록에 대해서만 수행되지만, 본 발명의 일 실시예에서는 도시한 바와 같이 4x4 블록 크기 이상의 블록에 대해서도 CAVLC가 수행될 수 있다.
도 13은 내지 도 18에서는 각각 변환 및 양자화된 잔여 블록의 크기가 8x4, 4x8, 8x8, 16x8, 8x16, 16x16인 경우, CAVLC를 적용하기 위해 변환 및 양자화된 잔여 블록을 4x4 블록 크기의 블록으로 분해한 모습을 예시적으로 도시하였다. 도 13 내지 도 18에서, 각 화소에 나타낸 숫자 1, 2, 3, 4는 각 화소의 위치를 나타내기 위해 부여된 것으로서, 동일한 숫자를 가지는 화소들만을 모아 4x4 블록 크기의 블록으로 모아진다.
일예로, 도 13에 도시한 8x4 블록 크기의 변환 및 양자화된 잔여 블록에서 격열로 1과 2의 숫자가 부여되어 있는데, 1의 숫자가 부여된 4 개의 열을 따로 모 으고 2의 숫자가 부여된 4 개의 열을 따로 모아, 도시된 바와 같이, 2 개의 4x4 블록 크기의 변환 및 양자화된 잔여 블록을 얻을 수 있다. 부호화기(150)는 도시된 바와 같이 얻은 2 개의 4x4 블록 크기의 변환 및 양자화된 잔여 블록을 CAVLC를 이용하여 부호화함으로써, 비트열을 얻을 수 있다.
다른 예로, 도 15에 도시한 8x8 블록 크기의 변환 및 양자화된 잔여 블록에서 1의 숫자가 부여된 화소들, 2의 숫자가 부여된 화소들, 3의 숫자가 부여된 화소들, 4의 숫자가 부여된 화소들을 각각 따로 모아 4 개의 4x4 블록 크기의 변환 및 양자화된 잔여 블록을 얻을 수 있다. 부호화기(150)는 도시된 바와 같이 얻은 4 개의 4x4 블록 크기의 변환 및 양자화된 잔여 블록을 CAVLC를 이용하여 부호화함으로써, 비트열을 얻을 수 있다.
도 19는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 영상 부호화 방법에 따르면, 영상 부호화 장치(100)는 현재 블록을 예측하여 예측 블록을 생성하고(S1910), 현재 블록과 예측 블록을 감산하여 잔여 블록을 생성하며(S1920), 현재 블록의 블록 타입에 따라 변환 및 양자화 타입을 결정하며(S1930), 결정된 변환 및 양자화 타입에 따라 잔여 블록을 변환 및 양자화하여 부호화한다(S1940). 여기서, 현재 블록은 MxN 블록 크기의 매크로블록이고, M과 N은 16보다 클 수 있다.
또한, 단계 S1910에서, 영상 부호화 장치(100)는 현재 블록을 복수 개의 서브블록으로 분할하고 분할된 복수 개의 서브블록을 예측한 예측 서브블록을 결합하 여 예측 블록을 생성할 수 있다. 이를 위해, 영상 부호화 장치(100)는 영상의 프레임마다 블록 타입을 결정할 수 있으며, 이 경우 현재 블록은 결정된 블록 타입에 따른 매크로블록일 수 있다. 영상 부호화 장치(100)는 블록 타입을 결정하는 데 있어서, 복수 개의 블록 타입에 따라 프레임을 부호화하는 데 소요되는 부호화 비용을 이용하여 블록 타입을 결정할 수도 있지만, 프레임의 특성에 따라 블록 타입을 결정할 수도 있다. 이러한 프레임의 특성은 프레임의 가로 방향의 상관성 및 세로 방향의 상관성 중 하나 이상일 수 있다. 또한, 영상 부호화 장치(100)는 블록 타입에 대한 정보를 부호화하여 부호화 데이터에 추가로 포함시킬 수 있다.
또한, 단계 S1930에서, 영상 부호화 장치(100)는 블록 타입이 인트라 블록 타입인 경우, 블록 타입의 크기와 동일한 블록 크기의 변환 및 양자화를 변환 및 양자화 타입으로서 결정할 수 있으며, 블록 타입이 인터 블록 타입인 경우, 부호화 비용을 이용하여 복수 개의 블록 크기의 변환 및 양자화 중 하나의 블록 크기의 변환 및 양자화 타입를 변환 및 양자화 타입으로서 결정할 수 있다. 여기서, 복수 개의 블록 크기의 변환 및 양자화는 서브블록의 블록 크기와 동일한 변환 및 양자화를 포함할 수 있다.
또한, 단계 S1940에서, 영상 부호화 장치(100)는 변환 및 양자화된 잔여 블록의 양자화 변환 계수를 DC 계수와 가까운 위치의 양자화 변환 계수로부터 양자화 변환 계수의 에너지가 적어지는 순서로 스캐닝하여, 스캐닝된 양자화 변환 계수열을 부호화할 수 있다.
이외에도, 영상 부호화 장치(100)는 변환 및 양자화된 잔여 블록을 역 양자 화 및 역 변환하여 잔여 블록을 복원하고, 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원할 수 있으며, 복원되는 현재 블록을 변환 및 양자화 타입에 따라 필터링할 수 있다. 이때, 영상 부호화 장치(100)는 복원되는 현재 블록을 필터링하는 데 있어서, 복원되는 현재 블록의 경계에 변환 및 양자화 타입에 따라 디블로킹 필터링하고, 복원되는 현재 블록을 변환 및 양자화 타입에 따라 디링잉 필터링할 수 있다. 이때, 영상 부호화 장치(100)는 변환 및 양자화 타입에 따라 다르게 디블로킹 필터링 및/또는 디링잉 필터링할 수 있다. 다만, 디블로킹 필터링과 디링잉 필터링은 모두 수행되어야 하는 것은 아니고 두 개의 필터링 중 하나만이 선택적으로 수행되거나 모두 수행되지 않을 수도 있다.
또한, 영상 부호화 장치(100)는 단계 S1930에서 결정된 변환 및 양자화 타입에 대한 정보를 부호화하여 부호화 데이터에 추가로 포함시킬 수 있다.
이상에서 전술한 바와 같이, 본 발명의 일 실시예에 따른 영상 부호화 장치(100)와 영상 부호화 방법을 이용하면, MxN 블록 크기의 매크로블록, PxQ 블록 크기의 변환 및 양자화, 변환 및 양자화 타입에 적합한 스캐닝과 필터링을 수행할 수 있어 고해상도 영상을 더욱 효율적으로 부호화할 수 있다. 이와 같이, 영상 부호화 장치(100)에 의해 부호화 데이터로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등 의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 20은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(2000)는 복호화기(2010), 역 스캐너(2020), 역 양자화기 및 역 변환기(2030), 예측기(2040), 가산기(2050) 및 필터(2060)를 포함하여 구성될 수 있다. 여기서, 역 스캐너(2020)와 필터(2060)는 반드시 포함되어야 하는 것은 아니며 구현 방식에 따라 선택적으로 생략될 수 있으며, 역 스캐너(2020)가 생략되는 경우에는 그 기능이 복호화기(2010)에 통합되어 구현될 수 있다.
복호화기(2010)는 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록을 복원한다. 즉, 복호화기(2010)는 부호화 데이터를 복호화하여 양자화 변환 계수열을 복원하는데, 영상 부호화 장치(100)에서 스캐너(140)의 기능이 부호화기(150)에 통합되어 구현된 경우 영상 부호화 장치(2000)에서도 역 스캐너(2020)는 생략되어 그 기능이 복호화기(2010)에 통합되어 구현되므로, 복호화기(2010)는 복원된 양자화 변환 계수열을 역 스캐닝하여 변환 및 양자화된 잔여 블록을 복원할 수 있다.
또한, 복호화기(2010)는 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록뿐만 아니라 복호화에 필요한 정보들을 복호화하거나 추출할 수 있다. 복호화에 필요한 정보들은 부호화 데이터 내의 부호화된 비트열을 복호화하는 데 필요한 정보들을 말하며, 예를 들어 블록 타입에 대한 정보, 예측 모드가 인트라 예측 모드인 경우에는 인트라 예측 모드에 대한 정보, 예측 모드가 인터 예측 모드인 경우에는 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있지 만, 이외의 다양한 정보들이 될 수도 있다.
블록 타입에 대한 정보는 역 양자화기 및 역 변환기(2030)와 예측기(2040)로 전달될 수 있으며, 변환 및 양자화 타입에 대한 정보는 역 양자화기 및 역 변환기(2030)로 전달될 수 있으며, 인트라 예측 모드에 대한 정보와 움직임 벡터에 대한 정보와 같은 예측에 필요한 정보들은 예측기(2040)로 전달될 수 있다.
역 스캐너(2020)는 복호화기(2010)에서 양자화 변환 계수열을 복원하여 전달하면 양자화 변환 계수열을 역 스캐닝하여 변환 및 양자화된 잔여 블록을 복원한다. 또한, 전술한 바와 같이, 영상 부호화 장치(100)에서 스캐너(140)의 기능이 부호화기(150)에 통합되어 구현된 경우 영상 부호화 장치(2000)에서도 역 스캐너(2020)는 생략되어 그 기능이 복호화기(2010)에 통합될 수 있다. 또한, 복호화기(2010) 또는 역 스캐너(2020)는 복호화기(2010)에서 부호화 데이터를 복호화하여 복원되는 변환 및 양자화 타입에 대한 정보에 의해 식별되는 변환 및 양자화 타입에 따라 변환 및 양자화된 잔여 블록을 역 스캐닝한다. 여기서, 역 스캐너(2020)가 변환 및 양자화 타입에 따라 역 스캐닝하는 방법은 도 1 및 도 12를 통해 전술한 스캐너(1040)가 변환 및 양자화된 잔여 블록의 양자화 변환 계수들을 스캐닝하는 방법을 역으로 수행하는 것과 동일 또는 유사하므로, 역 스캐닝하는 방법에 대해서는 상세한 설명을 생략한다.
역 양자화기 및 역 변환기(2030)는 복원되는 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원한다. 이때, 역 양자화기 및 역 변환기(2030)는 복호화기(2010)로부터 전달되는 변환 및 양자화 타입에 대한 정보에 의 해 식별되는 변환 및 양자화 타입에 따라 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환한다. 여기서, 역 양자화기 및 역 변환기(2030)가 변환 및 양자화된 잔여 블록을 변환 및 양자화 타입에 따라 역 양자화 및 역 변환하는 방법은 영상 부호화 장치(100)의 변환기 및 양자화기(1030)에서 변환 및 양자화 타입에 따라 변환 및 양자화하는 과정을 역으로 수행하는 것과 동일 또는 유사하므로, 역 양자화 및 역 변환하는 방법에 대해서는 상세한 설명을 생략한다.
예측기(2040)는 현재 블록을 예측하여 예측 블록을 생성한다. 여기서, 예측기(2040)는 복호화기(2010)로부터 전달되는 블록 타입에 대한 정보와 예측에 필요한 정보를 이용하여 현재 블록을 예측한다. 즉, 예측기(2040)는 블록 타입에 대한 정보에 의해 식별되는 블록 타입에 따라 현재 블록의 크기와 형태를 결정하고, 예측에 필요한 정보에 의해 식별되는 인트라 예측 모드 또는 움직임 벡터를 이용하여 현재 블록을 예측하여 예측 블록을 생성한다. 이때, 예측기(2040)는 영상 부호화 장치(100)의 예측기(110)와 동일 또는 유사한 방법으로, 현재 블록을 서브블록으로 분할하고 분할된 서브블록별로 예측하여 생성되는 예측 서브블록을 결합하여 예측 블록을 생성할 수 있다.
가산기(2050)는 역 양자화기 및 역 변환기(2030)에 의해 복원되는 잔여 블록과 예측기(2040)에 의해 생성되는 예측 블록을 가산하여 현재 블록을 복원한다.
필터(2060)는 가산기(2050)에 의해 복원되는 현재 블록을 필터링하고, 복원되어 필터링된 현재 블록은 픽처 단위로 누적되어 참조 픽처로서 메모리(미도시) 등에 저장되어 예측기(2040)에서 다음 블록 또는 다음 픽처를 예측할 때 활용된다. 여기서, 필터(2060)는 복원되는 현재 블록을 필터링할 때, 복호화기(2010)로부터 전달되는 변환 및 양자화 타입에 대한 정보에 의해 식별되는 변환 및 양자화 타입에 따라 필터링을 수행한다. 이때, 필터(2060)는 변환 및 양자화 타입에 따라 다르게 현재 블록의 경계에 디블로킹 필터링을 수행하거나 현재 블록에 에지가 검출되면 현재 블록을 변환 및 양자화 타입에 따라 다르게 디링잉 필터링하여 복원되는 영상의 블록 경계에서 발생하는 블록화 현상을 줄이거나 블록 내의 에지 주변의 링잉 현상을 줄일 수 있다. 필터(2060)가 디블로킹 필터링하고 디링잉 필터링을 수행하는 방법은 영상 부호화 장치(100)의 필터(180)가 디블로킹 필터링하고 디링잉 필터링하는 과정과 동일 또는 유사하므로, 필터링하는 방법에 대해서는 상세한 설명을 생략한다.
도 21은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 영상 복호화 방법에 따르면, 영상 복호화 장치(2000)는 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록을 복원하고(S2110), 변환 및 양자화된 잔여 블록을 변환 및 양자화 타입에 따라 역 양자화 및 역 변환하여 잔여 블록을 복원하며(S2120), 현재 블록을 예측하여 예측 블록을 생성하며(S2130), 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원한다(S2140).
영상 복호화 장치(2000)는 부호화 데이터를 복호화하여 변환 및 양자화 타입에 대한 정보를 추가로 복원할 수 있으며, 이 경우 단계 S2120에서 영상 복호화 장 치(2000)는 복원되는 변환 및 양자화 타입에 대한 정보에 의해 식별되는 변환 및 양자화 타입에 따라 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환한다.
또한, 영상 복호화 장치(2000)는 단계 S2140에서 복원되는 현재 블록을 변환 및 양자화 타입에 따라 필터링할 수 있는데, 복원되는 현재 블록의 경계에 변환 및 양자화 타입에 따라 디블로킹 필터링하고, 복원되는 현재 블록을 변환 및 양자화 타입에 따라 디링잉 필터링한다. 여기서, 디블로킹 필터링과 디링잉 필터링은 모두 수행될 수도 있지만 선택적으로 하나만 수행될 수도 있고 모두 수행되지 않을 수도 있다. 영상 복호화 장치(2000)가 디블로킹 필터링을 수행하는 경우에는 변환 및 양자화 타입에 따라 다르게 디블로킹 필터링할 수 있으며, 디링잉 필터링을 수행하는 경우에는 변환 및 양자화 타입에 따라 다르게 디링잉 필터링할 수 있다. 한편, 현재 블록은 MxN 크기의 매크로블록이고, M과 N은 16보다 클 수 있다.
또한, 영상 복호화 장치(2000)는 단계 S2130에서 예측 블록을 생성하는 데 있어서, 현재 블록을 복수 개의 서브블록으로 분할하고 분할된 복수 개의 서브블록을 예측한 예측 서브블록을 결합하여 예측 블록을 생성할 수 있다.
또한, 영상 복호화 장치(2000)는 부호화 데이터를 복호화하여 영상의 프레임마다 블록 타입에 대한 정보를 추가로 복원할 수 있으며, 이 경우 현재 블록은 복원되는 블록 타입에 대한 정보에 의해 식별되는 블록 타입에 따른 매크로블록일 수 있다.
이상에서 전술한 바와 같이, 본 발명의 일 실시예에 따르면, 확장된 MxN 블록 크기의 매크로블록과 그에 상응하는 PxQ 블록 크기의 변환 및 양자화, PxQ 블록 크기의 스캐닝, 필터링을 사용하여 고해상도 영상에서 나타나는 시간적/공간적으로 인접한 화소들의 높은 상관성을 적절하게 이용하여 영상을 부호화할 수 있으므로, 부호화 효율을 향상시킬 수 있다. 또한, 확장된 블록 크기의 매크로블록과 변환 및 양자화를 이용하면 블록 왜곡을 감소시킬 수 있어, 부호화 효율을 높일 수 있을 뿐만 아니라 부호화/복호화시 수행될 수 있는 변환 및 양자화 블록의 경계에 적용되는 디블록킹 필터링의 수행 회사를 줄일 수 있어 영상 부호화 장치(100) 및 영상 복호화 장치(2000)의 구현 복잡도를 낮출 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 고해상도 동영상을 부호화 및 복호화하는 영상 압축 처리 분야에 적용되어, 영상에서 나타나는 시간적/공간적으로 인접 한 화소들의 높은 상관성을 이용한 부호화를 수행할 수 있어 부호화 효율을 높일 수 있을 뿐만 아니라, 블록 왜곡을 감소시켜 압축 효율을 향상시킬 수 있으며, 필터링의 수행 회수를 줄일 수 있어 영상의 부호화 및 복호화를 위한 장치의 구현 복잡도를 낮출 수 있는 효과를 발생하는 매우 유용한 발명이다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 간략하게 나타낸 블록 구성도,
도 2 내지 도 4는 통상적인 영상 부호화에서 이용되는 매크로블록 타입에 따른 인트라 예측 모드를 나타낸 예시도,
도 5는 통상적인 영상 부호화에서 이용되는 매크로블록 타입에 따른 인터 예측 모드를 나타낸 예시도,
도 6은 본 발명의 일 실시예에 따른 MxN 블록 크기의 매크로블록을 나타낸 예시도,
도 7은 본 발명의 일 실시예에 따른 MxN 블록 크기의 매크로블록이 가질 수 있는 다양한 종류의 서브 매크로블록을 나타낸 예시도,
도 8은 본 발명의 일 실시예에 따른 8x4 변환에 대한 MF를 나타내는 예시도,
도 9는 본 발명의 일 실시예에 따라 다양한 변환 및 양자화 타입이 적용된 경우의 필터링을 설명하기 위한 예시도,
도 10 본 발명의 일 실시예에 따라 블록 경계에 디블로킹 필터링하는 과정을 설명하기 위한 예시도,
도 11은 본 발명의 일 실시예에 따라 디링잉 필터링을 수행하는 과정을 설명하기 위한 예시도,
도 12는 본 발명의 일 실시예에 따른 변환 및 양자화 타입에 따른 스캐닝 순서를 나타낸 예시도,
도 13 내지 도 18은 본 발명의 일 실시예에 따른 변환 및 양자화 타입에 따른 CAVLC 적용 방법을 설명하기 위한 예시도,
도 19는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 20은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 21은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.

Claims (28)

  1. 영상을 부호화하는 방법에 있어서,
    현재 블록을 예측하여 예측 블록을 생성하는 단계;
    상기 현재 블록과 상기 예측 블록을 감산하여 잔여 블록을 생성하는 단계;
    상기 현재 블록의 블록 타입에 따라 변환 및 양자화 타입을 결정하고, 상기 결정된 변환 및 양자화 타입에 따라 상기 잔여 블록을 변환 및 양자화하는 단계; 및
    상기 변환 및 양자화된 잔여 블록을 부호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1 항에 있어서, 상기 현재 블록은,
    MxN 크기의 매크로블록이고, 상기 M과 상기 N은 16보다 큰 것을 특징으로 하는 영상 부호화 방법.
  3. 제 1 항에 있어서, 상기 예측 블록을 생성하는 단계는,
    상기 현재 블록을 복수 개의 서브블록으로 분할하고 상기 분할된 복수 개의 서브블록을 예측한 예측 서브블록을 결합하여 상기 예측 블록을 생성하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 1 항에 있어서, 상기 영상 부호화 방법은,
    상기 영상의 프레임마다 상기 블록 타입을 결정하는 단계를 추가로 포함하되, 상기 현재 블록은 상기 결정된 블록 타입에 따른 매크로블록인 것을 특징으로 하는 영상 부호화 방법.
  5. 제 4 항에 있어서, 상기 블록 타입을 결정하는 단계는,
    복수 개의 블록 타입에 따라 상기 프레임을 부호화하는 데 소요되는 부호화 비용을 이용하여 상기 블록 타입을 결정하는 것을 특징으로 하는 영상 부호화 방법.
  6. 제 4 항에 있어서, 상기 블록 타입을 결정하는 단계는,
    상기 프레임의 특성에 따라 상기 블록 타입을 결정하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제 6 항에 있어서, 상기 프레임의 특성은,
    상기 프레임의 가로 방향의 상관성 및 세로 방향의 상관성 중 하나 이상인 것을 특징으로 하는 영상 부호화 방법.
  8. 제 4 항에 있어서, 상기 영상 부호화 방법은,
    상기 블록 타입에 대한 정보를 부호화하는 단계를 추가로 포함하는 것을 특 징으로 하는 영상 부호화 방법.
  9. 제 1 항에 있어서, 상기 잔여 블록을 변환 및 양자화하는 단계는,
    상기 블록 타입이 인트라 블록 타입인 경우, 상기 변환 및 양자화 타입을 상기 인트라 블록 타입의 크기와 동일하게 결정하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제 1 항에 있어서, 상기 잔여 블록을 변환 및 양자화하는 단계는,
    상기 블록 타입이 인터 블록 타입인 경우, 부호화 비용을 이용하여 복수 개의 변환 및 양자화 타입 중 하나의 변환 및 양자화 타입을 결정하는 것을 특징으로 하는 영상 부호화 방법.
  11. 제 10 항에 있어서, 상기 복수 개의 변환 및 양자화 타입은,
    서브블록의 크기와 동일한 변환 및 양자화 타입을 포함하는 것을 특징으로 하는 영상 부호화 방법.
  12. 제 1 항에 있어서, 상기 영상 부호화 방법은,
    상기 변환 및 양자화된 잔여 블록의 양자화 변환 계수를 DC 계수와 가까운 위치의 양자화 변환 계수로부터 상기 양자화 변환 계수의 에너지가 적어지는 순서로 스캐닝하는 단계를 추가로 포함하되, 상기 변환 및 양자화된 잔여 블록을 부호 화하는 단계는 상기 스캐닝된 양자화 변환 계수열을 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  13. 제 1 항에 있어서, 상기 영상 부호화 방법은,
    상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 단계;
    상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 단계; 및
    상기 복원되는 현재 블록을 상기 변환 및 양자화 타입에 따라 필터링하는 단계
    를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  14. 제 13 항에 있어서, 상기 필터링하는 단계는,
    상기 복원되는 현재 블록의 상기 변환 및 양자화 타입별 경계에 디블로킹 필터링하는 단계; 및
    상기 복원되는 현재 블록을 상기 변환 및 양자화 타입에 따라 디링잉 필터링하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  15. 제 14 항에 있어서, 상기 디블로킹 필터링하는 단계는,
    상기 변환 및 양자화 타입에 따라 다르게 디블로킹 필터링하는 것을 특징으로 하는 영상 부호화 방법.
  16. 제 14 항에 있어서, 상기 디링잉 필터링하는 단계는,
    상기 변환 및 양자화 타입에 따라 다르게 디링잉 필터링하는 것을 특징으로 하는 영상 부호화 방법.
  17. 제 1 항에 있어서, 상기 영상 부호화 방법은,
    상기 결정된 변환 및 양자화 타입에 대한 정보를 부호화하는 단계를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  18. 영상을 부호화하는 장치에 있어서,
    현재 블록을 예측하여 예측 블록을 생성하는 예측기;
    상기 현재 블록과 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산기;
    상기 현재 블록의 블록 타입에 따라 변환 및 양자화 타입을 결정하고, 상기 결정된 변환 및 양자화 타입에 따라 상기 잔여 블록을 변환 및 양자화하는 변환기 및 양자화기; 및
    상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  19. 영상을 복호화하는 방법에 있어서,
    부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록을 복원하는 단계;
    상기 변환 및 양자화된 잔여 블록을 변환 및 양자화 타입에 따라 역 양자화 및 역 변환하여 잔여 블록을 복원하는 단계;
    현재 블록을 예측하여 예측 블록을 생성하는 단계; 및
    상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  20. 제 19 항에 있어서, 상기 영상 복호화 방법은,
    상기 부호화 데이터를 복호화하여 상기 변환 및 양자화 타입에 대한 정보를 복원하는 단계를 추가로 포함하되, 상기 잔여 블록을 복원하는 단계는 상기 복원되는 변환 및 양자화 타입에 대한 정보에 의해 식별되는 변환 및 양자화 타입에 따라 상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하는 것을 특징으로 하는 영상 복호화 방법.
  21. 제 19 항에 있어서, 상기 영상 복호화 방법은,
    상기 복원되는 현재 블록을 상기 변환 및 양자화 타입에 따라 필터링하는 단계를 추가로 포함하는 것을 특징으로 하는 영상 복호화 방법.
  22. 제 21 항에 있어서, 상기 필터링하는 단계는,
    상기 복원되는 현재 블록의 상기 변환 및 양자화 타입별 경계에 디블로킹 필터링하는 단계; 및
    상기 복원되는 현재 블록을 상기 변환 및 양자화 타입에 따라 디링잉 필터링하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  23. 제 22 항에 있어서, 상기 디블로킹 필터링하는 단계는,
    상기 변환 및 양자화 타입에 따라 다르게 디블로킹 필터링하는 것을 특징으로 하는 영상 복호화 방법.
  24. 제 22 항에 있어서, 상기 디링잉 필터링하는 단계는,
    상기 변환 및 양자화 타입에 따라 다르게 디링잉 필터링하는 것을 특징으로 하는 영상 복호화 방법.
  25. 제 19 항에 있어서, 상기 현재 블록은,
    MxN 크기의 매크로블록이고, 상기 M과 상기 N은 16보다 큰 것을 특징으로 하는 영상 복호화 방법.
  26. 제 19 항에 있어서, 상기 예측 블록을 생성하는 단계는,
    상기 현재 블록을 복수 개의 서브블록으로 분할하고 상기 분할된 복수 개의 서브블록을 예측한 예측 서브블록을 결합하여 상기 예측 블록을 생성하는 것을 특징으로 하는 영상 복호화 방법.
  27. 제 19 항에 있어서, 상기 영상 복호화 방법은,
    상기 부호화 데이터를 복호화하여 상기 영상의 프레임마다 블록 타입에 대한 정보를 복원하는 단계를 추가로 포함하되, 상기 현재 블록은 복원되는 블록 타입에 대한 정보에 의해 식별되는 블록 타입에 따른 매크로블록인 것을 특징으로 하는 영상 복호화 방법.
  28. 영상을 복호화하는 장치에 있어서,
    부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록을 복원하는 복호화기;
    상기 변환 및 양자화된 잔여 블록을 변환 및 양자화 타입에 따라 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역 양자화기 및 역 변환기;
    현재 블록을 예측하여 예측 블록을 생성하는 예측기; 및
    상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
KR1020090086305A 2009-09-14 2009-09-14 고해상도 동영상의 부호화/복호화 방법 및 장치 KR101302660B1 (ko)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1020090086305A KR101302660B1 (ko) 2009-09-14 2009-09-14 고해상도 동영상의 부호화/복호화 방법 및 장치
CN201510005030.6A CN104506876B (zh) 2009-09-14 2010-09-03 用于高分辨率运动图像的解码方法和编码设备
CN201510003806.0A CN104506875B (zh) 2009-09-14 2010-09-03 用于高分辨率运动图像的编码/解码方法
PCT/KR2010/006017 WO2011031044A2 (ko) 2009-09-14 2010-09-03 고해상도 동영상의 부호화/복호화 방법 및 장치
US13/395,811 US9154809B2 (en) 2009-09-14 2010-09-03 Encoding/decoding method and device for high-resolution moving images
CN201080051482.3A CN102598669B (zh) 2009-09-14 2010-09-03 用于高分辨率运动图像的编码/解码方法和装置
CN201510002700.9A CN104539974B (zh) 2009-09-14 2010-09-03 用于高分辨率运动图像的编码设备
CN201510003856.9A CN104539957B (zh) 2009-09-14 2010-09-03 用于高分辨率运动图像的编码/解码方法和设备
US14/692,452 US9621895B2 (en) 2009-09-14 2015-04-21 Encoding/decoding method and device for high-resolution moving images
HK15106259.6A HK1205840A1 (en) 2009-09-14 2015-07-01 Encoding decoding method and device for high-resolution moving images
US14/874,025 US9584810B2 (en) 2009-09-14 2015-10-02 Encoding/decoding method and device for high-resolution moving images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090086305A KR101302660B1 (ko) 2009-09-14 2009-09-14 고해상도 동영상의 부호화/복호화 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130029980A Division KR101369174B1 (ko) 2013-03-20 2013-03-20 고해상도 동영상의 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110028734A true KR20110028734A (ko) 2011-03-22
KR101302660B1 KR101302660B1 (ko) 2013-09-03

Family

ID=43732927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090086305A KR101302660B1 (ko) 2009-09-14 2009-09-14 고해상도 동영상의 부호화/복호화 방법 및 장치

Country Status (5)

Country Link
US (3) US9154809B2 (ko)
KR (1) KR101302660B1 (ko)
CN (5) CN104539957B (ko)
HK (1) HK1205840A1 (ko)
WO (1) WO2011031044A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130029026A (ko) * 2011-09-13 2013-03-21 톰슨 라이센싱 픽셀 블록을 코딩하고 재구성하기 위한 방법 및 대응하는 디바이스들
KR101348544B1 (ko) * 2011-08-17 2014-01-10 주식회사 케이티 단거리 화면 내 예측 모드에서 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
US9538239B2 (en) 2012-08-13 2017-01-03 Gurulogic Microsystems Oy Decoder and method for decoding encoded input data containing a plurality of blocks or packets
US10412414B2 (en) 2012-08-13 2019-09-10 Gurulogic Microsystems Oy Decoder and method for decoding encoded input data containing a plurality of blocks or packets
KR20200050284A (ko) * 2018-11-01 2020-05-11 삼성전자주식회사 영상 적응적 양자화 테이블을 이용한 영상의 부호화 장치 및 방법

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
US9641840B2 (en) * 2011-05-20 2017-05-02 Sony Corporation Processing device and image processing method for encoding and decoding image
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
US9807426B2 (en) * 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
IN2014DN03096A (ko) * 2011-10-17 2015-05-15 Kt Corp
FR2982983A1 (fr) * 2011-11-22 2013-05-24 Thomson Licensing Procede de codage et de reconstruction d'un bloc de pixels et dispositifs correspondants
GB2501115B (en) * 2012-04-13 2015-02-18 Canon Kk Methods for segmenting and encoding an image, and corresponding devices
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
PL2869557T3 (pl) 2012-06-29 2024-02-19 Electronics And Telecommunications Research Institute Sposób i urządzenie do kodowania/dekodowania obrazów
WO2014055826A2 (en) * 2012-10-05 2014-04-10 Huawei Technologies Co., Ltd. Improved architecture for hybrid video codec
CN103888764B (zh) * 2014-03-14 2017-02-15 西安交通大学 一种自适应补偿视频压缩失真的系统及方法
WO2015172337A1 (en) * 2014-05-14 2015-11-19 Mediatek Singapore Pte. Ltd. Alternative transforms for data compression
US9215468B1 (en) * 2014-08-07 2015-12-15 Faroudja Enterprises, Inc. Video bit-rate reduction system and method utilizing a reference images matrix
WO2016068630A1 (ko) * 2014-10-29 2016-05-06 엘지전자(주) 비디오 신호의 인코딩， 디코딩 방법 및 그 장치
CN104702962B (zh) * 2015-03-03 2019-04-16 华为技术有限公司 帧内编解码方法、编码器和解码器
EP3349454A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and device for coding a block of video data, method and device for decoding a block of video data
CN107135398B (zh) * 2017-06-05 2019-07-19 珠海市杰理科技股份有限公司 去方块滤波方法、装置和系统
WO2019004749A1 (ko) * 2017-06-28 2019-01-03 엘지전자 주식회사 비디오 압축을 위한 변환 커널의 저복잡도 연산을 수행하는 방법 및 장치
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
US11166039B2 (en) 2018-01-17 2021-11-02 Intellectual Discovery Co., Ltd. Method and device for video coding using various transform techniques
US11490080B2 (en) * 2018-05-17 2022-11-01 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking of implicit transform unit boundaries
US11166044B2 (en) * 2018-07-31 2021-11-02 Tencent America LLC Method and apparatus for improved compound orthonormal transform
CN114885163B (zh) * 2018-09-02 2024-04-23 Lg电子株式会社 用于对图像信号编码和解码的方法及计算机可读记录介质
WO2020073969A1 (en) * 2018-10-10 2020-04-16 Huawei Technologies Co., Ltd. An image processing device and method for performing deblocking
KR20210113371A (ko) * 2019-02-15 2021-09-15 텔레폰악티에볼라겟엘엠에릭슨(펍) 변환 서브-블록 경계의 디블록킹
CN110267036B (zh) * 2019-03-11 2020-07-10 杭州海康威视数字技术股份有限公司 一种滤波方法及设备
US11838541B2 (en) * 2019-08-30 2023-12-05 Alibaba Group Holding Limited Matrix weighted intra prediction of video signals

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100399044B1 (ko) * 1996-07-08 2003-12-24 주식회사 팬택앤큐리텔 양방향예측-비오피(b-vop)간의동기화방법
KR19980013412U (ko) 1996-08-30 1998-06-05 양재신 오토 매틱 차량의 액셀과 브레이크 페달 동시 작동시 경고 장치
US6134269A (en) * 1996-09-25 2000-10-17 At&T Corp Fixed or adaptive deinterleaved transform coding for image coding and intra coding of video
KR100289054B1 (ko) * 1998-11-17 2001-05-02 정선종 매크로블록 단위 영역 분할 및 배경 모자이크구성방법
US6983079B2 (en) * 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
US7782954B2 (en) * 2003-09-07 2010-08-24 Microsoft Corporation Scan patterns for progressive video content
US8116374B2 (en) * 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
KR100868476B1 (ko) * 2005-10-21 2008-11-12 한국전자통신연구원 적응적 스캐닝을 이용한 동영상 부호화/복호화 장치 및 그방법
KR100750137B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
US20080002770A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Methods, apparatus, and a computer program product for providing a fast inter mode decision for video encoding in resource constrained devices
US20100172409A1 (en) * 2009-01-06 2010-07-08 Qualcom Incorporated Low-complexity transforms for data compression and decompression

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348544B1 (ko) * 2011-08-17 2014-01-10 주식회사 케이티 단거리 화면 내 예측 모드에서 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR20130029026A (ko) * 2011-09-13 2013-03-21 톰슨 라이센싱 픽셀 블록을 코딩하고 재구성하기 위한 방법 및 대응하는 디바이스들
US9538239B2 (en) 2012-08-13 2017-01-03 Gurulogic Microsystems Oy Decoder and method for decoding encoded input data containing a plurality of blocks or packets
US10412414B2 (en) 2012-08-13 2019-09-10 Gurulogic Microsystems Oy Decoder and method for decoding encoded input data containing a plurality of blocks or packets
KR20200050284A (ko) * 2018-11-01 2020-05-11 삼성전자주식회사 영상 적응적 양자화 테이블을 이용한 영상의 부호화 장치 및 방법

Also Published As

Publication number Publication date
CN104506876B (zh) 2017-12-05
CN102598669A (zh) 2012-07-18
WO2011031044A3 (ko) 2011-06-16
CN102598669B (zh) 2015-02-04
US9584810B2 (en) 2017-02-28
US9621895B2 (en) 2017-04-11
US9154809B2 (en) 2015-10-06
CN104506875A (zh) 2015-04-08
US20150229924A1 (en) 2015-08-13
CN104506875B (zh) 2017-10-31
HK1205840A1 (en) 2015-12-24
CN104506876A (zh) 2015-04-08
CN104539957A (zh) 2015-04-22
US20120201300A1 (en) 2012-08-09
WO2011031044A2 (ko) 2011-03-17
CN104539957B (zh) 2017-11-28
CN104539974B (zh) 2017-10-31
KR101302660B1 (ko) 2013-09-03
CN104539974A (zh) 2015-04-22
US20160029023A1 (en) 2016-01-28

Similar Documents

Publication Publication Date Title
KR101302660B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101432775B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101673028B1 (ko) 영상 부호화/복호화 장치 및 방법
KR101663764B1 (ko) 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
KR20110125153A (ko) 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
KR101418101B1 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
KR20090097688A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 장치
KR20130011878A (ko) 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
KR101483497B1 (ko) 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법
KR20120009861A (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR101369174B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101713250B1 (ko) 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
KR101575634B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101544379B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101537767B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101483495B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101575638B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101693284B1 (ko) 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치
KR101534014B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101464949B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101464944B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101681307B1 (ko) 주파수영역 복수 가중예측필터를 사용한 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160809

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170808

Year of fee payment: 5