KR101387467B1 - 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치 - Google Patents

고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR101387467B1
KR101387467B1 KR1020110054742A KR20110054742A KR101387467B1 KR 101387467 B1 KR101387467 B1 KR 101387467B1 KR 1020110054742 A KR1020110054742 A KR 1020110054742A KR 20110054742 A KR20110054742 A KR 20110054742A KR 101387467 B1 KR101387467 B1 KR 101387467B1
Authority
KR
South Korea
Prior art keywords
size
prediction unit
prediction
unit
partition
Prior art date
Application number
KR1020110054742A
Other languages
English (en)
Other versions
KR20110134319A (ko
Inventor
이충구
김민성
박준성
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR20100053186A external-priority patent/KR20110061468A/ko
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Publication of KR20110134319A publication Critical patent/KR20110134319A/ko
Application granted granted Critical
Publication of KR101387467B1 publication Critical patent/KR101387467B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치에 따르면, 부호화할 적어도 하나의 픽처 간의 시간적 주파수 특성 또는 공간적 주파수 특성에 따라 부호화할 예측 유닛의 크기를 확장 매크로불록 크기로 설정하고 설정된 예측 유닛 크기 단위로 움직임 예측과 움직임 보상을 수행하고, 변환을 수행한다. 또한, 32x32 픽셀 또는 64x64 픽셀 크기를 가지는 마크로 블록을 에지에 기초하여 적어도 하나의 파티션으로 분할한 후 분할된 각 파티션에 대하여 부호화를 수행한다. 따라서, HD(High Definition)급 이상의 고해상도 영상에 대해 부호화 효율을 향상시킬 수 있다.

Description

고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치{Methods For Encoding/Decoding High Definition Image And Apparatuses For Performing The Same}
본 발명은 영상의 부호화 및 복호화에 관한 것으로, 더욱 상세하게는 고해상도 영상에 적용될 수 있는 부호화 방법 및 이를 수행하는 복호화 장치, 복호화 방법 및 이를 수행하는 복호화 장치에 관한 것이다.
일반적으로 영상 압축 방법에서는 하나의 픽처(picture)를 소정 크기를 가지는 복수의 블록(block)으로 구분하여 부호화를 수행한다. 또한, 압축 효율을 높이기 위해 픽쳐들 사이의 중복도를 제거하는 인터 예측(inter prediction) 및 인트라 예측(intra prediction) 기술을 이용한다.
인터 예측을 이용해 영상을 부호화하는 방법은 픽처들 사이의 시간적인 중복성을 제거하여 영상을 압축하는 방법으로 대표적으로 움직임 보상 예측 부호화 방법이 있다.
움직임 보상 예측 부호화는 현재 부호화되는 픽처의 전방 또는 후방에 위치하는 적어도 하나의 참조 픽처에서 현재 부호화되는 블록과 유사한 영역을 검색하여 움직임 벡터(MV: Motion Vector)를 생성하고, 생성된 움직임 벡터를 이용하여 움직임 보상을 수행하여 얻어지는 예측 블록과 현재 블록의 차이값을 DCT(Discrete Cosine Transform)변환하고 양자화한 후 엔트로피 부호화하여 전송한다.
기존에는 움직임 보상 예측에 사용되는 매크로 블록은 16x16, 8x16, 8x8 픽셀 등의 다양한 크기를 가지는 블록이 사용되고, 변환 및 양자화에는 8x8 또는 4x4 픽셀 크기를 가지는 블록이 사용된다.
그러나, 상술한 바와 같이 기존의 움직임 보상 예측 또는 변환 및 양자화에 사용되는 블록의 크기는 HD(High Definition)급 이상의 해상도를 가지는 고해상도 영상의 부호화에는 적합하지 않은 단점이 있다.
구체적으로, 부호화되는 영상의 해상도가 낮은 소화면의 경우에는 작은 크기를 가지는 블록을 사용하여 움직임 예측 및 보상을 수행하는 것이 움직임 예측 정확도 및 비트율 측면에서 효과적일 수 있으나, 해상도가 높은 대화면의 영상에 대해서 16x16 이하의 크기를 가지는 블록 단위로 움직임 예측 및 보상을 수행하게 되면, 하나의 픽처에 포함된 블록의 개수가 기하급수적으로 증가하게 되어 부호화 처리 부하가 증가할 뿐만 아니라 압축된 데이터량도 증가하게 되어 전송 비트율(bit rate)이 높아지게 된다.
또한, 영상의 해상도가 높을수록 거의 디테일(detail)이 없거나 편차가 없는 영역들도 넓어지기 때문에 종래의 부호화 방법처럼 16x16 픽셀 크기를 가지는 블록을 이용하여 움직임 예측 및 보상을 수행할 경우 부호화 잡음이 증가하게 된다.
본 발명의 제1 목적은 해상도가 높은 영상에 대해 부호화 효율을 향상시킬 수 있는 영상의 부호화 및 복호화 방법을 제공하는 것이다.
또한, 본 발명의 제2 방법은 해상도가 높은 영상에 대해 부호화 효율을 향상시킬 수 있는 영상의 부호화 및 복호화 장치를 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 부호화 방법은 부호화할 적어도 하나의 픽처을 수신하는 단계와, 수신된 상기 적어도 하나의 픽처 사이의 시간적 주파수 특성에 기초하여 부호화할 블록의 크기를 결정하는 단계 및 결정된 크기를 가지는 블록을 부호화하는 단계를 포함한다.
또한, 본 발명의 제1 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상 부호화 방법은 영상의 부호화 방법에 있어서, NxN 픽셀 크기-여기서, N은 2의 거듭제곱임-를 가지는 예측 유닛에 대한 움직임 보상을 수행하여 예측 블록을 생성하는 단계와, 상기 예측 유닛과 상기 예측 블록을 비교하여 잔여값을 획득하는 단계와, 상기 잔여값을 변환하는 단계를 포함한다. 여기서, 상기 예측 유닛은 확장 매크로 블록 크기를 가질 수 있다. 상기 예측 유닛은 가변적 크기를 가지는 코딩 유닛을 계층적으로 분할하여 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)에 도달했을 때의 말단 코딩 유닛에 해당되고, 상기 영상의 부호화 방법은 최대 코딩 유닛의 크기 및 최소 코딩 유닛의 크기를 시퀀스 파라미터 셋(Sequence Parameter Set; SPS)에 포함시켜 전송하는 단계를 더 포함할 수 있다. 상기 잔여값을 변환하는 단계는 상기 확장 마크로 블록에 대해 DCT 변환(Discrete Cosine Transform)을 수행하는 단계가 될 수 있다. 상기 예측 유닛은 N x N 픽셀 크기-여기서, N은 8 이상 64 이하의 2의 거듭제곱임-를 가질 수 있다.
또한, 본 발명의 제1 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 영상 부호화 방법은, 부호화할 적어도 하나의 픽처을 수신하는 단계와, 수신된 상기 적어도 하나의 픽처의 공간적 주파수 특성에 기초하여 예측 유닛의 크기-여기서, 상기 예측 유닛의 크기는 NxN 픽셀 크기(N은 2의 거듭제곱임)를 가짐-를 결정하는 단계와, 상기 결정된 크기를 가지는 예측 유닛을 부호화하는 단계를 포함한다.
또한, 본 발명의 제1 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 영상 부호화 방법은, NxN 픽셀 크기-여기서, N은 2의 거듭제곱임-를 가지는 확장 마크로 블록을 수신하는 단계와, 수신된 상기 확장 마크로 블록과 인접한 블록 중 에지에 속하는 화소를 검출하는 단계와, 검출된 에지에 속하는 화소에 기초하여 상기 확장 마크로 블록을 적어도 하나의 파티션으로 분할하는 단계 및 분할된 적어도 하나의 파티션 중 소정 파티션에 대한 부호화를 수행하는 단계를 포함한다.
또한, 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 복호화 방법은 부호화된 비트 스트림을 수신하는 단계와, 수신된 비트 스트림으로부터 복호화할 예측 유닛의 크기 정보- 여기서 상기 예측 유닛의 크기는NxN 픽셀 크기(N은 32 이상의 2의 거듭제곱임)임-를 획득하는 단계와, 상기 수신된 비트 스트림을 역양자화하고 역변환하여 잔여값을 획득하는 단계와, 상기 획득한 예측 유닛 크기 정보에 상응하는 크기를 가지는 예측 유닛에 대하여 움직임 보상을 수행하여 예측 블록을 생성하는 단계와, 생성된 상기 에측 블록과 상기 잔여값을 더하여 영상을 복원하는 단계를 포함한다. 여기서, 상기 예측 유닛은 확장 매크로 블록 크기를 가질 수 있다. 상기 잔여값을 변환하는 단계는 상기 영상의 복호화 방법은 상기 확장 마크로 블록에 대해 역 DCT(Inverse Discrete Cosine Transform)을 수행하는 단계가 될 수 있다. 상기 예측 유닛은 N x N 픽셀 크기-여기서, N은 32 이상 128 이하의 2의 거듭제곱임-를 가질 수 있다. 상기 예측 유닛은 가변적 크기를 가지는 코딩 유닛을 계층적으로 분할하여 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)에 도달했을 때의 말단 코딩 유닛이 될 수 있다. 상기 수신된 비트 스트림으로부터 복호화할 예측 유닛의 파티션 정보를 획득하는 단계를 더 포함할 수 있다. 상기 획득한 예측 유닛 크기 정보에 상응하는 크기를 가지는 예측 유닛에 대하여 움직임 보상을 수행하여 예측 블록을 생성하는 단계는 상기 예측 유닛의 파티션 정보에 기초하여 상기 예측 유닛에 대해 파티션(partition) 분할을 수행하여 상기 분할된 파티션에 대하여 상기 움직임 보상을 수행하는 단계를 포함할 수 있다. 상기 파티션 분할은 비대칭적 파티션 분할 방식으로 이루어질 수 있다. 상기 파티션 분할은 정사각형이외의 모양을 가지는 기하학적 파티션 분할 방식으로 이루어질 수 있다. 상기 파티션 분할은 에지 방향에 따른 파티션 분할 방식으로 이루어질 수 있다. 상기 에지 방향에 따른 파티션 분할은 상기 예측 유닛과 인접한 블록 중 에지에 속하는 화소를 검출하는 단계와, 검출된 에지에 속하는 화소에 기초하여 상기 예측 유닛을 적어도 하나의 파티션으로 분할하는 단계를 포함할 수 있다. 상기 에지 방향에 따른 파티션 분할 방식은 인트라 예측에 적용될 수 있다.또한, 본 발명의 제1 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상 복호화 방법은 부호화된 비트 스트림을 수신하는 단계와, 수신된 비트 스트림으로부터 복호화할 마크로 블록의 크기 정보 및 파티션 정보를 획득하는 단계와, 상기 수신된 비트 스트림을 역양자화하고 역변환하여 잔여값을 획득하는 단계와, 획득한 상기 마크로 블록의 크기 정보 및 상기 파티션 정보에 기초하여 32x32 픽셀, 64x64 픽셀 및 128x128 픽셀 크기 중 어느 하나의 크기를 가지는 확장 마크로 블록을 적어도 하나의 파티션으로 분할하는 단계와, 분할된 적어도 하나의 파티션 중 소정 파티션에 대한 움직임 보상을 수행하여 예측 파티션을 생성하는 단계 및 생성된 예측 파티션과 상기 잔여값을 더하여 영상을 복원하는 단계를 포함한다.
또한, 상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 부호화 장치는 부호화할 적어도 하나의 픽처을 수신하고, 수신된 상기 적어도 하나의 픽처 사이의 시간 주파수 특성 또는 수신된 상기 적어도 하나의 픽처의 공간적 주파수 특성에 기초하여 부호화할 예측 유닛의 크기를 결정하는 예측 유닛 결정부와, 결정된 크기를 가지는 예측 유닛을 부호화하는 부호화기를 포함한다.
또한, 상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 복호화 장치는 수신된 비트 스트림을 복호화하여 헤더 정보를 생성하는 엔트로피 복호화부와, 상기 헤더 정보로부터 획득된 예측 유닛의 크기 정보- 여기서 상기 예측 유닛의 크기는NxN 픽셀 크기(N은 2의 거듭제곱임)임-를 에 기초하여 상기 예측 유닛에 대해 움직임 보상을 수행하여 예측 블록을 생성하는 움직임 보상부와, 상기 수신된 비트 스트림을 역양자화하는 역양자화부와, 역양자화된 데이터를 역변환하여 잔여값을 획득하는 역변환부와, 상기 잔여값과 상기 예측 블록을 더하여 영상을 복원하는 가산부를 포함한다. 상기 예측 유닛은 확장 매크로 블록 크기를 가질 수 있다. 상기 역변환부는 상기 확장 마크로 블록에 대해 역 DCT(Inverse Discrete Cosine Transform)을 수행할 수 있다. 상기 예측 유닛은 N x N 픽셀 크기-여기서, N은 8 이상 64 이하의 2의 거듭제곱임-를 가질 수 있다. 상기 예측 유닛은 가변적 크기를 가지는 코딩 유닛을 계층적으로 분할하여 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)에 도달했을 때의 말단 코딩 유닛이 될 수 있다. 상기 움직임 보상부는 상기 예측 유닛의 파티션 정보에 기초하여 상기 예측 유닛에 대해 파티션(partition) 분할을 수행하여 상기 분할된 파티션에 대하여 상기 움직임 보상을 수행할 수 있다. 상기 파티션 분할은 비대칭적 파티션 분할 방식으로 이루어질 수 있다. 상기 파티션 분할은 정사각형이외의 모양을 가지는 기하학적 파티션 분할 방식으로 이루어질 수 있다. 상기 파티션 분할은 에지 방향에 따른 파티션 분할 방식으로 이루어질 수 있다. 상기 영상 복호화 장치는 상기 획득한 예측 유닛 크기 정보에 상응하는 크기를 가지는 예측 유닛에 대하여 에지 방향에 따른 인트라 예측을 수행하는 인트라 예측부를 더 포함할 수 있다.
상술한 바와 같은 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치에 따르면, 부호화할 예측 유닛(Prediction Unit)의 크기를 32x32 픽셀 또는 64x64 픽셀 또는 128x128 픽셀 크기로 설정하고 설정된 예측 유닛 크기 단위로 움직임 예측과 움직임 보상을 수행하고, 변환을 수행한다. 또한, 32x32 픽셀 또는 64x64 픽셀 또는 128x128 픽셀 크기를 가지는 예측 유닛을 에지에 기초하여 적어도 하나의 파티션으로 분할한 후 부호화한다.
동일한 색으로 이루어진 영역 또는 저주파수 쪽으로 에너지가 집중된 영역등과 같은 평탄도 또는 균일성이 높은 경우 예측 유닛의 크기를 확장 매크로 블록 사이즈에 해당되는 32x32 또는 64x64 픽셀 또는 128x128 픽셀로 더 크게 증가시켜 부호화/복호화에 적용함으로써 HD급 및 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 대화면 영상의 부호화/복호화 효율을 높일 수 있다.
또한, 대화면에 대해 시간 주파수 특성(이전, 현재 화면간 변화 또는 움직임의 정도 등)에 따라서 화소 영역에 대해 예측 유닛의 크기를 확장 매크로 블록 사이즈를 사용하여 확장 매크로 블록 사이즈를 증감시킴으로써 부호화/복호화 효율을 높일 수 있다.
따라서, HD급 및 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 대화면 영상의 부호화에서 부호화 효율을 향상시킬 수 있고, 평탄도 및 균일도가 높은 영역에서 부호화 잡음을 감소시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 방법을 나타내는 흐름도이다.
도 2는 본 발명의 다른 실시예에 따른 순환적 코딩 유닛 구조를 나타낸 개념도이다.
도 3은 본 발명의 일 실시예에 따른 비대칭적 파티션 분할(asymmetric partitioning) 방식을 설명하기 위한 개념도이다.
도 4a 내지 도 4c는 본 발명의 다른 실시예들에 따른 기하학적 파티션 분할(geometrical partitioning) 방식을 설명하기 위한 개념도이다.
도 5는 기하학적 파티션 분할의 경우 경계선에 위치하는 경계 픽셀들에 대한 움직임 보상을 설명하기 위한 개념도이다.
도 6은 본 발명의 다른 실시예에 따른 영상 부호화 방법을 나타내는 흐름도이다.
도 7은 도 6에 도시된 파티션 분할 과정을 설명하기 위한 개념도이다.
도 8은 에지를 고려한 파티션 분할을 인트라 예측에 적용하는 경우를 설명하기 위한 개념도이다.
도 9는 본 발명의 또 다른 실시예에 따른 영상 부호화 방법을 나타내는 흐름도이다.
도 10은 본 발명의 또 다른 실시예에 따른 영상 부호화 방법을 나타내는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.
도 12는 본 발명의 다른 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.
도 13은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 14는 본 발명의 다른 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 15는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 16은 본 발명의 다른 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 방법을 나타내는 흐름도이다. 도 1은 영상의 시간적 주파수 특성에 따라 마크로 블록의 크기를 결정한 후 결정된 크기를 가지는 마크로 블록을 이용하여 움직임 보상 부호화를 수행하는 방법을 나타낸다.
도 1을 참조하면, 먼저 부호화 장치는 부호화할 대상 프레임(또는 픽처)을 수신한다(단계 110). 여기서 수신된 부호화 대상 프레임(또는 픽처)은 버퍼에 저장될 수 있고, 상기 버퍼는 미리 정해진 수의 프레임을 저장할 수 있다. 예를 들어, 상기 버퍼는 적어도 4개(n-3, n-2, n-1 및 n)의 프레임을 저장할 수 있다.
이후, 부호화 장치는 수신된 프레임(또는 픽처)의 시간적 주파수 특성을 분석한다(단계 120). 예를 들어, 부호화 장치는 버퍼에 저장된 n-3 프레임과 n-2 프레임의 변화량을 검출하고, n-2번째 프레임과 n-1번째 프레임의 변화량을 검출하고, n-1번째 프레임과 n번째 프레임의 변화량을 검출하여 프레임간 시간적 주파수 특성을 분석할 수 있다.
이후, 부호화 장치는 분석된 시간적 주파수 특성을 미리 설정된 임계값과 비교하고 비교 결과에 기초하여 부호화할 마크로 블록의 크기를 결정한다(단계 130). 여기서, 부호화 장치는 버퍼에 저장된 프레임들 중 시간적으로 인접한 두 프레임(예를 들면, n-1 및 n 프레임)의 변화량에 기초하여 마크로 블록의 크기를 결정할 수도 있고, 마크로 블록 크기 정보에 대한 오버헤드를 줄이기 위해 미리 설정된 수의 프레임들(예를 들면, n-3, n-2, n-1 및 n)의 변화 특성에 기초하여 마크로 블록의 크기를 결정할 수도 있다.
예를 들어, 부호화 장치는 n-1번째 프레임과 n번째 프레임의 시간 주파수 특성을 분석하고, 분석된 시간 주파수 특성값이 미리 설정된 제1 임계값 미만인 경우에는 마크로 블록의 크기를 64x64 픽셀로 결정하고, 분석된 시간 주파수 특성값이 미리 설정된 제1 임계값 이상 제2 임계값 미만인 경우에는 마크로 블록의 크기를 32x32 픽셀로 결정하며, 분석된 시간 주파수 특성값이 미리 설정된 제2 임계값 이상인 경우에는 마크로 블록의 크기를 16x16 픽셀 이하의 크기로 결정한다. 여기서, 제1 임계값은 제2 임계값보다 프레임간의 변화량이 작은 경우의 시간 주파수 특성값을 나타낸다. 이하, 확장 마크로 블록을 32x32 픽셀 크기 이상을 가진 마크로 블록으로 정의한다. 상기 확장 마크로 블록은 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 고해상도에 적합하도록 32x32 픽셀 이상의 크기, 즉 64x64 픽셀, 128x128 픽셀 또는 그 이상의 크기를 가질 수 있다.
상기 부호화할 마크로 블록의 크기는 수신된 프레임(또는 픽처)의 시간적 주파수 특성을 분석 결과를 토대로 픽처별 또는 GOP(Group of Picture)별로 미리 정해진 값을 가질 수 있다.
또는, 상기 부호화할 마크로 블록의 크기는 수신된 프레임(또는 픽처)의 시간적 주파수 특성을 분석 결과와 상관없이 픽처별 또는 GOP(Group of Picture)별로 미리 정해진 값을 가질 수도 있다.
단계 130의 실행을 통해 마크로 블록의 크기가 결정되면 부호화 장치는 결정된 크기의 마크로 블록 단위로 부호화를 수행한다(단계 140).
예를 들어 마크로 블록 크기가 64x64 픽셀로 결정되었다면, 부호화 장치는 64x64 픽셀 크기의 현재 마크로 블록에 대해 움직임 예측을 수행하여 움직임 벡터를 획득하고, 획득한 움직임 벡터를 이용하여 움직임 보상을 수행하여 예측 블록을 생성한 후 생성된 예측 블록과 현재 마크로 블록의 차이인 잔여값을 변환하고 양자화한 후 엔트로피 부호화를 수행하여 전송한다. 또한, 결정된 마크로 블록의 크기에 대한 정보 및 움직임 벡터에 대한 정보도 엔트로피 부호화된 후 전송된다.
이하의 본 발명의 실시예들에서, 확장 마크로 블록 단위의 부호화 처리는 부호화 제어부(미도시) 또는 복호화 제어부(미도시)에 의해 결정되는 마크로블록 사이즈에 따라 이루어질 수 있으며, 상기 기술된 바와 같이 움직임 보상 부호화, 변환(transform), 양자화에 모두 적용될 수도 있지만, 움직임 보상 부호화 또는 상기 변환(transform) 또는 상기 양자화 중의 적어도 하나에만 적용될 수도 있다. 또한, 상기와 같은 확장 마크로 블록 단위의 부호화 처리는 이하의 본 발명의 실시예들의 복호화 처리시에도 마찬가지로 적용될 수 있다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 영상 부호화 방법에서는 입력되는 프레임(또는 픽처)간의 변화량이 작은 경우(즉, 시간 주파수가 낮은 경우)에는 마크로 블록의 크기를 크게하고, 입력되는 프레임(또는 픽처)간의 변화량이 큰 경우(즉, 시간 주파수가 높은 경우)에는 마크로 블록의 크기를 작게 하여 부호화에 이용함으로써 부호화 효율을 향상시킬 수 있다.
상기와 같은 시간적 주파수 특성에 따른 영상 부호화/복호화 방법은 HD(High Definition)급 이상의 해상도를 가지는 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 고해상도에 적용될 수 있다. 이하 마크로 블록이라 함은 확장 마크로 블록 또는 기존의 32x32 픽셀 미만 크기를 가지는 마크로 블록을 의미한다.
한편, 본 발명의 다른 실시예에 따르면 확장 매크로블록(Extended Macroblock) 및 확장 매크로 블록 크기를 이용하여 부호화 및 복호화하는 방식 대신 순환적(recursive) 코딩 유닛(Coding Unit; CU)을 사용하여 부호화 및 복호화를 수행할 수도 있다. 이하, 도 2를 참조하여 본 발명의 다른 실시예에 따른 순환적 코딩 유닛 구조에 대해 설명한다.
도 2는 본 발명의 다른 실시예에 따른 순환적 코딩 유닛 구조를 나타낸 개념도이다.
도 2를 참조하면, 각 코딩 유닛(CU)은 정사각형 모양을 가지며, 각 코딩 유닛(CU)은 2N X 2N(단위 pixel) 크기의 가변적인 크기를 가질 수 있다. 인터 예측, 인트라 예측, 변환, 양자화 및 엔트로피 부호화는 코딩 유닛(CU) 단위로 이루어질 수 있다. 코딩 유닛(CU)은 최대 코딩 유닛(LCU), 최소 코딩 유닛(SCU)를 포함할 수 있으며, 최대 코딩 유닛(LCU), 최소 코딩 유닛(SCU)의 크기는 8이상의 크기를 가지는 2의 거듭제곱 값으로 나타낼 수 있다.
본 발명의 다른 실시예에 따른 코딩 유닛(CU)은 순환적인 트리 구조를 가질 수 있다. 도 2는 최대 코딩 유닛(LCU)인 CU0의 한변의 크기(2N0)가 128(N0=64)이고, 최대 계층 레벨(level) 또는 계층 깊이(depth)가 5인 경우를 나타낸다. 순환적인 구조는 일련의 플래그(flag)를 통하여 표현될 수 있다. 예를들어, 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)의 플래그(flag)값이 0인 경우, 코딩 유닛(CUk)에 대한 코딩(coding)은 현재의 계층 레벨(level) 또는 계층 깊이(depth)에 대해 이루어지며, 플래그(flag)값이 1인 경우, 현재의 계층 레벨(level) 또는 계층 깊이(depth)가 k인 코딩 유닛(CUk)은 4개의 독립적인 코딩 유닛(CUk +1)으로 분할되며, 분할된 코딩 유닛(CUk +1)은 계층 레벨(level) 또는 계층 깊이(depth)가 k+1이 되며, 크기는 Nk +1 X Nk +1가 된다. 이 경우 코딩 유닛(CUk +1)은 코딩 유닛(CUk)의 서브 코딩 유닛으로 나타낼 수 있다. 코딩 유닛(CUk +1)의 계층 레벨(level) 또는 계층 깊이(depth)가 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)에 도달할 때까지 코딩 유닛(CUk +1)은 순환적으로(recursive) 처리될 수 있다. 코딩 유닛(CUk +1)의 계층 레벨(level) 또는 계층 깊이(depth)가 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)-도 2에서는 4인 경우를 예로 들었음-과 동일한 경우에는 더 이상의 분할은 허용되지 않는다.
최대 코딩 유닛(LCU)의 크기 및 최소 코딩 유닛(SCU)의 크기는 시퀀스 파라미터 셋(Sequence Parameter Set; SPS)에 포함될 수 있다. 시퀀스 파라미터 셋(SPS)는 최대 코딩 유닛(LCU)의 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)를 포함할 수 있다. 예를 들어, 도 2의 경우는 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)는 5이고, 최대 코딩 유닛(LCU)의 한변의 크기가 128(단위 pixel)인 경우, 128 X 128(LCU), 64 X 64, 32 X 32, 16 X 16 및 8 X 8(SCU)의 5가지 종류의 코딩 유닛 크기가 가능하다. 즉, 최대 코딩 유닛(LCU)의 크기 및 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)가 주어지면 허용가능한 코딩 유닛의 크기가 결정될 수 있다.
상기와 같은 본 발명의 다른 실시예에 따른 순환적 코딩 유닛 구조를 사용할 경우의 장점은 다음과 같다.
첫째, 기존의 16 X 16 매크로블록보다 큰 사이즈를 지원할 수 있다. 만약 관심 이미지 영역이 균일(homogeneous)하다면, 큰 코딩 유닛(LCU)은 여러 개의 작은 블록들을 사용하는 경우보다 관심 이미지 영역을 더 적은 개수의 심볼들로 표시할 수 있다.
둘째, 고정된 크기의 매크로블록을 사용하는 경우에 비하여 임의의 다양한 크기를 가지는 최대 코딩 유닛(LCU)을 지원함으로써 코덱은 다양한 콘텐츠, 애플리케이션 및 장치에 용이하게 최적화될 수 있다. 즉, 최대 코딩 유닛(LCU) 크기 및 최대 계층 레벨(level) 또는 최대 계층 깊이(depth)를 적절히 선택함으로써, 상기 계층적 블록 구조는 목표로 하는 애플리케이션에 보다 더 최적화 될 수 있다.
셋째, 매크로블록, 서브-매크로블록, 확장 매크로 블록을 구분하지 않고 코딩 유닛(LCU)이라는 한 개의 단일 유닛 형태를 사용함으로써, 멀티레벨 계층적 구조를 최대 코딩 유닛(LCU) 크기, 최대 계층 레벨(level)(또는 최대 계층 깊이(depth)) 및 일련의 플래그를 이용하여 매우 간단하게 나타낼 수 있다. 크기 독립적(size-independent)인 신택스 표현(syntax representation)과 함께 사용될 경우 나머지 코딩 툴들에 대한 하나의 일반화된 크기의 신택스 아이템을 명시하는데 충분하게 되며, 이러한 일관성이 실제 파싱 과정등을 단순화 시킬 수 있다. 계층 레벨(level)(또는 최대 계층 깊이(depth))의 최대값은 임의값을 가질 수 있으며 기존의 H.264/AVC 부호화 방식에서 혀용된 값보다 더 큰 값을 가질 수 있다. 크기 독립적 신택스 표현을 사용하여 코딩 유닛(CU)의 크기에 독립적으로 일관된 방식으로 모든 신택스 엘리먼트(syntax elements)를 명시할 수 있다. 코딩 유닛(CU)에 대한 분할 과정(splitting process)은 순환적으로 명시될 수 있고, 말단 코딩 유닛(leaf coding unit)-계층 레벨의 마지막 코딩 유닛-에 대한 다른 신택스 엘리먼트들은 코딩 유닛 크기에 무관하게 동일한 크기로 정의될 수 있다. 상기와 같은 표현법은 파싱 복잡도를 줄이는 데 매우 효과적이며, 큰 계층 레벨 또는 계층 깊이가 허용되는 경우 표현의 명료성이 향상될 수 있다.
상기와 같은 계층적인 분할 과정이 완료되면 더 이상의 분할 없이 코딩 유닛 계층 트리의 말단 노드에 대해 인터 예측 또는 인트라 예측을 수행할 수 있으며, 이러한 말단 코딩 유닛이 인터 예측 또는 인트라 예측의 기본 단위인 예측 유닛(Prediction Unit; PU)으로 사용된다.
인터 예측 또는 인트라 예측을 위하여 상기 말단 코딩 유닛에 대해 파티션(partition) 분할이 수행 된다. 즉, 파티션 분할은 예측 유닛(PU)에 대해 수행된다. 여기서, 에측 유닛(PU)는 인터 예측 또는 인트라 예측을 위한 기본 단위의 의미이며, 기존의 매크로 블록 단위 또는 서브-매크로 블록 단위가 될 수도 있고, 32 X 32 픽셀 크기 이상의 확장 매크로 블록 단위가 될 수도 있다.
상기 인터 예측 또는 인트라 예측을 위한 파티션 분할은 비대칭적 파티션 분할(asymmetric partitioning) 방식으로 이루어질 수도 있고, 정사각형이외의 임의의 모양을 가지는 기하학적 파티션 분할(geometrical partitioning) 방식으로 이루어질 수도 있고, 에지 방향에 따른 파티션 분할 방식으로 이루어질 수도 있다. 이하, 본 발명의 실시예들에 따른 파티션 분할 방식에 대해 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 비대칭적 파티션 분할(asymmetric partitioning) 방식을 설명하기 위한 개념도이다.
인터 예측 또는 인트라 예측을 위한 예측 유닛(PU)의 크기가 M X M(M은 자연수로서 단위는 pixel)인 경우 코딩 유닛의 수평방향으로 비대칭적 파티션 분할을 하거나 또는 수직방향으로 비대칭적 파티션 분할을 할 수 있다. 도 3에서는 예측 유닛(PU)의 크기가 예를 들어 64 X 64인 경우에 대해 도시하였다.
도 3을 참조하면, 수평 방향으로 비대칭적 파티션 분할을 하여 64 X 16크기의 파티션 P11a와 64 X 48 크기의 P21a로 분할하거나, 64 X 48 크기의 파티션 P12a와 64 X 16 크기의 P22a로 분할할 수 있다. 또한, 수직 방향으로 비대칭적 파티션 분할을 하여 16 X 64 크기의 파티션 P13a와 48 X 64 크기의 P23a로 분할하거나, 48 X 64 크기의 파티션 P14a와 16 X 64 크기의 P24a로 분할할 수 있다.
도 4a 내지 도 4c는 본 발명의 다른 실시예들에 따른 기하학적 파티션 분할(geometrical partitioning) 방식을 설명하기 위한 개념도이다.
도 4a는 예측 유닛(PU)에 대해 정사각형이외의 모양을 가지는 기하학적 파티션 분할을 하는 경우의 일실시예를 나타낸 것이다.
도 4a를 참조하면, 예측 유닛(PU)에 대해 기하학적 파티션의 경계선 L은 다음과 같이 정의할 수 있다. 예측 유닛(PU)의 중심(O)을 X, Y 축을 이용하여 4개 사분면으로 등분한 후 예측 유닛(PU)의 중심(O)으로부터 경계선 L에 수선을 그리면, 예측 유닛(PU)의 중심(O)으로부터 경계선 L까지의 수직 거리 ρ, X축으로부터 반시계 방향으로 상기 수선까지의 회전각도 θ에 의해 임의 방향의 모든 경계선을 특정할 수 있다.
예를 들면, 8x8 블록의 경우 34개 모드를 사용하여 인트라 예측을 사용할 수도 있다. 여기서, 34개의 모드는 현재 블록내 임의 픽셀에서 수평 방향으로 dx, 수직방향으로 dy(dx, dy는 자연수)의 기울기를 가지는 임의의 방향으로서 최대 34개의 방향을 나타낼 수 있다.
또는 블록 사이즈에 따라 서로 다른 개수의 인트라 모드를 사용할 수도 있다. 예를 들어, 4x4 블록에 대해서는 9가지 인트라 모드, 8x8 블록에 대해서는 9가지 인트라 모드, 16x16 블록에 대해서는 34가지 인트라 모드, 32x32 블록에 대해서는 34가지 인트라 모드, 64x64 블록에 대해서는 5가지 인트라 모드, 128x128 블록에 대해서는 5가지 인트라 모드를 사용할 수 있다.
또는 4x4 블록에 대해서는 17가지 인트라 모드, 8x8 블록에 대해서는 34가지 인트라 모드, 16x16 블록에 대해서는 34가지 인트라 모드, 32x32 블록에 대해서는 34가지 인트라 모드, 64x64 블록에 대해서는 5가지 인트라 모드, 128x128 블록에 대해서는 5가지 인트라 모드를 사용할 수도 있다.
도 4b는 예측 유닛(PU)에 대해 정사각형이외의 모양을 가지는 기하학적 파티션 분할을 하는 경우의 다른 실시예를 나타낸 것이다.
도 4b를 참조하면, 인터 예측 또는 인트라 예측을 위한 예측 유닛(PU)을 중심을 기준으로 4개 사분면으로 등분한 후, 2사분면의 좌상단 블록을 파티션 P11b, 나머지 1, 3, 4분면으로 이루어진 '』' 모양의 블록을 파티션 P21b로 분할 할 수 있다. 또는, 3사분면의 좌하단 블록을 파티션 P12b, 나머지 1, 2, 4분면으로 이루어진 블록을 파티션 P22b로 분할 할 수 있다. 또는, 1사분면의 우상단 블록을 파티션 P13b, 나머지 2, 3, 4분면으로 이루어진 블록을 파티션 P23b로 분할 할 수 있다. 또는, 4사분면의 우하단 블록을 파티션 P14b, 나머지 1, 2, 3분면으로 이루어진 블록을 파티션 P24b로 분할 할 수 있다.
상기와 같이 'ㄱ' 자 모양으로 파티션을 분할함으로써 파티션 분할시 에지 블록, 즉 좌상단, 좌하단, 우상단, 우하단 블록에 움직이는 객체(object)가 존재하는 경우 4개 블록으로 파티션 분할하는 경우보다 효과적으로 부호화를 할 수 있다. 상기 4가지 파티션 중에 움직이는 객체(object)가 어느 에지 블록에 위치하는냐에 따라서 해당되는 파티션이 선택되어 사용될 수 있다.
도 4c는 예측 유닛(PU)에 대해 정사각형이외의 모양을 가지는 기하학적 파티션 분할을 하는 경우의 또 다른 실시예를 나타낸 것이다.
도 4c를 참조하면, 인터 예측 또는 인트라 예측을 위한 예측 유닛(PU)을 두개의 서로 다른 불규칙 영역으로 분할하거나(모드 0, 1) 또는 서로 다른 사이즈의 직사각형 영역으로 분할(모드 2, 3) 할 수 있다.
여기서, 파라미터 'pos'는 파티션 경계의 위치를 나타내는데 사용된다. 모드 0, 1의 경우 'pos'는 예측 유닛(PU)의 대각선으로부터 파티션 경계까지의 수평방향으로의 거리를 나타내며, 모드 2, 3의 경우 'pos'는 예측 유닛(PU)의 수직이등분선 또는 수평이등분선으로부터 파티션 경계까지의 수평방향으로의 거리를 나타낸다. 도 4c의 경우 모드 정보가 디코더로 전송될 수 있다. 상기 4가지 모드 중에 RD(Rate Distortion) 관점에서 최소 RD 비용(cost)를 가지는 모드가 인터 예측을 위해 사용될 수 있다.
도 5는 기하학적 파티션 분할의 경우 경계선에 위치하는 경계 픽셀들에 대한 움직임 보상을 설명하기 위한 개념도이다. 기하학적 파티션 분할에 의해 영역 1 및 영역 2로 분할된 경우 영역 1의 움직임 벡터를 MV1, 영역 2의 움직임 벡터를 MV2라고 가정한다.
경계 픽셀(boundary pixel)은 영역 1(또는 영역 2)에 위치하는 특정 픽셀의 상(top), 하(bottom), 좌(left), 우(right) 픽셀 중 하나라도 영역 2(또는 영역 1)에 속하는 경우 경계 픽셀로 볼 수 있다. 도 5를 참조하면, 경계 픽셀 A는 영역 2과의 경계에 속하는 경계 픽셀이고, 경계 픽셀 B는 영역 1과의 경계에 속하는 경계 픽셀이다. 경계 픽셀이 아닌 경우에는 적합한 움직임 벡터를 사용하여 정상적인 움직임 보상을 수행한다. 경계 픽셀인 경우에는 영역 1 및 영역 2의 움직임 벡터 MV1, MV2로부터의 움직임 예측치(motion prediction)에 가중치를 곱하여 합한 값을 사용하여 움직임 보상을 수행한다. 도 5의 경우 경계 픽셀을 포함하는 영역에 대해서는 2/3의 가중치를 사용하고, 경계 픽셀을 포함하지 않는 나머지 영역에 대해서는 1/3의 가중치를 사용하는 경우를 나타낸다.
도 6은 본 발명의 다른 실시예에 따른 영상 부호화 방법을 나타내는 흐름도이고, 도 7은 도 6에 도시된 파티션 분할 과정을 설명하기 위한 개념도이다.
도 6은 도 1에 도시된 영상 부호화 방법을 통해 예측 유닛(PU)의 크기를 결정한 후, 결정된 크기를 가지는 예측 유닛(PU) 내에 포함된 에지를 고려하여 예측 유닛(PU)을 파티션으로 분할한 후 분할된 파티션 별로 부호화를 수행하는 과정을 나타낸다. 도 3에서는 예측 유닛(PU)으로 32 X 32 크기의 마크로 블록을 사용한 경우를 예로 들어 설명한다.
여기서 에지를 고려한 파티션 분할은 인터 예측 뿐 아니라 인트라 예측에도 적용된다. 자세한 설명은 후술한다.
도 6에 도시된 단계 110 내지 단계 130은 도 1의 동일 부호를 가지는 단계들과 각각 동일한 기능을 실행하므로 설명을 생략한다.
도 6 및 도 7을 참조하면, 단계 110 내지 130의 실행을 통해서 마크로 블록의 크기가 결정되면, 부호화 장치는 결정된 크기를 가지는 현재 마크로 블록과 인접한 마크로 블록에 속하는 화소 중에서 에지에 속하는 화소를 검출한다(단계 140).
단계 140에서 에지에 속하는 화소를 검출하는 방법은 공지된 다양한 방법을 통해 수행할 수 있다. 예를 들어, 현재 마크로 블록과 인접한 주변 화소 사이의 차이값을 계산하거나, 소벨(sobel) 알고리즘과 같은 에지 검출 알고리즘을 이용하여 에지를 검출할 수 있다.
이후, 부호화 장치는 검출된 에지에 속하는 화소를 이용하여 현재 마크로 블록을 파티션으로 분할한다(단계 150).
부호화 장치는 현재 마크로 블록의 파티션 분할을 위해 현재 마크로 블록과 인접한 주변 블록에 포함된 화소들 중 검출된 에지 화소의 주변 화소들을 대상으로 에지에 속하는 화소를 검출한 후 검출된 에지 화소 주변의 화소와 단계 140에서 검출된 에지 화소를 연결하는 선을 이용하여 파티션을 분할할 수 있다.
예를 들어, 도 7에 도시된 바와 같이 부호화 장치는 32x32 픽셀 크기를 가지는 현재 마크로 블록의 주변 블록에 속하는 화소들 중 먼저 가장 인접한 화소들을 대상으로 에지에 속하는 화소를 검출하여 화소들(211 및 214)을 검출한 다. 이후, 부호화 장치는 검출된 화소(211)의 주위에 위치하는 화소들 중 에지에 속하는 화소를 검출하여 화소(212)를 검출한 후 화소(211)와 화소(212)를 연결하는 선의 연장선(213)을 이용하여 마크로 블록을 파티션으로 분할한다.
또한, 부호화 장치는 검출된 화소(214)와 인접한 화소들 중 에지에 속하는 화소를 검출하여 화소(215)를 검출한 후 화소(214)와 화소(215)를 연결하는 선의 연장선(216)을 이용하여 마크로 블록을 파티션으로 분할한다.
또는, 부호화 장치는 현재 마크로 블록(210)의 주변 블록에 속하는 화소들 중 현재 마크로 블록(210)가 가장 인접한 화소들만을 대상으로 에지에 속하는 화소들을 검출한 후, 검출된 에지에 속하는 화소들을 지나는 직선의 방향을 결정하여 현재 마크로 블록을 분할할 수도 있다. 여기서, 에지에 속하는 화소들을 지나는 에지 직선의 방향은 H.264/AVC 표준안에 따른 4x4 블록의 인트라 예측 모드들 중에서 수직(Vertical) 모드(모드 0), 수평(Horizontal) 모드(모드 1), 대각선 왼쪽(Diagonal Down-left) 모드(모드 3), 대각선 오른쪽(Diagonal Down-right) 모드(모드 4), 수직 오른쪽(Vertical right) 모드(모드 5), 수평 아래쪽(Horizontal-down) 모드(모드 6), 수직 왼쪽(Vertical left) 모드(모드 7) 및 수평 위쪽(Horizontal-up) 모드(모드 8) 중 어느 하나의 모드 방향에 따라 현재 마크로 블록을 분할할 수도 있고, 에지에 속하는 화소를 중심으로 서로 다른 방향으로 분할된 파티션들에 대한 부호화를 수행한 후 부호화 효율을 고려하여 최종 직선 방향을 결정할 수도 있다. 또는, 에지에 속하는 화소들을 지나는 직선의 방향은 H.264/AVC 표준안에 따른 4x4 블록의 인트라 예측 모드들이 아닌 4x4 픽셀 크기 이상의 블록에 대해 다양한 인트라 예측 모드들 중에서 어느 하나의 모드 방향에 따라 현재 마크로 블록을 분할할 수도 있다. 상기 에지에 속하는 화소들을 지나는 에지 직선에 대한 정보(방향 정보등 포함)는 파티션 정보에 포함되어 디코더로 전송될 수 있다.
상술한 바와 같은 방법을 통해 단계 150에서 현재 마크로 블록이 적어도 하나의 파티션으로 분할되면, 부호화 장치는 각 파티션 별로 부호화를 수행한다(단계 160).
예를 들어, 부호화 장치는 64x64 또는 32x32 픽셀 크기의 현재 마크로 블록 내에서 분할된 각 파티션에 대해 움직임 예측을 수행하여 움직임 벡터를 획득하고, 획득한 움직임 벡터를 이용하여 움직임 보상을 수행하여 예측 파티션을 생성한 후 생성된 예측 파티션과 현재 마크로 블록의 파티션의 차이인 잔여값을 변환하고 양자화한 후 엔트로피 부호화를 수행하여 전송한다. 또한, 결정된 마크로 블록의 크기, 파티션 정보 및 움직임 벡터에 대한 정보도 엔트로피 부호화된 후 전송된다.
상기와 같은 에지를 고려한 파티션 분할을 이용한 인터 예측은 에지를 고려한 파티션 분할을 이용한 예측 모드가 활성화된 경우에 수행되도록 구현할 수 있다. 상기와 같이 에지를 고려한 파티션 분할은 인터 예측에 사용될 뿐 아니라 인트라 예측에도 적용될 수 있다. 인트라 예측에 적용하는 경우는 도 8을 참조하여 설명한다.
도 8은 에지를 고려한 파티션 분할을 인트라 예측에 적용하는 경우를 설명하기 위한 개념도이다. 도 8의 에지를 고려한 파티션 분할을 이용한 인트라 예측은 에지를 고려한 파티션 분할을 이용한 예측 모드가 활성화된 경우에 수행되도록 구현될 수 있다. 전술한 소벨 알고리즘등과 같은 에지 검출 알고리즘을 이용하여 에지를 검출한 후, 검출된 에지 방향을 따라서 참조 픽셀들의 값을 하기와 외삽법을 이용하여 추정할 수 있다.
도 8을 참조하면, 라인 E가 에지 경계선이고 이고, 픽셀 a, b가 에지 경계선 E의 양쪽에 위치하는 픽셀이며, 인트라 예측의 대상이 되는 참조 픽셀이 p(x,y)인 경우, p(x,y)는 다음의 수학식을 이용하여 예측될 수 있다.
[수학식 1]
Wa = δx - floor(δx)
Wb = ceil(δx) - δx
P = Wa X a + Wb X b
여기서, δx는 참조 픽셀 p(x,y)의 X축 좌표위치로부터 에지 라인 E가 X축과 교차되는 위치까지의 거리를 나타내며, Wa, Wb는 가중치(weighted factor)이고, floor(δx)는 δx보다 크지 않은 가장 큰 정수를 반환(예를 들어, floor(1.7) = 1) 하며, ceil(δx)는 δx의 올림값을 반환(예를 들어, ceil(1.7) = 2)함.
상기 에지에 속하는 화소들을 지나는 에지 경계선에 대한 정보(방향 정보등 포함)는 파티션 정보 또는 파라미터 셋(Sequence Parameter Set; SPS)에 포함되어 디코더로 전송될 수 있다.
또는 인트라 예측의 대상 블록(예측 유닛)의 블록 사이즈별로 기 설정된 인트라 예측 방향 중 상기 검출된 에지 방향과 유사한 인트라 예측 방향에 따라 참조 픽셀들의 값을 외삽법을 이용하여 추정할 수도 있다. 상기 유사한 인트라 예측 방향은 상기 검출된 에지 방향과 가장 유사한 예측 방향이 될 수 있으며, 가장 유사한 예측 방향은 1개 또는 2개가 될 수도 있다. 예를들어, 8x8 블록의 경우 34개 인트라 모드 중 상기 예측된 에지 방향과 가장 유사한 방향을 가지는 인트라 모드를 사용하여 참조 픽셀들의 값을 상기와 같은 외삽법을 이용하여 추정할 수도 있다. 이경우, 상기 검출된 에지 방향과 유사한 인트라 예측 방향에 대한 정보는 파티션 정보 또는 파라미터 셋(Sequence Parameter Set; SPS)에 포함되어 디코더로 전송될 수 있다.
또는 인트라 예측의 대상 블록(예측 유닛)의 블록 사이즈별로 기 설정된 인트라 예측 방향 중 상기 검출된 에지 방향과 유사한 인트라 모드를 사용하여 기존의 인트라 예측을 수행하여 참조 픽셀들의 값을 구할 수도 있다. 상기 유사한 인트라 예측 모드는 상기 검출된 에지 방향과 가장 유사한 예측 모드가 될 수 있으며, 가장 유사한 예측 모드는 1개 또는 2개가 될 수도 있다. 이경우, 상기 검출된 에지 방향과 유사한 인트라 모드 정보는 파티션 정보 또는 파라미터 셋(Sequence Parameter Set; SPS)에 포함되어 디코더로 전송될 수 있다.
상기 에지를 고려한 인트라 예측은 인트라 예측의 대상 블록의 크기가 소정 크기 이상인 경우에 한하여 적용함으로써 인트라 에측시 복잡도를 줄일 수 있다. 상기 소정 크기는 예를 들어, 16X16, 32X32, 64X64 또는 128X128, 256X256가 될 수 있다.
또는 상기 에지를 고려한 인트라 예측은 인트라 예측의 대상 블록의 크기가 소정 크기 이하인 경우에 한하여 적용함으로써 인트라 에측시 복잡도를 줄일 수 있다. 상기 소정 크기는 예를 들어, 16X16, 8X8, 4X4가 될 수 있다.
또는 상기 에지를 고려한 인트라 예측은 인트라 예측의 대상 블록의 크기가 소정 크기 범위에 속하는 경우에 한하여 적용함으로써 인트라 에측시 복잡도를 줄일 수 있다. 상기 소정 크기 범위는 예를 들어 4X4에서 16X16, 또는 16X16에서 64X64가 될 수 있다.
상기 에지를 고려한 인트라 예측이 적용되는 대상 블록의 크기 정보는 파티션 정보 또는 파라미터 셋(Sequence Parameter Set; SPS)에 포함되어 디코더로 전송될 수 있다. 또는, 에지를 고려한 인트라 예측이 적용되는 대상 블록의 크기 정보를 디코더로 전송하지 않고 미리 인코더와 디코더에서 사전 약속하에 상기 에지를 고려한 인트라 예측이 적용되는 대상 블록의 크기 정보를 가질 수도 있다.
도 9는 본 발명의 또 다른 실시예에 따른 영상 부호화 방법을 나타내는 흐름도이다. 도 9는 영상의 공간적 주파수 특성에 따라 예측 유닛(PU)의 크기를 결정한 후 결정된 크기를 가지는 예측 유닛(PU)을 이용하여 움직임 보상 부호화를 수행하는 방법을 나타낸다.
도 9를 참조하면, 먼저 부호화 장치는 부호화할 대상 프레임을 수신한다(단계 310). 여기서 수신된 부호화 대상 프레임은 버퍼에 저장될 수 있고, 상기 버퍼는 미리 정해진 수의 프레임을 저장할 수 있다. 예를 들어, 상기 버퍼는 적어도 4개(n-3, n-2, n-1 및 n)의 프레임을 저장할 수 있다.
이후, 부호화 장치는 수신된 각 프레임(또는 픽처)의 공간적 주파수 특성을 분석한다(단계 320). 예를 들어, 부호화 장치는 버퍼에 저장된 각 프레임의 신호 에너지를 산출하고, 산출된 신호 에너지와 주파수 스펙트럼의 관계를 분석하여 각 영상의 공간 주파수 특성을 분석할 수 있다.
이후, 부호화 장치는 분석된 공간 주파수 특성에 기초하여 예측 유닛(PU)의 크기를 결정한다. 여기서, 예측 유닛(PU)의 크기는 버퍼에 저장된 각 프레임 단위로 결정될 수도 있고, 미리 설정된 소정 수의 프레임 단위로 결정될 수도 있다.
예를 들어, 부호화 장치는 프레임의 신호 에너지가 주파수 스펙트럼에서 미리 설정된 제3 임계값 미만인 경우에는 예측 유닛(PU)의 크기를 16x16 픽셀 이하의 크기로 결정하고, 신호 에너지가 미리 설정된 제3 임계값 이상 제4 임계값 미만인 경우에는 예측 유닛(PU)의 크기를 32x32 픽셀로 결정하며, 신호 에너지가 미리 설정된 제4 임계값 이상인 경우에는 예측 유닛(PU)의 크기를 64x64 픽셀로 결정한다. 여기서, 제3 임계값은 제4 임계값보다 영상의 공간 주파수가 더 높은 경우를 나타낸다.
상기에서는 수신된 각 프레임(또는 픽처)의 시간적 주파수 특성 또는 공간적 주파수 특성에 따라서 마크로 블록의 크기를 확장 마크로블록을 사용하여 부호화에 이용함으로써 부호화 효율을 향상시키는 것으로 설명하고 있으나, 수신된 각 프레임(또는 픽처)의 시간적 주파수 특성 또는 공간적 주파수 특성에 독립적으로 수신된 각 프레임(또는 픽처)의 해상도(크기)에 따라서 확장 매크로 블록을 사용하여 부호화/복호화를 수행할 수도 있음은 물론이다. 즉, HD(High Definition)급 이상의 울트라 HD(Ultra High Definition)급 이상의 해상도를 가지는 프레임(또는 픽처)에 대해서 확장 매크로 블록을 사용하여 부호화/복호화를 수행할 수도 있다.
단계 330의 실행을 통해 예측 유닛(PU)의 크기가 결정되면 부호화 장치는 결정된 크기의 예측 유닛(PU) 단위로 부호화를 수행한다(단계 340).
예를 들어 예측 유닛(PU) 크기가 64x64 픽셀로 결정되었다면, 부호화 장치는 64x64 픽셀 크기의 현재 예측 유닛(PU)에 대해 움직임 예측을 수행하여 움직임 벡터를 획득하고, 획득한 움직임 벡터를 이용하여 움직임 보상을 수행하여 예측 블록을 생성한 후 생성된 예측 블록과 현재 예측 유닛(PU)의 차이인 잔여값을 변환하고 양자화한 후 엔트로피 부호화를 수행하여 전송한다. 또한, 결정된 예측 유닛(PU)의 크기에 대한 정보 및 움직임 벡터에 대한 정보도 엔트로피 부호화된 후 전송된다.
도 9에 도시된 바와 같이 본 발명의 일 실시예에 따른 영상 부호화 방법에서는 입력되는 프레임(또는 픽처)의 영상 평탄도 또는 균일도가 높은 경우(즉, 공간 주파수가 낮은 경우, 예를 들어 동일한 색으로 이루어진 영역, 낮은 공간 주파수쪽으로 에너지가 집중된 영역 등)에는 예측 유닛(PU)의 크기를 32x32 픽셀 이상으로 크게 설정하고, 프레임(또는 픽처)의 영상 평탄도 또는 균일도가 낮은 경우(즉, 공간 주파수가 높은 경우)에는 예측 유닛(PU)의 크기를 16x16 픽셀 이하로 작게 설정함으로써 부호화 효율을 향상시킬 수 있다.
도 10은 본 발명의 또 다른 실시예에 따른 영상 부호화 방법을 나타내는 흐름도로서, 도 9에 도시된 영상 부호화 방법을 통해 예측 유닛(PU)의 크기를 결정한 후, 결정된 크기를 가지는 예측 유닛(PU) 내에 포함된 에지를 고려하여 예측 유닛(PU)을 파티션으로 분할한 후 분할된 파티션 별로 부호화를 수행하는 과정을 나타낸다.
도 10에 도시된 단계 310 내지 단계 330은 도 9의 동일 부호를 가지는 단계들과 각각 동일한 기능을 실행하므로 설명을 생략한다.
도 10을 참조하면, 단계 310 내지 330의 실행을 통해서 공간 주파수 특성에 따른 예측 유닛(PU)의 크기가 결정되면, 부호화 장치는 결정된 크기를 가지는 현재 예측 유닛(PU)과 인접한 예측 유닛(PU)에 속하는 화소 중에서 에지에 속하는 화소를 검출한다(단계 340).
단계 340에서 에지에 속하는 화소를 검출하는 방법은 공지된 다양한 방법을 통해 수행할 수 있다. 예를 들어, 현재 예측 유닛(PU)과 인접한 주변 화소 사이의 차이값을 계산하거나, 소벨(sobel) 알고리즘과 같은 에지 검출 알고리즘을 이용하여 에지를 검출할 수 있다.
이후, 부호화 장치는 검출된 에지에 속하는 화소를 이용하여 현재 예측 유닛(PU)을 파티션으로 분할한다(단계 350).
부호화 장치는 도 3에 도시한 바와 같이 현재 예측 유닛(PU)의 파티션 분할을 위해 현재 예측 유닛(PU)과 인접한 주변 블록에 포함된 화소들 중 검출된 에지 화소의 주변 화소들을 대상으로 에지에 속하는 화소를 검출한 후 검출된 에지 화소 주변의 화소와 단계 340에서 검출된 에지 화소를 연결하는 선을 이용하여 파티션을 분할할 수 있다.
또는, 부호화 장치는 현재 예측 유닛(PU)의 주변 블록에 속하는 화소들 중 현재 예측 유닛(PU)에 가장 인접한 화소들만을 대상으로 에지에 속하는 화소들을 검출한 후, 검출된 에지에 속하는 화소들을 지나는 직선의 방향을 결정하여 현재 예측 유닛(PU)을 분할할 수도 있다.
상술한 바와 같은 방법을 통해 단계 350에서 현재 예측 유닛(PU)이 적어도 하나의 파티션으로 분할되면, 부호화 장치는 각 파티션 별로 부호화를 수행한다(단계 360).
예를 들어, 부호화 장치는 64x64 또는 32x32 픽셀 크기의 현재 예측 유닛(PU) 내에서 분할된 각 파티션에 대해 움직임 예측을 수행하여 움직임 벡터를 획득하고, 획득한 움직임 벡터를 이용하여 움직임 보상을 수행하여 예측 파티션을 생성한 후 생성된 예측 파티션과 현재 예측 유닛(PU)의 파티션의 차이인 잔여값을 변환하고 양자화한 후 엔트로피 부호화를 수행하여 전송한다. 또한, 결정된 예측 유닛(PU)의 크기, 파티션 정보 및 움직임 벡터에 대한 정보도 엔트로피 부호화된 후 전송된다.
도 5에서 설명한 에지를 고려한 파티션 분할은 인터 예측에 사용될 뿐 아니라 도 8의 인트라 예측에도 적용될 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.
도 11을 참조하면, 먼저 복호화 장치는 부호화 장치로부터 비트 스트림을 수신한다(단계 410).
이후, 복호화 장치는 수신된 비트 스트림에 대한 엔트로피 복호화를 수행하여 복호화할 현재 예측 유닛(PU) 정보를 획득한다(단계 420). 여기서, 확장 매크로블록(Extended Macroblock) 및 확장 매크로 블록 크기를 이용하여 부호화 및 복호화하는 방식대신 전술한 순환적(recursive) 코딩 유닛(Coding Unit; CU)을 사용하여 부호화 및 복호화를 수행할 경우에는 상기 예측 유닛(PU) 정보는 최대 코딩 유닛(LCU)의 크기, 최소 코딩 유닛(SCU)의 크기, 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth), 플래그(flag) 정보를 포함할 수 있다. 또한 이와 동시에 복호화 장치는 움직임 보상을 위한 움직임 벡터를 획득한다. 여기서, 상기 예측 유닛(PU)의 크기는 도 1 및 도 9에 도시한 바와 같이 부호화 장치에서 시간 주파수 특성 또는 공간 주파수 특성에 따라 결정된 크기를 가질 수 있으며, 예를 들어, 32x32 또는 64x64 픽셀 크기를 가질 수 있다. 복호화 제어부(미도시)에서는 부호화 장치에서 적용한 예측 유닛(PU)의 크기에 대한 정보를 상기 부호화 장치로부터 전송받아 상기 부호화 장치에서 적용한 예측 유닛(PU)의 크기에 따라 후술할 움직임 보상 복호화 또는 역변환 또는 역양자화를 수행할 수 있다.
복호화 장치는 상술한 바와 같이 획득한 예측 유닛(PU) 크기(예를 들면 32x32 또는 64x64 픽셀) 정보 및 움직임 벡터 정보를 이용하고 이전에 복원된 프레임(또는 픽처)을 이용하여 움직임 보상을 위해 예측된 예측 유닛(PU)을 생성한다(단계 430).
이후, 복호화 장치는 생성된 예측된 예측 유닛(PU)과 부호화 장치로부터 제공된 잔여값을 더하여 현재 예측 유닛(PU)을 복원한다(단계 440). 여기서, 복호화 장치는 부호화 장치로부터 제공된 비트 스트림을 엔트로피 복호화한 후, 역양자화 및 역변환을 수행하여 상기 잔여값을 획득할 수 있다. 또한, 상기 역변환과정에서도 단계 420에서 획득한 예측 유닛(PU) 크기(예를 들면, 32x32 또는 64x64 픽셀) 단위로 수행될 수 있다.
도 12는 본 발명의 다른 실시예에 따른 영상 복호화 방법을 나타내는 흐름도로서, 영상 부호화 장치에서 시간 주파수 특성 또는 공간 주파수 특성에 따라 결정된 크기를 가지는 마크로 블록을 에지에 따라 분할하여 파티션 별로 부호화된 영상을 복호화하는 과정을 나타낸다.
도 12를 참조하면, 복호화 장치는 부호화 장치로부터 비트 스트림을 수신한다(단계 510).
이후, 복호화 장치는 수신된 비트 스트림에 대해 엔트로피 복호화를 수행하여 복호화할 현재 예측 유닛(PU)정보 및 현재 예측 유닛(PU)의 파티션 정보를 획득한다(단계 520). 여기서, 상기 현재 예측 유닛(PU)의 크기는 예를 들어 32x32 또는 64x64 픽셀 크기를 가질 수 있다. 또한 이와 동시에 복호화 장치는 움직임 보상을 위한 움직임 벡터를 획득한다. 여기서, 확장 매크로블록(Extended Macroblock) 및 확장 매크로 블록 크기를 이용하여 부호화 및 복호화하는 방식대신 전술한 순환적(recursive) 코딩 유닛(Coding Unit; CU)을 사용하여 부호화 및 복호화를 수행할 경우에는 상기 예측 유닛(PU) 정보는 최대 코딩 유닛(LCU)의 크기, 최소 코딩 유닛(SCU)의 크기, 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth), 플래그(flag) 정보를 포함할 수 있다. 상기 파티션 정보는 비대칭적 파티션 분할(asymmetric partitioning), 기하학적 파티션 분할(geometrical partitioning), 에지 방향에 따른 파티션 분할의 경우에 디코더로 전송되는 파티션 정보를 포함할 수 있다.
다음으로, 복호화 장치는 획득한 예측 유닛(PU) 정보 및 파티션 정보를 이용하여 예측 유닛(PU)을 분할한다(단계 530).
또한, 복호화 장치는 상기 파티션 정보와 움직임 벡터 정보 및 이전에 복원된 프레임(또는 픽처)을 이용하여 예측 파티션을 생성하고(단계 540), 생성된 예측 파티션과 부호화 장치로부터 제공된 잔여값을 더하여 현재 파티션을 복원한다(단계 550). 여기서, 복호화 장치는 부호화 장치로부터 제공된 비트 스트림을 엔트로피 복호화한 후, 역양자화 및 역변환을 수행하여 상기 잔여값을 획득할 수 있다.
이후, 복호화 장치는 획득한 파티션 정보에 기초하여 현재 블록에 포함된 모든 파티션을 복원한 후 복원된 파티션들을 재구성하여 현재 마크로 블록을 복원한다(단계 560).
도 13은 본 발명의 일 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 13을 참조하면, 영상 부호화 장치는 크게 예측 유닛 결정부(610)와 부호화기(630)를 포함할 수 있고, 부호화기(630)는 움직임 예측부(631), 움직임 보상부(633), 인트라 예측부(635), 감산기(637), 변환부(639), 양자화부(641), 엔트로피 부호화부(643), 역양자화부(645), 역변환부(647), 가산기(649) 및 프레임 버퍼(651)를 포함할 수 있다. 여기서, 예측 유닛 결정부(610)는 인터 예측, 인트라 예측에 적용되는 예측 유닛의 크기등을 결정하는 부호화 제어부(미도시)에서 수행될 수도 있고, 도면과 같이 부호화기 외부의 별도의 블록에서 수행될 수도 있다. 이하, 예측 유닛 결정부(610)가 부호화기 외부의 별도의 블록에서 수행되는 경우를 예로 들어 설명한다.
예측 유닛 결정부(610)는 제공된 입력 영상을 수신하여 내부에 마련된 버퍼(미도시)에 저장한 후 저장된 프레임의 시간 주파수 특성을 분석한다. 여기서, 상기 버퍼에는 미리 정해진 수의 프레임을 저장할 수 있다. 예를 들어, 상기 버퍼는 적어도 4개(n-3, n-2, n-1 및 n)의 프레임을 저장할 수 있다.
예측 유닛 결정부(610)는 버퍼에 저장된 n-3 번째 프레임과 n-2번째 프레임의 변화량을 검출하고, n-2 번째 프레임과 n-1 번째 프레임의 변화량을 검출하고, n-1 번째 프레임과 n번째 프레임의 변화량을 검출하여 프레임간 시간적 주파수 특성을 분석할 수 있고, 분석된 시간적 주파수 특성을 미리 설정된 임계값과 비교하고 비교 결과에 기초하여 부호화할 예측 유닛의 크기를 결정할 수 있다.
여기서, 예측 유닛 결정부(610)는 버퍼에 저장된 프레임들 중 시간적으로 인접한 두 프레임(예를 들면, n-1 및 n 번째 프레임)의 변화량에 기초하여 예측 유닛의 크기를 결정할 수도 있고, 예측 유닛 크기 정보에 대한 오버헤드를 줄이기 위해 미리 설정된 수의 프레임들(예를 들면, n-3, n-2, n-1 및 n번째)의 변화 특성에 기초하여 예측 유닛의 크기를 결정할 수도 있다.
예를 들어, 예측 유닛 결정부(610)는 n-1번째 프레임과 n번째 프레임의 시간 주파수 특성을 분석하고, 분석된 시간 주파수 특성값이 미리 설정된 제1 임계값 미만인 경우에는 예측 유닛의 크기를 64x64 픽셀로 결정하고, 분석된 시간 주파수 특성값이 미리 설정된 제1 임계값 이상 제2 임계값 미만인 경우에는 예측 유닛의 크기를 32x32 픽셀로 결정하며, 분석된 시간 주파수 특성값이 미리 설정된 제2 임계값 이상인 경우에는 예측 유닛의 크기를 16x16 픽셀 이하의 크기로 결정할 수 있다. 여기서, 제1 임계값은 제2 임계값보다 프레임간의 변화량이 작은 경우의 시간 주파수 특성값을 나타낼 수 있다.
예측 유닛 결정부(610)는 상술한 바와 같이 인터 예측 또는 인트라 예측을 위해 결정된 예측 유닛 정보를 엔트로피 부호화부(643)에 제공하고, 결정된 크기를 가지는 예측 유닛 단위로 부호화기(630)에 제공한다. 여기서, 예측 유닛 정보는 인터 예측 또는 인트라 예측을 위해 결정된 예측 유닛의 크기 정보를 포함할 수 있다. 구체적으로, 확장 매크로블록(Extended Macroblock) 및 확장 매크로 블록 크기를 이용하여 부호화 및 복호화하는 경우에는 예측 블록 정보는 매크로 블록 크기 정보 또는 확장 매크로 블록 크기 정보를 포함할 수 있다. 전술한 순환적(recursive) 코딩 유닛(Coding Unit; CU)을 사용하여 부호화 및 복호화를 수행할 경우에는 예측 유닛 정보는 상기 마크로 블록의 크기 정보 대신 인터 예측 또는 인트라 예측을 위해 사용될 말단 코딩 유닛(LCU)의 크기 정보, 즉 예측 유닛의 크기 정보를 포함할 수 있으며, 더 나아가 예측 유닛 정보는 최대 코딩 유닛(LCU)의 크기, 최소 코딩 유닛(SCU)의 크기, 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth), 플래그(flag) 정보를 더 포함할 수 있다.
예측 유닛 결정부(610)는 제공된 입력 프레임의 시간 주파수 특성을 전술한 바와 같이 분석하여 예측 유닛의 크기를 결정할 수도 있지만, 제공된 입력 프레임의 공간 주파수 특성을 분석하여 예측 유닛의 크기를 결정할 수도 있다. 예를 들어 입력되는 프레임의 영상 평탄도 또는 균일도가 높은 경우에는 예측 유닛의 크기를 32x32 픽셀 이상으로 크게 설정하고, 프레임의 영상 평탄도 또는 균일도가 낮은 경우(즉, 공간 주파수가 높은 경우)에는 예측 유닛의 크기를 16x16 픽셀 이하로 작게 설정할 수 있다.
부호화기(630)는 예측 유닛 결정부(610)에 의해 결정된 크기를 가지는 예측 유닛에 대해 부호화를 수행한다.
구체적으로, 움직임 예측부(631)는 제공된 현재 예측 유닛을 프레임 버퍼(651)에 부호화가 완료되어 저장된 이전 참조 프레임과 비교하여 움직임을 예측하여 움직임 벡터를 생성한다.
움직임 보상부(633)는 움직임 예측부(631)로부터 제공된 움직임 벡터와 참조 프레임을 이용하여 예측된 예측 유닛을 생성한다.
인트라 예측부(635)는 블록간의 화소 상관도를 사용하여 화면내 예측 부호화를 수행한다. 인트라 예측부(635)는 현재 예측 유닛의 예측 블록을 현재 프레임(또는 픽처)내의 블록의 이미 부호화된 화소값으로부터 화소값을 예측하여 구하는 인트라 예측(Intra Prediction)을 수행한다. 인트라 예측부(635)는 획득한 예측 유닛 크기 정보에 상응하는 크기를 가지는 예측 유닛에 대하여 전술한 에지 방향에 따른 인트라 예측을 수행한다.
감산기(637)는 움직임 보상부(633)에서 제공된 예측된 예측 유닛과 현재 예측 유닛을 감산하여 잔여값을 생성하고, 변환부(639) 및 양자화부(641)는 상기 잔여값을 DCT(Discrete Cosine Transform)변환하고 양자화한다. 여기서, 변환부(639)는 예측 유닛 결정부(610)로부터 제공된 예측 유닛 크기 정보에 기초하여 변환을 수행할 수 있다. 예를 들어, 32x32 또는 64x64 픽셀 크기로 변환을 수행할 수 있다. 또는 변환부(639)는 예측 유닛 결정부(610)로부터 제공된 예측 유닛 크기 정보와 독립적으로 별도의 변환 유닛(Transform Unit; TU) 단위로 변환을 수행할 수 있다. 예를 들어, 변환 유닛(TU) 크기는 최소 4 X 4 픽셀 크기부터 최대 64x64 픽셀 크기를 가질 수 있다. 또는 변환 유닛(TU)의 최대 크기는 64x64 픽셀 크기 이상- 예를 들어 128 X 128 픽셀 크기-를 가질수도 있다. 상기 변환 유닛 크기 정보는 변환 유닛 정보에 포함되어 디코더로 전송될 수 있다.
엔트로피 부호화부(643)는 양자화된 DCT 계수들과 움직임 벡터, 결정된 예측 유닛 정보, 파티션 정보, 변환 유닛 정보 등의 헤더 정보를 엔트로피 부호화하여 비트 스트림을 생성한다.
역양자화부(645) 및 역변환부(647)는 양자화부(641)를 통해 양자화된 데이터를 역양자화하고 역변환한다. 가산기(649)는 역변환된 데이터와 움직임 보상부(633)에서 제공된 예측된 예측 유닛을 더하여 영상을 복원하여 프레임 버퍼(651)에 제공하고, 프레임 버퍼(651)는 복원된 영상이 저장된다.
도 14는 본 발명의 다른 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 14를 참조하면, 본 발명의 다른 실시예에 따른 영상 부호화 장치는 크게 예측 유닛 결정부(610), 예측 유닛 분할부(620) 및 부호화기(630)를 포함할 수 있고, 부호화기(630)는 움직임 예측부(631), 움직임 보상부(633), 인트라 예측부(635), 감산기(637), 변환부(639), 양자화부(641), 엔트로피 부호화부(643), 역양자화부(645), 역변환부(647), 가산기(649) 및 프레임 버퍼(651)를 포함할 수 있다. 여기서, 부호화 과정에서 사용하는 예측 유닛 결정부 또는 예측 유닛 분할부는 인터 예측, 인트라 예측에 적용되는 예측 유닛의 크기를 결정하는 부호화 제어부(미도시)에서 수행될 수도 있고, 도면과 같이 부호화기 외부의 별도의 블록에서 수행될 수도 있다. 이하, 예측 유닛 결정부 또는 예측 유닛 분할부가 부호화기 외부의 별도의 블록에서 수행되는 경우를 예로 들어 설명한다.
예측 유닛 결정부(610)는 도 13에 도시된 동일 도면 부호의 구성요소와 동일한 기능을 수행하므로 설명을 생략한다.
예측 유닛 분할부(620)는 예측 유닛 결정부(610)로부터 제공된 현재 예측 유닛에 대해 상기 현재 예측 유닛의 주변 블록에 포함된 에지를 고려하여 현재 예측 유닛을 파티션으로 분할한 후 분할된 파티션 및 파티션 정보를 부호화기(630)에 제공한다. 여기서, 상기 파티션 정보는 비대칭적 파티션 분할(asymmetric partitioning), 기하학적 파티션 분할(geometrical partitioning), 에지 방향에 따른 파티션 분할의 경우의 파티션 정보를 포함할 수 있다.
구체적으로, 예측 유닛 분할부(620)는 예측 유닛 결정부(610)로부터 제공된 현재 예측 유닛과 인접한 예측 유닛을 프레임 버퍼(651)로부터 독출한 후 현재 예측 유닛과 인접한 예측 유닛에 속하는 화소 중에서 에지에 속하는 화소를 검출하고, 검출된 에지에 속하는 화소를 이용하여 현재 예측 유닛을 파티션으로 분할한다.
예측 유닛 분할부(620)는 현재 예측 유닛과 인접한 주변 화소 사이의 차이값을 계산하거나, 소벨(sobel) 알고리즘과 같은 공지된 에지 검출 알고리즘을 이용하여 에지를 검출할 수 있다.
예측 유닛 분할부(620)는 도 3에 도시된 바와 같이 현재 예측 유닛의 분할을 위해 현재 예측 유닛과 인접한 주변 블록에 포함된 화소들 중 검출된 에지 화소의 주변 화소들을 대상으로 에지에 속하는 화소를 검출한 후, 검출된 에지 화소 주변의 화소와 상기 검출된 에지 화소를 연결하는 선을 이용하여 파티션을 분할할 수 있다.
또는, 예측 유닛 분할부(620)는 현재 예측 유닛의 주변 블록에 속하는 화소들 중 현재 예측 유닛과 가장 인접한 화소들만을 대상으로 에지에 속하는 화소들을 검출한 후, 검출된 에지에 속하는 화소들을 지나는 직선의 방향을 결정하여 현재 예측 유닛을 분할할 수도 있다. 여기서, 에지에 속하는 화소들을 지나는 직선의 방향은 H.264 표준안에 따른 4x4 블록의 인트라 예측 모드들 중 어느 하나가 사용될 수 있다.
예측 유닛 분할부(620)는 현재 예측 유닛을 적어도 하나의 파티션으로 분할한 후, 분할된 파티션을 부호화기(630)의 움직임 예측부(631)에 제공한다. 또한, 예측 유닛 분할부(620)는 예측 유닛의 파티션 정보를 엔트로피 부호화부(643)에 제공한다.
부호화기(630)는 예측 유닛 분할부(620)로부터 제공된 파티션에 대한 부호화를 수행한다.
구체적으로, 움직임 예측부(631)는 제공된 현재 파티션에 대해 프레임 버퍼(651)에 부호화가 완료되어 저장된 이전 참조 프레임과 비교하여 움직임을 예측하여 움직임 벡터를 생성하고, 움직임 보상부(633)는 움직임 예측부(631)로부터 제공된 움직임 벡터와 참조 프레임을 이용하여 예측 파티션을 생성한다.
인트라 예측부(635)는 블록간의 화소 상관도를 사용하여 화면내 예측 부호화를 수행한다. 인트라 예측부(635)는 현재 예측 유닛의 예측 블록을 현재 프레임내의 블록의 이미 부호화된 화소값으로부터 화소값을 예측하여 구하는 인트라 예측(Intra Prediction)을 수행한다.
인트라 예측부(635)는 획득한 예측 유닛 크기 정보에 상응하는 크기를 가지는 예측 유닛에 대하여 전술한 에지 방향에 따른 인트라 예측을 수행한다.
감산기(637)는 움직임 보상부(633)에서 제공된 예측 파티션과 현재 파티션을 감산하여 잔여값을 생성하고, 변환부(639) 및 양자화부(641)는 상기 잔여값을 DCT(Discrete Cosine Transform) 변환하고 양자화한다. 엔트로피 부호화부(643)는 양자화된 DCT 계수들과 움직임 벡터, 결정된 예측 유닛 정보, 예측 유닛 파티션 정보, 또는 변환 유닛 정보 등의 헤더 정보를 엔트로피 부호화하여 비트 스트림을 생성한다.
역양자화부(645) 및 역변환부(647)는 양자화부(641)를 통해 양자화된 데이터를 역양자화하고 역변환한다. 가산기(649)는 역변환된 데이터와 움직임 보상부(633)에서 제공된 예측 파티션을 더하여 영상을 복원하여 프레임 버퍼(651)에 제공하고, 프레임 버퍼(651)는 복원된 영상이 저장된다.
도 15는 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 15를 참조하면, 본 발명의 일 실시예에 따른 복호화 장치는 엔트로피 복호화부(731), 역양자화부(733), 역변환부(735), 움직임 보상부(737), 인트라 예측부(739), 프레임 버퍼(741) 및 가산부(743)을 포함한다.
엔트로피 복호화부(731)는 압축된 비트 스트림을 수신하고 엔트로피 복호화를 수행하여 양자화된 계수를 생성한다. 역양자화부(733) 및 역변환부(735)는 양자화된 계수에 대한 역양자화 및 역변환을 수행하여 잔여값을 복원한다.
움직임 보상부(737)는 엔트로피 복호화부(731)에 의해 비트 스트림으로부터 복호화된 헤더 정보를 이용하여 부호화된 예측 유닛(PU) 크기와 동일한 크기의 예측 유닛에 대해 움직임 보상을 수행하여 예측된 예측 유닛을 생성한다. 여기서, 복호화된 헤더 정보에는 예측 유닛 크기 정보가 포함될 수 있고, 상기 예측 유닛 크기는 예를 들어, 32x32 또는 64x64 또는 128 X 128픽셀의 확장 마크로 블록 크기가 될 수 있다.
즉, 움직임 보상부(737)는 상기 복호화된 예측 유닛 크기를 가지는 예측 유닛에 대한 움직임 보상을 수행하여 예측된 예측 유닛을 생성할 수 있다.
인트라 예측부(739)는 블록간의 화소 상관도를 사용하여 화면내 예측 부호화를 수행한다. 인트라 예측부(739)는 현재 예측 유닛의 예측 블록을 현재 프레임(또는 픽처)내의 블록의 이미 부호화된 화소값으로부터 화소값을 예측하여 구하는 인트라 예측(Intra Prediction)을 수행한다. 인트라 예측부(739)는 획득한 예측 유닛 크기 정보에 상응하는 크기를 가지는 예측 유닛에 대하여 전술한 에지 방향에 따른 인트라 예측을 수행한다.
가산부(743)는 역변환부(735)에서 제공된 잔여값과, 움직임 보상부(737)에서 제공된 예측된 예측 유닛을 더하여 영상을 복원하여 프레임 버퍼(741)에 제공하고, 프레임 버퍼(741)는 복원된 영상을 저장한다.
도 16은 본 발명의 다른 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 16을 참조하면, 본 발명의 다른 실시예에 따른 복호화 장치는 크게 예측 유닛 분할부(710) 및 복호화기(730)을 포함할 수 있고, 복호화기(730)는 엔트로피 복호화부(731), 역양자화부(733), 역변환부(735), 움직임 보상부(737), 인트라 예측부(739), 프레임 버퍼(741) 및 가산부(743)을 포함한다.
예측 유닛 분할부(710)는 엔트로피 복호화부(731)에 의해 비트 스트림이 복호화된 헤더 정보를 획득하고, 획득한 헤더 정보에서 예측 유닛 정보 및 파티션 정보를 추출한다. 여기서, 상기 파티션 정보는 예측 유닛을 분할하는 선의 정보가 될 수 있다. 예를 들어, 상기 파티션 정보는 비대칭적 파티션 분할(asymmetric partitioning), 기하학적 파티션 분할(geometrical partitioning), 에지 방향에 따른 파티션 분할의 경우의 파티션 정보를 포함할 수 있다.
이후, 예측 유닛 분할부(710)는 추출된 파티션 정보를 이용하여 프레임 버퍼(741)에 저장된 참조 프레임의 예측 유닛을 파티션으로 분할한 후 분할된 파티션을 움직임 보상부(737)에 제공한다.
여기서, 디코딩 과정에서 사용하는 예측 유닛 분할부는 인터 예측, 인트라 예측에 적용되는 예측 유닛의 크기를 결정하는 복호화 제어부(미도시)에서 수행될 수도 있고, 도면과 같이 복호화기 외부의 별도의 블록에서 수행될 수도 있다. 이하, 예측 유닛 분할부가 복호화기 외부의 별도의 블록에서 수행되는 경우를 예로 들어 설명한다.
움직임 보상부(737)는 예측 유닛 분할부(710)으로부터 제공된 파티션을 복호화된 헤더 정보에 포함된 움직임 벡터 정보를 이용하여 움직임 보상을 수행하여 예측 파티션을 생성한다.
역양자화부(733) 및 역변환부(735)는 엔트로피 복호화부(731)에서 엔트로피 복호화된 계수를 역양자화되고 역변환하여 잔여값을 생성하고, 가산부(743)는 움직임 보상부(737)로부터 제공된 예측 파티션과 상기 잔여값을 더하여 영상을 복원하고, 복원된 영상은 프레임 버퍼(741)에 저장된다.
도 16에서, 복호화되는 마크로 블록 크기는 예를 들어, 32x32 또는 64x64 또는 128 X 128 픽셀이 될 수 있고, 예측 유닛 분할부(720)는 상기 32x32 또는 64x64 또는 128 X 128픽셀 크기의 마크로 블록을 헤더 정보로부터 추출한 파티션 정보에 기초하여 분할할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
610 : 예측 유닛 결정부 620 : 예측 유닛 분할부
630 : 부호화기 710 : 예측 유닛 분할부
730 : 복호화기

Claims (29)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 영상의 복호화 방법에 있어서,
    부호화된 비트 스트림을 수신하는 단계;
    수신된 비트 스트림으로부터 최소 코딩 유닛의 크기 정보를 획득하는 단계;
    상기 수신된 비트 스트림을 역양자화하고 역변환하여 잔여값을 획득하는 단계;
    상기 획득한 최소 코딩 유닛의 크기 정보에 상응하는 크기를 가지는 예측 유닛에 대하여 움직임 보상을 수행하여 예측 블록을 생성하는 단계; 및
    생성된 상기 예측 블록과 상기 잔여값을 더하여 영상을 복원하는 단계를 포함하되, 상기 예측 유닛은 가변적 크기를 가지는 코딩 유닛을 계층적으로 분할하여 최대 허용 가능한 계층 레벨(level) 또는 계층 깊이(depth)에 도달했을 때의 말단 코딩 유닛에 해당되는 것을 특징으로 하는 영상의 복호화 방법.
  8. 삭제
  9. 제7항에 있어서, 상기 예측 유닛의 크기는 64X64 픽셀 크기 이하로 제한되는 것을 특징으로 하는 영상의 복호화 방법.
  10. 삭제
  11. 삭제
  12. 제7항에 있어서, 상기 수신된 비트 스트림으로부터 복호화할 예측 유닛의 파티션 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 영상의 복호화 방법.
  13. 제12항에 있어서, 상기 예측 유닛에 대하여 움직임 보상을 수행하여 예측 블록을 생성하는 단계는
    상기 예측 유닛으로부터 분할된 파티션에 대하여 상기 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로하는 영상의 복호화 방법.
  14. 제13항에 있어서, 상기 파티션 분할은 비대칭적 파티션 분할 방식으로 이루어지는 것을 특징으로 하는 영상의 복호화 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
KR1020110054742A 2010-06-07 2011-06-07 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치 KR101387467B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100053186 2010-06-07
KR20100053186A KR20110061468A (ko) 2009-12-01 2010-06-07 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130110433A Division KR101472030B1 (ko) 2010-06-07 2013-09-13 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20110134319A KR20110134319A (ko) 2011-12-14
KR101387467B1 true KR101387467B1 (ko) 2014-04-22

Family

ID=45111416

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020110054742A KR101387467B1 (ko) 2010-06-07 2011-06-07 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR1020130110433A KR101472030B1 (ko) 2010-06-07 2013-09-13 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR1020140078561A KR101630147B1 (ko) 2010-06-07 2014-06-26 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR1020140169949A KR20150008355A (ko) 2010-06-07 2014-12-01 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR1020140169935A KR101633294B1 (ko) 2010-06-07 2014-12-01 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR1020140169928A KR101701176B1 (ko) 2010-06-07 2014-12-01 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR1020140169959A KR20150003131A (ko) 2010-06-07 2014-12-01 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치

Family Applications After (6)

Application Number Title Priority Date Filing Date
KR1020130110433A KR101472030B1 (ko) 2010-06-07 2013-09-13 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR1020140078561A KR101630147B1 (ko) 2010-06-07 2014-06-26 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR1020140169949A KR20150008355A (ko) 2010-06-07 2014-12-01 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR1020140169935A KR101633294B1 (ko) 2010-06-07 2014-12-01 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR1020140169928A KR101701176B1 (ko) 2010-06-07 2014-12-01 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR1020140169959A KR20150003131A (ko) 2010-06-07 2014-12-01 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치

Country Status (5)

Country Link
US (5) US20150010086A1 (ko)
EP (2) EP2579598A4 (ko)
KR (7) KR101387467B1 (ko)
CN (5) CN106131557A (ko)
WO (1) WO2011155758A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006776A1 (ko) * 2014-07-11 2016-01-14 동국대학교 산학협력단 Hevc 인트라 예측에 적용되는 바텀 업 프루닝 기법에 관한 컴퓨터 프로그램 및 이를 위한 장치

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2013003691A (es) * 2010-09-30 2013-04-24 Samsung Electronics Co Ltd Metodo de codficacion de video para codificar simbolos de estructura jerarquica y dispositivo para esto, y metodo de decodificacion de video para decodificar simbolos de estructura jerarquica y dispositivo para esto.
MX2014005606A (es) 2011-11-08 2014-08-01 Kt Corp Metodo y aparato para codificar imagenes, y metodo y aparato para decodificar imagenes.
EP2797325A4 (en) 2011-12-23 2015-09-16 Korea Electronics Telecomm METHOD AND DEVICE FOR DETERMINING A REFERENCE FILE INDEX OF A TIMELY COMBINATION CANDIDATE
US9961368B2 (en) 2012-04-24 2018-05-01 Lg Electronics Inc. Method and device for determining a unit of a transform unit used in video signal processing
KR101221173B1 (ko) * 2012-05-04 2013-01-10 상명대학교 산학협력단 하이브리드 예측 기법을 이용한 향상 계층의 예측 신호 생성 방법
US20140307780A1 (en) * 2013-04-11 2014-10-16 Mitsubishi Electric Research Laboratories, Inc. Method for Video Coding Using Blocks Partitioned According to Edge Orientations
KR102161741B1 (ko) 2013-05-02 2020-10-06 삼성전자주식회사 ＨＥＶＣ(high efficiency video coding)에서 코딩 유닛에 대한 양자화 파라미터를 변화시키는 방법과 장치, 및 시스템
KR20150043227A (ko) * 2013-10-14 2015-04-22 삼성전자주식회사 뎁스 인터 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20160102073A (ko) * 2013-12-30 2016-08-26 퀄컴 인코포레이티드 3d 비디오 코딩에서 큰 예측 블록들의 세그먼트-와이즈 dc 코딩의 단순화
US9877048B2 (en) * 2014-06-09 2018-01-23 Qualcomm Incorporated Entropy coding techniques for display stream compression (DSC)
KR20170019542A (ko) * 2015-08-11 2017-02-22 삼성전자주식회사 자동 초점 이미지 센서
WO2017030260A1 (ko) * 2015-08-19 2017-02-23 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20170078703A1 (en) * 2015-09-10 2017-03-16 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
KR102171119B1 (ko) * 2015-11-05 2020-10-28 삼성전자주식회사 복수개의 블록 기반의 파이프라인을 이용한 데이터 처리 속도 개선 장치 및 그 동작 방법
MX2018014493A (es) * 2016-05-25 2019-08-12 Arris Entpr Llc Particionamiento binario, ternario, cuaternario para jvet.
CN106454383A (zh) * 2016-06-01 2017-02-22 上海魅视数据科技有限公司 一种高倍率数字视频压缩处理系统
KR102471208B1 (ko) 2016-09-20 2022-11-25 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018088805A1 (ko) 2016-11-08 2018-05-17 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN116744022A (zh) * 2016-11-25 2023-09-12 株式会社Kt 用于对视频进行编码和解码的方法
KR20180092774A (ko) * 2017-02-10 2018-08-20 삼성전자주식회사 샘플 적응적 오프셋 처리를 수행하는 영상 처리 장치 및 영상 처리 방법
KR102354628B1 (ko) * 2017-03-31 2022-01-25 한국전자통신연구원 부호화 트리 유닛 및 부호화 유닛의 처리를 수행하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
CN117478880A (zh) 2017-10-16 2024-01-30 数字洞察力有限公司 用于将图像编码/解码的方法和存储比特流的记录介质
CN111373755B (zh) * 2017-11-16 2024-04-26 英迪股份有限公司 图像编码/解码方法和装置以及存储比特流的记录介质
US10841617B2 (en) * 2018-11-27 2020-11-17 Semiconductor Components Industries, Llc Methods and apparatus for successive intra block prediction
KR20200144070A (ko) * 2019-06-17 2020-12-28 한국전자통신연구원 서브 블록 분할 기반 영상 부호화/복호화 방법 및 장치
US11711537B2 (en) 2019-12-17 2023-07-25 Alibaba Group Holding Limited Methods for performing wrap-around motion compensation
US11317094B2 (en) * 2019-12-24 2022-04-26 Tencent America LLC Method and apparatus for video coding using geometric partitioning mode
JP2023521295A (ja) 2020-03-26 2023-05-24 アリババ グループ ホウルディング リミテッド 映像符号化データをシグナリングするための方法
WO2022019613A1 (ko) * 2020-07-20 2022-01-27 한국전자통신연구원 기하학적 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
CN113259047B (zh) * 2021-05-12 2023-03-03 深圳华创电科技术有限公司 一种IFF Mark XIIA Mode5信号高灵敏度检测方法及系统
WO2023033603A1 (ko) * 2021-09-02 2023-03-09 한국전자통신연구원 기하학적 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070047523A (ko) * 2005-11-02 2007-05-07 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005981A (en) * 1996-04-11 1999-12-21 National Semiconductor Corporation Quadtree-structured coding of color images and intra-coded images
JP2001218210A (ja) * 2000-02-02 2001-08-10 Sony Corp ノイズ検出方法、ノイズ検出装置、画像データ処理装置、記録媒体
US7170937B2 (en) * 2002-05-01 2007-01-30 Texas Instruments Incorporated Complexity-scalable intra-frame prediction technique
US7336720B2 (en) * 2002-09-27 2008-02-26 Vanguard Software Solutions, Inc. Real-time video coding/decoding
MXPA05007449A (es) * 2003-01-10 2005-09-12 Thomson Licensing Sa Definicion de filtros de interpolacion para ocultamiento de error en una imagen codificada.
US20040179610A1 (en) * 2003-02-21 2004-09-16 Jiuhuai Lu Apparatus and method employing a configurable reference and loop filter for efficient video coding
US7830963B2 (en) * 2003-07-18 2010-11-09 Microsoft Corporation Decoding jointly coded transform type and subblock pattern information
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
KR20050045746A (ko) * 2003-11-12 2005-05-17 삼성전자주식회사 계층 구조의 가변 블록 크기를 이용한 움직임 추정 방법및 장치
WO2005099275A2 (en) * 2004-04-02 2005-10-20 Thomson Licensing Complexity scalable video decoding
EP1605706A2 (en) * 2004-06-09 2005-12-14 Broadcom Corporation Advanced video coding (AVC) intra prediction scheme
KR101042623B1 (ko) * 2004-11-17 2011-06-20 삼성전자주식회사 필드 가변분할방식을 이용한 디인터레이싱방법 및 장치
US20090034857A1 (en) * 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123977A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
KR100667808B1 (ko) * 2005-08-20 2007-01-11 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR20090074164A (ko) * 2006-09-29 2009-07-06 톰슨 라이센싱 기하학적 인트라 예측
CN101175210B (zh) * 2006-10-30 2010-08-11 中国科学院计算技术研究所 用于视频预测残差系数解码的熵解码方法及熵解码装置
KR101366093B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20080107965A (ko) * 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
KR100871588B1 (ko) * 2007-06-25 2008-12-02 한국산업기술대학교산학협력단 인트라 부호화 장치 및 그 방법
US20100208827A1 (en) * 2007-10-16 2010-08-19 Thomson Licensing Methods and apparatus for video encoding and decoding geometerically partitioned super macroblocks
KR100951301B1 (ko) * 2007-12-17 2010-04-02 한국과학기술원 비디오 부호화에서의 화면간/화면내 예측 부호화 방법
EP2081386A1 (en) * 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
KR101361005B1 (ko) * 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
KR101709358B1 (ko) * 2009-03-12 2017-02-22 톰슨 라이센싱 디-아티팩트 필터링을 위한 영역-기반 필터 파라미터 선택 방법들 및 장치들
KR20110061468A (ko) * 2009-12-01 2011-06-09 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
CN106028048B (zh) * 2010-01-15 2019-04-05 三星电子株式会社 对视频进行解码的设备
KR20110090781A (ko) * 2010-02-02 2011-08-10 (주)휴맥스 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
SI3962081T1 (sl) * 2010-05-25 2024-05-31 Lg Electronics Inc. Nov planarni način napovedovanja
JP2011259093A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070047523A (ko) * 2005-11-02 2007-05-07 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006776A1 (ko) * 2014-07-11 2016-01-14 동국대학교 산학협력단 Hevc 인트라 예측에 적용되는 바텀 업 프루닝 기법에 관한 컴퓨터 프로그램 및 이를 위한 장치
KR20160007131A (ko) * 2014-07-11 2016-01-20 동국대학교 산학협력단 Hevc 인트라 예측에 적용되는 바텀 업 프루닝 기법에 관한 컴퓨터 프로그램 및 이를 위한 장치
KR101671759B1 (ko) 2014-07-11 2016-11-02 동국대학교 산학협력단 Hevc에 적용되는 바텀 업 프루닝 기법을 이용한 인트라 예측의 수행 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
WO2011155758A3 (ko) 2012-04-19
KR20150008354A (ko) 2015-01-22
CN103039073B (zh) 2016-09-14
US20150010085A1 (en) 2015-01-08
KR20150003131A (ko) 2015-01-08
CN106067982A (zh) 2016-11-02
KR101472030B1 (ko) 2014-12-16
EP2942959A1 (en) 2015-11-11
KR20150008355A (ko) 2015-01-22
CN103039073A (zh) 2013-04-10
CN104768007A (zh) 2015-07-08
US20150010243A1 (en) 2015-01-08
EP2579598A2 (en) 2013-04-10
KR101633294B1 (ko) 2016-06-24
CN106060547A (zh) 2016-10-26
CN106131557A (zh) 2016-11-16
KR101701176B1 (ko) 2017-02-01
US20150010086A1 (en) 2015-01-08
KR20140098032A (ko) 2014-08-07
KR20130116057A (ko) 2013-10-22
EP2579598A4 (en) 2014-07-23
WO2011155758A2 (ko) 2011-12-15
KR20150003130A (ko) 2015-01-08
CN106060547B (zh) 2019-09-13
US20150256841A1 (en) 2015-09-10
US20150010244A1 (en) 2015-01-08
KR20110134319A (ko) 2011-12-14
KR101630147B1 (ko) 2016-06-14

Similar Documents

Publication Publication Date Title
KR101387467B1 (ko) 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR101376673B1 (ko) 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
US9058659B2 (en) Methods and apparatuses for encoding/decoding high resolution images
KR20150031164A (ko) 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170308

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180319

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190311

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200309

Year of fee payment: 7