KR20110043510A - 영상 부호화/복호화 장치 및 방법 - Google Patents

영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR20110043510A
KR20110043510A KR1020100103075A KR20100103075A KR20110043510A KR 20110043510 A KR20110043510 A KR 20110043510A KR 1020100103075 A KR1020100103075 A KR 1020100103075A KR 20100103075 A KR20100103075 A KR 20100103075A KR 20110043510 A KR20110043510 A KR 20110043510A
Authority
KR
South Korea
Prior art keywords
macroblock
size
current
encoding
decoding
Prior art date
Application number
KR1020100103075A
Other languages
English (en)
Other versions
KR101534049B1 (ko
Inventor
송진한
김수년
임정연
문주희
이영렬
김해광
전병우
한종기
박형미
박민철
김동원
김기백
이주옥
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020100035536A external-priority patent/KR20110043407A/ko
Priority to PCT/KR2010/007252 priority Critical patent/WO2011049392A2/ko
Priority to CN201510060983.2A priority patent/CN104661026B/zh
Priority to CN201510427905.1A priority patent/CN104935934B/zh
Priority to CN201080058670.9A priority patent/CN102668565B/zh
Priority to CN201510427911.7A priority patent/CN104954799B/zh
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to CN201510428013.3A priority patent/CN104935935B/zh
Priority to US13/503,169 priority patent/US9137545B2/en
Publication of KR20110043510A publication Critical patent/KR20110043510A/ko
Priority to HK15106125.8A priority patent/HK1205610A1/xx
Publication of KR101534049B1 publication Critical patent/KR101534049B1/ko
Application granted granted Critical
Priority to US14/808,993 priority patent/US9344732B2/en
Priority to US14/808,916 priority patent/US9344731B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 부호화/복호화 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 영상 부호화/복호화 장치는, 현재 부호화 대상의 가변 매크로블록이 입력 영상의 내부에 위치하지 않는 경우에 가변 매크로블록의 가로 및 세로의 크기를 설정된 크기 또는 비율로 줄여 현재의 크기보다 작은 크기로 재설정하며, 재설정된 가변 매크로블록에 기초하여 예측 부호화를 수행하는 영상 부호화기; 및 현재 복호화 대상의 가변 매크로블록이 입력 영상의 내부에 위치하지 않는 경우에 현재 복호화 대상의 가변 매크로블록의 크기를 설정된 크기 또는 비율로 줄여 현재의 크기보다 작은 크기로 재설정하여 복호화를 수행하는 영상 복호화기를 포함하는 것을 특징으로 한다.

Description

영상 부호화/복호화 장치 및 방법{Video Coding and Decoding Method and Apparatus}
본 발명은 영상 부호화/복호화 장치 및 방법에 관한 것이다. 더욱 상세하게는, 입력 영상의 크기가 매크로블록 크기의 정수 배가 아닌 경우 입력 영상의 외곽부분을 효율적으로 부호화하고 복호화하는 장치 및 방법으로서 영상의 외곽부분 부호화 및 복호화 시 영상 경계를 넘어가는 부분(블록)들은 발생비트가 가장 적게 되는 모드로 가정하여 부호화/복호화 하거나 또는 영상 경계를 넘어가는 부분(블록)은 예측 정보 또는 변환 정보와 같은 데이터를 부호화/복호화 하지 않거나 또는 가변적인 매크로블록의 크기를 이용하여 영상을 부호화 및 복호화하는 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
동영상 데이터를 압축하기 위한 표준화된 기술로는 현재 H.261, H.263, H.264, MPEG-2, MPEG-4 등이 있다. 이러한 기존의 동영상 압축 기술에 따르면, 각 영상을 고정된 크기의 매크로블록(Macroblock)들로 나누고 매크로블록 단위로 부호화한다.
만약, 입력 영상의 크기가 매크로블록의 크기의 정수 배가 아닌 경우, 입력 영상을 매크로블록의 정수 배가 되도록 입력 영상을 패딩한 후, 패딩된 입력 영상 내 각 매크로블록의 모든 휘도 성분(Luma Component)과 색차 성분(Chroma Component)들을 공간적으로나 시간적으로 예측하고, 예측 잔여(Predicted Residual)를 변환(Transform) 및 양자화(Quantization), 엔트로피 부호화(Entropy Coding) 등의 과정을 거치면서 압축한다.
하지만, 통상적인 영상 압축 기술에서는 입력 영상의 크기와 매크로블록의 크기의 정수 배가 아닌 경우, 입력 영상을 매크로블록 크기의 정수 배가 되도록 패딩한 후, 패딩된 영역을 포함하여 매크로블록의 타입 및 예측 모드 결정하고 부호화하기 때문에 최적의 매크로블록 타입 및 예측 모드 결정이 어려우며, 패딩된 영역의 데이터를 포함하는 비트스트림을 생성하기 때문에 부호화 효율이 저하될 수 있다.
또한, 영상의 복호화는 영상의 부호화에 대응하여 이루어지기 때문에, 고해상도 영상의 부호화에 대한 압축 효율이 저하된 상태에서는 고효율의 복호화를 기대하기 어렵다는 문제점이 있다.
본 발명의 실시예는 전술한 문제점을 효율적으로 해결하기 위하여 창안된 것으로서, 입력 영상의 크기가 임의의 크기의 매크로블록 크기의 정수 배가 아닌 경우, 영상의 외곽 부분 부호화 및 복호화 시 영상 경계를 넘어가는 부분(블록)들은 발생비트가 가장 적게 되는 모드로 가정하여 부호화/복호화 하거나 또는 영상 경계를 넘어가는 부분(블록)은 예측 정보 또는 변환 정보와 같은 데이터를 부호화/복호화하지 않거나 또는 가변 크기의 매크로블록을 이용하여 영상을 부호화 및 복호화함으로써 압축 효율 및 복원 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화/복호화 장치는, 현재 부호화 대상의 가변 매크로블록이 입력 영상의 내부에 위치하지 않는 경우에 가변 매크로블록의 가로 및 세로의 크기를 설정된 크기 또는 비율로 줄여 현재의 크기보다 작은 크기로 재설정하며, 재설정된 가변 매크로블록에 기초하여 예측 부호화를 수행하는 영상 부호화기; 및 현재 복호화 대상의 가변 매크로블록이 입력 영상의 내부에 위치하지 않는 경우에 현재 복호화 대상의 가변 매크로블록의 크기를 설정된 크기 또는 비율로 줄여 현재의 크기보다 작은 크기로 재설정하여 복호화를 수행하는 영상 복호화기를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 부호화 장치는, 현재 부호화 대상의 매크로블록이 입력 영상에 소정 비율 이상 걸치지 않는 경우, 현재 부호화 대상의 매크로블록의 가로 및 세로의 크기를 설정된 크기 또는 비율로 줄여 매크로블록의 크기를 재설정하는 매크로블록 크기 설정기; 현재 부호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 예측기; 및 인트라 예측 또는 인터 예측으로 얻어진 잔여 신호를 변환 및 양자화하고 엔트로피 부호화하는 부호화부를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 부호화 장치는, 현재 부호화 대상의 매크로블록이 입력 영상의 내부에 위치하지 않는 경우, 사용 가능한 매크로블록의 크기들 중 입력 영상의 내부에 위치하는 가장 큰 크기로 현재 부호화 대상의 매크로블록의 크기를 재설정하는 매크로블록 크기 설정기; 현재 부호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 예측기; 및 인트라 예측 또는 인터 예측으로 얻어진 잔여 신호를 변환 및 양자화하고 엔트로피 부호화하는 부호화부를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 복호화 장치는, 현재 복호화 대상의 매크로블록이 입력 영상에 소정 비율 이상 걸치지 않는 경우, 현재 복호화 대상의 매크로블록의 가로 및 세로의 크기를 설정된 비율로 줄여 매크로블록의 크기를 재설정하는 매크로블록 크기 설정기; 비트스트림으로부터 현재 복호화 대상의 매크로블록에 대한 타입정보, 변환계수를 포함하는 예측정보를 추출하여 복호화하는 복호화부; 타입정보에 기초하여 현재 복호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 예측기; 및 변환계수를 역양자화하고 역변환하여 잔여신호를 생성하며, 예측기에 의해 예측된 값에 생성된 잔여신호를 가산하여 복원된 매크로블록을 생성하는 복원부를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 복호화 장치는, 현재 복호화 대상의 매크로블록이 입력 영상의 내부에 위치하지 않는 경우, 사용 가능한 매크로블록의 크기들 중 입력 영상의 내부에 위치하는 가장 큰 크기로 현재 복호화 대상의 매크로블록의 크기를 재설정하는 매크로블록 크기 설정기; 비트스트림으로부터 현재 복호화 대상의 매크로블록에 대한 타입정보, 변환계수를 포함하는 예측정보를 추출하여 복호화하는 복호화부; 타입정보에 기초하여 현재 복호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 예측기; 및 변환계수를 역양자화하고 역변환하여 잔여신호를 생성하며, 예측기에 의해 예측된 값에 생성된 상기 잔여신호를 가산하여 복원된 매크로블록을 생성하는 복원부를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화/복호화 방법은, 현재 부호화 대상의 가변 매크로블록이 입력 영상의 내부에 위치하지 않는 경우에 가변 매크로블록의 가로 및 세로의 크기를 설정된 크기 또는 비율로 줄여 현재의 크기보다 작은 크기로 재설정하며, 재설정된 가변 매크로블록에 기초하여 예측 부호화를 수행하는 단계; 및 현재 복호화 대상의 가변 매크로블록이 입력 영상의 내부에 위치하지 않는 경우에 현재 복호화 대상의 가변 매크로블록의 크기를 설정된 크기 또는 비율로 줄여 현재의 크기보다 작은 크기로 재설정하여 복호화를 수행하는 단계를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 부호화 방법은, 현재 부호화 대상의 매크로블록이 입력 영상에 소정 비율 이상 걸치지 않는 경우, 현재 부호화 대상의 매크로블록의 가로 및 세로의 크기를 설정된 크기 또는 비율로 줄여 매크로블록의 크기를 재설정하는 단계; 현재 부호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 단계; 및 인트라 예측 또는 인터 예측으로 얻어진 잔여 신호를 변환 및 양자화하고 엔트로피 부호화하는 단계를 포함하는 것을 특징으로 한다.
여기서, 재설정단계는, 현재 부호화 대상의 매크로블록이 입력 영상에 소정 비율 이상 걸칠 때까지 가로 및 세로의 크기를 설정된 비율로 반복적으로 줄여 매크로블록의 크기를 재설정할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 부호화 방법은, 현재 부호화 대상의 매크로블록이 입력 영상의 내부에 위치하지 않는 경우, 사용 가능한 매크로블록의 크기들 중 입력 영상의 내부에 위치하는 가장 큰 크기로 현재 부호화 대상의 매크로블록의 크기를 재설정하는 단계; 현재 부호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 단계; 및 인트라 예측 또는 인터 예측으로 얻어진 잔여 신호를 변환 및 양자화하고 엔트로피 부호화하는 단계를 포함하는 것을 특징으로 한다.
여기서, 사용 가능한 매크로블록의 크기는 사용 가능한 변환의 크기의 양의 정수 배인 것이 바람직하다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 복호화 방법은, 현재 복호화 대상의 매크로블록이 입력 영상에 소정 비율 이상 걸치지 않는 경우, 현재 복호화 대상의 매크로블록의 가로 및 세로의 크기를 설정된 비율로 줄여 매크로블록의 크기를 재설정하는 단계; 비트스트림으로부터 현재 복호화 대상의 매크로블록에 대한 타입정보, 변환계수를 포함하는 예측정보를 추출하여 복호화하는 단계; 타입정보에 기초하여 현재 복호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 단계; 및 변환계수를 역양자화하고 역변환하여 잔여신호를 생성하며, 예측단계에 의해 예측된 값에 생성된 잔여신호를 가산하여 복원된 매크로블록을 생성하는 단계를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 복호화 방법은, 현재 복호화 대상의 매크로블록이 입력 영상의 내부에 위치하지 않는 경우, 사용 가능한 매크로블록의 크기들 중 입력 영상의 내부에 위치하는 가장 큰 크기로 현재 복호화 대상의 매크로블록의 크기를 재설정하는 단계; 비트스트림으로부터 현재 복호화 대상의 매크로블록에 대한 타입정보, 변환계수를 포함하는 예측정보를 추출하여 복호화하는 단계; 타입정보에 기초하여 현재 복호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 단계; 및 변환계수를 역양자화하고 역변환하여 잔여신호를 생성하며, 예측기에 의해 예측된 값에 생성된 잔여신호를 가산하여 복원된 매크로블록을 생성하는 단계를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 입력 영상의 크기가 매크로블록의 크기의 정수 배가 아닌 경우, 입력 영상의 외곽부분 부호화 및 복호화 시 가변적인 매크로블록의 크기를 이용하여 영상을 부호화 및 복호화함으로써 압축 효율 및 복원 효율을 향상시킬 수 있다.
도 1과 도 2는 종래의 부호화/복호화 방법에 따라 입력되는 영상을 매크로블록 크기의 정수배가 되도록 패딩하였을 경우의 영상 부호화 및 복호화를 설명하기 위해 도시한 도면이다.
도 3과 도 4는 본 발명의 실시예에 따른 가변크기의 매크로블록을 이용하여 영상 부호화 및 복호화를 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 영상 부호화 방법을 나타낸 흐름도이다.
도 6은 본 발명의 실시예에 따른 영상 복호화 방법을 나타낸 흐름도이다.
도 7는 본 발명의 다른 실시예에 따른 영상 부호화 방법을 나타낸 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 영상 복호화 방법을 나타낸 흐름도이다.
도 9은 본 발명의 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다.
도 10은 본 발명의 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
본 발명의 실시예에서는 입력영상의 크기가 매크로블록의 크기의 정수 배가 아닌 경우, 입력 영상이 매크로블록의 일부에 걸치는 외곽부분을 부호화/복호화하는 방법을 기술한다.
도 1과 도 2는 기존의 부호화/복호화 방법에 따라 입력되는 영상을 매크로블록 크기의 정수 배가 되도록 패딩하였을 경우의 영상 부호화 및 복호화를 설명하기 위해 도시한 도면이며, 도 3과 도 4는 본 발명의 실시예에 따른 가변크기의 매크로블록을 이용하여 영상 부호화 및 복호화를 설명하기 위해 도시한 도면이다.
입력 영상의 크기가 1280x720이고 매크로블록의 크기가 64x64인 경우에 대해서 기존의 부호화/복호화 방법은, 입력 영상을 도 1과 같이 매크로블록 크기의 정수 배인 1280x768로 패딩한 후 총 240개의 매크로블록으로 나누어 매크로블록 단위로 부호화 및 복호화를 수행하도록 한다. 여기서 최하단에 위치하는 20개의 매크로블록들은 64x16은 실제 입력 영상에 포함되는 부분이고 64x48은 입력 영상에 포함되지 않는 부분이다.
또 다른 예로 입력영상의 크기가 1920x1080이고 매크로블록의 크기가 128x128인 경우, 기존의 부호화/복호화와 방법은 도 2에 도시한 것과 같이 입력 영상을 매크로블록 크기의 정수 배인 1920x1152로 패딩한 후 총 135개의 매크로블록으로 나누어 부호화 및 복호화를 수행하도록 한다. 여기서 최하단에 위치하는 15개의 매크로블록들에 대해서 각 매크로블록 내 128x56 화소 영역은 실제 입력 영상에 포함되는 부분이고 128x72 화소 영역은 패딩된 영역에 속하는 영역이다.
입력 영상의 가로 크기가 매크로블록 가로크기의 정수 배가 아니거나 또는 입력 영상의 세로크기가 매크로블록 세로크기의 정수 배가 아닌 경우, 매크로블록은 입력영상의 경계에 위치하게 된다. 도 1과 도 2의 예의 경우 매크로블록은 입력 영상의 최하단 경계에 위치하게 되며, 최하단에 위치하는 매크로블록들은 매크로블록 내 실제 이미지 영역보다 패딩된 영역 데이터가 많기 때문에, 잘못된 모드 또는 매크로블록 타입으로 결정될 수 있다. 즉, 실제 이미지 영역만을 이용하여 결정한 예측 모드 및 매크로블록 타입과 달라질 수 있다. 또한 패딩된 영역의 데이터를 포함하도록 비트스트림을 만들기 때문에 부호화 및 복호화 성능이 떨어질 수 있다.
이에 대한 해결책으로 16x16과 같이 작은 크기의 매크로블록을 사용하여 부호화할 수도 있지만, 고해상도 영상은 큰 블록 단위로 부호화하는 것이 효율적이기 때문에 영상 전체에 대해 작은 크기의 매크로블록을 이용하여 부호화/복호화하는 방법은 효과적이라 할 수 없다.
따라서 본 발명의 실시예에서는 입력 영상의 내부에 대해서는 큰 크기의 매크로블록을 이용하고, 입력 영상의 외곽부분 부호화/복호화할 때 패딩 영역 데이터를 최소화하도록 가변적인 크기의 매크로블록을 이용하도록 하여 큰 크기의 매크로블록을 사용하여 얻을 수 있는 부호화/복호화 효율을 유지하면서 입력 영상 외곽 부분에 대해서도 효과적인 부호화/복호화를 수행하도록 한다. 이때 입력 영상의 외곽부분 부호화/복호화를 위한 매크로블록의 크기는 입력 영상의 크기와 매크로블록의 크기가 알고 있으면 부호화기와 복호화기가 동일한 방법을 이용하여 얻을 수 있으므로 매크로블록의 크기를 나타내는 부가정보는 필요하지 않다.
도 3에 도시한 본 발명의 실시예에 따른 영상 부호화/복호화 방법에 의하면, 입력 영상의 크기가 1280x720이고 매크로블록의 크기가 64x64인 경우, 입력되는 영상이 매크로블록의 일부에 걸치는 최하단의 1280x16 영역에 대해서는 16x16크기의 매크로블록을 이용하여 부호화/복호화하도록 하여 입력 영상 외의 데이터는 부호화/복호화에 사용하지 않도록 한다. 또한 비트스트림에 부호화하는 데이터도 실제 입력 이미지 안에 속하는 화소값만을 이용하도록 한다.
도 4는 또 다른 발명의 예로 입력 영상의 크기가 1920x1080이고, 매크로블록의 크기가 128x128인 경우, 입력 영상의 1920x1024 화소 영역은 128x128 크기의 매크로블록을 이용하여 부호화/복호화를 수행하고, 입력 영상이 매크로블록의 일부에 걸치는 최하단의 1920x56 화소 영역에 대해서는 매크로블록의 크기를 소정 비율 또는 소정 크기만큼 축소하여. 매크로블록의 크기를 재설정한 후, 재설정된 매크로블록을 이용하여 부호화하는 경우에도 입력 영상의 일부분이 매크로블록에 걸치는지와 어느 정도 걸치는지의 여부를 판단하고, 재설정된 크기의 매크로블록을 이용하여 부호화/복호화 시 입력 영상이 매크로블록 내 걸치는 부분이 소정 크기의 영역, 예컨대 1/2 이상이 되는 경우에 대해서는 재설정된 크기의 매크로블록을 이용하여 부호화/복호화를 수행한다. 이때 매크로블록 내 입력 영상이 걸치는 영역이 소정 크기의 영역, 예컨대 1/2 이상이며 일부분만 걸치는 경우에는 패딩을 수행한 후, 영상 부호화/복호화를 수행한다.
만약 재설정된 크기의 매크로블록을 이용하는 경우에도 입력 영상이 매크로블록에 걸치는 부분이 소정 크기의 영역, 예컨대 1/2보다 작은 경우, 매크로블록의 크기를 다시 재설정하고 전술한 방법을 이용하여 부호화/복호화를 수행한다.
예를 들어 도 4에서는 매크로블록의 축소 비율로 1/2을 사용하여 입력 영상의 최하단 1920x56 화소 영역 부호화/복호화 시 매크로블록의 크기를 재설정해야 하는지 여부를 판단한다. 128x128 크기의 매크로블록 내 입력 영상이 걸치는 영역은 128x56이고 이는 매크로블록의 1/2보다 작기 때문에 매크로블록의 크기를 소정의 축소비율, 예컨대 1/2을 이용하여 재설정한다. 재설정된 64x64 크기의 매크로블록 내 입력 영상이 걸치는 영역은 64x56이며 재설정된 매크로블록의 1/2 이상이므로 입력 영상의 최하단 영역에 대해서는 64x64 크기의 매크로블록을 이용하여 부호화/복호화를 수행한다. 이때 입력 영상은 매크로블록 내 일부분인 64x56화소에 대해서만 존재하므로 64x16화소 영역에 대해서는 패딩을 수행한다.
도 5는 본 발명의 실시예에 따른 영상 부호화 방법을 나타낸 흐름도이다.
본 발명의 실시예의 영상 부호화 방법에 따르면, 영상 부호화기는 하나 이상의 사용 가능한 매크로블록의 크기 및 모양을 설정한다(S502). 사용 가능한 매크로블록의 크기 및 모양은 사용자에 의해 입력되거나 또는 사용 가능한 매크로블록 내 서브블록의 크기 또는 변환의 종류에 의해 결정될 수도 있고, 기타 다른 장치로부터 입력되는 정해진 후보군일 수 있다. 또한, 사용 가능한 매크로블록의 크기 및 모양은 64x64, 32x32, 16x16, 8x8과 같이 하나 이상일 수 있다. 단, 사용 가능한 매크로블록의 크기는 사용 가능한 변환의 크기의 양의 정수 배이어야 한다.
예를 들어 사용 가능한 매크로블록의 크기가 매크로블록 내 서브블록의 크기 또는 변환의 크기에 의해 결정되고, 예측에 사용할 수 있는 서브블록의 크기가 4x4, 4x8, 8x4, 8x8, 16x8, 8x16, 16x16, 16x32, 32x16, 32x32, 32x16, 32x32, 32x64, 64x32, 64x64이고 사용할 수 있는 변환의 크기가 4x4, 8x8, 16x16인 경우, 사용 가능한 매크로블록의 크기는 매크로블록 내 서브블록들의 타입과 동일할 수 있다. 즉, 사용 가능한 매크로블록의 크기는 4x4, 4x8, 8x4, 8x8, 16x8, 8x16, 16x16, 16x32, 32x16, 32x32, 32x16, 32x32, 32x64, 64x32, 64x64일 수 있다.
여기서 사용 가능한 매크로블록의 크기 및 모양 정보는 시퀀스 헤더(sequence header) 또는 픽쳐(picture) 또는 슬라이스 헤더(slice header) 정보에 포함되어 비트스트림으로 부호화될 수도 있다.
또한 사용 가능한 매크로블록의 크기 및 모양은 부호화기와 복호화기가 예측에 이용되는 서브블록의 종류와 변환에 이용되는 서브블록의 종류에 따라 내부적으로 결정할 수도 있다. 이 경우 사용 가능한 매크로블록의 크기 및 모양 정보는 비트스트림으로 부호화되지 않는다.
또한 입력 영상의 크기정보는 시퀀스 헤더에 부호화하고 복호화기는 비트스트림으로부터 부호화된 입력영상 크기정보를 추출하여 복호화하고 복원된 입력영상의 크기 정보를 이용하여 각 매크로블록 복호화를 수행한다.
이하의 각 실시예에서는 설명의 편의를 위해, 입력영상의 크기정보를 시퀀스 헤더에 부호화하고 복호화하는 과정에 대한 설명은 생략한다.
부호화기와 복호화기가 약속한 사용 가능한 매크로블록의 크기 및 모양을 이용하여 매크로블록 단위로 입력 영상을 부호화할 때 현재 부호화 대상 매크로블록이 입력 영상 내 위치하는 경우(S504), 복수 개의 서브블록으로 분할되는 기준 크기의 현재 매크로블록을 예측 부호화하여 부호화된 영상 데이터를 생성하여 현재 부호화 대상 매크로블록 부호화를 종료하고 다음 매크로블록 부호화를 시작한다(S506).
만약 현재 부호화 대상 매크로블록이 입력 영상에 걸치는 경우, 현재 부호화 대상 매크로블록의 크기를 재설정한다(S508). 매크로블록의 크기를 재설정하는 방법은 현재 매크로블록의 가로와 세로크기를 소정의 비율, 예컨대 1/2로 줄여나가면서 매크로블록의 크기를 재설정할 수도 있고 사용 가능한 매크로블록 크기들 중 입력 영상 내부에 매크로블록이 위치하도록 하는 가장 큰 크기의 매크로블록 크기로 재설정할 수도 있다. 단, 이때 사용 가능한 매크로블록의 크기들 중 하나이어야 하며 현재 매크로블록의 크기보다 작아야 한다.
또한 매크로블록 크기 재설정 시, 사용 가능한 매크로블록의 크기들 중 입력 영상 내부에 매크로블록이 위치하도록 하는 가장 큰 크기를 매크로블록의 크기로 결정할 수도 있다. 도 3의 경우를 예를 들어 설명하면 다음과 같다. 만약 사용 가능한 매크로블록 크기가 64x64, 64x32, 64x16, 64x8, 64x4, 32x64, 16x64, 8x64, 4x64, 32x32, 32x16, 32x8, 32x4, 16x32, 8x32, 4x32, 16x16, 16x8, 16x4, 8x16, 4x16, 8x8, 8x4, 4x8, 4x4이고 매크로블록 내 입력 영상이 64x16이 걸치는 매크로블록들에 대해서는 매크로블록의 크기를 재설정한다. 사용 가능한 매크로블록의 크기들 중 매크로블록이 입력 영상의 내부에 위치하도록 하는 매크로블록 크기들은 64x16, 64x8, 64x4, 32x16, 32x8, 32x4, 16x16, 16x8, 16x4, 8x16, 4x16, 8x8, 8x4, 4x8, 4x4이며 이중 가장 큰 크기인 64x16을 현재 매크로블록의 크기로 결정하고 현재 부호화 매크로블록을 예측 부호화하여 부호화된 영상 데이터를 생성하여 현재 매크로블록 부호화를 종료하고 매크로블록의 크기를 기준 매크로블록 크기인 64x64로 재설정한 후, 다음 매크로블록 부호화를 시작한다.
만약 사용 가능한 매크로블록 크기가 64x64, 64x32, 64x16, 64x8, 64x4, 32x64, 16x64, 8x64, 4x64, 32x32, 32x16, 32x8, 32x4, 16x32, 8x32, 4x32, 16x16, 16x8, 16x4, 8x16, 4x16, 8x8, 8x4, 4x8, 4x4이고 매크로블록 내 입력 영상이 64x48이 걸치는 경우, 사용 가능한 매크로블록의 크기들 중 매크로블록이 입력 영상의 내부에 위치하도록 하는 매크로블록 크기들은 64x32, 64x16, 64x8, 64x4, 32x32, 32x16, 32x8, 32x4, 16x32, 8x32, 4x32, 16x16, 16x8, 16x4, 8x16, 4x16, 8x8, 8x4, 4x8, 4x4이며 이중 가장 큰 크기인 64x32를 현재 매크로블록의 크기로 결정하고 현재 부호화 매크로블록을 예측 부호화하여 부호화된 영상 데이터를 생성하여 현재 매크로블록 부호화를 종료하고 매크로블록 크기를 기준 매크로블록 크기인 64x64로 재설정하고 다음 매크로블록 부호화를 시작한다.
사용 가능한 매크로블록의 크기가 64x64, 32x32, 16x16, 8x8, 4x4이고 매크로블록의 크기를 재설정하는 소정의 크기 및 비율로 1/2을 사용할 때, 도 3을 이용하여 부호화 방법을 설명하면 다음과 같다.
먼저 사용 가능한 매크로블록의 크기 정보로 64x64, 32x32, 16x16, 8x8, 4x4를 설정한다. 현재 부호화 대상 매크로블록이 입력 영상의 내부에 위치하는지를 판단하여 입력 영상의 내부에 위치하는 경우 64x64 단위로 부호화하여 영상 데이터를 생성한다. 입력 영상의 최하단에 위치하는 64x64 매크로블록인 경우, 매크로블록이 입력 영상 내부에 위치하지 않고 일부분만 입력 영상에 걸치기 때문에 매크로블록 크기를 32x32로 재설정한 후, 재설정된 현재 매크로블록의 크기가 입력 영상 내부에 위치하는지 또는 일부분만 입력 영상에 걸치는지를 다시 판단한다. 32x32 크기의 매크로블록에 대해서도 입력 영상의 일부분에만 걸치기 때문에 매크로블록의 크기를 기존 가로크기와 세로크기를 절반씩 줄인 값인 16x16으로 재설정하고 다시 재설정된 현재 매크로블록의 크기가 입력 영상 내부에 위치하는지 또는 일부분만 입력영상에 걸치는지를 판단한다. 재설정된 16x16 크기를 갖는 매크로블록은 입력 영상 내부에 포함되므로 현재 매크로블록의 크기를 16x16으로 결정하고 현재 부호화 매크로블록을 예측 부호화하여 부호화된 영상 데이터를 생성하여 현재 매크로블록 부호화를 종료하고 다음 매크로블록 부호화를 시작한다.
도 6은 본 발명의 실시예에 따른 영상 복호화 방법을 나타낸 흐름도이다.
본 발명의 실시예의 영상 복호화 방법에 따르면, 영상 복호화기는 하나 이상의 사용 가능한 매크로블록 크기를 설정한다(S602). 사용 가능한 매크로블록의 크기는 사용 가능한 서브블록의 크기 또는 변환의 종류에 의해 결정될 수도 있고, 비트스트림으로부터 사용 가능한 매크로블록 크기 정보를 추출하여 설정할 수도 있다. 또한 기타 다른 장치로부터 입력되는 정해진 후보군일 수도 있다. 이때 사용 가능한 매크로블록 크기를 설정하는 방법은 전술한 복수 개의 방법들 중 부호화기와 약속한 방법을 이용한다.
만약 사용 가능한 매크로블록의 크기가 비트스트림으로부터 추출된 정보에 의해 결정되는 경우 시퀀스 헤더 또는 픽쳐 헤더 또는 슬라이스 헤더 또는 매크로블록 헤더 등의 부호화기와 약속한 위치로부터 해당 정보를 추출한 후, 복호화하여 설정한다.
또한 사용 가능한 매크로블록의 크기가 예측 또는 변환에 이용되는 서브블록의 종류에 의해 결정되는 경우, 복호화기 내부적으로 부호화기와 약속된 방법으로 사용 가능한 매크로블록 크기 정보를 설정한다.
시퀀스 헤더 및 매크로블록 헤더를 비트스트림으로부터 추출하고 복호화한 후, 부호화기와 약속된 방법을 이용하여 사용 가능한 매크로블록의 크기 및 모양을 설정한 후, 현재 복호화 대상 매크로블록 번호를 이용하여 입력 영상 내 현재 복호화 대상 매크로블록의 위치를 계산한다(S604). 현재 복호화 대상 매크로블록이 입력 영상 내부에 위치하는 경우(S606), 기준 매크로블록 크기를 이용하여 비트스트림으로부터 부호화된 매크로블록 데이터를 추출 및 복호화하고, 복호화된 매크로블록 데이터를 이용하여 매크로블록 복호화를 수행한다(S608). 만약 현재 복호화 대상 매크로블록이 입력 내부에 위치하는 않는 경우(S606), 매크로블록 크기를 부호화기와 약속된 방법을 이용하여 재설정한 후, 재설정된 매크로블록의 크기를 이용하여 현재 복호화 대상 매크로블록이 입력 영상 내부에 위치하는지 또는 일부분만 입력 영상에 걸치는지를 판단한 후, 입력 영상 내부에 위치하는 경우 재설정된 크기의 매크로블록을 이용하여 매크로블록 복호화를 수행하고 입력 영상 일부분에 걸치는 경우 매크로블록 크기를 다시 재설정한다(S610).
도 7은 본 발명의 다른 실시예에 따른 영상 부호화 방법을 나타낸 흐름도이다.
본 발명의 다른 실시예의 영상 부호화 방법에 따르면, 영상 부호화기는 전술한 방법을 이용하여 하나 이상의 사용 가능한 매크로블록 크기 및 모양을 설정한 후(S702), 현재 부호화 대상 매크로블록이 입력 영상의 내부에 위치하는 경우(S704)에는 복수개의 서브블록으로 분할되는 현재 매크로블록을 예측 부호화하여 부호화된 영상 데이터를 생성하여 현재 부호화 대상 매크로블록 부호화를 종료하고 다음 매크로블록 부호화를 시작한다(S710).
만약, 현재 부호화 대상 매크로블록이 입력 영상의 내부에 위치하지 않으면서 소정의 영역, 예컨대 1/2 이상 걸치는 경우(S704, S706)에는 매크로블록이 입력 영상 외부에 위치하는 영역의 크기만큼 입력 영상을 패딩한 후(S708), 현재 부호화 대상 매크로블록을 예측 부호화하여 부호화된 영상 데이터를 생성하여 현재 부호화 대상 매크로블록 부호화를 종료하고 다음 매크로블록 부호화를 시작한다(S710).
만약, 현재 부호화 대상 매크로블록이 입력영상의 내부에 위치하지 않으면서 소정의 영역, 예컨대 1/2보다 작은 영역을 걸치는 경우에는(S704, S706) 매크로블록의 크기를 전술한 방법을 이용하여 재설정한 후, 재설정된 크기의 현재 매크로블록이 입력 영상 내부에 위치하는지 여부와 입력 영상 내부에 위치하는 않는다면 어느 정도 걸치는지 여부를 판단한 후, 전술한 현재 크기의 매크로블록을 이용한 부호화 또는 입력 영상을 패딩한 후 현재 크기의 매크로블록을 이용한 부호화 또는 매크로블록 크기 재설정 과정을 반복한다(S712).
매크로블록 내 입력 영상 경계를 넘어가는 부분 또는 블록들을 포함하여 부호화하는 경우, 예를 들어 도 4의 최하단에 위치하는 매크로블록들을 부호화하는 경우, 은 매크로블록 내 실제 입력영상 경계를 넘어가는 부분들, 즉 패딩된 영역을 포함하여 매크로블록들을 부호화하는 방법은 매크로블록 내 영상 경계를 넘어가는 부분(블록)들에 대해서는은 발생비트가 가장 적게 되는 모드로 가정하여 부호화/복호화하거나 또는 이러한 블록들의 데이터를 부호화/복호화하지 않는다.
이하에서는 매크로블록 내 영상 경계를 넘어가는 부분(블록)들을 포함하는 매크로블록을 부호화하는 방법을 설명한다.
각 매크로블록은 복수개의 서브블록으로 분할되어 인트라 예측 또는 인터 예측 부호화된다.
이때 입력영상 내에 위치하는 서브블록들은 부호화 대상 블록과 복원 블록 사이의 에러값과 부호화 대상 블록을 부호화하는데 필요한 비트수를 고려하여 인트라 예측 모드 또는 인터 예측 모드(즉, 움직임 벡터와 참조픽쳐 정보)를 결정하고 결정된 모드 정보를 비트스트림으로 부호화하고, 결정된 모드 정보에 따라 각 블록을 복원한다. 입력영상 외부에 위치하는 서브블록들은 부호화 대상 블록을 부호화하는데 필요한 비트수만을 고려하여 인트라 예측 모드 또는 인터 예측 모드(즉, 움직임 벡터와 참조픽쳐 정보)를 결정하고 결정된 모드 정보를 비트스트림으로 부호화하고, 결정된 모드 정보에 따라 각 블록을 복원한다. 즉, 예측 부호화 시 예측 모드 정보, 변환 정보, 변환 계수정보 등의 데이터 부호화에 필요한 발생 비트만을 고려하여 발생비트가 가장 적은 모드로 현재 서브블록의 부호화한다.
또는 입력영상 내에 위치하는 서브블록들은 전술한 방법을 이용하여 부호화하고 입력영상 외부에 위치하는 서브블록들은 부호화 대상 블록을 부호화하는데 필요한 비트수만을 고려하여 인트라 예측 모드 또는 인터 예측 모드(즉, 움직임 벡터와 참조픽쳐 정보)를 결정하고 결정된 모드 정보를 비트스트림으로 부호화하고, 복원 블록 생성시 입력영상을 패딩하는 방법을 이용하여 각 블록을 복원한다. 즉, 입력영상 패딩시 영상 경계를 넘어가는 부분들의 화소값을 128을 채워 패딩을 한 경우, 입력영상 외부에 위치하는 서브블록의 복원 블록은 내 화소값은 모두 128이 된다.
또한 입력영상 내에 위치하는 서브블록들은 전술한 방법을 이용하여 부호화하고 입력영상 외부에 위치하는 서브블록들의 예측 정보 또는 변환 정보 또는 변환 계수 정보등과 같은 데이터는 비트스트림으로 부호화하고 복원 블록 생성시 입력영상을 패딩하는 방법을 이용하여 각 블록을 복원할 수도 있다..
전술한 매크로블록 내 영상 경계를 넘어가는 부분(블록)들을 포함하는 매크로블록을 부호화하는 방법은 기존의 부호화 방법과 결합하여 사용될 수도 있다.
도 8은 본 발명의 다른 실시예에 따른 영상 복호화 방법을 나타낸 흐름도이다.
먼저, 영상 복호화기는 부호화기와 약속된 방법을 이용하여 하나 이상의 사용 가능한 매크로블록의 크기를 설정한다(S802). 만약 사용 가능한 매크로블록의 크기가 비트스트림으로부터 추출된 정보에 의해 결정되는 경우 시퀀스 헤더 또는 픽쳐 헤더 또는 슬라이스 헤더 또는 매크로블록 헤더 등의 부호화기와 약속한 위치로부터 해당 정보를 추출한 후, 복호화하여 설정한다.
또는 사용 가능한 매크로블록의 크기가 예측 또는 변환에 이용되는 서브블록의 종류에 의해 결정되는 경우, 복호화기 내부적으로 부호화기와 약속된 방법으로 사용 가능한 매크로블록 크기 정보를 설정한다.
시퀀스 헤더 및 매크로블록 헤더를 비트스트림으로부터 추출하고 복호화한 후, 부호화기와 약속된 방법을 이용하여 사용 가능한 매크로블록의 크기 및 모양을 설정한 후, 현재 복호화 대상 매크로블록 번호를 이용하여 입력 영상 내 현재 복호화 대상 매크로블록의 위치를 계산한다(S804).
현재 복호화 대상 매크로블록이 입력 영상의 내부에 위치하거나 또는 입력 영상의 내부에 위치하지 않으면서 소정의 영역, 예컨대 1/2 이상 걸치는 경우(S806), 비트스트림으로부터 부호화된 매크로블록 데이터를 추출 및 복호화하고, 복호화한 매크로블록 데이터를 이용하여 매크로블록 복호화를 수행한다(S808).
만약, 현재 복호화 대상 매크로블록이 입력 영상의 내부에 위치하지 않으면서 소정의 영역, 예컨대 1/2보다 작은 영역에 걸치는 경우(S806), 매크로블록의 크기를 전술한 방법을 이용하여 재설정한 후, 재설정된 크기의 현재 매크로블록이 입력 영상에 어느 정도 걸치는지 판단한 후, 매크로블록 크기를 다시 재설정하거나 또는 현재 설정된 크기의 매크로블록에 대한 매크로블록 복호화를 수행한다(S810).
이하에서는 영상을 블록 단위로 부호화하고 복호화하는 장치에 대해 예를 들어 설명한다. 여기서, 블록은 MxN(단, M과 N은 16 이상의 정수일 수 있다) 크기의 매크로블록이나 OxP(단, O와 P는 M 또는 N보다 작거나 같은 정수임) 크기의 서브블록 또는 하위 블록일 수 있는데, 블록 단위로 부호화하고 복호화하는 것은 예시적인 것이며, 영상을 블록과 같이 정형화된 영역 또는 비정형화된 영역으로 부호화하고 복호화할 수도 있을 것이다. 단, 다음에 설명하는 영상 부호화/복호화 장치는 임의의 크기의 블록을 사용할 수 있지만, 블록의 크기는 영상 부호화 장치와 영상 복호화 장치가 약속한 크기이다.
도 9는 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치는 16x16 크기 이상의 매크로블록을 이용하여 영상을 부호화하는 장치로서, 매크로블록 크기 설정기(902), 예측기(903), 부호화부(910), 복원부(912), 필터(914) 및 프레임 메모리(916)를 포함하여 구성될 수 있다. 여기서, 복원부(912), 필터(914) 및 프레임 메모리(916)는 구현 방식에 따라 선택적으로 생략되거나 다른 구성 요소에 포함되어 구성될 수 있다.
매크로블록 크기 설정기(902)는 현재 부호화 대상 매크로블록이 입력 영상의 내부에 위치하지 않는 경우 매크로블록의 크기를 재설정한다.
매크로블록의 크기를 재설정하는 방법은 현재 부호화 대상 매크로블록이 입력 영상의 내부에 위치하지 않는 경우에 대해서만, 현재 매크로블록의 가로와 세로 크기를 소정의 비율, 예컨대 1/2로 줄여나가면서 매크로블록의 크기를 재설정할 수도 있고 사용 가능한 매크로블록 크기들 중 입력 영상 내부에 매크로블록이 위치하도록 하는 가장 큰 크기의 매크로블록 크기로 재설정할 수도 있다.
또는 현재 부호화 대상 매크로블록이 입력 영상의 내부에 위치하지 않으면서 소정의 영역, 예컨대 1/2보다 작은 영역을 걸치는 경우에는 매크로블록의 크기를 전술한 방법을 이용하여 재설정할 수도 있다.
예측기(903)는 움직임 추정부(904), 움직임 보상부(906) 및 인트라 예측부(908)를 포함하여 구성될 수 있으며, 입력 영상의 매크로블록을 예측한다. 여기서, 매크로블록은 16x16 크기 이상의 매크로블록(즉, MxN 크기의 매크로블록, 단 M, N ≥ 16인 정수)을 말한다.
움직임 추정부(904)는 예측하고자 하는 매크로블록을 프레임 메모리에 저장된 참조 픽처와 비교하여 해당 매크로블록의 움직임을 추정함으로써 움직임 벡터를 생성한다.
움직임 보상부(906)는 움직임 추정부(904)에 의해 생성된 움직임 벡터를 참조하여 프레임 메모리에 저장된 참조 픽처에서 예측하고자 하는 매크로블록의 크기만큼의 블록을 가져온다. 움직임 보상부(906)가 가져온 매크로블록이 예측하고자 하는 매크로블록의 예측값을 가지는 예측 매크로블록이 된다.
인트라 예측부(908)는 예측하고자 하는 매크로블록을 인트라 예측한다. 이를 위해, 인트라 예측부(908)는 이미 부호화되고 복호화되어 복원된 주변 화소 정보를 이용하여 참조 블록을 생성하고 참조 블록과 부호화 대상 매크로블록을 비교하여 인트라 예측 모드를 결정하고, 결정된 인트라 예측 모드에 따라 매크로블록을 인트라 예측한다. 인트라 예측부(908)에 의해 예측된 매크로블록이 대상 매크로블록의 예측값을 가지는 예측 매크로블록이 된다.
부호화부(910)는 대상 매크로블록과 예측 매크로블록의 화소값의 차이인 잔여 신호를 부호화하는데, 잔여 신호를 변환 및 양자화하고 엔트로피 부호화하여 부호화할 수 있다. 또한, 부호화부(908)는 부호화하고자 하는 대상 매크로블록을 인터 예측하는 경우, 움직임 추정부(904)에서 생성한 움직임 벡터 등과 같은 움직임 정보와 매크로블록의 크기와 같은 매크로블록 모드 정보를 부호화할 수 있다. 부호화기는 부호화하고자 하는 대상 매크로블록을 인트라 예측하는 경우, 인트라 예측 모드와 같은 예측 모드 정보와 매크로블록의 크기와 같은 매크로블록 모드 정보를 부호화할 수 있다.
복원부(912)는 변화 및 양자화된 잔여 신호를 역 양자화 및 역 변환하여 예측기로부터 출력되는 예측 매크로블록과 가산하여 대상 매크로블록을 복원한다.
필터(914)는 디블로킹 필터와 같은 필터를 이용하여 복원된 대상 매크로블록을 필터링한다. 필터링된 복원 매크로블록은 프레임 메모리(916)에 저장되어, 예측기(903)에서 다음 매크로블록 또는 다음 픽처의 매크로블록을 예측하는 데 활용된다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치는 매크로블록 크기 설정기(1001), 복호화부(1002), 예측기(1003), 복원부(1008), 필터(1010) 및 프레임 메모리(1012)를 포함하여 구성될 수 있다.
매크로블록 크기 설정기(1001)는 현재 복호화 대상 매크로블록 번호를 이용하여 복호화 대상 매크로블록의 위치를 구하고 복호화 대상 매크로블록이 입력 영상의 내부에 위치하지 않는 경우 매크로블록의 크기를 재설정한다. 이때 매크로블록 번호는 복호화기에서 내부적으로 복호화한 매크로블록의 개수를 1씩 증가시키면서 계산하여 구하고 입력 영상의 크기는 비트스트림 내 시퀀스 헤더로부터 추출하여 복호화하여 입력 영상 크기를 알 수 있다.
매크로블록의 크기를 재설정하는 방법은 현재 복호화 대상 매크로블록이 입력영상의 내부에 위치하지 않는 경우에 대해서만, 현재 매크로블록의 가로와 세로 크기를 소정의 비율, 예컨대 1/2로 줄여나가면서 매크로블록의 크기를 재설정할 수도 있고 사용 가능한 매크로블록 크기들 중 입력 영상 내부에 매크로블록이 위치하도록 하는 가장 큰 크기의 매크로블록 크기로 재설정할 수도 있다.
또는 현재 복호화 대상 매크로블록이 입력영상의 내부에 위치하지 않으면서 소정의 영역, 예컨대 1/2보다 작은 영역을 걸치는 경우에는 매크로블록의 크기를 전술한 방법을 이용하여 재설정할 수도 있다.
복호화부(1002)는 입력되는 비트스트림으로부터 매크로블록 복호화에 필요한 3가지 타입의 정보를 추출한다.
첫 번째로 현재 복호화하고자 하는 매크로블록이 인터 매크로블록인지 또는 인트라 매크로블록인지 여부와 매크로블록의 서브블록 모드를 나타내는 매크로블록 타입 정보와 서브블록 모드 정보를 엔트로피 복호화하여 추출한다.
두 번째로 예측에 필요한 정보를 엔트로피 복호화하여 추출한다. 이때 복호화할 예측 데이터의 종류와 예측 데이터 복호화 방법은 각 블록이 인트라 블록인지 인터 블록인지에 따라 달라지게 되는데 복원할 블록이 인터 매크로블록인 경우에는 비트스트림으로부터 각 서브블록들의 움직임 보상에 필요한 참조픽쳐 정보와 움직임 벡터 등과 같은 움직임에 대한 정보를 추출하여 복호화하고, 인트라 블록인 경우에는 비트스트림으로부터 휘도 성분과 색차 성분의 인트라 예측 모드에 대한 정보를 추출하여 복호화한다.
마지막으로 잔여신호 복호화에 필요한 정보들을 복호화하는데, 먼저 각 서브블록에 0이 아닌 변환계수가 있는지를 나타내는 정보(예컨대 CBP)를 복호화하고 0이 아닌 변환계수가 있는 블록들에 대해서는 변환의 종류를 나타내는 변환정보와 양자화된 변환계수를 복호화한다.
이때 부호화기에서 매크로블록 내 영상 경계를 넘어가는 블록들의 데이터를 비트스트림으로 부호화하지 않는 경우, 복호화부(1002)는 매크로블록 내 각 서브블록들의 위치를 계산하면서 현재 서브블록이 영상 경계를 넘어가는지 여부를 판단한 후 영상 경계를 넘어가는 서브블록에 대해서는 서브블록의 모드 정보, 예측에 필요한 정보, 잔여신호 복호화에 필요한 정보들을 복호화하지 않는다(즉, 부호화기에서 비트스트림으로 부호화하지 않았으므로 복호화기에서도 비트스트림으로부터 추출 및 복호화하지 않는다).
예측기(1003)는 현재 복호화하고자 하는 현재 블록을 예측하는데, 움직임 보상부(1004)와 인트라 예측부(1006)를 포함하여 구성될 수 있다. 움직임 보상부(1004)는 현재 블록이 인터 블록인 경우, 복호화부(1002)에 의해 복호화되어 복원된 움직임 벡터를 이용하여 프레임 메모리에 저장된 참조 픽처에서 현재 매크로블록의 크기만큼의 화소를 가져와서 예측 매크로블록을 생성한다. 인트라 예측부(1006)는 현재 블록이 인트라 블록인 경우, 복호화부(1002)에 의해 복호화되어 복원된 인트라 예측 모드에 따라 현재 매크로블록을 예측하여 예측 매크로블록을 생성한다.
이때 부호화기에서 매크로블록 내 영상 경계를 넘어가는 블록들의 부호화 방법으로 필요한 비트수만을 고려하여 인트라 예측 모드 또는 인터 예측 모드(즉, 움직임 벡터와 참조픽쳐 정보)를 결정하고 결정된 모드 정보를 비트스트림으로 부호화하고, 복원 블록 생성시 입력영상을 패딩하는 방법을 이용하여 각 블록을 복원한 경우, 예측부(1006)는 매크로블록 내 각 서브블록들의 위치를 계산하면서 현재 서브블록이 영상 경계를 넘어가는지 여부를 판단한 후 영상 경계를 넘어가는 서브블록에 대해서는 비트스트림으로부터 추출한 모드 정보를 따르지 않고 부호화기와 약속된 패딩 방법을 이용하여 예측 블록을 생성한다.
또한 부호화기에서 매크로블록 내 영상 경계를 넘어가는 블록들의 데이터를 비트스트림으로 부호화하지 않는 경우에도 현재 서브블록이 영상 경계를 넘어가는지 여부를 판단한 후 영상 경계를 넘어가는 서브블록에 대해서는 부호화기와 약속된 패딩 방법을 이용하여 예측 블록을 생성한다.
복원부(1008)는 복호화기에 의해 복호화된 양자화된 변환계수를 역 양자화하고 복호화부(1002)에서 추출하고 복원한 변환종류를 이용하여 역 양자화된 변환계수를 역변환하여 잔여 신호를 생성한 후, 생성된 잔여신호를 예측기에 의해 생성된 예측 매크로블록을 더하여 복원 매크로블록을 생성한다. 생성된 복원 매크로블록은 필터(1010)에서 필터링되어 프레임 메모리(1012)에 저장되고, 다음 매크로블록이나 다음 픽처를 복원하는 데 이용된다.
이때 부호화기에서 매크로블록 내 영상 경계를 넘어가는 블록들의 부호화 방법으로 필요한 비트수만을 고려하여 인트라 예측 모드 또는 인터 예측 모드(즉, 움직임 벡터와 참조픽쳐 정보)를 결정하고 결정된 모드 정보를 비트스트림으로 부호화하고, 복원 블록 생성시 입력영상을 패딩하는 방법을 이용하여 각 블록을 복원한 경우, 또는 부호화기에서 매크로블록 내 영상 경계를 넘어가는 블록들의 데이터를 비트스트림으로 부호화하지 않는 경우, 현재 서브블록이 영상 경계를 넘어가는지 여부를 판단한 후 영상 경계를 넘어가는 서브블록에 대해서는 부호화기와 약속된 패딩 방법을 이용하여 생성된 예측 블록을 복원블록으로 생성한다. (즉, 잔여신호가 없는 것으로 간주한다.)
전술한 매크로블록 내 영상 경계를 넘어가는 부분(블록)들을 포함하는 매크로블록을 복호화하는 방법은 기존의 복호화 방법과 결합하여 사용될 수도 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는, 입력 영상의 크기가 임의의 크기의 매크로블록 크기의 정수 배가 아닌 경우, 영상의 외곽 부분 부호화 및 복호화 시 가변 크기의 매크로블록을 이용하여 영상을 부호화 및 복호화함으로써 압축 효율 및 복원 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
902, 1001: 매크로블록 크기 설정기
903, 1003: 예측기
904: 움직임 추정부
906, 1004: 움직임 보상부
908, 1006: 인트라 예측부
910: 부호화부
912, 1008: 복원부
914, 1010: 필터
916, 1012: 프레임 메모리
1002: 복호화부

Claims (14)

  1. 영상 부호화/복호화 장치에 있어서,
    현재 부호화 대상의 가변 매크로블록이 입력 영상의 내부에 위치하지 않는 경우에 상기 가변 매크로블록의 가로 및 세로의 크기를 설정된 크기 또는 비율로 줄여 현재의 크기보다 작은 크기로 재설정하며, 재설정된 상기 가변 매크로블록에 기초하여 예측 부호화를 수행하는 영상 부호화기; 및
    현재 복호화 대상의 가변 매크로블록이 입력 영상의 내부에 위치하지 않는 경우에 상기 현재 복호화 대상의 가변 매크로블록의 크기를 설정된 크기 또는 비율로 줄여 현재의 크기보다 작은 크기로 재설정하여 복호화를 수행하는 영상 복호화기
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치.
  2. 영상 부호화/복호화 장치에 있어서,
    현재 부호화 대상의 매크로블록 내의 입력 영상의 경계를 넘어가는 부분 또는 블록들을 포함하여 부호화하는 경우, 영상 경계를 넘어가는 부분(블록)은 발생비트가 가장 적게 되는 모드로 가정하여 부호화/복호화하는 것을 특징으로 하는 영상 부호화/복호화 장치.
  3. 영상 부호화/복호화 장치에 있어서,
    현재 부호화 대상의 매크로블록 내의 입력 영상의 경계를 넘어가는 부분 또는 블록들을 포함하여 부호화하는 경우, 영상 경계를 넘어가는 부분(블록)은 예측 정보 또는 변환 정보를 포함하는 데이터의 부호화/복호화를 생략하는 것을 특징으로 하는 영상 부호화/복호화 장치.
  4. 영상 부호화 장치에 있어서,
    현재 부호화 대상의 매크로블록이 입력 영상에 소정 비율 이상 걸치지 않는 경우, 상기 현재 부호화 대상의 매크로블록의 가로 및 세로의 크기를 설정된 크기 또는 비율로 줄여 매크로블록의 크기를 재설정하는 매크로블록 크기 설정기;
    상기 현재 부호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 예측기; 및
    상기 인트라 예측 또는 상기 인터 예측으로 얻어진 잔여 신호를 변환 및 양자화하고 엔트로피 부호화하는 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  5. 영상 부호화 장치에 있어서,
    현재 부호화 대상의 매크로블록이 입력 영상의 내부에 위치하지 않는 경우, 사용 가능한 매크로블록의 크기들 중 상기 입력 영상의 내부에 위치하는 가장 큰 크기로 상기 현재 부호화 대상의 매크로블록의 크기를 재설정하는 매크로블록 크기 설정기;
    상기 현재 부호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 예측기; 및
    상기 인트라 예측 또는 상기 인터 예측으로 얻어진 잔여 신호를 변환 및 양자화하고 엔트로피 부호화하는 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  6. 영상 복호화 장치에 있어서,
    현재 복호화 대상의 매크로블록이 입력 영상에 소정 비율 이상 걸치지 않는 경우, 상기 현재 복호화 대상의 매크로블록의 가로 및 세로의 크기를 설정된 비율로 줄여 매크로블록의 크기를 재설정하는 매크로블록 크기 설정기;
    비트스트림으로부터 상기 현재 복호화 대상의 매크로블록에 대한 타입정보, 변환계수를 포함하는 예측정보를 추출하여 복호화하는 복호화부;
    상기 타입정보에 기초하여 상기 현재 복호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 예측기; 및
    상기 변환계수를 역양자화하고 역변환하여 잔여신호를 생성하며, 상기 예측기에 의해 예측된 값에 생성된 상기 잔여신호를 가산하여 복원된 매크로블록을 생성하는 복원부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  7. 영상 복호화 장치에 있어서,
    현재 복호화 대상의 매크로블록이 입력 영상의 내부에 위치하지 않는 경우, 사용 가능한 매크로블록의 크기들 중 상기 입력 영상의 내부에 위치하는 가장 큰 크기로 상기 현재 복호화 대상의 매크로블록의 크기를 재설정하는 매크로블록 크기 설정기;
    비트스트림으로부터 상기 현재 복호화 대상의 매크로블록에 대한 타입정보, 변환계수를 포함하는 예측정보를 추출하여 복호화하는 복호화부;
    상기 타입정보에 기초하여 상기 현재 복호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 예측기; 및
    상기 변환계수를 역양자화하고 역변환하여 잔여신호를 생성하며, 상기 예측기에 의해 예측된 값에 생성된 상기 잔여신호를 가산하여 복원된 매크로블록을 생성하는 복원부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  8. 영상 부호화/복호화 방법에 있어서,
    현재 부호화 대상의 가변 매크로블록이 입력 영상의 내부에 위치하지 않는 경우에 상기 가변 매크로블록의 가로 및 세로의 크기를 설정된 크기 또는 비율로 줄여 현재의 크기보다 작은 크기로 재설정하며, 재설정된 상기 가변 매크로블록에 기초하여 예측 부호화를 수행하는 단계; 및
    현재 복호화 대상의 가변 매크로블록이 입력 영상의 내부에 위치하지 않는 경우에 상기 현재 복호화 대상의 가변 매크로블록의 크기를 설정된 크기 또는 비율로 줄여 현재의 크기보다 작은 크기로 재설정하여 복호화를 수행하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법.
  9. 영상 부호화 방법에 있어서,
    현재 부호화 대상의 매크로블록이 입력 영상에 소정 비율 이상 걸치지 않는 경우, 상기 현재 부호화 대상의 매크로블록의 가로 및 세로의 크기를 설정된 크기 또는 비율로 줄여 매크로블록의 크기를 재설정하는 단계;
    상기 현재 부호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 단계; 및
    상기 인트라 예측 또는 상기 인터 예측으로 얻어진 잔여 신호를 변환 및 양자화하고 엔트로피 부호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제 9항에 있어서,
    상기 재설정단계는,
    상기 현재 부호화 대상의 매크로블록이 상기 입력 영상에 상기 소정 비율 이상 걸칠 때까지 가로 및 세로의 크기를 상기 설정된 비율로 반복적으로 줄여 매크로블록의 크기를 재설정하는 것을 특징으로 하는 영상 부호화 방법.
  11. 영상 부호화 방법에 있어서,
    현재 부호화 대상의 매크로블록이 입력 영상의 내부에 위치하지 않는 경우, 사용 가능한 매크로블록의 크기들 중 상기 입력 영상의 내부에 위치하는 가장 큰 크기로 상기 현재 부호화 대상의 매크로블록의 크기를 재설정하는 단계;
    상기 현재 부호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 단계; 및
    상기 인트라 예측 또는 상기 인터 예측으로 얻어진 잔여 신호를 변환 및 양자화하고 엔트로피 부호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  12. 제 11항에 있어서,
    상기 사용 가능한 매크로블록의 크기는 사용 가능한 변환의 크기의 양의 정수 배인 것을 특징으로 하는 영상 부호화 방법.
  13. 영상 복호화 방법에 있어서,
    현재 복호화 대상의 매크로블록이 입력 영상에 소정 비율 이상 걸치지 않는 경우, 상기 현재 복호화 대상의 매크로블록의 가로 및 세로의 크기를 설정된 비율로 줄여 매크로블록의 크기를 재설정하는 단계;
    비트스트림으로부터 상기 현재 복호화 대상의 매크로블록에 대한 타입정보, 변환계수를 포함하는 예측정보를 추출하여 복호화하는 단계;
    상기 타입정보에 기초하여 상기 현재 복호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 단계; 및
    상기 변환계수를 역양자화하고 역변환하여 잔여신호를 생성하며, 상기 예측단계에 의해 예측된 값에 생성된 상기 잔여신호를 가산하여 복원된 매크로블록을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  14. 영상 복호화 방법에 있어서,
    현재 복호화 대상의 매크로블록이 입력 영상의 내부에 위치하지 않는 경우, 사용 가능한 매크로블록의 크기들 중 상기 입력 영상의 내부에 위치하는 가장 큰 크기로 상기 현재 복호화 대상의 매크로블록의 크기를 재설정하는 단계;
    비트스트림으로부터 상기 현재 복호화 대상의 매크로블록에 대한 타입정보, 변환계수를 포함하는 예측정보를 추출하여 복호화하는 단계;
    상기 타입정보에 기초하여 상기 현재 복호화 대상의 매크로블록에 대한 인트라 예측 또는 인터 예측을 수행하는 단계; 및
    상기 변환계수를 역양자화하고 역변환하여 잔여신호를 생성하며, 상기 예측단계에 의해 예측된 값에 생성된 상기 잔여신호를 가산하여 복원된 매크로블록을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
KR1020100103075A 2009-10-21 2010-10-21 영상 부호화/복호화 장치 및 방법 KR101534049B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
US13/503,169 US9137545B2 (en) 2009-10-21 2010-10-21 Image encoding and decoding apparatus and method
CN201510427905.1A CN104935934B (zh) 2009-10-21 2010-10-21 视频编码装置
CN201080058670.9A CN102668565B (zh) 2009-10-21 2010-10-21 图像编码和解码装置和方法
CN201510427911.7A CN104954799B (zh) 2009-10-21 2010-10-21 视频编码方法
PCT/KR2010/007252 WO2011049392A2 (ko) 2009-10-21 2010-10-21 영상 부호화/복호화 장치 및 방법
CN201510428013.3A CN104935935B (zh) 2009-10-21 2010-10-21 视频编码方法、视频解码方法和视频解码装置
CN201510060983.2A CN104661026B (zh) 2009-10-21 2010-10-21 图像编码和解码装置和方法
HK15106125.8A HK1205610A1 (en) 2009-10-21 2015-06-26 Image encoding and decoding apparatus and method
US14/808,993 US9344732B2 (en) 2009-10-21 2015-07-24 Image encoding and decoding apparatus and method
US14/808,916 US9344731B2 (en) 2009-10-21 2015-07-24 Image encoding and decoding apparatus and method

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR1020090100443 2009-10-21
KR20090100443 2009-10-21
KR1020100035536A KR20110043407A (ko) 2009-10-21 2010-04-16 영상 부호화/복호화 장치 및 방법
KR1020100035456 2010-04-16
KR1020100035446 2010-04-16
KR20100035456 2010-04-16
KR1020100035536 2010-04-16
KR20100035446 2010-04-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140183580A Division KR101673028B1 (ko) 2009-10-21 2014-12-18 영상 부호화/복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110043510A true KR20110043510A (ko) 2011-04-27
KR101534049B1 KR101534049B1 (ko) 2015-07-07

Family

ID=44048725

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020100103075A KR101534049B1 (ko) 2009-10-21 2010-10-21 영상 부호화/복호화 장치 및 방법
KR1020140183580A KR101673028B1 (ko) 2009-10-21 2014-12-18 영상 부호화/복호화 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020140183580A KR101673028B1 (ko) 2009-10-21 2014-12-18 영상 부호화/복호화 장치 및 방법

Country Status (4)

Country Link
US (3) US9137545B2 (ko)
KR (2) KR101534049B1 (ko)
CN (5) CN104935935B (ko)
HK (1) HK1205610A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
US9369720B2 (en) * 2009-12-28 2016-06-14 Panasonic Intellectual Property Management Co., Ltd. Image coding apparatus and image coding method
JP5878295B2 (ja) * 2011-01-13 2016-03-08 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR102028123B1 (ko) 2012-04-23 2019-10-04 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
US20140118622A1 (en) * 2012-10-29 2014-05-01 Tektronix, Inc. Dct based black frame detection using varying block size
CN105519115A (zh) 2013-09-10 2016-04-20 株式会社Kt 用于对可扩展视频信号进行编码/解码的方法及装置
US10038904B2 (en) * 2013-10-25 2018-07-31 Mediatek Inc. Method and apparatus for controlling transmission of compressed picture according to transmission synchronization events
US10104397B2 (en) * 2014-05-28 2018-10-16 Mediatek Inc. Video processing apparatus for storing partial reconstructed pixel data in storage device for use in intra prediction and related video processing method
US9398217B2 (en) * 2014-10-15 2016-07-19 Microsoft Technology Licensing, Llc Video stabilization using padded margin pixels
CN108293122A (zh) * 2015-11-24 2018-07-17 三星电子株式会社 对图像进行编码/解码的方法及其设备
CN117412037A (zh) 2016-08-31 2024-01-16 株式会社Kt 用于处理视频信号的方法和设备
KR102531386B1 (ko) * 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
WO2018097626A1 (ko) 2016-11-25 2018-05-31 주식회사 케이티 비디오 신호 처리 방법 및 장치
MX2019011953A (es) 2017-05-31 2019-12-02 Lg Electronics Inc Metodo y dispositivo para realizar decodificacion de imagenes con base en intra-prediccion en sistema de codificacion de imágenes.
KR20200117071A (ko) 2017-07-17 2020-10-13 한양대학교 산학협력단 영상 부호화/복호화 방법 및 장치
US10721469B2 (en) * 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding
CN110581995A (zh) * 2019-09-12 2019-12-17 北京奇艺世纪科技有限公司 一种视频处理的方法及装置
CN118646900A (zh) * 2023-03-13 2024-09-13 华为技术有限公司 编解码方法和装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4205341A (en) * 1978-01-24 1980-05-27 Nippon Telegraph And Telephone Public Corporation Picture signal coding apparatus
US5936673A (en) * 1995-05-26 1999-08-10 Intel Corporation Temporal tile staggering for block based video compression
JP3855286B2 (ja) * 1995-10-26 2006-12-06 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
MY118360A (en) 1996-04-30 2004-10-30 Nippon Telegraph & Telephone Scheme for detecting shot boundaries in compressed video data using inter-frame/inter field prediction coding and intra-frame/intra-field coding
DE69718749T2 (de) * 1996-05-17 2003-10-16 Matsushita Electric Industrial Co., Ltd. Bilddecodierer
US6560371B1 (en) * 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
JP2000270322A (ja) * 1999-03-17 2000-09-29 Fujitsu Ltd 動画像符号化装置及び動画像符号化方法
JP3932721B2 (ja) * 1999-05-14 2007-06-20 ソニー株式会社 データ記録装置、データ記録再生装置、データ記録方法およびデータ記録再生方法
JP2002076921A (ja) * 2000-09-01 2002-03-15 Nec Corp 誤り訂正符号復号方法及び装置
US7085424B2 (en) * 2000-06-06 2006-08-01 Kobushiki Kaisha Office Noa Method and system for compressing motion image information
EP3282699B1 (en) * 2001-11-29 2019-10-23 Godo Kaisha IP Bridge 1 Coding distortion removal method
US8009731B2 (en) * 2002-11-25 2011-08-30 Panasonic Corporation Motion compensation method, picture coding method and picture decoding method
EP1513350A1 (en) * 2003-09-03 2005-03-09 Thomson Licensing S.A. Process and arrangement for encoding video pictures
US8625680B2 (en) * 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
KR100621004B1 (ko) 2003-10-13 2006-09-08 엘지전자 주식회사 이동통신 시스템에서의 매크로블록 추출 방법
EP1655966A3 (en) * 2004-10-26 2011-04-27 Samsung Electronics Co., Ltd. Apparatus and method for processing an image signal in a digital broadcast receiver
KR100679031B1 (ko) * 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
JP4755093B2 (ja) * 2005-02-01 2011-08-24 パナソニック株式会社 画像符号化方法および画像符号化装置
EP2720468B1 (en) * 2005-09-26 2017-03-29 Mitsubishi Electric Corporation Moving image decoding method
US8086044B2 (en) * 2006-08-25 2011-12-27 Ricoh Co., Ltd. Block-based iterative multi-pass data filling technique for compound document compression
CN101523917A (zh) * 2006-09-29 2009-09-02 汤姆逊许可证公司 几何帧内预测
KR100968027B1 (ko) * 2007-06-27 2010-07-07 티유미디어 주식회사 가변블록 기반의 디블록킹 필터링 방법 및 장치와, 이에적용되는 디블록킹 필터
JP2009010586A (ja) * 2007-06-27 2009-01-15 Fujitsu Microelectronics Ltd トランスコーダおよびトランスコード方法
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US20090290636A1 (en) * 2008-05-20 2009-11-26 Mediatek Inc. Video encoding apparatuses and methods with decoupled data dependency
CN101383972A (zh) * 2008-09-28 2009-03-11 北京航空航天大学 基于空间预测与变换的遥感图像压缩方法
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
CN101610417B (zh) * 2009-07-09 2013-06-12 华为技术有限公司 一种图像填充方法、装置及设备

Also Published As

Publication number Publication date
CN104935934A (zh) 2015-09-23
CN104935935B (zh) 2018-04-03
CN104661026B (zh) 2018-03-27
CN104661026A (zh) 2015-05-27
US20120207211A1 (en) 2012-08-16
KR20150014416A (ko) 2015-02-06
KR101534049B1 (ko) 2015-07-07
US20150334401A1 (en) 2015-11-19
CN104954799A (zh) 2015-09-30
HK1205610A1 (en) 2015-12-18
CN102668565B (zh) 2015-12-09
CN104935935A (zh) 2015-09-23
KR101673028B1 (ko) 2016-11-07
CN104954799B (zh) 2018-04-03
CN104935934B (zh) 2018-04-03
CN102668565A (zh) 2012-09-12
US20150334402A1 (en) 2015-11-19
US9137545B2 (en) 2015-09-15
US9344732B2 (en) 2016-05-17
US9344731B2 (en) 2016-05-17

Similar Documents

Publication Publication Date Title
KR101673028B1 (ko) 영상 부호화/복호화 장치 및 방법
KR102462009B1 (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101379185B1 (ko) 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101479129B1 (ko) 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
US10034024B2 (en) Method and apparatus for encoding/decoding images considering low frequency components
JP3369573B2 (ja) 画像予測復号化方法及び装置
KR101943049B1 (ko) 영상 부호화/복호화 방법 및 장치
US9473773B2 (en) Method and apparatus for encoding frequency transformed block using frequency mask table, and method and apparatus for encoding/decoding video using same
KR101955374B1 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR20110000438A (ko) 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법
KR20120009861A (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR20100035104A (ko) 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법
KR101681301B1 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20100092268A (ko) 영상 부호화/복호화 장치 및 방법
KR20100035243A (ko) 양자화 계수 결정 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR100647297B1 (ko) 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치
KR101997599B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101943425B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR20110098089A (ko) 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
KR101369161B1 (ko) 예측 방향 전환 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR100667815B1 (ko) 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
KR20130054981A (ko) 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
KR101766600B1 (ko) 화면내 예측을 수행하는 부호화/복호화 장치 및 화면내 예측 부호화/복호화 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 5