KR20170023921A - 다양한 형태의 블록 분할을 이용하는 영상 부호화/복호화 장치 및 방법 - Google Patents

다양한 형태의 블록 분할을 이용하는 영상 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR20170023921A
KR20170023921A KR1020170024947A KR20170024947A KR20170023921A KR 20170023921 A KR20170023921 A KR 20170023921A KR 1020170024947 A KR1020170024947 A KR 1020170024947A KR 20170024947 A KR20170024947 A KR 20170024947A KR 20170023921 A KR20170023921 A KR 20170023921A
Authority
KR
South Korea
Prior art keywords
block
divided
unit
division type
current block
Prior art date
Application number
KR1020170024947A
Other languages
English (en)
Other versions
KR101763111B1 (ko
Inventor
송진한
임정연
이영렬
문주희
김해광
전병우
한종기
조재희
김현동
김대연
홍성욱
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170024947A priority Critical patent/KR101763111B1/ko
Publication of KR20170023921A publication Critical patent/KR20170023921A/ko
Application granted granted Critical
Publication of KR101763111B1 publication Critical patent/KR101763111B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 복수의 분할형태 후보 중에서 현재블록을 하나 이상의 분할블록으로 분할하기 위한 분할형태를 결정하는 블록분할부; 상기 하나 이상의 분할블록 각각에 대응하는 움직임벡터를 결정하고, 결정된 움직임벡터를 이용하여 상기 하나 이상의 분할블록 각각에 대응하는 예측블록을 생성하는 예측부; 상기 하나 이상의 분할블록으로부터 대응하는 예측블록을 감산함으로써, 상기 현재블록의 잔차블록을 생성하는 감산부; 상기 잔차블록을 변환 및 양자화하여 변환블록을 생성하는 변환 및 양자화부; 및 상기 결정된 분할형태에 대한 정보, 상기 하나 이상의 분할블록 각각에 대응하는 움직임벡터, 및 상기 변환블록을 부호화하는 부호화부를 포함하되, 상기 복수의 분할형태 후보는 상기 현재블록을 서로 다른 크기의 두 개의 직사각블록으로 분할하는 비대칭 분할형태 후보를 포함한다.

Description

다양한 형태의 블록 분할을 이용하는 영상 부호화/복호화 장치 및 방법 {Video Encoding/Decoding Apparatus and Method Using Various Shape Block Partitioning}
본 발명의 실시예는 다양한 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 영상의 현재 블록을 참조 블록으로부터 예측하고 부호화하고 복호화하는 데 있어서 적합한 모양과 크기를 예측하여 현재의 원본 블록과 예측된 현재 블록 간의 차이를 최소화하여 압축효율을 높이는 다양한 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래기술을 구성하는 것은 아니다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced video Coding)이라 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동으로 발표되었다. 이러한 H.264/AVC(이하 'H.264'라 약칭함)에서는 다양한 인코딩 방법을 사용하여 화질과 성능 향상에서 많은 발전을 가져왔다. 또한 현재 JCT-VC(Joint Collaborative Team on Video Coding)라는 MPEG과 VCEG의 공동 팀에 의하여 HD(High-Definition)급 이상의 화질에 대한 새로운 표준안에 대하여 표준화 회의가 진행 중이다
기존의 동영상 부호화 방법으로는 입력 영상을 블록 단위로 나누고, 각 블록에 대해서 인터 예측 모드(Inter Prediction Mode) 또는 인트라 예측 모드(Intra Prediction Mode)에 따라 가질 수 있는 서브블록의 크기로 예측을 수행하여 잔차 블록(Residual Block)을 생성하며, 생성된 잔차 블록은 4x4 또는 8x8 단위의 이산 코사인 변환(DCT: Discrete Cosine Transform)을 기반으로 설계된 정수 변환(Integer Transform)을 적용하여 변환 계수(Transform Coefficient)를 생성하며, 변환 계수를 다시 주어진 양자화 계수(QP: Quantization Parameter)에 따라 양자화한다. 그리고 변환 과정 및 양자화 과정으로 인하여 발생하는 블록화 현상을 루프 필터링(Loop Filtering)을 통해 줄인다.
H.264/AVC에서 움직임 보상을 수행할 때 정확도를 높이기 위해서 정수 화소를 가지는 정수 샘플에서만 움직임 벡터를 찾는 것이 아니라 휘도(Luma) 성분의 경우 1/8 샘플의 해상도를 가지는 서브 샘플의 위치까지 찾음으로써 더 정확한 움직임 벡터를 찾는 방법이 사용되고 있다.
기존의 고정된 크기의 블록 사이즈로는 영상간의 다양한 움직임에 의해 변화되는 화소를 정확하게 예측 및 보상을 할 수가 없어서 영상의 부호화 효율이 저하되는 문제점이 있다. 즉, 영상의 확대(Zoom In And Out), 흔들림(Shaking), 수평이동(Panning), 회전(Rotation) 등과 같은 다양한 영상의 움직임에 대한 예측 및 보상에 있어서, 4x4 블록 크기 또는 8x8 블록 크기가 아닌 다양한 형태 및 크기의 블록으로 예측을 하는 것이 효율적일 수 있으나, 기존의 고정된 크기의 블록을 사용하는 예측 및 보상 방법으로는 영상에 특성에 따른 적응적인 부호화가 불가능하여, 이에 따른 부호화 효율이 저하되는 문제점이 있다.
이러한 문제점을 해결하기 위해 본 발명의 일 실시예는, 영상의 현재 블록을 참조 블록으로부터 예측하고 부호화하고 복호화하는 데 있어서 적합한 모양과 크기를 예측하여 현재의 원본 블록과 예측된 현재 블록 간의 차이를 최소화하여 압축효율을 높이고 주관적인 화질을 향상시키는 데 그 목적이 있다.
본 발명의 일 측면에 따르면, 복수의 분할형태 후보 중에서 현재블록을 하나 이상의 분할블록으로 분할하기 위한 분할형태를 결정하는 블록분할부; 상기 하나 이상의 분할블록 각각에 대응하는 움직임벡터를 결정하고, 결정된 움직임벡터를 이용하여 상기 하나 이상의 분할블록 각각을 예측하여 예측블록을 생성하는 생성하는 예측부; 상기 하나 이상의 분할블록으로부터 대응하는 예측블록을 감산함으로써, 상기 현재블록의 잔차블록을 생성하는 감산부; 상기 잔차블록을 변환 및 양자화하여 변환블록을 생성하는 변환 및 양자화부; 및 상기 결정된 분할형태에 대한 정보, 상기 하나 이상의 분할블록 각각에 대응하는 움직임벡터, 및 상기 변환블록을 부호화하는 부호화부를 포함하는 영상 부호화 장치를 제공한다.
여기서, 상기 복수의 분할형태 후보는 상기 현재블록을 서로 다른 크기의 두 개의 직사각블록으로 분할하는 비대칭 분할형태 후보를 포함한다. 상기 비대칭 분할형태 후보는, 상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 1:3의 너비 비를 가지도록 세로로 분할하는 형태, 상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 3:1의 너비 비를 가지도록 세로로 분할하는 형태, 상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 1:3의 너비 비를 가지도록 세로로 분할하는 형태, 및 상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 3:1의 너비 비를 가지도록 세로로 분할하는 형태 중 적어도 두 개를 포함할 수 있다.
또한, 상기 예측부는 화소의 샘플링 비율을 나타내는 비율인자 및 상기 하나 이상의 분할블록 각각에 대응하는 움직임벡터를 이용하여 각 분할블록을 예측할 수 있고, 상기 부호화부는 상기 비율인자에 대한 정보를 부호화할 수 있다.
본 발명의 또 다른 측면에 따르면, 비트스트림으로부터, 분할형태에 대한 정보 및 변환블록을 복원하는 복호화부; 복수의 분할형태 후보 중에서 상기 분할형태에 대한 정보에 의해 지시되는 분할형태에 따라 상기 현재블록으로부터 분할된 하나 이상의 분할블록을 예측함으로써, 상기 현재블록의 예측블록을 생성하는 예측부; 및 상기 변환블록을 역양자화 및 역변환하여 잔차블록을 복원하는 역양자화 및 역변환부; 및 상기 잔차블록과 상기 예측블록을 가산하여 상기 현재블록을 복원하는 가산기를 포함하는 영상 복호화 장치를 제공한다.
여기서, 상기 복수의 분할형태 후보는 상기 현재블록을 서로 다른 크기의 두 개의 직사각블록으로 분할하는 비대칭 분할형태 후보를 포함한다. 상기 비대칭 분할형태 후보는, 상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 1:3의 너비 비를 가지도록 세로로 분할하는 형태, 상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 3:1의 너비 비를 가지도록 세로로 분할하는 형태, 상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 1:3의 너비 비를 가지도록 세로로 분할하는 형태, 및 상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 3:1의 너비 비를 가지도록 세로로 분할하는 형태 중 적어도 두 개를 포함할 수 있다.
또한, 상기 복호화부는 화소의 샘플링 비율을 나타내는 비율인자에 대한 정보를 복원하고, 상기 예측부는 상기 비율인자에 대한 정보에 근거하여 상기 현재블록으로부터 분할된 하나 이상의 분할블록을 예측할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 영상의 현재 블록을 참조 블록으로부터 예측하고 부호화하고 복호화하는 데 있어서 적합한 모양과 크기를 예측하여 현재의 원본 블록과 예측된 현재 블록 간의 차이를 최소화하여 압축효율을 높이고, 이를 통해 주관적/객관적 화질을 향상시키는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
도 2는 사각형 모양의 블록 분할 형태를 예시한 도면이다.
도 3은 여러 가능한 모양의 블록의 다양한 분할 형태를 예시한 도면이다.
도 4는 직사각형 형태의 서브블록 내에서 임의의 형태의 블록으로 분할한 경우를 예시한 도면이다.
도 5는 직사각형으로 블록을 분할하는 방법을 예시한 도면이다.
도 6은 움직임보상 수행시 분할블록에 비율인자를 적용하여 확대 또는 축소하여 움직임보상을 수행하는 경우를 도식적으로 묘사한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 영상 부호화 장치의 구성을 나타낸 블록 구성도이다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록 구성도이다.
도 9는 본 발명의 다른 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록 구성도이다.
도 10은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
도 11은 본 발명의 다른 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
도 12는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
도 13은 본 발명의 다른 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 영상의 현재 부호화하고자 하는 블록의 휘도 성분을 이용하여 움직임 벡터와 비율인자를 계산하여 영상을 부호화하는 장치로서, 도 1에 도시한 바와 같이, 블록분할부(110), 예측부(120), 감산부(130), 변환부(140), 양자화부(150), 부호화부(160), 역양자화 및 역변환부(170), 가산부(180) 및 프레임메모리(190)를 포함하여 구성될 수 있다.
입력 영상은 매크로 블록(Macro Block) 단위로 입력이 될 수 있으며, 본 발명에서, 매크로 블록은 M×N 형태일 수 있으며, M과 N이 동일하거나 다를 수 있다.
블록분할부(110)는 부호화하고자 하는 현재 블록을 임의의 모양의 하나 이상의 블록으로 분할하고 그 중에서 최적의 부호화 효율을 갖는 블록의 분할형태를 선택할 수 있다.
도 2는 사각형 모양의 블록 분할 형태를 예시한 도면이고, 도 3은 여러 가능한 모양의 블록의 다양한 분할 형태를 예시한 도면이다.
현재 블록의 분할형태를 사각형에 국한하지 않고 분할하기 위하여 분할된 경계의 각도 및 길이(또는 기울기 및 분할경계의 시작위치(y절편 또는 x절편))를 다양하게 변화하면서 분할경계를 설정할 수 있으며, 또한 블록의 외곽 화소 중에서 임의의 두점을 연결한 것을 분할경계로 삼을 수 있다. 이와 같이 임의의 모양으로 분할된 후보 분할형태 중에서 부호화비용을 비교하여 율-왜곡 비율이 가장 우수한 경우를 분할형태로 결정할 수 있다.
예를 들어, 8x8 크기의 블록인 경우 분할블록의 경계(분할경계)의 각도(또는 기울기)를 설정하는 경우, 블록의 외곽의 임의의 한점에서 다른 외곽 화소들간의 연결시의 각도(또는 기울기)를 의미할 수 있으며, 길이는 해당 각도(또는 기울기)에서 분할경계가 가지는 길이(또는 절편)를 의미할 수 있으며, 또한 길이는 해당 분할경계의 가로 혹은 세로방향의 화소의 갯수로 표현할 수 있다. 또한, 분할경계의 시작위치(즉, y절편 또는 x절편) 및 기울기를 이용하여 분할블록의 경계를 표현할 수도 있다. 수학식 1에 이러한 분할경계를 구하는 식을 예시하였다.
Figure pat00001
여기서, θ는 블록의 중심점으로부터 블록을 분할하는 선에 수직한 직선의 각도, ρ는 블록을 분할하는 선과 블록의 중심점 사이의 길이, m은 블록을 분할하는 직선의 기울기, c는 블록을 분할하는 직선의 y절편을 의미한다.
도 4는 직사각형 형태의 서브블록 내에서 임의의 형태의 블록으로 분할한 경우를 예시한 도면이다.
도 4에 예시하듯이, 분할된 일부 부분의 블록에 대해서 다양한 형태의 분할형태 중에서 분할경계를 결정할 수 있다.
이와 같이 다양한 분할경계를 결정하는 방법을 예시하였으나 본 발명이 이에 한정되지 않으며, 다양한 방법으로 후보 분할블록의 경계가 설정될 수 있다.
도 5는 직사각형으로 블록을 분할하는 방법을 예시한 도면이다.
도 5는 블록을 두개로 분할하되, 하나는 블록의 1/4크기의 직사각형 모양이 되고, 다른 하나는 블록의 3/4 크기의 직사각형 모양이 되도록 분할한 경우를 예시한 것이다. 여기서 직사각형 모양으로 분할하는 예는 여기서 설명된 것에 한정되지 않으며 다양한 방법으로 분할될 수 있으며, 하나의 블록이 2개 넘는 직사각형의 분할블록으로 분할될 수도 있다.
블록분할부(110)는 도 5에 도시한 4가지를 후보 분할형태로 두고 이들 중에서 최적의 부호화 효율을 갖는 블록의 분할형태를 선택할 수 있다. 도 5와 같은 4가지의 후보 분할형태 중에서 부호화비용을 비교하여 율-왜곡 비율이 가장 우수한 경우를 분할형태로 결정할 수 있다.
예측부(120)는 블록분할부(110)에서 생성된 분할형태에 대한 정보 및 최적 비율인자를 이용하여 결정된 최적의 분할형태에 따른 참조블록을 구하고 예측블록을 생성한다.
예측부(120)는 임의의 서브 샘플(1/4, 1/8, 1/16, 1/32 서브샘플 등이 될 수 있음) 참조 영상에서 블록분할부(110)에서 결정된 분할블록에 대하여 휘도 성분의 비율인자를 적용하여 움직임 보상을 수행하여 분할블록을 예측하여 예측블록을 생성한다. 이와 같은 움직임 보상의 결과 복수의 비율인자 중에서 최적의 움직임 벡터와 함께 최적의 비율인자도 적용하여 분할블록을 예측함으로써 카메라의 줌인 줌아웃 등과 같은 카메라의 움직임에 따른 영상의 변화를 반영하여 예측을 수행할 수 있다.
도 6은 움직임보상 수행시 분할블록에 비율인자를 적용하여 확대 또는 축소하여 움직임보상을 수행하는 경우를 도식적으로 묘사한 도면이다.
예를 들어 도 6에 도시한 바와 같이 현재 움직임보상을 수행하고자 하는 분할블록이 4x4 블록에서 오른쪽 윗부분의 삼각형 모양이 분할되어 잘려나간 형태의 경우에서 현재 부호화하고자 하는 분할블록에 비율인자를 적용하여 확대 또는 축소하여 움직임보상을 수행(즉, 결정된 최적의 비율인자를 이용하여 결정된 최적의 분할형태에 따른 참조블록을 획득)할 수 있다. 예를 들어, 도 6에서와 같이 1/8 서브샘플까지 사용하는 경우, 원래의 사이즈(즉, ZF=8인 경우)로 움직임보상을 수행할 수도 있다. 또한, 움직임보상하는 화소간의 간격을, 비율인자로 7/8만큼 축소하여(즉, ZF=7인 경우)로 움직임보상을 수행할 수도 있고, 비율인자로 9/8만큼 확대하여(즉, ZF=9인 경우)로 움직임보상을 수행할 수도 있다. 만일, 도 6에서, 비율인자가 7/8인 경우 움직임보상을 수행하는 화소는 별(☆) 모양의 화소를 이용하게 된다.
이와 같이 현재 부호화하고자 하는 분할블록에 비율인자를 적용하여 확대 또는 축소하여 수행하는 움직임보상은 1/8 서브샘플뿐만 아니라, 1/2, 1/4, 1/16, 1/32 서브샘플 등에도 적용하는 등 다양한 서브샘플에 적용하여 움직임보상을 수행하여 최적의 예측결과를 나타내는 최적의 비율인자를 구할 수 있다. 예를 들어, 1/4 서브샘플에 대하여 3/4의 비율인자(즉, 3/4 배율), 4/4 비율인자, 5/4 비율인자를 후보 비율인자로 둘 수 있으며, 1/8의 서브샘플에 대하여는 6/8 비율인자, 7/8 비율인자, 1/8 비율인자, 9/8 비율인자, 10/8 비율인자 등을 후보 비율인자로 둘 수 있으며, 이들 중에서 가장 우수한 부호화비용을 갖는 경우를 최적의 비율인자로 선택할 수 있다. 여기서 각 서브샘플에 대한 비율인자의 종류는 예시에 불과하며, 각 서브샘플에 대하여 둘 수 있는 후보 비율인자는 다양하게 선택될 수 있다. 이와 같이 예측의 결과 생성된 움직임벡터 및 비율인자는 부호화부(160)로 전송되어 비트스트림으로 부호화될 수 있다.
감산부(130)는 부호화하고자 하는 분할블록의 화소값과 예측부(120)에서 예측한 예측블록의 화소값의 차이값을 계산한 잔차신호로 이루어진 잔차블록을 생성한다.
변환부(140)는 감산부(130)에 의해 생성된 잔차블록을 주파수 영역으로 변환하여 주파수 변환블록을 생성한다. 여기서, 변환부(140)는 이산 코사인 변환(DCT: Discrete Cosine Transform, 이하 'DCT 변환'이라 칭함) 또는 웨이블릿 변환(Wavelet Transform) 등의 시간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차블록을 주파수 영역으로 변환할 수 있다.
양자화부(150)는 변환부(140)에 의해 주파수 영역으로 변환된 잔차블록(즉, 주파수 변환블록)을 양자화(Quantization)한다. 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스 (Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법을 이용할 수 있다.
부호화부(160)는 양자화부(150)에 의해 양자화된 변환블록을 비트스트림으로 부호화한다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다.
또한, 부호화부(160)는 양자화 주파수 계수들을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화 주파수 계수가 부호화 된 비트열이 포함되는 필드와 예측에 필요한 정보(예를 들어, 인트라 예측의 경우 인트라 예측 모드 또는 인터 예측의 경우 움직임 벡터 등)를 위한 비트가 포함되는 필드를 포함할 수 있다.
또한, 부호화부(160)는 부호화된 비트열을 복호화하는 데 필요한 움직임벡터뿐만 아니라, 블록분할부(110)에서 결정된 분할형태에 대한 정보, 예측부(120)에서 생성한 분할블록의 최적의 비율인자도 비트스트림으로 부호화할 수 있다. 여기서 분할형태에 대한 정보는 전술하였듯이, 각도와 길이에 대한 정보를 사용할 수 있으나 본 발명이 이에 한정되지는 않으며, 각도와 길이(또는 분할경계의 시작위치(즉, y절편 또는 x절편) 및 기울기)에 대한 정보는 각각의 부호화테이블을 사용하여 부호화할 수 있다. 예를 들어, 8x8 블록의 경우, 블록 내의 임의의 한 점에서 외곽 화소수 28개에 각각 이은 각도를 발생하고, 각 28개의 각도 및 해당 부호비트를 대응시킨 각도 부호화테이블을 참조하여 부호화할 비트를 할당할 수 있다. 길이는 해당 각도에 대하여 가로 혹은 세로의 화소의 갯수를 대응시켜 화소의 갯수에 해당 부호비트를 대응시킨 길이 부호화테이블을 참조하여 부호화할 비트를 할당할 수 있다. 분할경계의 시작위치(즉, y절편 또는 x절편) 및 기울기를 블록경계로 표현하는 경우에도 분할경계의 시작위치(y절편 또는 x절편 부호화테이블 및 기울기 부호화테이블을 참조하여 부호화할 비트를 할당할 수 있다.
또한, 비율인자도, 예컨대 1/8 서브샘플을 사용하는 경우 후보 비율인자가 1/8 비율에서부터 16/8 비율까지 적용할 수 있는 것으로 경우, 결정된 비율인자에 대하여 부호화비트를 대응시킨 비율인자 부호화테이블을 참조하여 해당 비율인자를 부호화할 비트를 할당할 수 있다.
역양자화 및 역변환부(170)는 변환 및 양자화된 잔차 블록(즉, 양자화된 변환블록)을 역양자화(Inverse Quantization)하고, 역변환(Inverse Transform)하여 잔차 블록을 복원(Reconstruction)한다. 여기서, 역양자화와 역변환은 변환부(140)가 수행한 변환 과정과 양자화부(150)가 수행한 양자화 과정을 각각 역으로 수행함으로써 이루어질 수 있다. 즉, 역양자화 및 역변환부(170)는 변환부(140) 및 양자화부(150)로부터 발생되어 전달되는 변환 및 양자화에 관한 정보(예를 들어, 변환 및 양자화 타입에 대한 정보)를 이용하여 역양자화 및 역변환을 수행할 수 있다.
가산부(180)는 예측부(120)에서 생성된 예측 블록과 역양자화 및 역변환부(170)가 복원한 잔차 블록을 가산하여 복원된 블록을 생성한다.
프레임 메모리(190)는 가산부(180)에서 복원된 블록을 저장하여 인트라 혹은 인터 예측 수행 시 예측 블록을 생성하기 위해 참조블록으로 사용된다.
도 7은 본 발명의 다른 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 부호화 장치(700)는 영상의 현재 부호화하고자 하는 블록의 휘도 성분을 이용하여 움직임 벡터와 비율인자를 계산하여 영상을 부호화하는 장치로서, 도 7에 도시한 바와 같이, 블록분할부(710), 예측부(720), 감산부(730), 결합잔차블록 생성부(732), 변환부(740), 양자화부(750), 부호화부(760), 역양자화 및 역변환부(770), 가산부(780) 및 프레임메모리(790)를 포함하여 구성될 수 있다. 여기서, 블록분할부(710), 예측부(720), 감산부(730), 양자화부(750), 부호화부(760), 역양자화 및 역변환부(770), 가산부(780) 및 프레임메모리(790)의 동작은 도 1의 블록분할부(110), 예측부(120), 감산부(130), 양자화부(150), 부호화부(160), 역양자화 및 역변환부(170), 가산부(180) 및 프레임메모리(190)의 동작과 동일 또는 유사하므로 상세한 설명은 생략한다.
결합잔차블록 생성부(732)는 각 분할블록에 대한 잔차블록들을 결합하여 결합잔차블록을 생성한다. 예를 들어, 직사각형이 아닌 임의의 분할형태로 분할된 분할블록의 경우, 각 분할블록별로 구한 잔차블록을 주파수변환하는 것이 아니라 각 분할블록별로 구한 모든 잔차블록을 결합하여 원래의 블록의 크기와 같도록 만든 후에 주파수 변환을 수행할 수 있도록 결합잔차블록을 생성한다.
이때, 변환부(740)는 결합잔차블록을 변환하여 주파수 변환블록을 생성한다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록 구성도이다.
도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 복호화 장치(800)는, 복호화부(810), 역양자화부(820), 역변환부(830), 가산부(840), 예측부(850), 블록결합부(860) 및 프레임메모리(870)를 포함하여 구성된다.
복호화부(810)는 비트스트림으로부터 양자화된 변환블록, 분할형태에 대한 정보 및 비율인자를 복원한다.
복호화부(810)는 부호화 데이터(비트스트림)를 복호하여 양자화된 주파수 변환블록뿐만 아니라 복호화에 필요한 정보들을 복호화하거나 추출할 수 있다. 복호화에 필요한 정보들은 부호화 데이터(즉, 비트스트림) 내의 부호화된 비트열을 복호화하는 데 필요한 정보들을 말하며, 예를 들어 블록 타입에 대한 정보, 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있으며, 이외의 다양한 정보 등이 될 수 있다.
즉, 복호화부(810)는 영상 부호화 장치에 의해 부호화된 데이터인 비트스트림을 복호하여 영상의 현재 블록에 대한 화소 정보를 포함하고 있는 양자화된 주파수변환 블록을 추출하고, 추출된 예측에 필요한 정보를 예측부(850)로 전달한다.
예측부(850)는 복호된 분할형태에 대한 정보와 비율인자를 이용하여 분할예측블록을 생성할 수 있다. 즉, 복호화부(810)에 의해 복호된 움직임벡터가 지시하는 참조블록(복호된 분할형태를 가짐)에 대하여 비율인자만큼 크기가 변화된(축소 또는 확대된) 위치의 화소를 이용하여 예측블록을 생성할 수 있다.
역양자화부(820)는 복호화부(810)에 의해 비트스트림으로부터 추출된 양자화된 주파수변환 블록을 역양자화한다. 역변환부(830)는 역양자화부(820)에 의해 역양자화된 주파수변환 블록을 공간 영역으로 역변환한다.
가산부(840)는 역변환부(830)에 의해 역변환되어 복원된 잔차신호와 예측부(850)에 의해 생성된 예측 화소값을 더하여 분할블록의 원 화소값을 복원한다. 가산부(840)에 의해 복원된 현재 블록은 프레임 메모리(870)로 전달되어, 예측부(850)에서 다른 블록을 예측하는 데 활용될 수 있다.
블록결합부(860)는 복원된 각 분할블록을 결합하여 현재블록을 복원한다.
프레임 메모리(870)는 복원된 영상을 저장하여 인트라 예측 블록 및 인터 예측 블록 생성을 가능하게 한다.
참고로, 여기서 분할형태는 현재블록 외곽화소 중에서 임의의 두 점을 연결한 직선으로 분할할 수도 있고, 하나는 현재블록의 1/4크기의 직사각형 모양이 되고, 다른 하나는 현재블록의 3/4 크기의 직사각형 모양이 되도록 분할할 수도 있다. 분할형태에 대한 설명은 전술하였으므로 상세한 설명은 생략한다.
전술한 영상 부호화 장치(100)의 설명에서 언급하였듯이, 분할블록의 분할경계는 기울기 및 분할경계의 시작위치로 특정될 수 있다. 또한, 복호화부(810)는 분할형태에 대한 정보를 복호함에 있어서, 복호한 분할경계의 기울기 및 분할경계의 시작위치에 대한 정보를 영상 부호화 장치(100)에서 사용한 분할형태에 대한 부호화테이블(각도 부호화테이블 및 길이 부호화테이블)과 동일한 부호화테이블을 참조하여 복원할 수 있다. 또한, 비율인자 역시 영상 부호화 장치(100)에서 사용한 부호화테이블과 동일한 비율인자 부호화테이블을 참조하여 복원할 수 있다. 또한, 비율인자는 현재블록에 대하여 1/4, 1/8, 1/16 및 1/32 중에서 어느 하나의 정수배에 해당하는 비율을 이용하여 예측에 이용될 수 있다.
도 9는 본 발명의 다른 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록 구성도이다.
도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 복호화 장치(900)는, 복호화부(910), 역양자화부(920), 역변환부(930), 가산부(940), 예측부(950), 결합예측블록 생성부(960) 및 프레임메모리(970)를 포함하여 구성된다. 여기서 복호화부(910), 역양자화부(920), 역변환부(930), 예측부(950) 및 프레임메모리(970)의 동작은 도 8의 복호화부(810), 역양자화부(820), 역변환부(830), 예측부(850) 및 프레임메모리(870)의 동작과 동일 또는 유사하므로 상세한 설명은 생략한다.
결합예측블록 생성부(960)는 복호된 분할형태에 따라 예측부(950)에서 생성된 분할예측블록들을 결합하여 결합예측블록을 생성한다. 즉, 결합예측블록이 복원하고자 하는 현재블록의 예측 블록이 된다.
가산부(940)는 복원되는 잔차블록과 결합예측블록을 가산하여 현재블록을 복원한다. 프레임 메모리(970)는 복원된 영상을 저장하여 인트라 예측 블록 및 인터 예측 블록 생성을 가능하게 한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 1 또는 도 7의 영상 부호화 장치(100 또는 700)의 비트스트림 출력단을 도 8 또는 도 9의 영상 복호화 장치(800 또는 900)의 비트스트림 입력단에 연결하여 구성될 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 부호화하고자 하는 현재 블록을 임의의 모양의 하나 이상의 후보 분할형태 중에서 최적의 부호화 효율을 갖는 분할형태를 결정하고 상기 결정된 분할블록에 대하여 최적의 비율인자를 적용하여 움직임 보상을 수행하여 예측블록을 생성하고 상기 분할블록에서 상기 예측블록을 감산하여 잔차 블록을 생성하고, 상기 잔차 블록을 변환하거나 각 분할블록에 대한 상기 잔차블록들을 결합하여 생성한 결합잔차블록을 변환하고, 변환블록을 양자화하고 상기 양자화된 변환블록, 상기 결정된 분할형태에 대한 정보 및 상기 최적의 비율인자를 비트스트림으로 부호화하는 영상 부호화기; 및 비트스트림으로부터 양자화된 변환블록, 분할형태에 대한 정보 및 비율인자를 복원하고 상기 양자화된 변환블록을 역양자화하여 변환블록을 복원하고 상기 변환블록을 역변환하여 잔차블록을 복원하고 상기 분할형태에 대한 정보와 상기 비율인자를 이용하여 분할예측블록을 생성하고 상기 복원되는 잔차블록과 상기 예측 블록을 가산하여 분할블록을 복원하거나 상기 분할형태에 따라 상기 분할예측블록들을 결합하여 생성한 결합예측블록과 상기 복원되는 잔차블록을 가산하여 현재블록을 복원하는 영상 복호화기를 포함한다.
여기서 영상 부호화기는 영상 부호화 장치(100 또는 700)로 구현 가능하며, 영상 복호화기는 영상 복호화 장치(800 또는 900)로 구현 가능하다.
도 10은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 영상 부호화 방법은, 부호화하고자 하는 현재 블록을 임의의 모양의 하나 이상의 후보 분할형태 중에서 최적의 부호화 효율을 갖는 분할형태를 결정하는 블록분할단계(S1010), 상기 결정된 분할블록에 대하여 최적의 비율인자를 적용하여 움직임 보상을 수행하여 예측블록을 생성하는 예측단계(S1020), 상기 분할블록에서 상기 예측블록을 감산하여 잔차 블록을 생성하는 감산단계(S1030), 상기 잔차 블록을 변환하여 변환블록을 생성하는 변환단계(S1040), 상기 변환블록을 양자화하여 양자화된 변환블록을 생성하는 양자화단계(S1050) 및 상기 양자화된 변환블록, 상기 결정된 분할형태에 대한 정보 및 상기 최적의 비율인자를 비트스트림으로 부호화하는 부호화단계(S1060)를 거쳐 영상을 부호화한다.
여기서, 블록분할단계(S1010)는 블록분할부(110)의 동작에, 예측단계(S1020)는 예측부(120)의 기능에, 감산단계(S1030)는 감산부(130)의 기능에, 변환단계(S1040)는 변환부(140)의 기능에, 양자화단계(S1050)는 양자화부(150)의 기능에, 부호화단계(S1060)는 부호화부(160)의 기능에 각각 대응되므로 상세한 설명은 생략한다.
도 11은 본 발명의 다른 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
본 발명의 다른 실시예에 따른 영상 부호화 방법은, 부호화하고자 하는 현재 블록을 임의의 모양의 하나 이상의 후보 분할형태 중에서 최적의 부호화 효율을 갖는 분할형태를 결정하는 블록분할단계(S1110), 상기 결정된 분할형태의 분할블록에 대하여 복수의 비율인자 중에서 최적의 비율인자를 적용하여 움직임 보상을 수행하여 예측블록을 생성하는 예측단계(S1120), 상기 분할블록에서 상기 예측블록을 감산하여 잔차블록을 생성하는 감산단계(S1130), 각 분할블록에 대한 상기 잔차블록들을 결합하여 결합잔차블록을 생성하는 결합잔차블록 생성단계(S1140), 상기 결합잔차블록을 변환하여 변환블록을 생성하는 변환단계(S1150), 상기 변환블록을 양자화하여 양자화된 변환블록을 생성하는 양자화단계(S1160) 및 상기 양자화된 변환블록, 상기 결정된 분할형태에 대한 정보 및 상기 최적의 비율인자를 비트스트림으로 부호화하는 부호화단계(S1170)을 포함한다.
여기서, 블록분할단계(S1110)는 블록분할부(710)의 동작에, 예측단계(S1120)는 예측부(720)의 기능에, 감산단계(S1130)는 감산부(730)의 기능에, 결합잔차블록 생성단계(S1140)는 결합잔차블록 생성부(732)의 기능에, 변환단계(S1150)는 변환부(740)의 기능에, 양자화단계(S1160)는 양자화부(750)의 기능에, 부호화단계(S1170)는 부호화부(760)의 기능에 각각 대응되므로 상세한 설명은 생략한다.
도 12는 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 영상 복호화 방법은, 비트스트림으로부터 양자화된 변환블록, 분할형태에 대한 정보 및 최적의 비율인자를 복원하는 복호화단계(S1210), 양자화된 변환블록을 역양자화하여 변환블록을 복원하는 역양자화단계(S1220), 변환블록을 역변환하여 잔차블록을 복원하는 역변환부(S1230), 분할형태에 대한 정보와 상기 비율인자를 이용하여 분할예측블록을 생성하는 예측단계(S1240), 복원되는 잔차블록과 상기 예측 블록을 가산하여 분할블록을 복원하는 가산단계(S1250) 및 복원된 각 분할블록을 결합하여 현재블록을 생성하는 블록결합단계(S1260)를 포함하여 영상을 복호화한다.
여기서, 복호화단계(S1210)는 복호화부(810)의 동작에 대응되며, 역양자화단계(S1220)는 역양자화부(820)의 동작에 대응되며, 역변환단계(S1230)는 역변환부(830)의 동작에 대응되며, 예측단계(S1240)는 예측부(850)의 동작에 대응되며, 가산단계(S1250)는 가산부(840)의 동작에 대응되며, 블록결합단계(S1260)는 블록결합부(860)의 동작에 대응되므로 상세한 설명은 생략한다.
도 13은 본 발명의 다른 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
본 발명의 다른 실시예에 따른 영상 복호화 방법은, 비트스트림으로부터 양자화된 변환블록, 분할형태에 대한 정보 및 최적의 비율인자를 복원하는 복호화단계(S1310), 양자화된 변환블록을 역양자화하여 변환블록을 복원하는 역양자화단계(S1320), 변환블록을 역변환하여 잔차블록을 복원하는 역변환부(S1330), 분할형태에 대한 정보와 상기 비율인자를 이용하여 분할예측블록을 생성하는 예측단계(S1340), 분할형태에 따라 분할예측블록들을 결합하여 결합예측블록을 생성하는 결합예측블록 생성단계(S1350), 복원되는 잔차블록과 상기 결합예측블록을 가산하여 현재블록을 복원하는 가산단계(S1360)를 포함하여 영상을 복호화한다.
여기서, 복호화단계(S1310)는 복호화부(910)의 동작에 대응되며, 역양자화단계(S1320)는 역양자화부(920)의 동작에 대응되며, 역변환단계(S1330)는 역변환부(930)의 동작에 대응되며, 예측단계(S1340)는 예측부(950)의 동작에 대응되며, 결합예측블록 생성단계(S1350)는 결합예측블록 생성부(960)의 동작에 대응되며, 가산단계(S1360)는 가산부(940)의 동작에 대응되므로 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 전술한 어느 하나의 영상 부호화 방법과 전술한 어느 하나의 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 부호화하고자 하는 현재 블록을 임의의 모양의 하나 이상의 후보 분할형태 중에서 최적의 부호화 효율을 갖는 분할형태를 결정하고 상기 결정된 분할블록에 대하여 최적의 비율인자를 적용하여 움직임 보상을 수행하여 예측블록을 생성하고 상기 분할블록에서 상기 예측블록을 감산하여 잔차 블록을 생성하고, 상기 잔차 블록을 변환하거나 각 분할블록에 대한 상기 잔차블록들을 결합하여 생성한 결합잔차블록을 변환하고, 변환블록을 양자화하고 상기 양자화된 변환블록, 상기 결정된 분할형태에 대한 정보 및 상기 최적의 비율인자를 비트스트림으로 부호화하는 영상 부호화단계; 및 비트스트림으로부터 양자화된 변환블록, 분할형태에 대한 정보 및 비율인자를 복원하고 상기 양자화된 변환블록을 역양자화하여 변환블록을 복원하고 상기 변환블록을 역변환하여 잔차블록을 복원하고 상기 분할형태에 대한 정보와 상기 비율인자를 이용하여 분할예측블록을 생성하고 상기 복원되는 잔차블록과 상기 예측 블록을 가산하여 분할블록을 복원하거나 상기 분할형태에 따라 상기 분할예측블록들을 결합하여 생성한 결합예측블록과 상기 복원되는 잔차블록을 가산하여 현재블록을 복원하는 영상 복호화단계를 포함한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 인터 예측을 이용한 영상 부호화 장치에 있어서,
    복수의 분할형태 후보 중에서 현재블록을 하나 이상의 분할블록으로 분할하기 위한 분할형태를 결정하는 블록분할부;
    상기 하나 이상의 분할블록 각각에 대응하는 움직임벡터를 결정하고, 결정된 움직임벡터를 이용하여 상기 하나 이상의 분할블록 각각에 대응하는 예측블록을 생성하는 예측부;
    상기 하나 이상의 분할블록으로부터 대응하는 예측블록을 감산함으로써, 상기 현재블록의 잔차블록을 생성하는 감산부;
    상기 잔차블록을 변환 및 양자화하여 변환블록을 생성하는 변환 및 양자화부; 및
    상기 결정된 분할형태에 대한 정보, 상기 하나 이상의 분할블록 각각에 대응하는 움직임벡터, 및 상기 변환블록을 부호화하는 부호화부를 포함하되,
    상기 복수의 분할형태 후보는 상기 현재블록을 서로 다른 크기의 두 개의 직사각블록으로 분할하는 비대칭 분할형태 후보를 포함하고,
    상기 비대칭 분할형태 후보는,
    상기 현재블록을 상단 직사각블록과 하단 직사각블록이 1:3의 높이 비를 가지도록 가로로 분할하는 형태, 및
    상기 현재블록을 상단 직사각블록과 하단 직사각블록이 3:1의 높이 비를 가지도록 가로로 분할하는 형태를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  2. 인터 예측을 이용한 영상 부호화 장치에 있어서,
    복수의 분할형태 후보 중에서 현재블록을 하나 이상의 분할블록으로 분할하기 위한 분할형태를 결정하는 블록분할부;
    상기 하나 이상의 분할블록 각각에 대응하는 움직임벡터를 결정하고, 결정된 움직임벡터를 이용하여 상기 하나 이상의 분할블록 각각을 예측하여 예측블록을 생성하는 생성하는 예측부;
    상기 하나 이상의 분할블록으로부터 대응하는 예측블록을 감산함으로써, 상기 현재블록의 잔차블록을 생성하는 감산부;
    상기 잔차블록을 변환 및 양자화하여 변환블록을 생성하는 변환 및 양자화부; 및
    상기 결정된 분할형태에 대한 정보, 상기 하나 이상의 분할블록 각각에 대응하는 움직임벡터, 및 상기 변환블록을 부호화하는 부호화부를 포함하되,
    상기 복수의 분할형태 후보는 상기 현재블록을 서로 다른 크기의 두 개의 직사각블록으로 분할하는 비대칭 분할형태 후보를 포함하고,
    상기 비대칭 분할형태 후보는,
    상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 1:3의 너비 비를 가지도록 세로로 분할하는 형태, 및
    상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 3:1의 너비 비를 가지도록 세로로 분할하는 형태를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제1항에 있어서,
    상기 비대칭 분할형태 후보는,
    상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 1:3의 너비 비를 가지도록 세로로 분할하는 형태, 및
    상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 3:1의 너비 비를 가지도록 세로로 분할하는 형태를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 결정된 분할형태에 대한 정보는 상기 현재블록의 분할경계의 길이와 시작 위치 중 적어도 하나 및 상기 분할경계의 기울기에 의해 정의되는 것을 특징으로 하는 영상 부호화 장치.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 예측부는 화소의 샘플링 비율을 나타내는 비율인자 및 상기 하나 이상의 분할블록 각각에 대응하는 움직임벡터를 이용하여 각 분할블록을 예측하고,
    상기 부호화부는 상기 비율인자에 대한 정보를 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제5항에 있어서,
    상기 하나 이상의 분할블록 각각은 대응하는 움직임벡터에 의해 지시되는 화소 위치로부터 상기 비율인자에 대응하는 간격으로 참조 픽처의 화소를 샘플링함으로써 생성하는 것을 특징으로 하는 영상 부호화 장치.
  7. 인터 예측을 이용한 영상 복호화 장치에 있어서,
    비트스트림으로부터, 분할형태에 대한 정보 및 변환블록을 복원하는 복호화부;
    복수의 분할형태 후보 중에서 상기 분할형태에 대한 정보에 의해 지시되는 분할형태에 따라 상기 현재블록으로부터 분할된 하나 이상의 분할블록을 예측함으로써, 상기 현재블록의 예측블록을 생성하는 예측부; 및
    상기 변환블록을 역양자화 및 역변환하여 잔차블록을 복원하는 역양자화 및 역변환부; 및
    상기 잔차블록과 상기 예측블록을 가산하여 상기 현재블록을 복원하는 가산기를 포함하되.
    상기 복수의 분할형태 후보는 상기 현재블록을 서로 다른 크기의 두 개의 직사각 블록으로 분할하는 비대칭 분할형태 후보를 포함하고,
    상기 비대칭 분할형태 후보는,
    상기 현재블록을 상단 직사각블록과 하단 직사각블록이 1:3의 높이 비를 가지도록 가로로 분할하는 형태, 및
    상기 현재블록을 상단 직사각블록과 하단 직사각블록이 3:1의 높이 비를 가지도록 가로로 분할하는 형태를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  8. 인터 예측을 이용한 영상 복호화 장치에 있어서,
    비트스트림으로부터, 분할형태에 대한 정보 및 변환블록을 복원하는 복호화부;
    복수의 분할형태 후보 중에서 상기 분할형태에 대한 정보에 의해 지시되는 분할형태에 따라 상기 현재블록으로부터 분할된 하나 이상의 분할블록을 예측함으로써, 상기 현재블록의 예측블록을 생성하는 예측부; 및
    상기 변환블록을 역양자화 및 역변환하여 잔차블록을 복원하는 역양자화 및 역변환부; 및
    상기 잔차블록과 상기 예측블록을 가산하여 상기 현재블록을 복원하는 가산기를 포함하되.
    상기 복수의 분할형태 후보는 상기 현재블록을 서로 다른 크기의 두 개의 직사각 블록으로 분할하는 비대칭 분할형태 후보를 포함하고,
    상기 비대칭 분할형태 후보는,
    상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 1:3의 너비 비를 가지도록 세로로 분할하는 형태, 및
    상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 3:1의 너비 비를 가지도록 세로로 분할하는 형태를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  9. 제7항에 있어서,
    상기 비대칭 분할형태 후보는,
    상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 1:3의 너비 비를 가지도록 세로로 분할하는 형태, 및
    상기 현재블록을 좌측 직사각블록과 우측 직사각블록이 3:1의 너비 비를 가지도록 세로로 분할하는 형태를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 분할형태에 대한 정보는 상기 현재블록의 분할경계의 길이와 시작 위치 중 적어도 하나 및 상기 분할경계의 기울기에 의해 정의되는 것을 특징으로 하는 영상 복호화 장치.
  11. 제7항 내지 제9항 중 어느 한 항에 있어서,
    상기 복호화부는 화소의 샘플링 비율을 나타내는 비율인자에 대한 정보를 복원하고,
    상기 예측부는 상기 비율인자에 대한 정보에 근거하여 상기 현재블록으로부터 분할된 하나 이상의 분할블록을 예측하는 것을 특징으로 하는 영상 복호화 장치.
  12. 제11항에 있어서,
    상기 예측부는, 상기 현재블록으로부터 분할된 분할블록의 움직임벡터에 의해 지시되는 화소 위치로부터 상기 비율인자에 대응하는 간격으로 참조 픽처의 화소를 샘플링함으로써 상기 현재블록으로부터 분할된 분할블록을 예측하는 것을 특징으로 하는 영상 복호화 장치.



KR1020170024947A 2017-02-24 2017-02-24 다양한 형태의 블록 분할을 이용하는 영상 부호화/복호화 장치 및 방법 KR101763111B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170024947A KR101763111B1 (ko) 2017-02-24 2017-02-24 다양한 형태의 블록 분할을 이용하는 영상 부호화/복호화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170024947A KR101763111B1 (ko) 2017-02-24 2017-02-24 다양한 형태의 블록 분할을 이용하는 영상 부호화/복호화 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020100123512A Division KR101712156B1 (ko) 2010-12-06 2010-12-06 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170023921A true KR20170023921A (ko) 2017-03-06
KR101763111B1 KR101763111B1 (ko) 2017-07-31

Family

ID=58399207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170024947A KR101763111B1 (ko) 2017-02-24 2017-02-24 다양한 형태의 블록 분할을 이용하는 영상 부호화/복호화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101763111B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019083334A1 (ko) * 2017-10-26 2019-05-02 한국전자통신연구원 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
US10834408B2 (en) 2016-05-02 2020-11-10 Industry-University Cooperation Foundation Hanyang University Image encoding/decoding method and apparatus using intra-screen prediction
KR20210022761A (ko) * 2018-08-31 2021-03-03 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
WO2021060830A1 (ko) * 2019-09-23 2021-04-01 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN114830653A (zh) * 2019-12-16 2022-07-29 现代自动车株式会社 用于预测划分为任意形状的块的解码装置和方法
US11985325B2 (en) 2019-07-23 2024-05-14 Electronics And Telecommunications Research Institute Method, apparatus, and recording medium for encoding/decoding image by using geometric partitioning

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040081238A1 (en) 2002-10-25 2004-04-29 Manindra Parhy Asymmetric block shape modes for motion estimation
KR100716999B1 (ko) 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834408B2 (en) 2016-05-02 2020-11-10 Industry-University Cooperation Foundation Hanyang University Image encoding/decoding method and apparatus using intra-screen prediction
US11825099B2 (en) 2016-05-02 2023-11-21 Industry-University Cooperation Foundation Hanyang University Image encoding/decoding method and apparatus using intra-screen prediction
US11563954B2 (en) 2017-10-26 2023-01-24 Electronics And Telecommunications Research Institute Method and device for image encoding/decoding on basis of asymmetric sub-block
CN111279695A (zh) * 2017-10-26 2020-06-12 韩国电子通信研究院 用于基于非对称子块的图像编码/解码的方法及装置
CN111279695B (zh) * 2017-10-26 2024-03-29 韩国电子通信研究院 用于基于非对称子块的图像编码/解码的方法及装置
WO2019083334A1 (ko) * 2017-10-26 2019-05-02 한국전자통신연구원 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
US11770530B2 (en) 2018-08-31 2023-09-26 Samsung Electronics Co., Ltd. Video decoding method and apparatus, and video encoding method and apparatus
US11765354B2 (en) 2018-08-31 2023-09-19 Samsung Electronics Co., Ltd. Video decoding method and apparatus, and video encoding method and apparatus
US11310503B2 (en) 2018-08-31 2022-04-19 Samsung Electronics Co.. Ltd. Video decoding method and apparatus, and video encoding method and apparatus
US11770531B2 (en) 2018-08-31 2023-09-26 Samsung Electronics Co., Ltd. Video decoding method and apparatus, and video encoding method and apparatus
US11785217B2 (en) 2018-08-31 2023-10-10 Samsung Electronics Co., Ltd. Video decoding method and apparatus, and video encoding method and apparatus
KR20210022761A (ko) * 2018-08-31 2021-03-03 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
US11985325B2 (en) 2019-07-23 2024-05-14 Electronics And Telecommunications Research Institute Method, apparatus, and recording medium for encoding/decoding image by using geometric partitioning
WO2021060830A1 (ko) * 2019-09-23 2021-04-01 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN114830653A (zh) * 2019-12-16 2022-07-29 现代自动车株式会社 用于预测划分为任意形状的块的解码装置和方法

Also Published As

Publication number Publication date
KR101763111B1 (ko) 2017-07-31

Similar Documents

Publication Publication Date Title
KR101712156B1 (ko) 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
KR101984764B1 (ko) 영상 부호화/복호화 장치 및 방법
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101763111B1 (ko) 다양한 형태의 블록 분할을 이용하는 영상 부호화/복호화 장치 및 방법
KR101444667B1 (ko) 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR100727969B1 (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR101677480B1 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR20130085838A (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR101648065B1 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR20110115987A (ko) 영상 부호화/복호화 장치 및 방법
KR101763113B1 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치
CN114830646A (zh) 图像编码方法和图像解码方法
KR101432779B1 (ko) 움직임 보상 프레임의 선택적 필터링을 이용한 영상 부호화/복호화 방법 및 장치와 그를 위한 인터 예측 방법 및 장치
KR20120080552A (ko) 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치
US8768083B2 (en) Apparatus and method for encoding images, and apparatus and method for decoding images
KR101997599B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
CN114830642A (zh) 图像编码方法和图像解码方法
CN114521325A (zh) 图像编码方法和图像解码方法
CN114788270A (zh) 图像编码方法和图像解码方法
CN114830643A (zh) 图像编码方法和图像解码方法
CN114830650A (zh) 图像编码方法和图像解码方法
CN114830645A (zh) 图像编码方法和图像解码方法
CN114830641A (zh) 图像编码方法和图像解码方法
KR20180090975A (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant