WO2012015275A2 - 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2012015275A2
WO2012015275A2 PCT/KR2011/005620 KR2011005620W WO2012015275A2 WO 2012015275 A2 WO2012015275 A2 WO 2012015275A2 KR 2011005620 W KR2011005620 W KR 2011005620W WO 2012015275 A2 WO2012015275 A2 WO 2012015275A2
Authority
WO
WIPO (PCT)
Prior art keywords
block
prediction
information
partition
current block
Prior art date
Application number
PCT/KR2011/005620
Other languages
English (en)
French (fr)
Other versions
WO2012015275A3 (ko
Inventor
송진한
임정연
최윤식
김용구
최영호
박상재
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/812,026 priority Critical patent/US9973750B2/en
Publication of WO2012015275A2 publication Critical patent/WO2012015275A2/ko
Publication of WO2012015275A3 publication Critical patent/WO2012015275A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시예는 분할예측을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 본 발명의 실시예는, 데이터 압축 장치의 움직임 영상 예측 과정에 있어서 현재 블록의 영상을 이전 영상으로부터 효율적으로 예측하기 위해 종래의 정형화된 직사각형 형태의 블록 이외에 형태로 블록을 분할하여 비디오 데이터 압축의 성능을 더욱 향상시킴으로써 더욱 우수한 복원 화질을 얻고자 하는 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.

Description

블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
본 발명의 실시예는 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 데이터 압축 장치의 움직임 영상 예측 과정에 있어서 현재 블록의 영상을 이전 영상으로부터 효율적으로 예측하기 위해 종래의 정형화된 직사각형 형태의 블록 이외에 형태로 블록을 분할하여 비디오 데이터 압축의 성능을 더욱 향상시킴으로써 더욱 우수한 복원 화질을 얻고자 하는 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.
비디오 데이터의 압축 장치에서 화면 간 예측방법은 현재 부호화 하려는 영상을 이미 부호화되어 복원된 이전 영상으로부터 예측하는 방법이다. 기존의 H.264/AVC에서는 다수의 정사각형 모양 블록 분할을 통해 현재 블록과 가장 비슷한 블록을 이전 영상에서 가져오는 방법을 사용하였다. 하지만 이 방법은 한 블록 안에서 객체영상과 배경영상이 겹치거나 조도가 크게 변화하여 프레임 간 상관도가 떨어지는 경우 예측의 효율성이 떨어질 수 있다는 단점이 있다.
최근에는 이러한 단점을 보완하기 위해 기존의 정사각형 모양의 블록 분할 대신 비대칭적인 직사각형 형태의 블록 분할 개념을 도입하였다. 이 방법을 사용할 경우 부호화하고자 하는 현재 블록 안에서 객체영상과 배경영상이 비대칭적으로 구성된 경우에는 효과적인 압축을 수행할 수 있다. 하지만 객체영상과 배경영상이, 기 설정된 비-대칭을 포함하는 직사각형의 형태가 아닌, 임의 형태로 구성된 경우에는 정확한 객체와 배경을 구분하는 블록 분할을 수행할 수 없기 때문에 그 성능에 제약이 따르는 문제가 있다. 이러한 문제를 해결하는 방안의 하나로 블록 분할 과정에서 길이와 각도 정보를 이용하여 임의 방향으로의 분할을 가능하게 하는 방법이 제안되었다. 하지만 길이와 각도정보를 양자화하는 과정에서 분할 방향의 정확도가 낮아지는 단점이 있으며, 추가로 전송해야 하는 데이터의 양이 늘어나기 때문에 효과적인 정보전송 기법 없이는 압축 효율이 저하될 수 있는 문제가 있다.
이러한 문제점을 해결하기 위해 본 발명의 실시예는, 데이터 압축 장치의 움직임 영상 예측 과정에 있어서 현재 블록의 영상을 이전 영상으로부터 효율적으로 예측하기 위해 종래의 정형화된 직사각형 형태의 블록 이외에 다양한 형태로 블록을 분할하여 비디오 데이터 압축의 성능을 더욱 향상시킴으로써 더욱 우수한 복원 화질을 얻는데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화/복호화하는 장치에 있어서, 현재블록을 하나 이상의 곡선으로 분할하고 상기 분할된 파티션별로 예측을 수행하여 예측블록으로 생성하고, 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하고 상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하고 상기 변환 및 양자화된 잔여 블록을 부호화하는 영상 부호화기; 및 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하고 복원된 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하고 주변블록의 정보 또는 상기 부호화 데이터로부터 분할정보를 추출하고 상기 분할정보에 따라 파티션별로 현재 블록을 예측하여 예측 블록을 생성하고 상기 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 장치에 있어서, 현재블록의 두변 상의 점을 잇는 하나 이상의 선분의 집합으로 현재블록을 분할하여 분할후보를 생성하고, 각 분할후보에 대하여 상기 하나 이상의 선분으로 분할된 현재블록의 파티션별 예측을 수행하여 후보블록을 생성하고, 생성된 후보블록 중에서 현재블록과 가장 유사한 화소값을 갖는 후보블록을 예측블록으로 생성하는 인터예측부; 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산부; 상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화부; 및 상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 장치에 있어서, 현재블록에서 기설정 갯수의 특징점을 추출하고 상기 특징점의 분포와 유사한 특징점 분포를 갖는 매칭블록을 선택하여 예측블록으로 생성하는 인터예측부; 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산부; 상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화부; 및 상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 장치에 있어서, 주변블록의 움직임벡터로부터 예측움직임 벡터를 생성하고 상기 예측움직임 벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 인터예측부; 상기 현재 블록에서 상기 예측 블록을 감산하여 변환 및 양자화된 잔여 블록을 생성하는 감산부; 상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화부; 및 상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 장치에 있어서, 주변블록의 화소정보를 이용하여 기준 템플릿을 생성하고 기부호화된 블록으로부터 상기 기준 템플릿과 가장 적은 오차를 갖는 화소값을 갖는 예측 템플릿을 추출하고 상기 예측 템플릿의 중심 블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 인터예측부; 예측블록으로 선택하는 인터예측부; 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산부; 상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화부; 및 상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 장치에 있어서, 부호화 데이터를 수신하여 현재블록의 분할정보와 변환 및 양자화된 잔여블록을 복원하는 복호화부; 상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환기; 상기 분할정보에 따라 파티션별로 상기 현재 블록을 예측하여 예측 블록을 생성하는 인터예측부; 및 상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 장치에 있어서, 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하는 복호화부; 상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환기; 주변블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 파티션별로 상기 현재 블록을 예측하여 예측 블록을 생성하는 인터예측부; 및 상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화/복호화하는 방법에 있어서, 현재블록을 하나 이상의 곡선으로 분할하고 상기 분할된 파티션별로 예측을 수행하여 예측블록으로 생성하고, 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하고 상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하고 상기 변환 및 양자화된 잔여 블록을 부호화하는 영상 부호화단계; 및 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하고 복원된 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하고 주변블록의 정보 또는 상기 부호화 데이터로부터 분할정보를 추출하고 상기 분할정보에 따라 파티션별로 현재 블록을 예측하여 예측 블록을 생성하고 상기 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 영상 복호화단계를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 방법에 있어서, 현재블록의 두변 상의 점을 잇는 하나 이상의 선분의 집합으로 현재블록을 분할하여 분할후보를 생성하고, 각 분할후보에 대하여 상기 하나 이상의 선분으로 분할된 현재블록의 파티션별 예측을 수행하여 후보블록을 생성하고, 생성된 후보블록 중에서 현재블록과 가장 유사한 화소값을 갖는 후보블록을 예측블록으로 생성하는 인터예측단계; 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산단계; 상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화단계; 및 상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 방법에 있어서, 현재블록에서 기설정 갯수의 특징점을 추출하고 상기 특징점의 분포와 유사한 특징점 분포를 갖는 매칭블록을 선택하여 예측블록으로 생성하는 인터예측단계; 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산단계; 상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화단계; 및 상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 방법에 있어서, 주변블록의 움직임벡터로부터 예측움직임 벡터를 생성하고 상기 예측움직임 벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 인터예측단계; 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산단계; 상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화단계; 및 상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 방법에 있어서, 주변블록의 화소정보를 이용하여 기준 템플릿을 생성하고 기부호화된 블록으로부터 상기 기준 템플릿과 가장 적은 오차를 갖는 화소값을 갖는 예측 템플릿을 추출하고 상기 예측 템플릿의 중심 블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 인터예측단계; 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산단계; 상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화단계; 및 상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 방법에 있어서, 부호화 데이터를 수신하여 현재블록의 분할정보와 변환 및 양자화된 잔여블록을 복원하는 복호화단계; 상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환단계; 상기 분할정보에 따라 파티션별로 상기 현재 블록을 예측하여 예측 블록을 생성하는 인터예측단계; 및 상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 방법에 있어서, 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하는 복호화단계; 상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환단계; 주변블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 파티션별로 상기 현재 블록을 예측하여 예측 블록을 생성하는 인터예측단계; 및 상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 데이터 압축 장치의 움직임 영상 예측 과정에 있어서 현재 블록의 영상을 이전 영상으로부터 효율적으로 예측하기 위해 종래의 정형화된 직사각형 형태의 블록 이외의 다양한 형태로 블록을 분할하여 비디오 데이터 압축의 성능을 더욱 향상시킴으로써 더욱 우수한 복원 화질을 얻는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
도 2는 선분으로 현재블록을 분할하는 예를 도시한 도면이다.
도 3은 파티션별 예측 동작을 예시한 도면이다.
도 4는 현재블록의 특징점을 연결한 선분의 집합을 예시한 도면이다.
도 5는 주변블록의 움직임벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하는 경우를 예시한 도면이다.
도 6은 주변블록의 화소값으로부터 구성된 기준템플릿과 움직임벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하는 경우를 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone) 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 인트라예측부(110), 인터예측부(120), 감산부(Subtractor, 130), 변환 및 양자화부(Transformer and Quantizer, 140), 부호화부(Encoder, 150), 역양자화 및 역변환부(Inverse Quantizer and Inverse Transformer, 160), 가산부(Adder, 170) 및 프레임 메모리(180)를 포함하여 구성될 수 있다.
부호화하고자 하는 입력 영상은 매크로 블록(Macro Block) 단위로 입력이 되는데, 본 발명에서, 매크로 블록은 M×N 형태이며 M과 N은 각 2n의 크기를 가질 수 있으며, M과 N이 동일하거나 다를 수 있다. 따라서, H.264의 매크로 블록과 동일하거나 클 수도 있다.
예측부(110 또는 120)는 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 예측부(110 또는 120)는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 여기서, 예측부(110 또는 120)는 인트라예측부(110)에 의한 인트라 예측 또는 인터예측부(120)에 의한 인터 예측을 이용하여 현재 블록을 예측할 수 있다.
인트라 예측부(110)는 현재 매크로 블록을 예측하기 위하여 인접 화소를 이용하여 예측 블록을 생성한다. 즉, 인트라 예측부(110)는 이미 부호화 과정을 거치고 복원된, 현재 매크로 블록의 인접 화소들을 이용하여 인트라 예측부 (110)의 모드에 따라 예측 블록을 생성한다.
인터 예측부(120)는 현재 매크로 블록을 예측하기 위하여 다른 프레임을 이용하여 예측 블록을 생성한다. 즉, 인터 예측부(120)는 이미 부호화 과정을 거치고 복원된 이전 프레임에서 인터 예측부(120)의 모드에 따라 움직임 추정을 통해 움직임 벡터를 생성하고 움직임 벡터를 이용한 움직임 보상 과정에서 예측 블록을 생성한다.
감산부(130)는 현재 블록과 예측 블록을 감산하여 잔여 블록(Residual Block)을 생성한다. 즉, 감산부(130)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 인트라 예측부(110) 또는 인터 예측부(120)에서 생성된 예측 블록의 화소값의 차이를 계산하여 블록 형태의 잔여 신호(Residual Signal)를 갖는 잔여 블록을 생성한다.
변환 및 양자화부(140)가 감산부(130)에서 생성된 잔여 블록을 주파수 계수로 변환하고 양자화하여 변환 및 양자화된 잔여 블록을 생성한다. 여기서, 변환 방식으로는 하다마드 변환(Hadamard Transform), 이산 코사인 트랜스폼 기반의 정수 변환(Discrete Cosine Transform Based Integer Transform, 이하 '정수 변환'이라고 약칭함) 등과 같은 공간 영역의 영상 신호를 주파수 영역으로 변환하는 기법이 이용될 수 있으며, 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.
부호화부(150)는 변환 및 양자화부(140)에 의해 변환되고 양자화된 잔여 블록을 부호화하여 부호화 데이터를 생성한다.
이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술을 사용할 수 있을 것이다.
또한, 부호화부(150)는 양자화 주파수 계수들을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화 주파수계수가 부호화 된 비트열이 포함되는 제 1 필드와 예측에 필요한 정보(예를 들어, 인트라 예측의 경우 인트라 예측 모드 또는 인터 예측의 경우 움직임 벡터 등)를 위한 비트가 포함되는 제 2 필드를 포함할 수 있다.
역양자화 및 역변환부(160)는 변환 및 양자화부(140)에 의해 변환 및 양자화된 잔여 블록을 역 양자화(Inverse Quantization)하고 역 변환(Inverse Transform)하여 잔여 블록을 복원(Reconstruction)한다. 역 양자화와 역 변환은 변환 및 양자화부(140)가 수행한 변환 과정과 양자화 과정을 역으로 수행함으로써 이루어질 수 있다. 즉, 역양자화 및 역변환부(160)는 변환 및 양자화부(140)로부터 발생되어 전달되는 변환 및 양자화에 관한 정보(예를 들어, 변환 및 양자화 타입에 대한 정보)를 이용하여 변환 및 양자화부(140)가 변환 및 양자화한 방식을 역으로 수행하여 역 양자화 및 역 변환을 수행할 수 있다.
가산부(170)는 예측부(110 또는 120)에 의해 예측된 예측 블록과 역양자화 및 역변환부(160)에 의해 역 양자화 및 역 변환된 잔여 블록을 가산하여 현재 블록을 복원한다.
프레임 메모리(180)는 가산부(170)에서 복원된 블록을 저장하여 인트라 혹은 인터 예측 수행 시 예측 블록을 생성하기 위해 참조블록으로 사용된다.
인터 예측부(120)는 현재블록을 하나 이상의 곡선을 이용하여 복수의 파티션으로 분할할 수 있다. 여기서 곡선이란 복수의 선분의 집합일 수도 있다.
도 2는 선분으로 현재블록을 분할하는 예를 도시한 도면이다.
인터 예측부(120)의 제1 실시예는 현재블록의 두변 상의 점을 잇는 하나 이상의 선분의 집합으로 현재블록을 분할하여 분할후보를 생성하고, 각 분할후보에 대하여 하나 이상의 선분으로 분할된 현재블록의 파티션별 예측을 수행하여 후보블록을 생성하고, 생성된 후보블록 중에서 현재블록과 가장 유사한 화소값을 갖는 후보블록을 예측블록으로 선택한다.
이때, 도 2에 도시한 바와 같이, 인터 예측부(120)에서 현재블록을 분할할 수 있는 방법은 a) 및 b)와 같이 하나의 선분으로 현재블록을 두개로 분할할 수도 있으며, c) 및 d)처럼 두개의 선분으로 현재블록을 3개로 분할할 수도 있다.
*인터 예측부(120)는 도 2의 a) 내지 d)의 분할후보 각각에 대하여 파티션별로 예측을 수행하여 후보블록을 생성한다.
도 3은 파티션별 예측 동작을 예시한 도면이다.
도 3a)에 도시한 바와 같이 선분 AB에 의해 분할된 파티션A와 파티션B는 각각 서로 독립적으로 예측을 수행하여 가장 유사한 화소값을 갖는 파티션A의 예측파티션과 파티션B의 예측파티션을 결정할 수 있으며, 파티션A의 예측파티션과 파티션B의 예측파티션을 합쳐서 현재블록의 예측블록에 대한 한 후보블록으로 결정할 수 있다. 또한, 도 3b)와 같이 선분 A'B'에 의해 분할된 파티션A'와 파티션B'는 각각 서로 독립적으로 예측을 수행하여 가장 유사한 화소값을 갖는 파티션A'의 예측파티션과 파티션B'의 예측파티션을 결정할 수 있으며, 파티션A'의 예측파티션과 파티션B'의 예측파티션을 합쳐서 현재블록의 예측블록에 대한 다른 후보블록으로 결정할 수 있다. 이와 같이 도 3a) 및 도 3b)처럼 모든 하나 이상의 선분의 집합에 대해 각각 후보블록을 결정할 수 있다.
이때, 각 하나 이상의 선분의 집합에 대해 각각 결정된 후보블록에 대해 현재블록과 가장 유사한 화소값을 갖는 후보블록이 예측블록으로 결정될 수 있다.
여기서, 현재블록을 분할하기 위하여 사용될 수 있는 선분의 갯수는 하나로 고정되거나 하나 또는 둘을 가질 수 있도록 가변적일 수 있으며, 선분의 갯수가 복수개인 경우에는 현재블록을 분할하는 하나 이상의 선분은 서로 교차하지 않도록 설정될 수 있다.
또한, 파티션별 예측블록의 설정은 도 3a) 및 도 3b)에 도시한 바와 같이, 현재블록 내의 파티션의 위치와 동일한 위치의 파티션에 대하여 예측을 수행할 수 있다.
한편, 부호화부(150)는 예측블록을 생성하는데 사용된 하나 이상의 선분에 대한 정보를 부호화할 수 있다. 여기서 선분에 대한 정보는 선분의 위치정보, 즉, 현재블록의 변 상에서의 선분의 양끝점에 대한 좌표정보일 수 있다. 예를 들어, 16x16 크기의 현재블록의 상변의 기호가 1, 하변의 기호가 2인 경우에, 현재블록의 상변(1)의 10번째 화소와 하변(2)의 8번째 화소 사이를 잇는 선분이라면, (1,10), (2,8)과 같은 정보를 선분의 위치정보로 부호화하여 복호화 장치로 전송할 수 있다.
도 4는 현재블록의 특징점을 연결한 선분의 집합을 예시한 도면이다.
인터 예측부(120)의 제2 실시예는 현재블록에서 기설정 갯수의 특징점을 추출하고, 추출된 특징점의 분포와 유사한 특징점 분포를 갖는 매칭블록을 선택하여 선택된 매칭블록을 예측블록으로 설정하여 예측을 수행한다.
이때 부호화부(150)는 특징점에 대한 정보를 부호화하여 복호화 장치로 전송할 수 있다. 이때, 특징점에 대한 정보는 특징점에 대한 위치정보일 수 있다. 즉, 도 4와 같은 특징점의 좌표정보일 수 있다.
한편, 부호화부(150)는 특징점에 대한 정보로 특징점에 대한 위치정보를 부호화하지 않고, 특징점 사이를 잇는 선분의 집합과 가장 적은 오차를 갖는 함수의 계수를 사용할 수 있다.
예를 들어, 현재블록의 특징점 사이를 잇는 선분의 집합을 피팅하는 함수로 수학식 1의 다항식을 사용할 수 있다.
수학식 1
Figure PCTKR2011005620-appb-M000001
수학식1의 다항식으로 현재블록의 특징점 사이를 잇는 선분의 집합을 피팅한 결과 수학식 1의 계수 a, b, c를 구할 수 있다. 부호화부(150)는 수학식 1을 사용하여 구한 계수 a, b, c를 부호화하여 특징점에 대한 정보로서 복호화 장치로 전송할 수 있다.
참고로, 현재블록의 특징점 사이를 잇는 선분의 집합을 피팅하는 함수는 수학식 1의 다항식에 한정되지 않으며, 다양한 함수를 설정하여 사용할 수 있다.
도 5는 주변블록의 움직임벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하는 경우를 예시한 도면이다.
인터 예측부(120)의 제3 실시예는 주변블록의 움직임벡터로부터 예측움직임 벡터를 생성하고 생성된 예측움직임 벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하고 추출된 분할정보에 따라 현재블록을 예측하여 예측블록을 생성한다.
도 5에서 주변블록의 움직임벡터로부터 예측움직임 벡터를 구하는 방법 중에 하나로 주변블록의 움직임벡터(MV1, MV2, MV3)의 중간값을 취하는 방법을 사용할 수 있다. 도 5와 같이, 예측움직임 벡터로 MV2가 선택된 경우, MV2가 참조하는 블록의 분할정보(선분 A'B')와 동일하게 현재블록의 분할정보를 선분 AB로 설정할 수 있다. 이때, 선분 AB로 분할된 현재블로의 각 파티션별로 도 3a) 또는 도 3b)와 같이 각각 예측을 수행하여 예측블록을 생성한다.
여기서 예측 움직임벡터가 참조하는 참조블록으로부터 추출하는 현재블록의 분할정보는 도 5와 같은 참조블록을 분할하는 선분의 위치정보(즉, 좌표정보)일 수도 있으며, 도 4와 같은 예측 움직임벡터가 참조하는 참조블록으로부터 추출한 특징점에 대한 위치정보일 수도 있다.
도 6은 주변블록의 화소값으로부터 구성된 기준템플릿과 움직임벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하는 경우를 예시한 도면이다.
인터 예측부(120)의 제4 실시예는 주변블록의 화소정보를 이용하여 기준 템플릿을 생성하고 기부호화된 블록으로부터 기준 템플릿과 가장 적은 오차의 화소값을 갖는 예측 템플릿을 추출하고 추출된 예측 템플릿의 중심 블록으로부터 현재블록의 분할정보를 추출하고 추출된 분할정보에 따라 현재블록을 예측하여 예측블록을 생성한다.
도 6에 도시하듯이 현재블록의 주변블록의 화소로부터 'L'자형의 기준 템플릿을 생성할 수 있다. 기준템플릿을 구성하는 화소의 집합은 실시예에 따라 다를 수 있다.
인터예측부(120)는 도 6과 같은 'L'자형의 기준 템플릿과 가장 적은 오차를 갖는 화소값을 갖는 예측템플릿을 추출한다. 여기서 예측템플릿의 산정기준은 기준템플릿을 구성하는 화소값과의 평균제곱에러(Mean Square Error) 값이 가장 적은 템플릿을 선택하나, 평균제곱에러(Mean Square Error) 이외의 다양한 방법으로 예측 템플릿을 구할 수 있다.
인터예측부(120)는 예측템플릿을 구한 후 예측템플릿의 중심 블록의 분항정보를 현재블록의 분할정보로 이용할 수 있다. 도 6과 같이 중심블록의 분할정보가 선분 A'B'이면 현재블록의 분할정보도 이를 이용하면 선분 AB가 된다. 이때, 선분 AB로 분할된 현재블로의 각 파티션별로 도 3a) 또는 도 3b)와 같이 각각 예측을 수행하여 예측블록을 생성할 수 있다.
여기서 예측 움직임벡터가 참조하는 참조블록으로부터 추출하는 현재블록의 분할정보는 도 6과 같은 중심블록을 분할하는 선분의 위치정보(즉, 좌표정보)일 수도 있으며, 중심블록으로부터 추출한 도 4와 같은 특징점에 대한 위치정보일 수도 있다.
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(700)는 복호화부(710), 역양자화 및 역변환부(720), 인트라예측부(730), 인터예측부(740), 가산부(750) 및 프래임 메모리(760)를 포함하여 구성될 수 있다.
복호화부(710)는 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원할 수 있다.
복호화부(710)는 부호화 데이터를 복호화하여 블록 복호화에 필요한 정보를 추출한다. 복호화부(710)는 부호화 데이터에 포함된 제 1 필드에서 부호화된 잔여 블록을 추출하여 복호화할 수 있고, 부호화 데이터에 포함된 제 2 필드에서 예측에 필요한 정보를 추출할 수 있으며, 추출된 예측에 필요한 정보를 인트라 예측부(730) 또는 인터 예측부(740)로 전달할 수 있다.
역양자화 및 역변환부(720)는 복호되는 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원한다.
예측부(730 또는 740)는 현재 블록을 예측하여 예측 블록을 생성한다. 이때, 해당 예측부(730 또는 740)는 영상 부호화 장치(100)의 예측부(110 또는 120)와 동일한 방식으로 현재 블록을 예측하도록 할 수 있다
가산부(750)는 역양자화 및 역변환부(730)에 의해 복원되는 잔여 블록과 예측부(740)에 의해 생성되는 예측 블록을 가산하여 현재 블록을 복원한다. 가산부(750)에 의해 복원된 현재 블록은 프레임 메모리(760)로 전달되어, 예측부(730 또는 740)에서 다른 블록을 예측하는 데 활용될 수 있다.
프레임 메모리(760)는 복원된 영상을 저장하여 인트라 및 인터 예측 블록 생성을 가능하게 한다.
복호화부(710)는 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록뿐만 아니라 복호화에 필요한 정보들을 복호화하거나 추출할 수 있다. 복호화에 필요한 정보들은 부호화 데이터 내의 부호화된 비트열을 복호화하는 데 필요한 정보들을 말하며, 예를 들어 블록 타입에 대한 정보, 예측 모드가 인트라 예측 모드인 경우에는 인트라 예측 모드에 대한 정보, 예측 모드가 인터 예측 모드인 경우에는 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있지만, 이외의 다양한 정보들이 될 수도 있다.
인터예측부(740)는, 현재블록의 주변블록의 움직임벡터로부터 예측움직임 벡터를 생성하고 생성된 예측움직임 벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하고 추출된 분할정보에 따라 현재블록을 예측하여 예측블록을 생성할 수 있다. 여기서 분할정보는 예측움직임 벡터가 참조하는 블록을 분할하는 선분의 위치정보일 수 있다. 또한, 분할정보는 예측움직임 벡터가 참조하는 블록의 특징점에 대한 위치정보일 수 있다. 여기서의 인터예측부(740)의 동작은 영상 부호화 장치(100)에서 인터예측부(120)의 제3 실시예의 동작과 동일할 수 있으므로 상세한 설명은 생략한다.
인터예측부(740)는 주변블록의 화소정보를 이용하여 기준 템플릿을 생성하고 기부호화된 블록으로부터 기준 템플릿과 가장 적은 오차를 갖는 화소값을 갖는 예측 템플릿을 추출하고 추출된 예측 템플릿의 중심 블록으로부터 현재블록의 분할정보를 추출하고 추출된 분할정보에 따라 현재블록을 예측하여 예측블록을 생성할 수 있다. 여기서, 분할정보는 중심 블록을 분할하는 선분의 위치정보이거나, 중심 블록의 특징점에 대한 위치정보일 수 있다. 여기서의 인터예측부(740)의 동작은 영상 부호화 장치(100)에서 인터예측부(120)의 제4 실시예의 동작과 동일할 수 있으므로 상세한 설명은 생략한다.
한편, 복호화부(710)는 부호화 데이터로부터 분할정보를 추가로 복원할 수 있다.
이때, 인터예측부(740)는 복원된 분할정보로부터 현재블록의 두변 상의 점을 잇는 하나 이상의 선분을 추출하여 현재블록의 파티션을 생성하고, 파티션별로 예측을 수행하여 예측블록으로 생성할 수 있다. 이때, 현재블록 내의 파티션의 위치와 동일한 위치의 파티션에 대하여 예측을 수행할 수 있다. 여기서의 인터예측부(740)의 동작은 도 3a) 또는 도 3b)에서와 같이 파티션별 예측을 통하여 예측블록을 생성할 수 있으므로 상세한 설명은 생략한다.
또한, 복호화부(710)는 부호화 데이터로부터 분할정보를 추가로 복원하는 경우, 인터예측부(740)는 복원된 분할정보로부터 현재블록에서 기설정 갯수의 특징점을 추출하고 추출된 특징점의 분포와 유사한 특징점 분포를 갖는 매칭블록을 선택하여 예측블록으로 생성할 수 있다. 이때, 추출된 특징점에 대한 정보는 특징점에 대한 위치정보이거나 인접하는 특징점 사이를 잇는 선분의 집합과 가장 적은 오차를 갖는 함수의 계수일 수 있다. 여기서의 인터예측부(740)의 동작은 영상 부호화 장치(100)에서 인터예측부(120)의 제2 실시예와 동일할 수 있으므로 상세한 설명은 생략한다.
한편, 본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 1의 영상 부호화 장치(100)의 부호화데이터 출력단을 도 7의 영상 복호화 장치(700)의 부호화 데이터 입력단에 연결함으로써 구현할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 영상을 부호화/복호화하는 장치에 있어서, 현재블록을 하나 이상의 곡선을 이용하여 복수의 파티션으로 분할하고 분할된 파티션별로 예측을 수행하여 예측블록으로 생성하고, 현재 블록에서 예측 블록을 감산하여 잔여 블록을 생성하고 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하고 변환 및 양자화된 잔여 블록을 부호화하는 영상 부호화기; 및 부호화 데이터를 수신하여 현재블록의 분할정보와 변환 및 양자화된 잔여블록을 복원하고 복원된 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하고 분할정보에 따라 파티션별로 현재 블록을 예측하여 예측 블록을 생성하고 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 영상 복호화기를 포함한다.
여기서 영상 부호화기는 본 발명의 일 실시예에 따른 영상 부호화 장치(100)로 구현 가능하며, 영상 복호화기는 본 발명의 일 실시예에 따른 영상 복호화 장치(700)로 구현 가능하다.
본 발명의 제1 실시예에 따른 영상 부호화 방법은, 현재블록의 두변 상의 점을 잇는 하나 이상의 선분의 집합으로 현재블록을 분할하여 분할후보를 생성하고, 각 분할후보에 대하여 하나 이상의 선분으로 분할된 현재블록의 파티션별 예측을 수행하여 후보블록을 생성하고, 생성된 후보블록 중에서 현재블록과 가장 유사한 화소값을 갖는 후보블록을 예측블록으로 생성하는 인터예측단계(S810), 현재 블록에서 예측 블록을 감산하여 잔여 블록을 생성하는 감산단계(S820), 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화단계(S830) 및 변환 및 양자화된 잔여 블록을 부호화하는 부호화단계(S840)를 포함할 수 있다.
여기서, 인터예측단계(S810)는 인터예측부(120)의 제1 실시예의 동작에 대응되며, 감산단계(S820)는 감산부(130)의 동작에 대응되며, 변환 및 양자화단계(S830)는 변환 및 양자화부(140)의 동작에 대응되며, 부호화단계(S840)는 부호화부(150)의 동작에 대응될 수 있으므로 상세한 설명은 생략한다.
본 발명의 제2 실시예에 따른 영상 부호화 방법은, 현재블록에서 기설정 갯수의 특징점을 추출하고 추출된 특징점의 분포와 유사한 특징점 분포를 갖는 매칭블록을 선택하여 예측블록으로 생성하는 인터예측단계(S910), 현재 블록에서 생성된 예측 블록을 감산하여 잔여 블록을 생성하는 감산단계(S920), 생성된 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화단계(S930) 및 변환 및 양자화된 잔여 블록을 부호화하는 부호화단계(S940)를 포함할 수 있다.
여기서, 인터예측단계(S910)는 인터예측부(120)의 제2 실시예의 동작에 대응되며, 감산단계(S920)는 감산부(130)의 동작에 대응되며, 변환 및 양자화단계(S930)는 변환 및 양자화부(140)의 동작에 대응되며, 부호화단계(S940)는 부호화부(150)의 동작에 대응될 수 있으므로 상세한 설명은 생략한다.
본 발명의 제3 실시예에 따른 영상 부호화 방법은, 주변블록의 움직임벡터로부터 예측움직임 벡터를 생성하고 예측움직임 벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하고 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 인터예측단계(S1010), 현재 블록에서 예측 블록을 감산하여 잔여 블록을 생성하는 감산단계(S1020), 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화단계(S1030) 및 변환 및 양자화된 잔여 블록을 부호화하는 부호화단계(S1040)를 포함할 수 있다.
여기서, 인터예측단계(S1010)는 인터예측부(120)의 제3 실시예의 동작에 대응되며, 감산단계(S1020)는 감산부(130)의 동작에 대응되며, 변환 및 양자화단계(S1030)는 변환 및 양자화부(140)의 동작에 대응되며, 부호화단계(S1040)는 부호화부(150)의 동작에 대응될 수 있으므로 상세한 설명은 생략한다.
본 발명의 제4 실시예에 따른 영상 부호화 방법은, 주변블록의 화소정보를 이용하여 기준 템플릿을 생성하고 기부호화된 블록으로부터 기준 템플릿과 가장 적은 오차를 갖는 화소값을 갖는 예측 템플릿을 추출하고 예측 템플릿의 중심 블록으로부터 현재블록의 분할정보를 추출하고 추출된 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 인터예측단계(S1110), 현재 블록에서 예측 블록을 감산하여 잔여 블록을 생성하는 감산단계(S1120), 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화단계(S1130) 및 변환 및 양자화된 잔여 블록을 부호화하는 부호화단계(S1140)를 포함할 수 있다.
여기서, 인터예측단계(S1110)는 인터예측부(120)의 제4 실시예의 동작에 대응되며, 감산단계(S1120)는 감산부(130)의 동작에 대응되며, 변환 및 양자화단계(S1130)는 변환 및 양자화부(140)의 동작에 대응되며, 부호화단계(S1140)는 부호화부(150)의 동작에 대응될 수 있으므로 상세한 설명은 생략한다.
본 발명의 제1 실시예에 따른 영상 복호화 방법은, 부호화 데이터를 수신하여 현재블록의 분할정보와 변환 및 양자화된 잔여블록을 복원하는 복호화단계(S1210), 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환단계(S1220), 분할정보에 따라 파티션별로 현재 블록을 예측하여 예측 블록을 생성하는 인터예측단계(S1230) 및 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산단계(S1240)를 포함한다.
여기서, 복호화단계(S1210)는 복호화부(710)의 동작에 대응될 수 있으며, 역양자화 및 역변환단계(S1220)는 역양자화 및 역변환부(720)의 동작에 대응되며, 인터예측단계(S1230)는 인터예측부(740)의 동작에 대응되며, 가산단계(S1240)는 가산부(750)의 동작에 대응될 수 있으므로 상세한 설명은 생략한다.
본 발명의 제2 실시예에 따른 영상 복호화 방법은, 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하는 복호화단계(S1310), 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환단계(S1320), 주변블록으로부터 현재블록의 분할정보를 추출하고 분할정보에 따라 파티션별로 현재 블록을 예측하여 예측 블록을 생성하는 인터예측단계(S1330) 및 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 가산단계(S1340)를 포함한다.
여기서, 복호화단계(S1310)는 복호화부(710)의 동작에 대응될 수 있으며, 역양자화 및 역변환단계(S1320)는 역양자화 및 역변환부(720)의 동작에 대응되며, 인터예측단계(S1330)는 인터예측부(740)의 동작에 대응되며, 가산단계(S1340)는 가산부(750)의 동작에 대응될 수 있으므로 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 본 발명의 일 실시예에 따른 영상 부호화 방법과 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.
본 발명의 일 실시예에 따른 영상을 부호화/복호화하는 방법은, 현재블록을 하나 이상의 곡선을 이용하여 복수의 파티션으로 분할하고 분할된 파티션별로 예측을 수행하여 예측블록으로 생성하고, 현재 블록에서 예측 블록을 감산하여 잔여 블록을 생성하고 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하고 변환 및 양자화된 잔여 블록을 부호화하는 영상 부호화단계; 및 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하고 복원된 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하고 주변블록의 정보 또는 부호화 데이터로부터 분할정보를 추출하고 분할정보에 따라 파티션별로 현재 블록을 예측하여 예측 블록을 생성하고 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 영상 복호화단계를 포함한다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 데이터 압축 장치의 움직임 영상 예측 과정에 있어서 현재 블록의 영상을 이전 영상으로부터 효율적으로 예측하기 위해 종래의 정형화된 직사각형 형태의 블록 이외의 다양한 형태로 블록을 분할하여 비디오 데이터 압축의 성능을 더욱 향상시킴으로써 더욱 우수한 복원 화질을 얻는 효과가 있어 산업상 이용가능성이 크다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2010년 7월 29일 한국에 출원한 특허출원번호 제10-2010-0073208호에 대해 미국 특허법 119(a)조(35 U.S.C §119(a))에 따라 우선권을 주장하며, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (56)

  1. 영상을 부호화/복호화하는 장치에 있어서,
    현재블록을 하나 이상의 곡선을 이용하여 복수의 파티션으로 분할하고 상기 분할된 파티션별로 예측을 수행하여 예측블록으로 생성하고, 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하고 상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하고 상기 변환 및 양자화된 잔여 블록을 부호화하는 영상 부호화기; 및
    부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하고 복원된 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하고 주변블록의 정보 또는 상기 부호화 데이터로부터 분할정보를 추출하고 상기 분할정보에 따라 파티션별로 현재 블록을 예측하여 예측 블록을 생성하고 상기 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 영상 복호화기
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치.
  2. 영상을 부호화하는 장치에 있어서,
    현재블록의 두변 상의 점을 잇는 하나 이상의 선분의 집합으로 현재블록을 분할하여 분할후보를 생성하고, 각 분할후보에 대하여 상기 하나 이상의 선분으로 분할된 현재블록의 파티션별 예측을 수행하여 후보블록을 생성하고, 생성된 후보블록 중에서 현재블록과 가장 유사한 화소값을 갖는 후보블록을 예측블록으로 생성하는 인터예측부;
    상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산부;
    상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화부; 및
    상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 2항에 있어서,
    상기 하나 이상의 선분은,
    서로 교차하지 않는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 2항에 있어서,
    상기 파티션별 예측은,
    상기 현재블록 내의 파티션의 위치와 동일한 위치의 파티션에 대하여 예측을 수행하는 것을 특징으로 하는 영상 부호화 장치.
  5. 제 2항에 있어서,
    상기 부호화부는,
    상기 하나 이상의 선분에 대한 정보를 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  6. 영상을 부호화하는 장치에 있어서,
    현재블록에서 기설정 갯수의 특징점을 추출하고 상기 특징점의 분포와 유사한 특징점 분포를 갖는 매칭블록을 선택하여 예측블록으로 생성하는 인터예측부;
    상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산부;
    상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화부; 및
    상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 6항에 있어서,
    상기 부호화부는,
    상기 특징점에 대한 정보를 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  8. 제 7항에 있어서,
    상기 특징점에 대한 정보는,
    상기 특징점에 대한 위치정보인 것을 특징으로 하는 영상 부호화 장치.
  9. 제 7항에 있어서,
    상기 특징점에 대한 정보는,
    인접하는 상기 특징점 사이를 잇는 선분의 집합과 가장 적은 오차를 갖는 함수의 계수인 것을 특징으로 하는 영상 부호화 장치.
  10. 영상을 부호화하는 장치에 있어서,
    주변블록의 움직임벡터로부터 예측움직임 벡터를 생성하고 상기 예측움직임 벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 인터예측부;
    상기 현재 블록에서 상기 예측 블록을 감산하여 변환 및 양자화된 잔여 블록을 생성하는 감산부;
    상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화부; 및
    상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  11. 제 10항에 있어서,
    상기 분할정보는,
    상기 예측움직임 벡터가 참조하는 블록을 분할하는 선분의 위치정보인 것을 특징으로 하는 영상 부호화 장치.
  12. 제 10항에 있어서,
    상기 분할정보는,
    상기 예측움직임 벡터가 참조하는 블록의 특징점에 대한 위치정보인 것을 특징으로 하는 영상 부호화 장치.
  13. 영상을 부호화하는 장치에 있어서,
    주변블록의 화소정보를 이용하여 기준 템플릿을 생성하고 기부호화된 블록으로부터 상기 기준 템플릿과 가장 적은 오차를 갖는 화소값을 갖는 예측 템플릿을 추출하고 상기 예측 템플릿의 중심 블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 인터예측부;
    예측블록으로 선택하는 인터예측부;
    상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산부;
    상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화부; 및
    상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  14. 제 13항에 있어서,
    상기 분할정보는,
    상기 중심 블록을 분할하는 선분의 위치정보인 것을 특징으로 하는 영상 부호화 장치.
  15. 제 13항에 있어서,
    상기 분할정보는,
    상기 중심 블록의 특징점에 대한 위치정보인 것을 특징으로 하는 영상 부호화 장치.
  16. 영상을 복호화하는 장치에 있어서,
    부호화 데이터를 수신하여 현재블록의 분할정보와 변환 및 양자화된 잔여블록을 복원하는 복호화부;
    상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환기;
    상기 분할정보에 따라 파티션별로 상기 현재 블록을 예측하여 예측 블록을 생성하는 인터예측부; 및
    상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  17. 제 16항에 있어서,
    상기 인터예측부는,
    상기 분할정보로부터 현재블록의 두변 상의 점을 잇는 하나 이상의 선분을 추출하여 현재블록의 파티션을 생성하고, 상기 파티션별로 예측을 수행하여 예측블록으로 생성하는 것을 특징으로 하는 영상 복호화 장치.
  18. 제 17항에 있어서,
    상기 파티션별로 수행하는 예측은,
    상기 현재블록 내의 파티션의 위치와 동일한 위치의 파티션에 대하여 예측을 수행하는 것을 특징으로 하는 영상 복호화 장치.
  19. 제 16항에 있어서,
    상기 인터예측부는,
    상기 분할정보로부터 현재블록에서 기설정 갯수의 특징점을 추출하고 상기 특징점의 분포와 유사한 특징점 분포를 갖는 매칭블록을 선택하여 예측블록으로 생성하는 것을 특징으로 하는 영상 복호화 장치.
  20. 제 19항에 있어서,
    상기 특징점에 대한 정보는,
    상기 특징점에 대한 위치정보인 것을 특징으로 하는 영상 복호화 장치.
  21. 제 19항에 있어서,
    상기 특징점에 대한 정보는,
    인접하는 상기 특징점 사이를 잇는 선분의 집합과 가장 적은 오차를 갖는 함수의 계수인 것을 특징으로 하는 영상 복호화 장치.
  22. 영상을 복호화하는 장치에 있어서,
    부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하는 복호화부;
    상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환기;
    주변블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 파티션별로 상기 현재 블록을 예측하여 예측 블록을 생성하는 인터예측부; 및
    상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  23. 제 22항에 있어서,
    상기 인터예측부는,
    주변블록의 움직임벡터로부터 예측움직임 벡터를 생성하고 상기 예측움직임 벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 것을 특징으로 하는 영상 복호화 장치.
  24. 제 23항에 있어서,
    상기 분할정보는,
    상기 예측움직임 벡터가 참조하는 블록을 분할하는 선분의 위치정보인 것을 특징으로 하는 영상 복호화 장치.
  25. 제 23항에 있어서,
    상기 분할정보는,
    상기 예측움직임 벡터가 참조하는 블록의 특징점에 대한 위치정보인 것을 특징으로 하는 영상 복호화 장치.
  26. 제 22항에 있어서,
    상기 인터예측부는,
    주변블록의 화소정보를 이용하여 기준 템플릿을 생성하고 기부호화된 블록으로부터 상기 기준 템플릿과 가장 적은 오차를 갖는 화소값을 갖는 예측 템플릿을 추출하고 상기 예측 템플릿의 중심 블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 것을 특징으로 하는 영상 복호화 장치.
  27. 제 26항에 있어서,
    상기 분할정보는,
    상기 중심 블록을 분할하는 선분의 위치정보인 것을 특징으로 하는 영상 복호화 장치.
  28. 제 26항에 있어서,
    상기 분할정보는,
    상기 중심 블록의 특징점에 대한 위치정보인 것을 특징으로 하는 영상 복호화 장치.
  29. 영상을 부호화/복호화하는 방법에 있어서,
    현재블록을 하나 이상의 곡선을 이용하여 복수의 파티션으로 분할하고 상기 분할된 파티션별로 예측을 수행하여 예측블록으로 생성하고, 상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하고 상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하고 상기 변환 및 양자화된 잔여 블록을 부호화하는 영상 부호화단계; 및
    부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하고 복원된 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하고 주변블록의 정보 또는 상기 부호화 데이터로부터 분할정보를 추출하고 상기 분할정보에 따라 파티션별로 현재 블록을 예측하여 예측 블록을 생성하고 상기 복원되는 잔여 블록과 예측 블록을 가산하여 현재 블록을 복원하는 영상 복호화단계
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법.
  30. 영상을 부호화하는 방법에 있어서,
    현재블록의 두변 상의 점을 잇는 하나 이상의 선분의 집합으로 현재블록을 분할하여 분할후보를 생성하고, 각 분할후보에 대하여 상기 하나 이상의 선분으로 분할된 현재블록의 파티션별 예측을 수행하여 후보블록을 생성하고, 생성된 후보블록 중에서 현재블록과 가장 유사한 화소값을 갖는 후보블록을 예측블록으로 생성하는 인터예측단계;
    상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산단계;
    상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화단계; 및
    상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  31. 제 30항에 있어서,
    상기 하나 이상의 선분은,
    서로 교차하지 않는 것을 특징으로 하는 영상 부호화 방법.
  32. 제 30항에 있어서,
    상기 파티션별 예측은,
    상기 현재블록 내의 파티션의 위치와 동일한 위치의 파티션에 대하여 예측을 수행하는 것을 특징으로 하는 영상 부호화 방법.
  33. 제 30항에 있어서,
    상기 부호화단계에서는,
    상기 하나 이상의 선분에 대한 정보를 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  34. 영상을 부호화하는 방법에 있어서,
    현재블록에서 기설정 갯수의 특징점을 추출하고 상기 특징점의 분포와 유사한 특징점 분포를 갖는 매칭블록을 선택하여 예측블록으로 생성하는 인터예측단계;
    상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산단계;
    상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화단계; 및
    상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  35. 제 34항에 있어서,
    상기 부호화단계에서는,
    상기 특징점에 대한 정보를 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  36. 제 35항에 있어서,
    상기 특징점에 대한 정보는,
    상기 특징점에 대한 위치정보인 것을 특징으로 하는 영상 부호화 방법.
  37. 제 35항에 있어서,
    상기 특징점에 대한 정보는,
    인접하는 상기 특징점 사이를 잇는 선분의 집합과 가장 적은 오차를 갖는 함수의 계수인 것을 특징으로 하는 영상 부호화 방법.
  38. 영상을 부호화하는 방법에 있어서,
    주변블록의 움직임벡터로부터 예측움직임 벡터를 생성하고 상기 예측움직임 벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 인터예측단계;
    상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산단계;
    상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화단계; 및
    상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  39. 제 38항에 있어서,
    상기 분할정보는,
    상기 예측움직임 벡터가 참조하는 블록을 분할하는 선분의 위치정보인 것을 특징으로 하는 영상 부호화 방법.
  40. 제 38항에 있어서,
    상기 분할정보는,
    상기 예측움직임 벡터가 참조하는 블록의 특징점에 대한 위치정보인 것을 특징으로 하는 영상 부호화 방법.
  41. 영상을 부호화하는 방법에 있어서,
    주변블록의 화소정보를 이용하여 기준 템플릿을 생성하고 기부호화된 블록으로부터 상기 기준 템플릿과 가장 적은 오차를 갖는 화소값을 갖는 예측 템플릿을 추출하고 상기 예측 템플릿의 중심 블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 인터예측단계;
    상기 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 감산단계;
    상기 잔여 블록을 변환 및 양자화하여 변환 및 양자화된 잔여 블록을 생성하는 변환 및 양자화단계; 및
    상기 변환 및 양자화된 잔여 블록을 부호화하는 부호화단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  42. 제 41항에 있어서,
    상기 분할정보는,
    상기 중심 블록을 분할하는 선분의 위치정보인 것을 특징으로 하는 영상 부호화 방법.
  43. 제 41항에 있어서,
    상기 분할정보는,
    상기 중심 블록의 특징점에 대한 위치정보인 것을 특징으로 하는 영상 부호화 방법.
  44. 영상을 복호화하는 방법에 있어서,
    부호화 데이터를 수신하여 현재블록의 분할정보와 변환 및 양자화된 잔여블록을 복원하는 복호화단계;
    상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환단계;
    상기 분할정보에 따라 파티션별로 상기 현재 블록을 예측하여 예측 블록을 생성하는 인터예측단계; 및
    상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  45. 제 44항에 있어서,
    상기 인터예측단계에서는,
    상기 분할정보로부터 현재블록의 두변 상의 점을 잇는 하나 이상의 선분을 추출하여 현재블록의 파티션을 생성하고, 상기 파티션별로 예측을 수행하여 예측블록으로 생성하는 것을 특징으로 하는 영상 복호화 방법.
  46. 제 45항에 있어서,
    상기 파티션별로 수행하는 예측은,
    상기 현재블록 내의 파티션의 위치와 동일한 위치의 파티션에 대하여 예측을 수행하는 것을 특징으로 하는 영상 복호화 방법.
  47. 제 44항에 있어서,
    상기 인터예측단계에서는,
    상기 분할정보로부터 현재블록에서 기설정 갯수의 특징점을 추출하고 상기 특징점의 분포와 유사한 특징점 분포를 갖는 매칭블록을 선택하여 예측블록으로 생성하는 것을 특징으로 하는 영상 복호화 방법.
  48. 제 47항에 있어서,
    상기 특징점에 대한 정보는,
    상기 특징점에 대한 위치정보인 것을 특징으로 하는 영상 복호화 방법.
  49. 제 47항에 있어서,
    상기 특징점에 대한 정보는,
    인접하는 상기 특징점 사이를 잇는 선분의 집합과 가장 적은 오차를 갖는 함수의 계수인 것을 특징으로 하는 영상 복호화 방법.
  50. 영상을 복호화하는 방법에 있어서,
    부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하는 복호화단계;
    상기 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원하는 역양자화 및 역변환단계;
    주변블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 파티션별로 상기 현재 블록을 예측하여 예측 블록을 생성하는 인터예측단계; 및
    상기 복원되는 잔여 블록과 상기 예측 블록을 가산하여 상기 현재 블록을 복원하는 가산단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  51. 제 50항에 있어서,
    상기 인터예측단계에서는,
    주변블록의 움직임벡터로부터 예측움직임 벡터를 생성하고 상기 예측움직임 벡터가 참조하는 블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 것을 특징으로 하는 영상 복호화 방법.
  52. 제 51항에 있어서,
    상기 분할정보는,
    상기 예측움직임 벡터가 참조하는 블록을 분할하는 선분의 위치정보인 것을 특징으로 하는 영상 복호화 방법.
  53. 제 51항에 있어서,
    상기 분할정보는,
    상기 예측움직임 벡터가 참조하는 블록의 특징점에 대한 위치정보인 것을 특징으로 하는 영상 복호화 방법.
  54. 제 50항에 있어서,
    상기 인터예측단계에서는,
    주변블록의 화소정보를 이용하여 기준 템플릿을 생성하고 기부호화된 블록으로부터 상기 기준 템플릿과 가장 적은 오차를 갖는 화소값을 갖는 예측 템플릿을 추출하고 상기 예측 템플릿의 중심 블록으로부터 현재블록의 분할정보를 추출하고 상기 분할정보에 따라 현재블록을 예측하여 예측블록을 생성하는 것을 특징으로 하는 영상 복호화 방법.
  55. 제 54항에 있어서,
    상기 분할정보는,
    상기 중심 블록을 분할하는 선분의 위치정보인 것을 특징으로 하는 영상 복호화 방법.
  56. 제 54항에 있어서,
    상기 분할정보는,
    상기 중심 블록의 특징점에 대한 위치정보인 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2011/005620 2010-07-29 2011-07-29 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치 WO2012015275A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/812,026 US9973750B2 (en) 2010-07-29 2011-07-29 Method and device for image encoding/decoding using block split prediction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100073208A KR101681303B1 (ko) 2010-07-29 2010-07-29 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
KR10-2010-0073208 2010-07-29

Publications (2)

Publication Number Publication Date
WO2012015275A2 true WO2012015275A2 (ko) 2012-02-02
WO2012015275A3 WO2012015275A3 (ko) 2012-05-03

Family

ID=45530632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/005620 WO2012015275A2 (ko) 2010-07-29 2011-07-29 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US9973750B2 (ko)
KR (1) KR101681303B1 (ko)
WO (1) WO2012015275A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105594212A (zh) * 2013-07-24 2016-05-18 三星电子株式会社 用于确定运动矢量的方法及其设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101956284B1 (ko) * 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
EP2854399B1 (en) 2012-06-19 2017-11-22 LG Electronics Inc. Method and device for processing video signal
WO2014003421A1 (ko) * 2012-06-25 2014-01-03 한양대학교 산학협력단 비디오 부호화 및 복호화를 위한 방법
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
JP6542206B2 (ja) * 2013-10-18 2019-07-10 エルジー エレクトロニクス インコーポレイティド マルチビュービデオをデコードするビデオデコード方法及び装置
WO2016123001A1 (en) * 2015-01-27 2016-08-04 Dolby International Ab Predictive image encoding and decoding with pixel group based quantization
CN116915996A (zh) 2016-04-29 2023-10-20 世宗大学校产学协力团 视频信号编码/解码方法和设备
KR102365937B1 (ko) * 2016-04-29 2022-02-22 세종대학교산학협력단 영상 신호 부호화/복호화 방법 및 장치
US11381829B2 (en) 2016-08-19 2022-07-05 Lg Electronics Inc. Image processing method and apparatus therefor
WO2018128466A1 (ko) * 2017-01-09 2018-07-12 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
KR20180082330A (ko) 2017-01-09 2018-07-18 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
EP3673651A4 (en) * 2017-08-22 2020-07-01 Panasonic Intellectual Property Corporation of America IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD
WO2020259476A1 (en) * 2019-06-24 2020-12-30 Huawei Technologies Co., Ltd. Sample distance calculation for geometric partition mode
CN112702599B (zh) * 2020-12-24 2022-05-20 重庆理工大学 一种基于深度学习的vvc帧内快速编码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0181063B1 (ko) * 1995-04-29 1999-05-01 배순훈 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치
KR0178230B1 (ko) * 1995-08-08 1999-05-01 배순훈 특징점에 의한 움직임 추정을 이용한 영상 처리 장치
KR100235345B1 (ko) * 1994-12-29 1999-12-15 전주범 분할영역에서의 움직임 추정방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2050279B1 (en) * 2006-08-02 2018-08-29 Thomson Licensing Adaptive geometric partitioning for video decoding
JP2008199587A (ja) * 2007-01-18 2008-08-28 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置および方法
KR101366093B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP2010135864A (ja) * 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置
KR20100053186A (ko) * 2008-11-12 2010-05-20 삼성전자주식회사 썸네일 생성 방법 및 화상형성장치
CN101931803B (zh) * 2009-06-26 2013-01-09 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法
US8873626B2 (en) * 2009-07-02 2014-10-28 Qualcomm Incorporated Template matching for video coding
CN102648631B (zh) * 2009-12-01 2016-03-30 数码士控股有限公司 用于编码/解码高分辨率图像的方法和设备
JP2014501091A (ja) * 2010-12-17 2014-01-16 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート インター予測方法及びその装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100235345B1 (ko) * 1994-12-29 1999-12-15 전주범 분할영역에서의 움직임 추정방법 및 장치
KR0181063B1 (ko) * 1995-04-29 1999-05-01 배순훈 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치
KR0178230B1 (ko) * 1995-08-08 1999-05-01 배순훈 특징점에 의한 움직임 추정을 이용한 영상 처리 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105594212A (zh) * 2013-07-24 2016-05-18 三星电子株式会社 用于确定运动矢量的方法及其设备
CN105594212B (zh) * 2013-07-24 2019-04-16 三星电子株式会社 用于确定运动矢量的方法及其设备

Also Published As

Publication number Publication date
US20130202030A1 (en) 2013-08-08
US9973750B2 (en) 2018-05-15
WO2012015275A3 (ko) 2012-05-03
KR20120011428A (ko) 2012-02-08
KR101681303B1 (ko) 2016-12-01

Similar Documents

Publication Publication Date Title
WO2012015275A2 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2010050706A2 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011052897A2 (ko) 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011062392A2 (ko) 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013005941A2 (ko) 영상 부호화 및 복호화 방법과 장치
WO2012077960A2 (ko) 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
WO2012099440A2 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2012046979A2 (ko) 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2012081917A2 (ko) 움직임정보 병합을 이용한 부호움직임정보생성/움직임정보복원 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2013141671A1 (ko) 인터 레이어 인트라 예측 방법 및 장치
WO2010044569A2 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013069996A1 (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2011111954A2 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012077959A2 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
WO2010077071A2 (ko) 블록 모드 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011037337A2 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
WO2011052990A2 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
WO2012011683A2 (ko) 주파수변환단위 분할부호화 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
WO2011053054A2 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11812804

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13812026

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17/05/2013)

122 Ep: pct application non-entry in european phase

Ref document number: 11812804

Country of ref document: EP

Kind code of ref document: A2