KR20140120887A - 이미지의 블록을 인코딩하는 방법 및 장치, 및 대응하는 복원 방법 및 장치 - Google Patents

이미지의 블록을 인코딩하는 방법 및 장치, 및 대응하는 복원 방법 및 장치 Download PDF

Info

Publication number
KR20140120887A
KR20140120887A KR1020147019068A KR20147019068A KR20140120887A KR 20140120887 A KR20140120887 A KR 20140120887A KR 1020147019068 A KR1020147019068 A KR 1020147019068A KR 20147019068 A KR20147019068 A KR 20147019068A KR 20140120887 A KR20140120887 A KR 20140120887A
Authority
KR
South Korea
Prior art keywords
block
reference block
additional
image
residual
Prior art date
Application number
KR1020147019068A
Other languages
English (en)
Inventor
싸파 쉐리기
크리스띤 기유모
도미니끄 또로
필립쁘 기요?
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20140120887A publication Critical patent/KR20140120887A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 이미지 블록 인코딩 및 디코딩에 관한 것이다. 더 상세하게, 본 발명은 이미지의 레퍼런스 블록들을 이용한 블록 예측에 관한 것이다. 프로세싱 수단을 이용해서, 적어도 블록을 이용하여 이미지의 이미 인코딩된 부분에서 하나의 레퍼런스 블록을 결정하는 단계, 이미지의 부분을 인코딩 및 복원하는 단계, 적어도 블록을 이용하여 복원된 부분에서 하나의 레퍼런스 블록 및 그 하나의 레퍼런스 블록을 참조하는 벡터를 결정하는 단계, 하나의 레퍼런스 블록을 이용하여 복원된 부분에서 적어도 하나의 추가 레퍼런스 블록을 결정하는 단계, 및 하나의 레퍼런스 블록과 적어도 하나의 추가 레퍼런스 블록의 조합에 관하여 블록의 레지듀얼 및 결정된 벡터를 인코딩하는 단계를 포함하는 방법이 제안된다. 하나의 레퍼런스 블록의 결정을 위해 블록을 이용하는 것은, 블록과 유사하고 블록과의 상관관계가 유지되도록 선택할 수 있게 한다.

Description

이미지의 블록을 인코딩하는 방법 및 장치, 및 대응하는 복원 방법 및 장치{METHOD AND DEVICE FOR ENCODING A BLOCK OF AN IMAGE AND CORRESPONDING RECONSTRUCTING METHOD AND DEVICE}
본 발명은 이미지 블록 인코딩 및 복원에 관한 것이다. 더 상세하게, 본 발명은 이미지의 레퍼런스 블록들을 이용한 블록 예측에 관한 것이다.
네이버 임베딩(Neighbour embedding)은 이미지 블록들의 레지듀얼(residual) 인코딩 및 레지듀얼 인코딩된 이미지 블록들의 복원을 위한 예측들을 결정하는데 사용되는 기술이다.
네이버 임베딩에 있어서, 레퍼런스 블록들은 블록의 예측 또는 근사화를 위해 결합되는 것으로 결정되며, 레퍼런스 블록들의 결정은 블록의 공간적 이웃과 레퍼런스 블록들의 공간적 이웃들의 유사도에 기반한다. 2개 블록들 간의 유사도는 그 시맨틱 콘텐츠(semantic contents)가 유사함을 의미한다.
이러한 근사화 또는 예측은 인코더측 및 디코더측에서 동일한 방식으로 발생할 수 있으며, 예측의 레지듀얼만이 인코더로부터 디코더로 전달 또는 전송된다.
이웃들의 유사도에 유일하게 기반하여 결정되는 레퍼런스 블록들에 대해, 본 발명자들은 블록과의 상관관계의 잠재적인 결여를 인식했다.
따라서, 이미지의 블록을 인코딩하기 위해, 청구항 제1항에 따른 방법 및 청구항 제9항에 따른 장치가 제안된다. 상기 방법은 프로세싱 수단을 이용하여, 이미지의 부분을 인코딩 및 복원하는 단계, 적어도 블록을 이용하여 복원된 부분에서 하나의 레퍼런스 블록 및 그 하나의 레퍼런스 블록을 참조하는 벡터를 결정하는 단계, 하나의 레퍼런스 블록을 이용하여 복원된 부분에서 적어도 하나의 추가 레퍼런스 블록을 결정하는 단계, 및 하나의 레퍼런스 블록과 적어도 하나의 추가 레퍼런스 블록의 조합에 관하여 블록의 레지듀얼 및 결정된 벡터를 인코딩하는 단계를 포함한다.
하나의 레퍼런스 블록의 결정을 위해 블록을 이용하는 것은, 블록과 유사하고 블록과의 상관관계가 유지되도록 선택할 수 있게 한다.
일 실시예에 있어서, 블록에 인접한 복원된 이웃이 또한, 하나의 레퍼런스 블록을 결정하기 위해 사용된다.
이 실시예 또는 다른 실시예에 있어서, 하나의 레퍼런스 블록에 인접한 복원된 이웃이 또한, 적어도 하나의 추가 레퍼런스 블록을 결정하기 위해 사용된다.
추가 실시예들에 있어서, 하나의 레퍼런스 블록과 적어도 하나의 추가 레퍼런스 블록의 조합은 가중된 선형 조합일 수 있다. 예를 들어, 상기 가중된 선형 조합을 위한 가중치들은 제한된 최소 제곱 문제(constrained least square problem) 또는 비-로컬 평균 문제(non local mean problem)를 푸는 것에 의해 결정될 수 있다.
상기 가중된 선형 조합을 위한 가중치들 중 어느 하나는 블록에 인접한 이웃 및 적어도 하나의 추가 블록에 인접한 하나의 이웃 및 적어도 하나의 추가 이웃으로부터 결정된다.
또는, 상기 가중된 선형 조합을 위한 가중치들은 블록 그리고 하나의 레퍼런스 블록 및 적어도 하나의 추가 레퍼런스 블록을 이용하여 결정되고, 결정된 가중치들은 인코딩된다.
제한된 최소 제곱 문제의 경우, 솔루션은 국부적으로 선형인 임베딩(locally linear embedding) 또는 비-네거티브 매트릭스 인수분해(non-negative matrix factorization)를 이용하여 결정될 수 있다.
더 추가의 실시예들에 있어서, 적어도 블록은 복원된 부분에서의 적어도 하나의 다른 레퍼런스 블록, 및 적어도 하나의 다른 레퍼런스 블록을 참조하는 적어도 하나의 다른 벡터를 결정하는데 사용된다. 적어도 하나의 다른 레퍼런스 블록에 인접한 적어도 하나의 다른 이웃은 복원된 부분에서의 적어도 하나의 추가 다른 레퍼런스 블록을 결정하는데 사용되고, 하나의 다른 레퍼런스 블록과 적어도 하나의 추가 다른 레퍼런스 블록의 추가의 가중된 선형 조합에 관한 블록의 추가 레지듀얼의 비용은 레지듀얼의 비용보다 더 높다고 결정되며, 레지듀얼 및 추가 레지듀얼의 비용들은 예측 비용들 또는 레이트 왜곡 비용들(rate-distortion-costs)이다.
이미지의 블록을 복원하기 위해, 청구항 제10항에 따른 방법 및 청구항 제15항에 따른 장치가 제안된다. 이미지의 블록을 복원하는 방법은 프로세싱 수단을 이용해서, 이미지의 부분을 복원하는 단계, 블록의 인코딩된 레지듀얼을 디코딩하고 복원된 부분에서의 레퍼런스 블록을 참조하는 인코딩된 벡터를 디코딩하는 단계, 레퍼런스 블록을 이용하여 복원된 부분에서 적어도 하나의 추가 레퍼런스 블록을 결정하는 단계, 및 레퍼런스 블록과 적어도 하나의 추가 레퍼런스 블록의 조합과 레지듀얼을 결합함으로써 블록을 복원하는 단계를 포함한다.
추가의 유리한 실시예들의 특징들이 종속항들에서 명시된다.
본 발명의 예시적인 실시예들은 도면들에 도시되고 다음의 설명에서 더 상세히 설명된다. 예시적인 실시예들은 단지 본 발명을 상술하기 위해서만 설명될 뿐, 청구항들에 정의된 본 발명의 개시 또는 범위를 한정하기 위한 것은 아니다.
도 1은 종래 기술의 네이버 임베딩을 도시한다.
도 2는 맵 보조식 네이버 임베딩의 예시적인 실시예를 도시한다.
도 3은 최적화된 맵 보조식 네이버 임베딩의 예시적인 실시예를 도시한다.
본 발명은, 대응하여 적응되는 프로세싱 장치를 포함하는 임의의 전자 장치상에서 실현될 수 있다. 예를 들어, 본 발명은 텔레비전, 모바일 전화기, 퍼스널 컴퓨터, 디지털 스틸 카메라, 디지털 비디오 카메라, 네비게이션 시스템 또는 비디오 오디오 시스템에서 실현될 수 있다.
종래 기술에 따르면, 레퍼런스 블록들(RB1, RB2, RB3)은 레퍼런스 블록들 (RB1, RB2, RB3)에 인접한 템플릿들(MT1, MT2, MT3)이 인코딩될 또는 복원될 블록(BLK)에 인접한 템플릿(TPL)과 매우 유사하도록 결정된다. 이는 도 1에 예시적으로 도시되며, 여기서, 이미지(IMG)의 회색 영역은, 인코더측에서 예측에 사용을 위해 인코딩 이후 및 디코더측에서 복원에 사용을 위해, 이미 복원되었고, 여기서 이미지(IMG)의 백색 영역이 이제 인코딩되거나 복원된다.
네이버 임베딩 방법들의 제안된 개선의 예시적인 실시예에 있어서, 벡터(VEC)는 예측될 현재 블록(BLK)의 텍스처 정보를 고려하는데 사용된다.
즉, 하나의 레퍼런스 블록(RB1)은, 인코더측에서 레퍼런스 벡터(VEC)의 블록 매칭 및 인코딩에 의해 그리고 디코더측에서 인코딩된 레퍼런스 벡터(VEC)의 디코딩에 의해, 현재 블록(BLK)과 유사하도록 결정된다. 블록들의 유사도 또는 유사성은 예를 들어, 유클리드 거리를 이용하여 측정될 수 있으며, 탐색 영역에 있어서의 최소 거리가 가장 근접한 매칭으로서 간주될 수 있다. 탐색 영역은 전체 복원된 이미지이거나 또는 그 부분일 수 있다.
그 후, 적어도 하나의 추가 레퍼런스 블록(RB2, RB3)이 디코더측에서와 동일한 방식으로 인코더측에서 결정된다. 즉, 적어도 제2 레퍼런스 블록(RB2, RB3)이 하나의 레퍼런스 블록(RB1)과 유사하도록 결정된다.
가중치들의 쌍은, 결정된 가중치들을 이용하여 하나의 레퍼런스 블록의 적어도 하나의 추가 레퍼런스 블록과의 가중된 선형 조합에 관하여 예측될 블록의 레지듀얼의 인코딩의 레이트 왜곡 비용들을 최소화하도록 결정될 수 있다. 그 후, 결정된 가중치들은 판정가능성(decidability)을 가능케 하도록 인코딩되어야 한다.
도 2에 예시적으로 도시된 추가의 예시적인 실시예에 있어서, 하나의 레퍼런스 블록(RB1)은, 하나의 레퍼런스 블록(RB1)에 인접한 하나의 레퍼런스 이웃을 포함하는 하나의 레퍼런스 패치(FMP)가 현재 블록(BLK) 및 현재 블록의 대응하는 이웃을 포함하는 패치(PTC)와 유사하도록 결정된다. 이웃들의 형상 및 위치는 단지 예시의 목적으로 도 2에 도시되며, 다른 형상들 및 위치들이 가능하다.
또다른 추가의 예시적인 실시예에 있어서, 제2 레퍼런스 블록(RB2)은, 제2 레퍼런스 블록(RB2) 및 제2 레퍼런스 이웃을 포함하는 제2 레퍼런스 패치(MP2)가 하나의 레퍼런스 패치(FMP)와 유사하도록 결정된다.
이들 개념들은 k개의 패치들의 선택을 향해 확장될 수 있으며, 여기서, 블록은 k개의 패치들에 있어서 k개의 블록들의 가중된 선형 조합을 이용하여 예측된다. k개의 패치들 중 하나는, 하나의 패치에 포함된 적어도 하나의 레퍼런스 블록이 예측될 블록과 유사하도록 결정된다. 또는, k개의 패치들 중 하나는, 예측될 블록을 포함하는 대응하는 패치와 유사하도록 결정된다.
그 후, 나머지 (k-1)개의 패치들은, 나머지 패치들에 더 포함된 레퍼런스 이웃들이 k개의 패치들 중 하나에 포함된 이웃과 유사하도록 결정된다. 또는, 도 2에 예시적으로 도시된 바와 같이, 그 후, 나머지 (k-1)개의 패치들은 k개의 패치들 중 하나와 유사하도록 결정된다.
패치들은, 매트릭스에 스택(stack)될 때(각각의 패치가 벡터화됨), 가중 계수들을 계산하는 데 더욱 도움이 될 수 있다. 패치들은 예측될 블록의 이웃의 템플릿 픽셀들을 근사화하도록 선택된다. 이는, 예측될 블록의 미지의 픽셀들을 추정하기 위해 더 우수하게 적응되는 패치들의 세트 및 대응하는 가중 벡터를 획득할 수 있게 한다. 템플릿 픽셀들에 기초할 경우, 오직 가중치들만이 인코더측 및 디코더측에서 동일한 방식으로 결정될 수 있다.
k개의 패치들로 확장된 개념의 예시적인 실시예는, 예측될 입력 블록의 k개의 패치들의 2단계 탐색에 의해 진행하는 소위 맵 보조식 네이버 임베딩 방법(MANE; Map-Aided Neighbour Embedding)이다.
제1 단계는, 블록 매칭(BM) 실시예를 이용하여, 예측될 블록 플러스 그 대응하는 이웃을 포함하는 현재 패치의 가장 근접한 유사 레퍼런스 패치를 탐색하는 것으로 이루어지고, 그 이웃은 또한 템플릿으로 지칭된다. 가장 근접한 유사 레퍼런스 패치는 예측될 블록을 포함하는 현재 패치를 이용하여 결정되기 때문에, 가장 근접한 레퍼런스 패치를 참조하는 벡터는 인코딩의 부분이다. 이 단계는 인코더측에서 수행된다. 디코더는 벡터를 디코딩하고, 그 벡터를 레퍼런스 패치를 결정하기 위해 이용한다.
제2 단계에 있어서, 실시예는 제1 단계에서 발견된 가장 근접한 유사 패치의 (k-1)개의 가장 근접한 매칭들인 (k-1)개의 추가 레퍼런스 패치들을 탐색한다. 이 단계는 인코딩 및 디코딩에 대해 동일한 방식으로 수행될 수 있다.
현재 패치 및 (k-1)개의 추가 레퍼런스 패치들의 가장 근접한 패치를 결정하는데 사용되는 거리는 현재 블록에 공동위치된 픽셀들 플러스 대응하는 템플릿 픽셀들을 포함한 전체 패치에 대해 계산된다.
후보 패치들이 (k-1)개의 가장 근접한 패치들을 결정하기 위해 랭킹될 수 있는 거리 척도들의 예들은, 입력 패치 및 후보 패치들 각각의 픽셀들에 의해 형성된 벡터들 간의 평균 제곱 오차 또는 유클리드 거리이다.
일단 k개의 패치들이 결정되었으면, 일 실시예에 있어서, 본 발명은, 예측될 블록의 선형 근사화에서 사용될 가중치들을 결정하기 위해, 예를 들어, LLE 또는 NMF 방법들을 각각 사용하여 제한된 최소 제곱 문제들을 푸는 것에 의해 진행한다.
가중치들은 상이하게 결정될 수 있다. 일 실시예에 있어서, 가중치들은, 결정된 가중치들을 이용하여 패치들에 포함된 레퍼런스 블록의 가중된 선형 조합에 관하여 예측될 블록의 레지듀얼의 인코딩의 레이트 왜곡 비용들을 최소화하도록 결정된다. 그 후, 결정된 가중치들은 복원을 가능케 하도록 인코딩되어야 한다.
매우 동일한 방식으로, 가중치들은, 결정된 가중치들을 이용하여 레퍼런스 패치들의 가중된 선형 조합에 관하여 예측될 블록 및 그 템플릿을 포함한 현재 패치의 레지듀얼의 인코딩의 레이트 왜곡 비용들을 최소화하도록 결정될 수 있다. 또다시, 결정된 가중치들은 복원을 가능케 하도록 인코딩되어야 한다.
대안적으로, 가중치들은, 결정된 가중치들을 이용하여 패치들에 포함된 레퍼런스 템플릿들의 가중된 선형 조합에 관하여 예측될 블록의 템플릿의 레지듀얼의 인코딩의 레이트 왜곡 비용들을 최소화하도록 결정될 수 있다. 이 경우, 가중치들은 인코더 및 디코더에 의해 동일한 방식으로 결정될 수 있으며, 가중치들을 인코딩하기 위한 필요성은 존재하지 않는다.
도 3에 예시적으로 도시된 바와 같이, 그 개념은 n개의 후보 세트들(DIC1, DIC2)을 향해 더 확장될 수 있으며, 이 n개의 후보 세트들 각각은 n=2에 대해 FMP1 및 FMP2로서 도 3에 예시적으로 도시된 k개의 패치들을 포함한다. 즉, 예측될 블록(BLK) 플러스 그 대응하는 이웃(TPL)을 포함하는 현재 패치(PTC)의 가장 근접한 레퍼런스 패치(FMP1)가 결정될 뿐아니라 현재 패치의 n개의 가장 근접한 레퍼런스 패치들(FMP1, FMP2)의 세트가 결정된다.
상기 n개의 가장 근접한 레퍼런스 패치들(FMP1, FMP2) 각각에 대해, 제안된 방법은 n개의 가장 근접한 레퍼런스 패치들(FMP1, FMP2)의 각자의 패치의 (k-1)개의 가장 근접한 매칭들인 (k-1)개의 추가 레퍼런스 패치들(MP21, MP22)을 탐색하는 것을 포함하고, 가중치들을 최소화하는 대응하는 레이트 왜곡 비용을 결정한다. 임의의 또다른 다른 후보 세트들보다 높지 않은 레이트 왜곡 비용을 발생시키는, n개의 후보 세트들 중 하나가 선택된다. 선택된 후보 세트의 가장 근접한 레퍼런스 패치를 참조하는 벡터들(VEC1, VEC2) 중 하나는 인코딩되거나 디코딩된 벡터이다.
레이트 왜곡 비용의 더 전역적인 최소화를 허용하는 것으로 인해, 결정된 가중치들을 이용하여 패치들에 포함된 레퍼런스 템플릿들의 가중된 선형 조합에 관하여 예측될 블록의 템플릿의 레지듀얼의 인코딩의 레이트 왜곡 비용들을 최소화하도록 결정된 가중치들을 이용하여 가중치들을 인코딩하는 임의의 필요성없이 양호한 예측들이 달성될 수 있다.
즉, 이 실시예의 근원적인 기본 사상은, 주어진 기준을 최소화할 "최적" 매칭 벡터를 통해 k개의 레퍼런스 패치들을 선택하는 것이다. 이에 의해, 사용된 매칭 벡터는 종래 기술의 네이버 임베딩 기반 예측보다 더 우수하게 적응된 레퍼런스 블록들을 찾는 것을 도울 것이다.
k개의 패치들로 확장된 개념의 예시적인 실시예는, 블록 예측을 위한 가중된 선형 조합에 결합될 k개의 블록들의 3단계 탐색을 수행하는 소위 oMANE(최적화된 맵 보조식 이웃 임베딩; optimized Map-Aided Neighbourhood Embedding) 실시예이다:
1) 블록(BLK) 및 인접한 이웃 또는 템플릿(TPL)을 포함한 패치(PTC)의 L개의 레퍼런스 패치들(FMP1, FMP2)이 결정된다. L개의 레퍼런스 패치들(FMP1, FMP2)은 임베딩 예측 오차에 기반한 거리 척도, 예를 들어, 유클리드 거리의 관점에서 패치(PTC)와 가장 근접하게 유사한 패치들이다. 각각의 레퍼런스 패치(FMP1, FMP2)는 각자의 레퍼런스 벡터(VEC1, VEC2)와 연관된다.
2) 단계 1에서 발견된 각각의 레퍼런스 패치(FMP1, FMP2)에 대해, 레퍼런스 패치(FMP1, FMP2)에 포함된 각자의 레퍼런스 블록(RB11, RB12) 및 레퍼런스 패치(FMP1, FMP2)와 매칭 또는 유사한 추가 패치들(MP12, MP22)에 포함된 (k-1)개의 추가 레퍼런스 블록들(RB21, RB22)을 포함하는 딕셔너리(dictionary)(DIC1, DIC2)가 형성되고, 그 딕셔너리 내의 블록들의 가중된 선형 조합을 이용하여 예측이 결정된다.
3) 현재 블록을 예측하기 위해 보유될 L개의 딕셔너리들 중 하나와 연관된 가중치들(Vl)의 세트를 선택하기 위해, 2개의 거리 척도들이 고려될 수 있다: 즉, 하나의 거리 척도는 임베딩 예측 오차에 직접 기반한 거리 척도이며, 예를 들어, 최상의 예측(lopt)을 획득하기 위해 딕셔너리(Au l)에 기초한 예측(Au lVl)과 예측될 현재 블록(Xu) 간의 제곱 오차들의 합이 최소화될 수 있다.
Figure pct00001
제2 거리 척도는, 복원된 블록의 품질과 블록의 코딩 비용 간의 최상의 타협안을 제공하는 예측을 선택하는 것이 바람직한 경우에 있어서 임베딩 레이트 왜곡 비용에 기반한 거리 척도이다. 즉, 복원된 블록의 품질과 블록의 코딩 비용 간의 최상의 타협안을 제공하는 예측을 선택하기 위해 레이트 왜곡 비용이 최소화된다, 즉,
Figure pct00002
이다. 여기서, Dl은 SSE 거리 메트릭을 이용함으로써 현재 블록과 복원된 블록 간의 왜곡을 나타내고, Rl은, 딕셔너리(Au l)에 기초한 예측(Au lVl)에 관하여 블록의 레지듀얼을 인코딩하는 적어도 코딩 비용이다. 신택스 엘리먼트의 코딩 비용들이 추가로 고려될 수 있다.
마지막으로, 선택된 딕셔너리의 레퍼런스 패치와 연관된 레퍼런스 벡터가 인코딩된다.
종래 기술에 비해, 본 발명은 레이트 왜곡 성능을 개선하는 이점들을 갖는다.
예시적인 타겟팅된 산업상 애플리케이션들은 비디오 분배(압축 포함) 및 디스플레이 기술들이다. 비디오 압축 및 콘텐츠 표현에 관련된 애플리케이션들이 또한 관련된다.

Claims (15)

  1. 이미지의 블록을 인코딩하는 방법으로서,
    프로세싱 수단을 이용하여,
    - 이미지의 부분을 인코딩 및 복원하는 단계,
    - 적어도 블록을 이용하여, 복원된 부분에서 하나의 레퍼런스 블록과, 하나의 레퍼런스 블록을 참조하는 벡터를 결정하는 단계 - 상기 레퍼런스 블록은 상기 적어도 하나의 블록과 유사함 -,
    - 하나의 레퍼런스 블록을 이용하여, 복원된 부분에서 적어도 하나의 추가의 레퍼런스 블록을 결정하는 단계 - 상기 레퍼런스 블록은 상기 적어도 하나의 추가의 레퍼런스 블록과 유사함 -, 및
    - 하나의 레퍼런스 블록과 적어도 하나의 추가의 레퍼런스 블록의 조합에 관하여 블록의 레지듀얼(residual) 및 결정된 벡터를 인코딩하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 하나의 레퍼런스 블록을 결정하기 위해 블록에 인접한 복원된 이웃(neighborhood)이 더 이용되는, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 적어도 하나의 추가의 레퍼런스 블록을 결정하기 위해 하나의 레퍼런스 블록에 인접한 복원된 이웃이 더 이용되는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 하나의 레퍼런스 블록과 적어도 하나의 추가의 레퍼런스 블록의 조합은 가중 선형 조합(weighted linear combination)이며, 상기 가중 선형 조합을 위한 가중치들은 제한된 최소 제곱 문제(constrained least square problem) 또는 비-로컬 평균 문제(non local mean problem)를 해결하는 것에 의해 결정되는, 방법.
  5. 제4항에 있어서,
    상기 가중 선형 조합을 위한 가중치들은 블록에 인접한 이웃과, 적어도 하나의 추가의 블록에 인접한 하나의 이웃 및 적어도 하나의 추가의 이웃으로부터 결정되는, 방법.
  6. 제4항에 있어서,
    상기 가중 선형 조합을 위한 가중치들은 블록, 하나의 레퍼런스 블록 및 적어도 하나의 추가의 레퍼런스 블록을 이용하여 결정되고, 가중치들이 인코딩되는, 방법.
  7. 제4항에 있어서,
    상기 제한된 최소 제곱 문제는 국부적으로 선형인 임베딩(locally linear embedding) 또는 비-네거티브 매트릭스 인수분해(non-negative matrix factorization)를 이용하여 해결되는, 방법.
  8. 제4항 내지 제7항 중 어느 한 항에 있어서,
    프로세싱 수단을 이용해서,
    - 적어도 블록을 이용하여, 복원된 부분에서 적어도 하나의 다른 레퍼런스 블록과, 적어도 하나의 다른 레퍼런스 블록을 참조하는 적어도 하나의 다른 벡터를 결정하는 단계 - 상기 적어도 하나의 다른 레퍼런스 블록 각각은 상기 적어도 하나의 블록과 유사함 -,
    - 적어도 하나의 다른 레퍼런스 블록을 이용하여, 이미지의 복원된 부분에서 적어도 하나의 추가의 다른 레퍼런스 블록을 결정하는 단계 - 상기 적어도 하나의 추가의 다른 레퍼런스 블록 각각은 상기 적어도 하나의 다른 레퍼런스 블록 중 하나와 유사함 -, 및
    - 하나의 다른 레퍼런스 블록과 적어도 하나의 추가의 다른 레퍼런스 블록의 추가의 가중 선형 조합에 관하여 블록의 추가의 레지듀얼의 레이트 왜곡 비용 또는 예측 오차가 레지듀얼의 레이트 왜곡 비용 또는 예측 오차보다 더 높다고 결정하는 단계
    를 더 포함하는, 방법.
  9. 이미지의 블록을 인코딩하는 장치로서,
    - 이미지의 부분을 인코딩 및 복원하고,
    - 적어도 블록을 이용하여, 복원된 부분에서 하나의 레퍼런스 블록과, 하나의 레퍼런스 블록을 참조하는 벡터를 결정하고 - 상기 레퍼런스 블록은 상기 적어도 하나의 블록과 유사함 -,
    - 하나의 레퍼런스 블록을 이용하여, 복원된 부분에서 적어도 하나의 추가의 레퍼런스 블록을 결정하고 - 상기 레퍼런스 블록은 상기 적어도 하나의 추가의 레퍼런스 블록과 유사함 -,
    - 하나의 레퍼런스 블록과 적어도 하나의 추가의 레퍼런스 블록의 조합에 관하여 블록의 레지듀얼 및 결정된 벡터를 인코딩하도록
    구성된 프로세싱 수단
    을 포함하는, 장치.
  10. 이미지의 블록을 복원하는 방법으로서,
    프로세싱 수단을 이용하여,
    - 이미지의 부분을 디코딩하는 단계,
    - 블록의 인코딩된 레지듀얼을 디코딩하고, 복원된 부분에서의 레퍼런스 블록을 참조하는 인코딩된 벡터를 디코딩하는 단계,
    - 레퍼런스 블록을 이용하여, 복원된 부분에서 적어도 하나의 추가의 레퍼런스 블록을 결정하는 단계, 및
    - 레지듀얼을, 레퍼런스 블록과 적어도 하나의 추가의 레퍼런스 블록의 조합과 결합함으로써 블록을 복원하는 단계
    를 포함하는, 방법.
  11. 제10항에 있어서,
    상기 적어도 하나의 추가의 레퍼런스 블록을 결정하기 위해 레퍼런스 블록에 인접한 복원된 이웃이 이용되는, 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 레퍼런스 블록과 적어도 하나의 추가의 레퍼런스 블록의 조합은 가중 선형 조합이며,
    상기 가중 선형 조합을 위한 가중치들은, 제한된 최소 제곱 문제 또는 비-로컬 평균 문제를 해결하는 것에 의해, 블록에 인접한 이웃과, 적어도 하나의 추가의 블록에 인접한 하나의 이웃 및 적어도 하나의 추가의 이웃으로부터 결정되는, 방법.
  13. 제12항에 있어서,
    상기 제한된 최소 제곱 문제는, 국부적으로 선형인 임베딩 또는 비-네거티브 매트릭스 인수분해를 이용하여 해결되는, 방법.
  14. 제10항 또는 제11항에 있어서,
    상기 레퍼런스 블록들의 조합은 가중 선형 조합이며,
    상기 방법은, 상기 가중 선형 조합을 위한 인코딩된 가중치들을 디코딩하는 단계를 더 포함하는, 방법.
  15. 이미지의 블록을 복원하는 장치로서,
    - 이미지의 부분을 디코딩하고,
    - 블록의 인코딩된 레지듀얼을 디코딩하고, 복원된 부분에서의 레퍼런스 블록을 참조하는 인코딩된 벡터를 디코딩하고,
    - 레퍼런스 블록 및/또는 레퍼런스 블록에 인접한 복원된 이웃을 이용하여, 복원된 부분에서 적어도 하나의 추가의 레퍼런스 블록을 결정하고,
    레지듀얼을, 레퍼런스 블록과 적어도 하나의 추가의 레퍼런스 블록의 조합과 결합함으로써 블록을 복원하도록
    구성된 프로세싱 수단을 포함하는, 장치.
KR1020147019068A 2012-01-13 2013-01-07 이미지의 블록을 인코딩하는 방법 및 장치, 및 대응하는 복원 방법 및 장치 KR20140120887A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12305050.2A EP2615832A1 (en) 2012-01-13 2012-01-13 Method and device for encoding a block of an image and corresponding reconstructing method and device
EP12305050.2 2012-01-13
PCT/EP2013/050157 WO2013104585A1 (en) 2012-01-13 2013-01-07 Method and device for encoding a block of an image and corresponding reconstructing method and device

Publications (1)

Publication Number Publication Date
KR20140120887A true KR20140120887A (ko) 2014-10-14

Family

ID=47563438

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147019068A KR20140120887A (ko) 2012-01-13 2013-01-07 이미지의 블록을 인코딩하는 방법 및 장치, 및 대응하는 복원 방법 및 장치

Country Status (6)

Country Link
US (1) US9479795B2 (ko)
EP (2) EP2615832A1 (ko)
JP (1) JP6195576B2 (ko)
KR (1) KR20140120887A (ko)
CN (1) CN104067616B (ko)
WO (1) WO2013104585A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175897A1 (ko) * 2016-04-07 2017-10-12 엘지전자(주) 인트라 레지듀얼 예측을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
KR20170132682A (ko) * 2016-05-24 2017-12-04 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
WO2018066791A1 (ko) * 2016-10-05 2018-04-12 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103202018B (zh) * 2010-09-10 2016-05-11 汤姆逊许可公司 使用基于样本的数据修剪的视频编码
US9547915B2 (en) 2013-03-19 2017-01-17 Thomson Licensing Inter-image prediction method and device and corresponding coding method and apparatus
CN104427338B (zh) * 2013-09-07 2019-11-05 上海天荷电子信息有限公司 一种使用块匹配的图像编码以及图像解码的方法和装置
CN104935945B (zh) * 2014-03-18 2019-11-08 上海天荷电子信息有限公司 扩展参考像素样值集的图像编码或解码方法
JP6274067B2 (ja) * 2014-10-03 2018-02-07 ソニー株式会社 情報処理装置および情報処理方法
US9848210B2 (en) * 2014-12-18 2017-12-19 Konkuk University Industrial Cooperation Corp Error concealment method using spatial interpolation and exemplar-based image inpainting
EP3046326A1 (en) * 2015-01-15 2016-07-20 Thomson Licensing Method and device of construction of an epitome, coding and decoding methods and coding and decoding devices
CN111050177B (zh) 2018-10-15 2021-07-20 腾讯科技（深圳）有限公司 视频编码、视频解码方法、装置、计算机设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US20100232505A1 (en) 2006-02-17 2010-09-16 Thomson Licensing Process for Coding Images Using Intra Prediction Mode
BRPI0810924A2 (pt) * 2007-04-09 2019-09-24 Ntt Docomo Inc predição de imagem/dispositivo de codificação, predição de imagem/ método de codificação, predição de imagem/programa de codificação, predição de imagem/dispositivo de codificação, predição de imagem/método de codificação e predição de imagem/programa de codificação
US20090003443A1 (en) * 2007-06-26 2009-01-01 Nokia Corporation Priority-based template matching intra prediction video and image coding
US8228990B2 (en) * 2008-01-16 2012-07-24 Sony Corporation Template matching scheme using multiple predictors as candidates for intra-prediction
JP5452584B2 (ja) * 2008-04-11 2014-03-26 トムソン ライセンシング ビデオ符号化及び復号化におけるテンプレート・マッチング予測（ｔｍｐ）のための方法及び装置
CN101557514B (zh) * 2008-04-11 2011-02-09 华为技术有限公司 一种帧间预测编解码方法、装置及系统
CN102883160B (zh) * 2009-06-26 2016-06-29 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175897A1 (ko) * 2016-04-07 2017-10-12 엘지전자(주) 인트라 레지듀얼 예측을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
KR20170132682A (ko) * 2016-05-24 2017-12-04 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
KR20210151043A (ko) * 2016-05-24 2021-12-13 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
KR20220066243A (ko) * 2016-05-24 2022-05-24 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
US11743470B2 (en) 2016-05-24 2023-08-29 Electronics And Telecommunications Research Institute Image encoding/decoding method and recording medium for same
WO2018066791A1 (ko) * 2016-10-05 2018-04-12 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US10742971B2 (en) 2016-10-05 2020-08-11 Lg Electronics Inc. Inter prediction method and device that performs prediction by applying weights to motion information of a current block

Also Published As

Publication number Publication date
JP2015503877A (ja) 2015-02-02
CN104067616B (zh) 2017-09-19
JP6195576B2 (ja) 2017-09-13
CN104067616A (zh) 2014-09-24
EP2803192A1 (en) 2014-11-19
US20140355898A1 (en) 2014-12-04
EP2615832A1 (en) 2013-07-17
US9479795B2 (en) 2016-10-25
WO2013104585A1 (en) 2013-07-18

Similar Documents

Publication Publication Date Title
KR20140120887A (ko) 이미지의 블록을 인코딩하는 방법 및 장치, 및 대응하는 복원 방법 및 장치
RU2744696C1 (ru) Способ прогнозирующего кодирования, устройство прогнозирующего кодирования и программа прогнозирующего кодирования вектора движения и способ прогнозирующего декодирования, устройство прогнозирующего декодирования и программа прогнозирующего декодирования вектора движения
US20210409756A1 (en) Method for video coding and an apparatus
US10536714B2 (en) Method for coding and an apparatus
US10165283B1 (en) Video coding using compound prediction
KR101145698B1 (ko) 인터 프레임 예측 코딩 방법, 디바이스 및 시스템
KR101464057B1 (ko) 비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램
CN116233463A (zh) 用于多参考预测的运动矢量修正
US9497481B2 (en) Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
CN111050177B (zh) 视频编码、视频解码方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right