KR101719382B1 - 이미지 시퀀스에 대한 비디오 데이터의 일치 추적 기반 코딩을 위한 프로세스 - Google Patents

이미지 시퀀스에 대한 비디오 데이터의 일치 추적 기반 코딩을 위한 프로세스 Download PDF

Info

Publication number
KR101719382B1
KR101719382B1 KR1020117030619A KR20117030619A KR101719382B1 KR 101719382 B1 KR101719382 B1 KR 101719382B1 KR 1020117030619 A KR1020117030619 A KR 1020117030619A KR 20117030619 A KR20117030619 A KR 20117030619A KR 101719382 B1 KR101719382 B1 KR 101719382B1
Authority
KR
South Korea
Prior art keywords
atom
current block
new
causal
atoms
Prior art date
Application number
KR1020117030619A
Other languages
English (en)
Other versions
KR20120030101A (ko
Inventor
오렐리 마르땡
도미니끄 또로
에두아르 프랑쑤와
제롬므 비롱
파비앵 라까쁘
크리스띤느 기유모
쟝 쟈끄 퓌슈
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20120030101A publication Critical patent/KR20120030101A/ko
Application granted granted Critical
Publication of KR101719382B1 publication Critical patent/KR101719382B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97Matching pursuit coding

Abstract

이미지의 블록들로의 분할, 및 원자들의 사전으로부터 현재 블록의 인과관계적 이웃과 가장 큰 상관관계를 갖는 원자를 선택하는 일치 추적 알고리즘에 기초하는 공간 예측을 이용한 현재 블록의 인트라 코딩을 포함하는 프로세스는, - 인과관계적 이웃과 선택된 원자 간의 2차원 시프트의 결정, - 적어도, 2차원 공간 시프트의 값들을 고려하는 새로운 위상 조정된 원자의 생성, 및 - 이러한 새로운 원자가 선택된 원자보다 더 양호한 상관관계를 갖는 경우, 일치 추적 알고리즘에 따라, 인트라 예측을 위한 그 새로운 원자의 이용을 포함하는 단계들을 수행하는 것을 특징으로 한다. 비디오 데이터 압축에 응용된다.

Description

이미지 시퀀스에 대한 비디오 데이터의 일치 추적 기반 코딩을 위한 프로세스{PROCESS FOR MATCHING PURSUIT BASED CODING OF VIDEO DATA FOR A SEQUENCE OF IMAGES}
본 발명은 비디오 코딩 및 디코딩 프로세스에 관한 것으로, 더 상세하게는 스파스 표현(sparse representation)에 기반을 두는 이미지 예측을 위한 위상 미세조정 프로세스(phase refinement process)에 관한 것이다.
목적은 낮은 비트 레이트에 대해 동일한 품질을 유지함으로써 비디오 코딩 성능을 향상시킬, 인코더 및 디코더에서 사용될 도구를 제안하는 것이다. 발명에 의해 해결될 문제는 공간(spatial) 및 이미지-간(inter image) 예측의 경우에서 예측을 향상시키는 것이다.
예를 들어, T. Wiegand, G.J. Sullivan, G. Bjontegaard 및 A. Luthra의 제목 "Overview of the H.264/AVC"인 문서(비디오 기술을 위한 회로 및 시스템, IEEE 트랜잭션, Vol 13,7, 560-576, 2003년 7월) 내에 개시된 것과 같은 H264/AVC에서는, 현재 블록에 인접한 픽셀 행 및 열의 지식에 기초하여 이웃 블록들을 무상관화(decorrelate)하기 위해 인트라 예측(intra prediction)이 수행된다. 몇몇 방향 모드(directional mode)가 지정된다. 외삽(extrapolation)은 미리 정의된 방향 중 하나를 따라 픽셀값들을 단순히 "전파(propagating)"시킴으로써 행해진다. 또한, 이러한 기하학적 모드들에 더하여, DC 예측, 즉 이웃하는 사전 인코딩된 샘플들(neighboring prior encoded samples)의 평균이 이용가능하다. H264/AVC 인트라 코딩은, 특히 인트라 모드들 중 한 방향이 외형선(contours)에 가장 잘 맞을 때, 균일한 영역들 또는 방향성 구조들을 재구성하는 데에 매우 효율적이다.
고도의 텍스처를 갖는 영역들(highly textured areas)에서의 신호 예측의 문제를 해결하기 위해, 스파스 신호 근사에 기초하는 방법들이 여기에서 고찰된다. 스파스 근사 기법의 목적은 대규모의 중복(redundant) 집합(즉, 사전)으로부터 선택한 함수들(functions)을 기준으로 분석 신호를 근사하는 선형 전개식(linear expansion)을 찾는 것이다. MP(Matching Pursuit)(일치 추적) 알고리즘은 사전으로부터의 소위 원자들(atoms)의 반복적인 선택에 의해 적응적 신호 표현을 계산하는 가능한 기법이다. Mallat, S. 및 Zhang, Z.의 제목 "Matching pursuits with time frequency dictionaries"(IEEE Sig. Processing 41)(1993년 12월)인 문헌을 참조하기 바란다. 여기에서는, 폐루프 공간 이미지 예측 또는 외삽의 문제를 고찰한다. 그것은 인과관계적 이웃(causal neighborhood)으로부터 취해진 잡음있는 데이터로부터의 신호 확장(signal extension)의 문제로서 보여질 수 있다. MP 스파스 표현 알고리즘이 고찰된다. 또한, 여기에서는, 기초 함수(basis function)의 위상 미세조정을 통해 원자 분해(atomic decomposition)를 개선하는 방법이 제시된다.
본 발명의 주제는, 이미지의 블록들로의 분할, 및 원자들의 사전으로부터 현재 블록의 인과관계적 이웃(causal neighborhood)과의 상관관계가 가장 높은 원자를 선택하는 일치 추적 알고리즘(matching pursuit algorithm)에 기초하는 공간 예측을 이용한 현재 블록의 인트라 코딩(intra coding)을 포함하는, 이미지 시퀀스의 비디오 데이터의 코딩을 위한 프로세스로서,
인과관계적 이웃과 선택된 원자 간의 2차원 시프트의 결정,
적어도, 2차원 공간 시프트의 값들을 고려한 새로운 위상 조정된 원자(new phased atom)의 생성, 및
이러한 새로운 원자가 선택된 원자보다 더 양호한 상관관계를 갖는 경우, 일치 추적 알고리즘에 따라, 인트라 예측을 위한 새로운 원자의 이용
을 포함하는 단계들을 수행하는 것을 특징으로 하는 프로세스이다.
구체적인 실시예에 따르면, 사전의 원자들은 DCT(Discrete Cosine Transform) 및/또는 DFT(Discrete Fourier Transform) 및/또는 다른 변환들로부터 추출된다.
구체적인 실시예에 따르면, 2차원 공간 시프트 Δx 및 Δy의 결정은,
크로스-파워 스펙트럼(cross-power spectrum):
Figure 112011101933711-pct00001
의 계산 단계- 여기에서, Finput은 현재 잔차(residual)의 푸리에 변환이고, Fatom은 선택된 원자의 푸리에 변환이고, F* atom은 Fatom의 복소 공액(complex conjugate)에 대응함 -,
C의 역 푸리에 변환 c의 계산 단계,
상관관계 피크의 2차원 위치:
Figure 112011101933711-pct00002
의 결정 단계
를 포함한다.
구체적인 실시예에 따르면, 인과관계적 이웃은 현재 블록에 인접한, 이전에 코딩된 블록들에 대응한다.
구체적인 실시예에 따르면, 원본 신호의 픽셀들에 관한 벡터 Y를 제공하기 위해 픽셀들의 예측 벡터 X에 곱해지는 원자들로 구성된 행렬 A는, 현재 블록에 인접한 모든 블록들을 고려하는 영역으로부터 구성된 후, 이웃의 인과관계적 영역(the causal area of the neighborhood) 내에 있지 않은 픽셀들에 대응하는 행들을 마스킹함으로써 압축된다.
본 발명의 다른 주제는 상기의 코딩 프로세스에 따라 코딩된 비디오 데이터를 디코딩하기 위한 프로세스로서, 현재 블록의 디코딩을 위해,
원자들의 사전으로부터, 디코딩될 현재 이미지 블록의 인과관계적 이웃과의 상관관계가 가장 높은 원자를 선택하는 일치 추적 알고리즘을 이용하는 것에 의한 인트라 예측의 계산,
현재 블록의 인과관계적 이웃과 선택된 원자 간의 2차원 시프트의 결정,
2차원 공간 시프트의 값들을 고려한 새로운 위상 조정된 원자의 생성, 및
이러한 위상 조정된 원자가 선택된 원자보다 더 양호한 상관관계를 갖는 경우, 그것의 인트라 예측으로서의 이용
을 포함하는 단계들을 포함하는 프로세스이다.
다른 특징들 및 이점들은 비제한적인 예시들을 통해, 그리고 아래와 같은 첨부 도면들에 관련하여 제시된 이하의 설명에서 더 분명하게 알게 될 것이다.
도 1은 블록 P의 예측을 위한 인과관계적 영역이다.
도 2는 시뮬레이션을 위한 2개의 테스트 이미지이다.
일치 추적 알고리즘
Y가 차원 N의 벡터이고, A는 차원 N×M의 행렬이며, M≫N이라고 하자. A의 열들(columns) ak는 벡터 Y를 표현하는 데에 이용될 사전의 기초 함수들 또는 원자들로서 볼 수 있다. Y = AX이도록 M 차원 벡터 X를 선택하는 무한한 수의 방법이 존재함에 유의해야 한다. 스파스 표현의 목적은 Y = AX의 이러한 모든 해(solutions) 중에서, 스파스인 것들, 즉 벡터 X가 적은 수의 논-제로(nonzero) 성분만을 갖게 되는 해들을 찾는 것이다. 사실, 상당히 일반적으로, 정확한 재구성을 찾기보다는, 오히려 이하를 만족하는 스파스 표현을 구한다:
Figure 112011101933711-pct00003
여기에서, ρ는 허용가능한 재구성 에러를 특징짓는다. 이러한 제약을 만족하는 가장 스파스한 표현을 찾는 것은 NP 하드(NP-hard)이고, 따라서 계산적으로 다루기 어렵기 때문에, 근사적인 해들을 찾는다. MP 알고리즘은 반복적 알고리즘을 통해 이 문제에 대한 차선의 해를 제공한다. 그것은 다음의 방식으로, 증가하는 수의 논-제로 성분들을 갖는 M 차원 벡터들 Xk의 시퀀스를 생성한다. 첫번째 반복에서, X0=0이고, 초기 잔차 벡터 R0=Y-AX0=Y가 계산된다. 반복 k에서, 알고리즘은 현재 잔차 벡터 Rk -1 = Y-AXk -1과 가장 높은 상관관계를 갖는 기초 함수 ajk를 선택하는데, 즉 다음과 같이 된다:
Figure 112011101933711-pct00004
그러면, 이러한 새로운 원소의 가중치 xjk는 새로운 잔차 벡터의 에너지를 최소화하도록 선택되며, 따라서 이것은 다음과 동일하게 된다:
Figure 112011101933711-pct00005
새로운 최적의 가중치가 Xk -1에 도입되어 Xk를 산출해낸다. MP에 의해 동일한 원자가 여러번 선택될 수 있음에 유의해야 한다. 이러한 경우에서, 계수의 값이 이전 것에 더해진다. 알고리즘은 다음과 같은 정지 기준이 만족될 때까지 계속되며:
Figure 112011101933711-pct00006
(1)
여기에서, ρ는 표현의 스파스 정도(sparseness)를 제어하는 공차 매개변수(tolerance parameter)이다.
MP 에 기초하는 예측
도 1에서, 크기 4n2의 인과관계적 이웃 C를 이용하여 예측될 n x n 픽셀들의 블록 P를 정의한다.
C는 인과관계적 영역(causal area)이고, P는 예측될 현재 블록이며, L은 P를 둘러싸는 전체 영역이다.
9개의 블록을 포함하며, 따라서 크기 3nx3n의 픽셀들을 갖는 전체 영역 L을 이용하여, 각각 아래와 같이 표현되는 이산 푸리에 및/또는 코사인 기초 함수를 연관시킨다:
Figure 112011101933711-pct00007
(2)
Figure 112011101933711-pct00008
(3)
여기에서, m 및 n은 예측 블록의 픽셀들의 좌표들이고, p 및 q는 공간 주파수들이다.
이러한 원자들을 이용하여, 행렬 A를 구축한다. 실험에서, 이 행렬은 9n2 원자(DCT 또는 DFT) 또는 18n2 원자(DCT 및 DFT)로 구성된다. Y는 영역 L의 픽셀값들로 형성된 9n2 차원 벡터를 나타내고, X는 기초 함수들 Y=AX의 항으로 된 Y의 표현의 계수들을 포함하는 벡터이다. 행렬 A는 알려진 영역 C에 있지 않은 픽셀들에 대응하는 행들을 마스킹하는 것에 의해 수정된다. 따라서, DCT 기반만이 고려되는 경우, 크기가 4n2x9n2인 압축된 행렬 Ac가 얻어진다. 4n2 픽셀의 벡터 YC를 얻기 위해 Y 내의 대응하는 성분들이 마찬가지로 삭제된다. 그 다음, MP 알고리즘이 Ac 및 YC에 적용된다.
나중의 사용을 위해, 예측될 영역 P에 연관된 크기 n2x9n2 및 n2x1의 Ap 및 Yp를 마찬가지로 정의한다.
MP 알고리즘의 목적은 Yc의 스파스 표현을 얻는 것임을 기억하기 바란다. 이것은 표현의 복잡성, 즉 X 내의 논-제로 성분의 개수 k가 증가함에 따라, 재구성 에러가 단조 감소함을 의미한다.
Figure 112011101933711-pct00009
여기에서, Xk는 k 단계 이후에 MP 알고리즘에 의해 제안되는 표현을 나타낸다. 그러나, 우리의 목적은 영역 P의 양호한 예측을 얻는 것이므로, 당연히, 영역 C의 표현이 양호할수록 영역 P의 연관된 예측이 양호할 어떠한 이유도 없다. 그러므로, 이러한 목적을 완수하는 경향이 있는, 즉 P에서의 재구성 에러를 최소화하는 경향이 있는 정지 기준(stopping criterion)을 MP에 적용할 것이다. 증가하는 복잡성을 갖는 표현들 Xk의 시퀀스를 생성하도록 알고리즘이 구현되고, 각각의 Xk에 대하여 예측 에러 에너지
Figure 112011101933711-pct00010
가 계산되고, 따라서, 일반적으로 감소를 시작하는 이러한 예측 에러가 증가하자마자 정지해야 한다. 그러나, 사실, 보다 더 복잡한 표현이 더 작은 예측 에러를 산출해내지 못할 어떠한 이유도 없으므로, 실제로는 다르게 진행되고, 2단계 절차가 고려된다.
첫번째로, MP 알고리즘은 수학식 (4)에서의 재구성 에러에 대한 미리 지정된 임계치에 도달될 때까지 계속되고, 결과적인 Xk 시퀀스들이 저장된다. 최종 표현이 상당히 많은 수(예를 들어, K)의 성분을 갖도록, 임계치들의 값들이 고정된다. 그 다음, 두번째 단계에서, 예측될 영역 P 상에서 최소 에러 에너지를 제공하는 표현으로서 최적의 표현을 선택한다.
Figure 112011101933711-pct00011
(4)
위상 미세조정
앞에서 드러난 바와 같이, MP 알고리즘은 이웃 샘플들과 가장 높은 상관관계를 갖는 원자들을 선택한다. 그러면, 외삽되는 신호의 품질은 선택되는 원자들의 성질에 크게 의존한다. 고려되는 원자가 신호에 대해 적절한 경우, 스파스 정도의 추구가 달성된다. 실제로, 스파스 표현들의 큰 쟁점들 중 하나는, 이미지들 내의 임의의 종류의 특징들을 표현하기 위해 관련있는 기초 함수 집합을 결정할 수 있는 것이다. 이상적인 사전은 낮은 주파수들을 재수집(recollect)하기 위한 평활화 함수들, 에지들 또는 외형선들과 같은 더 높은 주파수들에 대해 더 많이 공간적으로 위치된 다른 함수들로 구성된다.
본 섹션에서는, 이 수학식에 대해 비전면적인 해(non exhaustive solution)를 찾는 문제가 다루어진다. 제한된 사전을 가지고 작업하는 것, 및 원자들의 위상을 조정함으로써 그것의 중복성(redundancy)을 사실상 증가시키는 것이 제안된다. 주된 개념은 위상 상관관계의 도움으로 적절한 공간 위상을 찾음으로써 입력 데이터를 가장 잘 맞게 하는 것이다.
이러한 주파수 영역 접근법은 2개의 이미지 간에서의 상대적인 전이 이동(relative translative movement)을 추정한다. 스파스 예측의 맥락에서, 우리의 목적은 관측 신호(제1 단계에서, 입력 신호는 인과관계적 이웃 자체이고, 그 다음, 다른 단계들에서, 그것은 잔차 신호에 대응함)와 선택된 2차원 기초 함수 간의 시프트를 검출하는 것이다. 2개의 신호의 공간 시프트는 푸리에 영역에서 위상 변화로서 반영된다. 우리는 첫번째로, MP에 의한 상관관계가 가장 높은 원자의 선택 후에 위상 상관관계 프로세스를 삽입하는 것을 선택하였다. 이것은 루프 미세조정 내에서 그런 것과 비교하여 반드시 차선이 되는 사후 처리(posteriori treatment)이다. 첫번째 단계는 입력 데이터와 선택된 원자 사이에 존재할 수 있는 2차원 시프트를 결정하는 것이다. Finput을 입력 신호의 푸리에 변환이라고 하고, Fatom을 기초 함수의 푸리에 변환이라고 하자.
크로스-파워 스펙트럼(cross-power spectrum)은 다음과 같이 정의되는데,
Figure 112011101933711-pct00012
여기에서, F* atom은 Fatom의 복소 공액이다. 2개의 신호 간의 상관관계 c는 C의 역 푸리에 변환을 계산함으로써 구해진다. 그 다음, c 내의 피크의 2차원 위치가 검출된다:
Figure 112011101933711-pct00013
프로세스의 신뢰도를 증가시키기 위해, 서브-픽셀 검출을 이용한다. 두번째 단계는 공간 시프트의 값들 {Δx, Δy}을 고려하여, 위상 조정된 원자를 생성하는 것에 있다. 사전 내의 기초 함수들의 이론적 표현들이 알려져 있으므로, 시프트된 함수를 계산하는 모호성은 존재하지 않는다.
결과 및 구현
4x4, 8x8 및 16x16 픽셀의 블록들의 공간 예측을 고려한다 (n = 4, 8 또는 16). 중복 사전 A를 구성하기 위해 코사인 함수들이 이용되었다. 임계값은 상당히 큰 수인 K개의 논-제로 성분을 갖는 최종 표현을 산출해 내는 값으로 설정된다. 그 다음, 최적 표현에 관련된 벡터 X가 선택되는데, 수학식 2를 참조하기 바란다. 우리의 모든 시뮬레이션에서, 수학식 2에서 ρ는 1로 설정된다. MP 기반 예측은 JM 11.0 KTA 1.2(Key Technical Area) 소프트웨어 내에 인코더 신택스의 어떠한 변경도 없이 통합되었다.
제안된 예측 모드는 인트라 예측의 각 타입에 대한 하나의 AVC 모드를 대체한다. 선택된 AVC 모드는 덜 선택된 모드에 대응한다. 이하의 테스트에 관한 결과들이 제공된다: 3가지의 예측 타입이 조합되었을 때, 또는 인트라-4x4 및 8x8만이 이용가능할 때, 또는 단지 인트라-4x4만이 이용가능할 때, MP 기반 예측이 하나의 AVC 모드를 대체한다. 소프트웨어는 인트라-16x16 예측을 턴오프하도록 튜닝되었음에 유의해야 한다. 휘도 성분 및 비트 레이트 절약(bit rate savings)의 Bjontegaard 평균 PSNR 개선을 평가하기 위해, 큰 범위의 양자화 레벨에 대하여 시뮬레이션들이 수행되었다. "Calculation of average PSNR differences between RD curves"(작성자 Gisle Bjontegaard, 문서 VCEG-M33, ITU-T VCEG(Video Coding Experts Group) 회의, 2001년 4월)를 참조하기 바란다. 표 1은 3가지 타입의 인트라 예측에 따라, 도 2에 나타난 Barbara 및 2개의 다른 그림, 즉 pool 및 wool의 테스트 이미지(720x576)에 대해 MP 예측을 한 결과들을 나타낸 것이다. 소스 프레임 내에 다수의 2D 패턴이 존재할 때, 더 높은 레이트 절약이 획득된다.
Figure 112011101933711-pct00014
<MP에 대한 Bjontegaard 결과(PSNR 이득(dB) 및 레이트 절약(%)>
MP 기반 인트라 예측의 이러한 새로운 접근법은 H264/AVC의 방향 모드들에 비교하여 흥미로운 관점들을 제공한다. 복잡한 텍스처들에 대하여, MP 알고리즘은 인트라 예측에 대해, 그리고 예측에 대해서도 흥미로운 대안인 것으로 나타난다. 상관관계 위상 미세조정을 이용함으로써, 원자들의 위상 조정에 의해 사실상 증가되는 제한된 사전을 가지고서 작업할 수 있다. 위상 미세조정 덕분으로, 복잡성이 감소되고, 재구성의 신뢰도가 개선된다. 또한, 위상 상관관계 알고리즘의 서브-펠(sub-pel) 정확도로 인해, 그 타입의 알고리즘의 수행이 특히 효율적이다.
알고리즘은 특히, 예를 들어 상관관계 피크의 이웃 에너지의 무게중심에 기반을 둔 시프트 결정에 초점을 맞추고, 주요 피크들을 고려한다.
위상 상관관계에 관한 기술적 배경은, 예를 들어 작성자 C D Kuglin & D C Hines의 제목 "The phase correlation image alignment method"(Proc IEEE 1975, Conf Cybernetics and Society, 163-165 페이지, 1975년 9월, 및 발명자 D Thoreau, C Chevance의 특허 출원 "Image matching process and device using a weighted phase correlation for determining a shift"(EP0480807, 1992년 4월 15일)이다.
본 제안은 비디오 압축 픽처 코딩 스킴에 관련이 있는 모든 응용들에 관련된다.

Claims (10)

  1. 이미지의 블록들로의 분할(splitting), 및 그 이론적 표현들이 알려진 원자들의 사전으로부터 현재 블록의 인과관계적 이웃(causal neighborhood)과의 상관관계가 가장 높은 원자를 선택하는 일치 추적 알고리즘(matching pursuit algorithm)에 기초하는 공간 예측을 이용한 상기 현재 블록의 인트라 코딩(intra coding)을 포함하는, 이미지 시퀀스의 비디오 데이터의 코딩을 위한 프로세스로서,
    상기 프로세스는 상기 선택 이후에
    상기 인과관계적 이웃과 상기 선택된 원자 간의 2차원 공간 시프트를 결정하는 단계,
    적어도, 상기 2차원 공간 시프트의 값들을 고려하는 새로운 위상 조정된 원자(new phased atom)를 생성하는 단계,
    이러한 새로운 위상 조정된 원자가 상기 선택된 원자보다 더 양호한 상관관계를 갖는 경우, 상기 일치 추적 알고리즘에 따라 인트라 예측을 위해 상기 새로운 위상 조정된 원자를 이용하는 단계
    를 수행하는 것을 특징으로 하는 프로세스.
  2. 제1항에 있어서,
    상기 사전의 원자들은 DCT(Discrete Cosine Transform) 및 DFT(Discrete Fourier Transform) 중 적어도 하나로부터 추출되는 것을 특징으로 하는 프로세스.
  3. 제1항에 있어서,
    상기 2차원 공간 시프트 Δx 및 Δy를 결정하는 단계는,
    크로스-파워 스펙트럼(cross-power spectrum)
    Figure 112015057524474-pct00015

    의 계산 - 여기에서, Finput은 현재 잔차(residual)의 푸리에 변환이고, Fatom은 상기 선택된 원자의 푸리에 변환이고, F* atom은 Fatom의 복소 공액(complex conjugate)에 대응함 -,
    C의 역 푸리에 변환 c의 계산,
    상관관계 피크의 2차원 위치:
    Figure 112015057524474-pct00016
    의 결정을 포함하는
    것을 특징으로 하는 프로세스.
  4. 제1항에 있어서,
    상기 인과관계적 이웃은 상기 현재 블록에 인접한 이전에 코딩된 블록들에 대응하는 것을 특징으로 하는 프로세스.
  5. 제1항에 있어서,
    원본 신호의 픽셀들에 관한 벡터 Y를 제공하기 위해 픽셀들의 예측 벡터 X가 곱해지는 원자들로 구성된 행렬 A는, 상기 현재 블록에 인접한 모든 블록들이 고려된 영역으로부터 구성되고, 또한 이후 상기 이웃의 인과관계적 영역(the causal area of the neighborhood) 내에 있지 않은 픽셀들에 대응하는 자신의 행들을 마스킹함으로써 압축되는 것을 특징으로 하는 프로세스.
  6. 현재 블록의 디코딩을 위한 프로세스로서,
    일치 추적 알고리즘을 이용함으로써 인트라 예측을 계산하고 그 이론적 표현들이 알려진 원자들의 사전으로부터, 디코딩될 현재 블록의 인과관계적 이웃과의 상관관계가 가장 높은 원자를 선택하는 단계를 포함하며,
    상기 프로세스는 상기 선택하는 단계 이후에,
    상기 현재 블록의 인과관계적 이웃과 상기 선택된 원자 간의 2차원 공간 시프트를 결정하는 단계,
    상기 2차원 공간 시프트의 값들을 고려하여 새로운 위상 조정된 원자를 생성하는 단계,
    이러한 새로운 위상 조정된 원자가 상기 선택된 원자보다 더 양호한 상관관계를 갖는 경우, 인트라 예측에 대해 상기 새로운 위상 조정된 원자를 이용하는 단계
    를 또한 포함하는 것을 특징으로 하는 프로세스.
  7. 제6항에 있어서,
    상기 2차원 공간 시프트 Δx 및 Δy를 결정하는 단계는,
    크로스-파워 스펙트럼
    Figure 112015057524474-pct00019

    의 계산 - 여기에서, Finput은 현재 잔차의 푸리에 변환이고, Fatom은 상기 선택된 원자의 푸리에 변환이고, F* atom은 Fatom의 복소 공액에 대응함 -,
    C의 역 푸리에 변환 c의 계산,
    상관관계 피크의 2차원 위치:
    Figure 112015057524474-pct00020
    의 결정을 포함하는
    것을 특징으로 하는 프로세스.
  8. 제6항에 있어서,
    원본 신호의 픽셀들에 관한 벡터 Y를 제공하기 위해 픽셀들의 예측 벡터 X가 곱해지는 원자들로 구성된 행렬 A는, 상기 현재 블록에 인접한 모든 블록들이 고려된 영역으로부터 구성되고, 또한 이후 상기 이웃의 인과관계적 영역 내에 있지 않은 픽셀들에 대응하는 자신의 행들을 마스킹함으로써 압축되는 것을 특징으로 하는 프로세스.
  9. 이미지를 블록들로 분할하는 수단, 일치 추적 알고리즘에 기초한 공간 예측을 이용하여 현재 블록을 인트라 코딩하는 수단, 그 이론적 표현들이 알려진 원자들의 사전으로부터 현재 블록의 인과관계적 이웃과의 상관관계가 가장 높은 원자를 선택하는 수단을 포함하는, 이미지 시퀀스의 비디오 데이터의 코딩을 위한 인코더로서,
    상기 인과관계적 이웃과 상기 선택된 원자 간의 2차원 공간 시프트를 결정하는 수단,
    적어도, 2차원 공간 시프트의 값들을 고려하는 새로운 위상 조정된 원자를 생성하는 수단, 및
    인트라 예측을 위한 수단 - 상기 수단은 이러한 새로운 위상 조정된 원자가 상기 선택된 원자보다 더 양호한 상관관계를 갖는 경우, 상기 일치 추적 알고리즘에 따라 인트라 예측을 위해 상기 새로운 위상 조정된 원자를 이용함 -
    을 또한 포함하는 것을 특징으로 하는 인코더.
  10. 일치 추적 알고리즘을 이용함으로써 인트라 예측을 계산하는 수단, 및 그 이론적 표현들이 알려진 원자들의 사전으로부터 디코딩될 현재 블록의 인과관계적 이웃과의 상관관계가 가장 높은 원자를 선택하는 수단을 포함하는, 현재 블록의 디코딩을 위한 디코더로서,
    상기 현재 블록의 상기 인과관계적 이웃과 상기 선택된 원자 간의 2차원 공간 시프트를 결정하는 수단,
    상기 2차원 공간 시프트의 값들을 고려하는 새로운 위상 조정된 원자를 생성하는 수단,
    인트라 예측을 위한 수단 - 상기 수단은 이러한 새로운 위상 조정된 원자가 상기 선택된 원자보다 더 양호한 상관관계를 갖는 경우, 상기 일치 추적 알고리즘에 따라 인트라 예측을 위해 상기 새로운 위상 조정된 원자를 이용함 -
    을 또한 포함하는 것을 특징으로 하는 디코더.
KR1020117030619A 2009-06-22 2010-06-16 이미지 시퀀스에 대한 비디오 데이터의 일치 추적 기반 코딩을 위한 프로세스 KR101719382B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09305584.6 2009-06-22
EP09305584 2009-06-22
PCT/EP2010/058478 WO2010149554A1 (en) 2009-06-22 2010-06-16 Process for matching pursuit based coding of video data for a sequence of images

Publications (2)

Publication Number Publication Date
KR20120030101A KR20120030101A (ko) 2012-03-27
KR101719382B1 true KR101719382B1 (ko) 2017-03-23

Family

ID=42543094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117030619A KR101719382B1 (ko) 2009-06-22 2010-06-16 이미지 시퀀스에 대한 비디오 데이터의 일치 추적 기반 코딩을 위한 프로세스

Country Status (7)

Country Link
US (1) US8837587B2 (ko)
EP (1) EP2446625A1 (ko)
JP (1) JP5566455B2 (ko)
KR (1) KR101719382B1 (ko)
CN (1) CN102804771B (ko)
TW (1) TWI504242B (ko)
WO (1) WO2010149554A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8805104B1 (en) * 2011-05-11 2014-08-12 Google Inc. Selecting example-based predictors based on spatial continuity
FR2982983A1 (fr) * 2011-11-22 2013-05-24 Thomson Licensing Procede de codage et de reconstruction d'un bloc de pixels et dispositifs correspondants
US9070012B1 (en) * 2012-01-11 2015-06-30 Sr2 Group, Llc System and method for uncued discrimination of bated features in image
EP4250745A3 (en) 2012-07-09 2023-11-15 Vid Scale, Inc. Power aware video decoding and streaming
JP6336058B2 (ja) 2013-10-14 2018-06-06 マイクロソフト テクノロジー ライセンシング,エルエルシー ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
AU2013403224B2 (en) 2013-10-14 2018-10-18 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
TWI513291B (zh) 2013-12-12 2015-12-11 Ind Tech Res Inst 影像處理的方法、裝置及電腦可讀取媒體
KR102258427B1 (ko) 2014-01-03 2021-06-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
EP4354856A2 (en) 2014-06-19 2024-04-17 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
RU2679201C2 (ru) 2014-09-30 2019-02-06 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Правила для режимов внутрикадрового прогнозирования, когда активируется волновая параллельная обработка данных
CN105812802A (zh) * 2014-12-29 2016-07-27 国家电网公司 一种基于稀疏编解码的电力大数据的压缩传输方法
EP3308540B1 (en) 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
CN107343119A (zh) * 2017-07-28 2017-11-10 北京化工大学 一种数字图像隐写数据擦除方法
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN109741715B (zh) * 2019-02-25 2020-10-16 深圳市华星光电技术有限公司 显示面板的补偿方法、补偿装置及存储介质
CN112578440A (zh) * 2019-09-30 2021-03-30 中国石油化工股份有限公司 一种极值约束的三参数扫描子波分解方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1159830A1 (en) * 1999-12-28 2001-12-05 Koninklijke Philips Electronics N.V. Video encoding method based on the matching pursuit algorithm
JP2002315004A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
EP2202989B1 (en) * 2002-04-26 2014-04-16 NTT DoCoMo, Inc. Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, image encoding program, and image decoding program
US8295349B2 (en) * 2006-05-23 2012-10-23 Flextronics Ap, Llc Methods and apparatuses for video compression intra prediction mode determination

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Very Low Bit-rateVideo Coding Based on Matc hing Pursuits"(R.Neff et.al, IEEE Trans. on CSVT, vol.7, pp.158-171, Feb.1997
Martin, A., et al., ‘Phase refinement for image prediction based on sparse representation’, Visual information processing and communication: 19-21 January 2010, San Jose, 2010권, pp.7543
Martin, A., et al., ‘Phase refinement for image prediction based on sparse representation’, Visual information processing and communication: 19-21 January 2010, San Jose, California, United States, 20
Martin, Aurelie, et al., ‘Sparse representation for image prediction’, Signal Processing Conference, 2007 15th European, IEEE, 2007권, 9호, pp.1255-1259*

Also Published As

Publication number Publication date
JP2012531073A (ja) 2012-12-06
CN102804771A (zh) 2012-11-28
EP2446625A1 (en) 2012-05-02
WO2010149554A1 (en) 2010-12-29
US8837587B2 (en) 2014-09-16
TWI504242B (zh) 2015-10-11
KR20120030101A (ko) 2012-03-27
CN102804771B (zh) 2015-07-01
TW201101846A (en) 2011-01-01
US20120250764A1 (en) 2012-10-04
JP5566455B2 (ja) 2014-08-06

Similar Documents

Publication Publication Date Title
KR101719382B1 (ko) 이미지 시퀀스에 대한 비디오 데이터의 일치 추적 기반 코딩을 위한 프로세스
US7953153B2 (en) Motion estimation method utilizing modified rhombus pattern search for a succession of frames in digital coding system
MX2014008778A (es) Decodificador de video, codificador de video, metodo de decodificacion de video, y metodo de codificacion de video.
US7433407B2 (en) Method for hierarchical motion estimation
Lan et al. Intra frame coding with template matching prediction and adaptive transform
JP6585776B2 (ja) 処理方法
Türkan et al. Sparse approximation with adaptive dictionary for image prediction
CN101783954A (zh) 一种视频图像编解码方法
US8792549B2 (en) Decoder-derived geometric transformations for motion compensated inter prediction
JP7364936B2 (ja) 符号化方法、符号化装置、及びプログラム
JP2023053272A (ja) 画像符号化装置、画像復号装置、及びプログラム
Xue et al. Video coding using a self-adaptive redundant dictionary consisting of spatial and temporal prediction candidates
KR100859073B1 (ko) 움직임 추정 방법
KR100790757B1 (ko) H.264 동영상 부호화기의 적응적 고속 움직임 추정 방법
Martin et al. Phase refinement for image prediction based on sparse representation
JP5913911B2 (ja) 画像符号化装置
Paul et al. Region similarity based edge detection for motion estimation in H. 264/AVC
Martin et al. Sparse representations for spatial prediction and texture refinement
Lan et al. Inter frame coding with adaptive transform

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant