KR20020026177A - 비디오 엔코딩 및 디코딩 방법 - Google Patents

비디오 엔코딩 및 디코딩 방법 Download PDF

Info

Publication number
KR20020026177A
KR20020026177A KR1020017015868A KR20017015868A KR20020026177A KR 20020026177 A KR20020026177 A KR 20020026177A KR 1020017015868 A KR1020017015868 A KR 1020017015868A KR 20017015868 A KR20017015868 A KR 20017015868A KR 20020026177 A KR20020026177 A KR 20020026177A
Authority
KR
South Korea
Prior art keywords
pixels
temporal
frames
subband
decomposition
Prior art date
Application number
KR1020017015868A
Other languages
English (en)
Inventor
페스쿠에트-포페스쿠베아트리세
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20020026177A publication Critical patent/KR20020026177A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 공간적 및 시간 필터링 단계를 포함하는 3차원(3D) 서브밴드 분해에 의하여 프레임들의 열을 엔코딩하는 방법에 관한 것이다. 상기 분해는, 상기 프레임들 상에서, 시간적 분해의 각각의 레벨에서 로우 시간적 서브밴드들에서의 움직임 추정 및 보상 동작들을 실행한 이후에만 프레임의 연속하는 그룹들에 적용된다. 이전 참조 프레임A와 현재 프레임B사이의 움직임 보상된 시간 필터링 단계는 첫번째로 고주파수 서브밴드의 계산 서브단계와, 그 다음, 로우 주파수 서브밴드의 계산 서브단계를 포하한다. 이 필터링 단계다음에는, 이중 접속된 픽셀들에 관련된 바와 같이, 움직임 동안 비커버된 영역들의 식별 단계가 뒤따르며, 이 식별 단계 다음에는, 현재 프레임에서 선택하면, 참조 프레임의 이중 접속된 픽셀의 시간 필터링에 대하여, 상세 서브밴드의 최소 에너지를 이끄는 대응하는 픽셀을 선택하는 단계가 뒤따른다. 본 발명은 또한, 대응하는 디코딩 방법에 관한 것이다.

Description

비디오 엔코딩 및 디코딩 방법{Video encoding and decoding method}
발명의 배경
비디오 압축 방법들은, 신호들을 전송하기 전에 상기 신호들로부터 여분의 정보를 제거하고, 그 뒤, 디코더 측에서, 남아 있는 압축된 정보로부터 영상의 근사치를 재구성함으로써 이루어진다. 시간적 여분(temporal redundancy)은 픽셀 값들이 연속하는 프레임들에 걸쳐 있는 이들의 이웃하는 것들과 독립적이지 않고 서로 상관된다는 사실과 일치한다. 이 시간적 여분의 감소는 주로 2가지 타입의 접근방법들, 즉, 현재 프레임의 예측(prediction)이 미리 전송된 프레임들에 근거하여 계산되고, 예측 에러(prediction error), 즉 현재 프레임과 그의 예측사이의 차만이 인트라 코딩(intra-coded) 및 전송되는 것에 따른, "하이브리드(hybrid)" 또는 예측 접근방법, 및 (픽셀 값들이 동일한 프레임내에서 독립적이지 않다는 사실에 대응하는) 공간적 여분을 제거하기 위한 공간적 기술들과 유사한 방법으로, 시간적 여분이 시간적 변형에 의하여 개척되는, 3차원(3D, 또는 2D+t) 접근방법에 의해, 달성된다.
이 3D 접근방법에서, 프레임들의 열은 3D 볼륨으로서 처리되고, 따라서, 영상 코딩에서 이용된 전통적인 서브밴드 분해는 분리가능한 변형들, 예를 들면, 필터 뱅크들(filter banks)에 의하여 실현된 웨이브렛(wavelet) 또는 웨이브렛 패킷들 변형들을 이용함으로써 3D 공간-시간 데이터로 확장될 수 있다. 그러한 3D 구조에 이방성(anisotropy)이 있지만, 공간-시간적 방향들에서 다른 필터 뱅크들이 이용되는 것도 고려될 수 있다.(일반적으로, Haar 필터들은 더 긴 필터들의 사용에 대한 추가적인 지연이 바람직스럽지 않기 때문에 시간 필터링용으로 이용되며, 더욱이, Haar 필터들은, 이들이 2탭 필터들(two-tap filters)이기 때문에, 경계 효과를 제공하지 않는 단지 왁벽한 재구성 직교 필터들(perfect reconstruction orthogonal filters)이다.)
그러한 3D 코딩 방법의 코딩 효율은 시간적 분해의 각 레벨에서 로우 시간적 서브밴드들에서의 움직임 추정/보상을 실행함으로써 개선될 수 있다. 예를 들면,1994년 9월, J.R. Ohm에 의한, IEEE Transactions on Image Processing, 제3권, N。5의 페이지 559-571에 개시되어 있는 "Three-dimensional subband coding with motion compensation"에 도시되어 있으며, 이는, 움직임 보상된 3D 서브밴드 코딩이, 주어진 비트전송율(bitrate)에 대해, 전통적인 예측 방법들 보다 가시성(visual) 및 피크 신호대 잡음비(PSNR;peak signal-to-noise ratio)를 더 양호하게 만든다.(상기 참조문헌에서, 전 움직임 보상(full motion compensation)의 3D 서브밴드 분해는 시간 영역에서 Haar 필터들을 이용하여 실행되고, 2D 이산 웨이브렛 변환(또는 DWT; discret wavelet transform)은 공간 영역에서 이루어진다.)
그러나, 움직임 보상은 도 1에 도시된 바와 같이 두번 필터링되거나 전혀 필터링되지 않는다는 점에서 문제점을 발생시킨다. 도 1의 좌측부에서, A 및 B는 이전 및 현재 프레임들을 각각 나타내며, a1 내지 a6, 및 b1 내지 b6는 각각 상기 프레임들의 픽셀들이다(BBY는 블록 경계). 도 1의 우측부는 블록매칭으로 결합된 움직임 보상 시간 필터링 처리를 도시한다. 접속된 픽셀들이 움직임 궤도를 따라 필터링되기 때문에, 그리고, (어떠한 움직임 또는 병진(translational) 움직임이 없는 경우는 제외하고) 매칭된 블록들이 이웃한 블록들과 겹쳐지기 때문에, 이중 접속 및 비접속된 픽셀들이 일반적으로 나타난다.
비접속된 픽셀들에 대처하기 위한 상기 참조문헌에서 채택된 궤도는 다음과 같다. 현재 프레임에서 비접속된 픽셀(예컨대, b1)에 대해, 최초(original) 픽셀 값은 시간적 로우(L) 서브 밴드로 삽입된다. 이전 프레임에서 비접속된 픽셀(예컨대, a3,a4)은 그 이웃한 것들과 동일한 움직임 벡터와 관련된다. 움직임 방향에서의 고역 통과 필터링의 결과는 비접속된 픽셀 위치에서 시간적 하이(H) 서브밴드로 놓여진다(Harr 필터들의 경우, 이것은 변위된 프레임 차를 나타낸다). 그 바로 이전에 재구성된 프레임을 이용하여, 이전 프레임에서 비접속된 픽셀들에 대한 움직임 보상된 예측을 실행하는 것도 제안된다. 시간적 서브프레임들은 최초 프레임들을 대체하는 필터링을 유발한다. 즉, 시간적 로우(L) 서브밴드는 현재 프레임의 장소를 취하고, 시간적 하이(H) 서브밴드는 참조 프레임(reference frame)을 대신한다.
비접속된 픽셀들에 대처하는 다른 방법은, 1999년 2월에, S.J.Choi에 의해, IEEE Transactions on Image Processing, 제8권 n。2의 페이지 155-167에 개시된 "Motion-compensated 3-D subband coding of video"의 도2에 도시되어 있다. 이전 프레임(예컨대, a3,a4)의 비접속된 픽셀에 대해, 최초 값은 시간적 로우 서브밴드로 삽입되고, 이는, 첫 번째 인용한 참조문헌에서 정의한 방법보다 더 양호한 가시성 결과들을 제공한다. 현재 프레임에서의 비접속된 픽셀(예컨대 b1)에 대해, DFD(displaced frame difference;변위된 프레임차) 값이 취해진다. 움직임 보상의 것과 일치하는 움직임 추정의 방향을 만듦으로써, 추가의 움직임 추정의 필요없이, 최상의 이용가능한 움직임 벡터가 이 DFD 값에 대하여 이용될 수 있다. 시간적 서브밴드들은 도2의 우측편에 도시된 바와 같이, 서로 다르게 재배치된다. 즉, 시간적 로우(L) 서브밴드는 참조 프레임을 대신하는 반면, 시간적 하이(H) 서브밴드는 현재 프레임을 대신한다. 이는, 고주파수 서브밴드들이 더 적은 에너지를 가지며 비접속된 픽셀들에 대한 DFD 값과 양립할수 있기 때문에, 첫 번째 인용된 참조문헌의 방법보다 비접속된 픽셀들의 경우에 더 바람직하게 적합하다.
이 접근방법을 요약하기 위하여, 다음과 같은 관계식(1) 내지 (3)이 이용된다.
접속된 픽셀에 대하여는,
(1) H[m,n] =(B[m,n]-[m-dm, n-dn])
(2) L[m- m, n- n]=([m- m+dm]+A[m- m,n- n])이고,
비접속된 픽셀에 대하여는,
(3) L[m,n]=.A[m,n]이며,
여기서, (m,n)은 픽셀의 위치를 나타내며, H[m,n], L[m,n]은 시간적 하이 및 로우 서브밴드들이고, A[m,n], B[m,n]은 이전 및 현재 프레임들이며, [dm,dn]은 픽셀에 대하여, 2개의 간주된 연속하는 프레임들 A 및 B사이에서 추정된 움직임 벡터이고, [ m, n]는 dm,dn에 가장 가까운 정수들이고,는 움직임 픽셀들이 정확한 서브픽셀인 경우 보간된 값들이다. 복수의 접속 픽셀들의 경우에는, A는 마주치는 첫 번째 쌍(A,B)로 계산된다.
사실, 비접속 및 이중 접속 픽셀들의 문제점은 움직임 동안 커버된/비커버된(covered/uncovered) 영역들의 것과 밀접한 관계를 보인다. 실제로, 시간(T)에서 프레임의 공통 부분을 갖는 2개의 물체들이 시간(T+1)에서 분리될 때, 현재 프레임의 2개의 영역들은, 움직임 보상에 의하여, 참조 프레임에서의 동일한 영역과 일치할 것이다. 이것은 비커버된 영역이며, 이는, 앞서 분석하여 주어진 관계식(1) 내지 (3)의 경우에 이중 접속으로서 나타난다. 가능한 상황이 도 3에 도시되어 있으며, 여기서, FA는 전경 영역(foreground area)을 나타내며, 전경 물체(1)에 속하고, UR은 상기 영역들이 떨어질 때(즉, 이들이 서로 겹치지 않을때) 배경 물체(2)의 비커버된 영역을 나타낸다. 두 번째의 인용문헌에 설명한 접근방법은 이러한 픽셀들과 관련되며 제 1 블록은 움직임 추정 처리에서 다루어졌다.
발명분야
본 발명은 3차원(3D) 서브밴드 분해(subband decomposition)에 의하여 프레임들의 열을 엔코딩하는 방법에 관한 것으로, 상기 3차원 서브밴드 분해는 3D 볼륨으로서 간주된 상기 프레임들의 열에 대응하는 3D 공간-시간 데이터(spatio-temporal data)에 적용된 공간 및 시간 필터링 단계를 포함하며, 상기 분해는, 상기 프레임들에 대해, 시간적 분해의 각 레벨에서 로우 시간적 서브밴드들에서의 움직임 추정 및 보상 동작들(motion estimation and compensation operations)을 실행한 이후에만, 프레임들의 연속하는 그룹들에 적용된다. 본 발명은 또한, 상기 엔코딩 방법에 의하여 미리 코딩된 신호들을 디코딩하는 방법에 관한 것이다.
도 1은 "비접속된" 및 "이중 접속된" 픽셀들의 문제점을 도시한 것으로서, 상기 문제점을 해결하기 위한 제 1 방법을 설명하는 도면.
도 2는 이 문제점을 해결하기 위한 다른 방법을 설명하는 도면.
도 3은 비커버된 영역들의 문제점을 설명하는 도면.
발명의 요약
본 발명의 목적은 앞서 설명된 접근방법에 관하여 최적의 해결책을 제안하는 것이다.
이를 위해, 본 발명은 본 명세서의 서두에 정의한 바와 같은 엔코딩 방법에 관한 것이며, 다음 단계들, 즉,
(1) 이전 참조 프레임A와 현재 프레임B 사이의 움직임 보상된 시간 필터링 단계로서, 상기 단계 자체는, 첫번째로 고주파수 서브밴드의 계산 서브단계와, 그 다음, 단지 참조 프레임A와 앞서 계산된 고주파수 서브밴드만을 이용하여, 저주파수 서브밴드의 계산 서브단계를 포함하며, 상기 계산들은 다음 관계식들, 즉;
접속된 픽셀들에 대하여는,
(a) H[m,n]=(B[m,n]-[m-dm,n-dn])/
(b) L[m- m,n- n]=[m- m+dm,n- n+dn]+A[m- m,n- n] 이고,
비접속된 픽섹들에 대하여는,
(c) L[m,n]=.A[m,n]인 관계식들에 따라 수행되며,
여기서, (m,n)은 상기 픽셀의 위치를 나타내며, H[m,n], L[m,n]은 시간적 하이 및 로우 서브밴드들이고, A[m,n], B[m,n]은 상기 연속하는 이전 및 현재 프레임들이며, [dm,dn]은 픽셀에 대하여, 상기 프레임들(A,B)사이에서 추정된 움직임 벡터이고, m, n은 dm,dn에 가장 가까운 정수들이고,,,는 보간된 값들인, 상기 움직임 보상된 시간 필터링 단계와;
(2) 이중 접속된 픽셀들과 관련된 바와 같은 상기 비커버된 영역들의 식별 단계로서, 그러한 픽셀들은 상세 서브밴드(detail subband)에서 최소 에너지를 이끄는, 상기 식별 단계와;
(3) 상기 현재 프레임에서 선택되면, 상기 참조 프레임의 이중 접속된 픽셀의 시간 필터링을 위하여, 상기 상세 서브밴드의 최소 에너지를 이끄는 대응하는 픽셀을 결정하는 결정 단계를 포함하는 것을 특징으로 한다.
2개의 물체들(1,2)이 참조 프레임(도 3의 좌측부)에 중첩되는 경우, 이들 중 하나에 맞물려진 영역이 존재하고 그 밖에 다른것에 속하는 전경 영역(FA)이 이용가능하다. 이러한 물체즐이 현재 프레임에서 분리되는 경우(도 3의 우측부), 움직임 추정 알고리즘은 보상에 대해 현재 프레임에서 2개의 영역들을 식별할 것이다. 실제 움직임은 물체(1)의 전경 영역에 대응하기 때문에, 물체(2)의 비커버된영역(UA)은 상세 서브밴드의 더 높은 에너지로 상승할 것이며, 이는 보상된 참조 프레임과 현재 프레임사이의 차를 나타낸다. 실제로, 실제 움직임이 물체(1)에 대응하는 경우, 이 차는 전경 영역의 경우에는 매우 작고 물체(2)의 비커버된 영역에 대해서는 높게 될 것이다. 본 발명에 따르면, 이 관찰은 시간 필터링 처리에 대해 정확한 픽셀을 선택하는데 이용된다.
본 발명은 또한, 상기 방법에 의해 이전에 코딩된 디지털 신호들을 디코딩하는 방법에 관한 것이며, 상기 디코딩 방법은,
참조 및 현재 프레임들(A,B)의 픽셀들의 재구성이 저 및 고주파수 서브밴드들에서 대응하는 픽셀들의 값들에 근거하는 계산 단계들에 의하여 얻어지고, 상기 계산들은 다음 관계식들, 즉,
접속된 픽셀들에 대하여는,
(a) A[m- m,n- n]=(L[m- m,n- n]-[m- m+dm,n- n+dn])이고,
비접속된 픽셀들에 대하여는,
(b) A[m,n]=.L[m,n]
(c) B[m,n]=H[m,n]+[m-dm,n-dn]인 관계식들에 따라 이루어지는 것을 특징으로 한다.
본 발명은 이제, 필요하다면, 첨부된 도면들을 참조하여 예를 들어 설명될 것이다.
발명의 상세한 설명
본 발명의 기본 원리는 먼저, 시간적 분석의 근사치 및 상세 서브밴드들을 계산하도록 하는 상호관계들을 다르게 표현함으로써, 움직임 보상된 시간 필터링의 최초 분석을 제공하는 것이다. 그 뒤, 이것은, 이 계산을 실행하기 위하여, 참조 서브밴드의 동일한 픽셀에 접속된 픽셀들 사이에서, 실제 움직임에 대응하는 것을 선택하는 것이 가능함을 보여준다. 이러한 픽셀들에 의해 형성된 영역은 고주파수 서브밴드의 에너지를 최소화한다.
상기 관계식(2)를 다음과 같이 고쳐쓸 수 있다.
접속된 픽셀들에 대하여는,
(4) L[m- m,n- n]=[m- m+dm,n- n+dn]+A[m- m,n- n]이고,
관계식(1)을 이용하여 고주파수 서브밴드를 첫번째로 계산할 수 있고, 그 뒤, 관계식(4)에서 처럼, 단지 참조 프레임과 앞서 계싼된 고주파수 서브밴드만을 이용하여 저주파수 서브밴드를 계산할 수 있다. 합성 부분(synthisis part)에서 고려하면, 관계식들(1),(4),(3)은 저 및 고주파수 서브밴드들에서 대응하는 픽셀들의 값들을 기초로하여, 참조 및 현재 프레임들의 픽셀들의 완전한 재구성을 얻는데 용이하게 이용될 수 있다.
접속된 픽셀들에 대하여는,
(5) A[m- m,n- n]=(L[m- m,n- n]-[m- m+dm,n- n+dn])이며,
비접속된 픽셀들에 대하여는,
(6) A[m,n]=.L[m,n]이며,
일단 참조 프레임의 값들이 이용가능하면, 현재 프레임 값들이 계산될 수 있다;
(7) B[m,n]=H[m,n]+[m-dm,n-dn],
참조 프레임에서 이중 접속된 픽셀의 경우(예를 들면, 위치(p,q)에서의 픽셀)에서와, 위치들(m1,n1) 및 (m2,n2)에서 움직임 추정 알고리즘에 의해 발견된 2개의 픽셀들을 고려하는 것은, 2개의 대응하는 움직임 벡터들이 (dm1,dn1) 및 (dm2,dn2)인 경우를 의미한다.
(8) m1- m1=m2- m2=p
(9) n1- n1=n2- n2=q
앞의 관계식들(1) 및 (4)는 다음의 2개의 쌍들에 각각 적용된다.
및
상세 서브밴드에서의 값은 현재 프레임에서의 2개의 픽셀들과는 다르다는 것을 알 수 있다. 결과적으로, 근사치 서브밴드에서의 값은 이러한 2개의 값들 중 어느 하나를 이용하여 계산될 수 있다. 이들 모두는, 참조 프레임에서의 값을 먼저 계산함으로써, 완벽한 재구성을 허용하고, 그 뒤, 현재 프레임에서의 값들을 계산하기 위해 관계식(7)을 이용한다.
상술한 바와 같이, 2개의 영역들 중 하나는 실제 물체 움직임에 대응하며, 다른 하나는 동일한 움직임으로 인해 비커버된다. 첫 번째의 경우는 고주파수 서브밴드에서 최소 에너지를 유발하며, 비커버된 영역은 전경 영역에서의 것과는 다른 값을 갖는다. 그러므로, 정확한 값의 선택을 위한 하나의 기준은 상세 서브밴드의 에너지를 최소화하는 것이다. 이것은 다음을 유발한다.
그래서,
여기서, P(p,q)는 참조 프레임의 픽셀(p,q)에 접속된 현재 프레임의 모든 픽셀들(m,n)의 세트이다.
실제로, 이 최소화는 저주파수 서브밴드의 각각의 픽셀에 플래그를 관련시킴으로써 실현될 수 있다. 상기 서브밴드의 픽셀들로서는 이전 프레임에 재배치된 것이며, 이 플래그는 또한, 상기 프레임의 대응하는 위치와도 관련된다. 상기 프레임에서의 고련된 픽셀에 접속된 현재 프레임B의 픽셀이 존재하지 않는 경우, 플래그는 위치"0"에 남아 있는다. 그것은 각 시간에서 증분된 것으로, 현재 프레임으로부터의 픽셀은 플래그와 관련된 참조 프레임에서의 위치에 지정될 것이다.
상기 플래그가 값"0"을 갖는다면, 고주파수 서브밴드에서의 값은 관계식(12)를 이용하여 계산되고, 저주파수 서브밴드에서의 값은 관계식(13)을 이용하여 계산된다. 상기 플래그가 "0"이 아닐 때, 임의의 시점에서 A와 B 사이에 그러한 접속이 설정되고, 고주파수 서브밴드에서의 값은 이전처럼 관계식(12)을 이용하여 계산되며, 절대값은 기존의 것과 비교된다. 상기 절대값이 앞서 계산된 고주파수 값의 절대값보다 작은 경우, 그것은 관계식(13)을 이용하여 저주파수 값을 갱신하는데 이용된다.
본 발명은 또한, 상술한 바와 같은 엔코딩 방법에 의하여 코딩된 디지털 신호들을 디코딩 하는 방법에 관한 것이다. 엔코딩 측에서 수행되는 동작들의 순서는 상기 프레임A의 고려된 픽셀에 접속된 픽셀을 프레임B에서 발견하기 위하여 디코더 측에서 재생되어, 최소 에너지의 고주파수 서브밴드를 유발한다.

Claims (2)

  1. 3D 볼륨으로서 간주된 프레임들의 열에 대응하는 3D 공간-시간 데이터(spatio-temporal data)에 적용된 공간 및 시간 필터링 단계를 포함하는 3차원(3D) 서브밴드 분해(subband decomposition)에 의하여 상기 프레임들의 열을 엔코딩하는 방법으로서, 상기 분해는, 상기 프레임들에 대해, 시간적 분해의 각 레벨에서 로우 시간적 서브밴드들에서의 움직임 추정 및 보상 동작들(motion estimation and compensation operations)을 실행한 이후에만, 프레임들의 연속하는 그룹들에 적용되며, 상기 분해 동작은, 상기 필터링된 픽셀들 중에서, 움직임 동안 비커버되는 영역들에 대응하는 이중 접속된 픽셀들을 이끄는(leading), 상기 엔코딩 방법에 있어서,
    상기 방법은,
    다음 단계들, 즉,
    (1) 이전 참조 프레임A와 현재 프레임B 사이의 움직임 보상된 시간 필터링 단계로서, 상기 단계 그 자체는, 첫번째로 고주파수 서브밴드의 계산 서브단계와, 그 다음, 단지 상기 참조 프레임A와 앞서 계산된 고주파수 서브밴드만을 이용하여, 저주파수 서브밴드의 계산 서브단계를 포함하며, 상기 계산들은 다음 관계식들, 즉,
    접속된 픽셀들에 대하여는,
    (a) H[m,n]=(B[m,n]-[m-dm,n-dn])/
    (b) L[m- m,n- n]=[m- m+dm,n- n+dn]+A[m- m,n- n] 이고,
    비접속된 픽섹들에 대하여는,
    (c) L[m,n]=.A[m,n]인 관계식들에 따라서 수행되며,
    여기서, (m,n)은 상기 픽셀의 위치를 나타내며, H[m,n], L[m,n]은 시간적 하이 및 로우 서브밴드들이고, A[m,n], B[m,n]은 상기 연속하는 이전 및 현재 프레임들이며, [dm,dn]은 픽셀에 대하여, 상기 프레임들(A,B)사이에서 추정된 움직임 벡터이고, m, n은 dm,dn에 가장 가까운 정수들이고,,,는 보간된 값들인, 상기 움직임 보상된 시간 필터링 단계와;
    (2) 이중 접속된 픽셀들과 관련된 바와 같은 상기 비커버된 영역들의 식별 단계로서, 그러한 픽셀들은 상세 서브밴드(detail subband)에서 최소 에너지를 이끄는, 상기 식별 단계와;
    (3) 상기 현재 프레임에서 선택되면, 상기 참조 프레임의 이중 접속된 픽셀의 시간 필터링을 위하여, 상기 상세 서브밴드의 최소 에너지를 이끄는 대응하는 픽셀을 결정하는 결정 단계를 포함하는 것을 특징으로 하는, 엔코딩 방법.
  2. 제 1 항에서 청구된 엔코딩 방법의 실행에 의해 코딩된 디지털 신호들을 디코딩하는 방법에 있어서,
    상기 디코딩 방법은,
    상기 참조 및 상기 현재 프레임들(A,B)의 픽셀들의 재구성이 상기 저 및 고주파수 서브밴드들에서 상기 대응하는 픽셀들의 값들에 근거하는 계산 단계들에 의하여 얻어지고, 상기 계산들은 다음 관계식들, 즉,
    접속된 픽셀들에 대하여는,
    (a) A[m- m,n- n]=(L[m- m,n- n]-[m- m+dm,n- n+dn])이고,
    비접속된 픽셀들에 대하여는,
    (b) A[m,n]=.L[m,n]
    (c) B[m,n]=H[m,n]+[m-dm,n-dn]인, 관계식들에 따라 이루어지는 것을 특징으로 하는, 디코딩 방법.
KR1020017015868A 2000-04-11 2001-03-30 비디오 엔코딩 및 디코딩 방법 KR20020026177A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP00401004 2000-04-11
EP00401004.7 2000-04-11
PCT/EP2001/003647 WO2001078402A1 (en) 2000-04-11 2001-03-30 Video encoding and decoding method

Publications (1)

Publication Number Publication Date
KR20020026177A true KR20020026177A (ko) 2002-04-06

Family

ID=8173643

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017015868A KR20020026177A (ko) 2000-04-11 2001-03-30 비디오 엔코딩 및 디코딩 방법

Country Status (6)

Country Link
US (1) US6381276B1 (ko)
EP (1) EP1277347A1 (ko)
JP (1) JP2003530789A (ko)
KR (1) KR20020026177A (ko)
CN (1) CN1205818C (ko)
WO (1) WO2001078402A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
KR100791453B1 (ko) * 2005-10-07 2008-01-03 성균관대학교산학협력단 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화및 복호화 방법 및 장치
KR100818921B1 (ko) * 2006-01-12 2008-04-03 삼성전자주식회사 모션 벡터 압축 방법, 상기 압축 방법을 이용하는 비디오인코더 및 비디오 디코더
KR101011894B1 (ko) * 2003-05-23 2011-02-01 톰슨 라이센싱 영상의 그룹을 코딩 또는 디코딩하기 위한 방법

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
WO2002013536A2 (en) * 2000-08-08 2002-02-14 Koninklijke Philips Electronics N.V. Video encoding method based on a wavelet decomposition
JP2004523994A (ja) * 2001-04-10 2004-08-05 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 一連のフレームを符号化する方法
US20030202599A1 (en) * 2002-04-29 2003-10-30 Koninklijke Philips Electronics N.V. Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
US7042946B2 (en) * 2002-04-29 2006-05-09 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
US20040008785A1 (en) * 2002-07-15 2004-01-15 Koninklijke Philips Electronics N.V. L-frames with both filtered and unfilterd regions for motion comensated temporal filtering in wavelet based coding
US20060171462A1 (en) * 2002-11-27 2006-08-03 Koninklijke Philips Electronics, N.V. Video encoding method
JP3831846B2 (ja) * 2003-06-09 2006-10-11 富士電機デバイステクノロジー株式会社 半導体装置の製造方法
KR100782829B1 (ko) * 2003-06-10 2007-12-06 렌슬러 폴리테크닉 인스티튜트 움직임 보상 시간 필터링에서 ｉ-블록들을 처리하는 방법
EP1642236A1 (en) * 2003-06-30 2006-04-05 Koninklijke Philips Electronics N.V. System and method for video processing using overcomplete wavelet coding and circular prediction mapping
DE60317670T2 (de) * 2003-09-09 2008-10-30 Mitsubishi Denki K.K. Verfahren und Vorrichtung zur 3D-Teilbandvideokodierung
WO2005029846A1 (en) * 2003-09-23 2005-03-31 Koninklijke Philips Electronics, N.V. Video de -noising algorithm using inband motion-compensated temporal filtering
US20050117639A1 (en) * 2003-10-24 2005-06-02 Turaga Deepak S. Optimal spatio-temporal transformations for reduction of quantization noise propagation effects
US7526025B2 (en) * 2003-10-24 2009-04-28 Sony Corporation Lifting-based implementations of orthonormal spatio-temporal transformations
MXPA06006107A (es) * 2003-12-01 2006-08-11 Samsung Electronics Co Ltd Metodo y aparato de codificacion y decodificacion escalables de video.
KR100596706B1 (ko) * 2003-12-01 2006-07-04 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
FR2867328A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
FR2873256A1 (fr) * 2004-07-13 2006-01-20 France Telecom Procede et dispositif de densification de champ de mouvement
US20080037633A1 (en) * 2004-07-13 2008-02-14 France Telecom Method and Device for Coding a Sequence of Video Images
EP1617672A1 (en) * 2004-07-13 2006-01-18 Matsushita Electric Industrial Co., Ltd. Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
WO2006080681A1 (en) * 2004-10-05 2006-08-03 Samsung Electronics Co., Ltd. Apparatus, medium, and method for generating motion-compensated layers
US7616824B2 (en) * 2004-12-08 2009-11-10 Ecole Polytechnique Fédérale de Lausanne (EPFL) CM - Ecublens Method for spatially scalable video coding
US8300693B2 (en) * 2005-01-18 2012-10-30 Ecole Polytechnique Federale De Lausanne Image transform for video coding
US7965772B2 (en) * 2005-05-31 2011-06-21 Saratoga Technology Group, Inc. Systems and methods for improved data transmission
US8059719B2 (en) 2005-09-16 2011-11-15 Sony Corporation Adaptive area of influence filter
US7620108B2 (en) 2005-09-16 2009-11-17 Sony Corporation Integrated spatial-temporal prediction
US7596243B2 (en) 2005-09-16 2009-09-29 Sony Corporation Extracting a moving object boundary
US8107748B2 (en) 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
US7885335B2 (en) 2005-09-16 2011-02-08 Sont Corporation Variable shape motion estimation in video sequence
US7957466B2 (en) * 2005-09-16 2011-06-07 Sony Corporation Adaptive area of influence filter for moving object boundaries
US7894522B2 (en) 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US8165205B2 (en) 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
US7894527B2 (en) 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
US8005308B2 (en) 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
WO2007079964A1 (en) * 2006-01-09 2007-07-19 Matthias Narroschke Adaptive coding of a prediction error in hybrid video coding
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
US8346000B2 (en) * 2007-08-01 2013-01-01 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods, devices and arrangements for motion-compensated image processing and coding
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
CN101662678B (zh) * 2008-08-29 2011-08-24 华为技术有限公司 一种运动补偿时域滤波的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121191A (en) * 1991-03-15 1992-06-09 Aware, Inc. Method and apparatus for coding motion pictures
US5301020A (en) * 1991-11-01 1994-04-05 Aware, Inc. Method and apparatus for coding motion pictures utilizing motion compensation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101011894B1 (ko) * 2003-05-23 2011-02-01 톰슨 라이센싱 영상의 그룹을 코딩 또는 디코딩하기 위한 방법
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
US8040952B2 (en) 2005-04-01 2011-10-18 Samsung Electronics, Co., Ltd. Scalable multi-view image encoding and decoding apparatuses and methods
KR100791453B1 (ko) * 2005-10-07 2008-01-03 성균관대학교산학협력단 움직임보상 시간축 필터링을 이용한 다시점 비디오 부호화및 복호화 방법 및 장치
KR100818921B1 (ko) * 2006-01-12 2008-04-03 삼성전자주식회사 모션 벡터 압축 방법, 상기 압축 방법을 이용하는 비디오인코더 및 비디오 디코더

Also Published As

Publication number Publication date
US6381276B1 (en) 2002-04-30
JP2003530789A (ja) 2003-10-14
EP1277347A1 (en) 2003-01-22
WO2001078402A1 (en) 2001-10-18
CN1205818C (zh) 2005-06-08
CN1366777A (zh) 2002-08-28

Similar Documents

Publication Publication Date Title
KR20020026177A (ko) 비디오 엔코딩 및 디코딩 방법
KR102421921B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
EP1825690B1 (en) Method and system for decomposing multiview videos
KR101224554B1 (ko) 비디오 압축용 루프내 충실도 향상
EP2532162B1 (en) Filtering for image and video enhancement using asymmetric samples
EP1835749A1 (en) Method for coding video data of a sequence of pictures
Guillotel et al. Comparison of motion vector coding techniques
EP1114555A1 (en) Encoding method for the compression of a video sequence
KR20020026254A (ko) 컬러 비디오 인코딩 및 디코딩 방법
EP1515561B1 (en) Method and apparatus for 3-D sub-band video coding
WO1993021734A1 (en) A coding technique for high definition television signals
US7242717B2 (en) Wavelet domain motion compensation system
US20020150166A1 (en) Edge adaptive texture discriminating filtering
JP2005515729A (ja) ビデオ符号化方法
US20060171462A1 (en) Video encoding method
Anantrasirichai et al. Multi-view image coding with wavelet lifting and in-band disparity compensation
Nayan et al. Baseline JPEG-like DWT CODEC for disparity compensated residual coding of stereo images
Wang Fully scalable video coding using redundant-wavelet multihypothesis and motion-compensated temporal filtering
Jiang et al. Stereo sequence coding
DE10196982T5 (de) Robuste Zeitdomänen-Blockdekodierung
Cheng et al. A hybrid motion compensated 3-D video coding system for blocking artifacts reduction
Anantrasirichai et al. Multi-View Image Coding with Wavelet Lifting Scheme.
Sreelekha et al. Perceptual video coder incorporating wavelet based Intra frame coder
Nayan et al. Two Novel Wavelet-block based Stereo Image Compression Algorithms
Nayan et al. Transform domain overlapped block disparity compensation in wavelet coding of stereo image pairs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application