KR101225159B1 - 비디오 이미지의 시퀀스를 코딩하는 방법 및 장치 - Google Patents

비디오 이미지의 시퀀스를 코딩하는 방법 및 장치 Download PDF

Info

Publication number
KR101225159B1
KR101225159B1 KR1020067027758A KR20067027758A KR101225159B1 KR 101225159 B1 KR101225159 B1 KR 101225159B1 KR 1020067027758 A KR1020067027758 A KR 1020067027758A KR 20067027758 A KR20067027758 A KR 20067027758A KR 101225159 B1 KR101225159 B1 KR 101225159B1
Authority
KR
South Korea
Prior art keywords
image
target
source
subsampled
pixel
Prior art date
Application number
KR1020067027758A
Other languages
English (en)
Other versions
KR20070040341A (ko
Inventor
스테판 파텍스
실바인 커바덱
이사벨 아몽유
Original Assignee
프랑스 뗄레꽁
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프랑스 뗄레꽁 filed Critical 프랑스 뗄레꽁
Publication of KR20070040341A publication Critical patent/KR20070040341A/ko
Application granted granted Critical
Publication of KR101225159B1 publication Critical patent/KR101225159B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 이산 웨이블릿 분해(110)를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스를 코딩하는 방법 및 장치에 관한 것으로서, 이산 웨이블릿 분해는, 비디오 이미지 시퀀스를 두 그룹의 이미지들로 나누는 단계, 상기 두 그룹 중 하나의 이미지들의 그룹을 소오스 그룹으로 하고, 다른 하나는 목표 그룹으로 하여, 상기 소오스 그룹 중 픽셀들로 이루어진 적어도 하나의 이미지로부터 상기 목표 그룹 내의 이미지를 대표하는 이미지를 결정하는 단계(112, 113, 114, 115)를 포함하며, 대표 이미지는 소오스 그룹 내의 적어도 하나의 이미지를 업샘플링(110, 111)하여 얻어지는 픽셀들 및 서브픽셀에서 결정되는 픽셀들 및 서브픽셀들을 포함하는 것을 특징으로 한다.
고주파 이미지, 이산 웨이블릿 변환, 저역 통과 필터링, 비디오 이미지 시퀀스, 업샘플링

Description

비디오 이미지의 시퀀스를 코딩하는 방법 및 장치{METHOD AND DEVICE FOR ENCODING A VIDEO A VIDEO IMAGE SEQUENCE}
본 발명은 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지의 시퀀스를 코딩 및 디코딩하는 방법 및 장치에 관한 것이다.
더욱 자세하게는, 본 발명은 이산 웨이블릿 변환에 의한 움직임 보상 및 시간 변환을 이용하여 디지털 이미지의 시퀀스를 코딩하는 분야에 관한 것이다.
현재, 비디오 이미지의 시퀀스를 코딩하기 위해 사용되는 코더의 대부분은 비디오 이미지의 코딩된 시퀀스 전체에 대응하는 단일의 데이터 스트림을 생성한다. 클라이언트가 코딩된 비디오 이미지의 시퀀스를 사용하고자 하는 경우, 코딩된 비디오 이미지의 시퀀스 전체를 수신하여 처리해야 한다.
그러나, 인터넷과 같은 원격통신망에서는, 클라이언트는 상이한 특성들을 갖는다. 이러한 특성들은 예컨대 원격통신망에서 클라이언트 각각에 할당되는 대역폭 및/또는 클라이언트들의 원격통신망의 처리 능력이다. 또한, 클라이언트들은 몇몇 경우에 있어서 최적의 품질과 해상도로 계속적으로 표시하는 것을 의미할지라도 초기에는 저해상도 및/또는 저품질에서 빠른 속도로 비디오 이미지의 시퀀스를 표시하고자 한다.
이러한 문제점들을 해소하기 위하여, 소위 스케일러블 비디오 이미지 시퀀스 코딩 알고리즘이 대두되었는데, 즉 가변성의 품질 및/또는 공간-시간 해상도에서 데이터 스트림이 수 개의 층들에서 코딩되며, 이러한 층 각각은 보다 상위레벨의 층에 위치된다. 예컨대, 비디오 이미지 시퀀스를 상이하게 코딩할 필요없이, 보다 저품질 및/또는 저해상도에서 코딩된 비디오 이미지의 시퀀스를 갖는 데이터 스트림의 일부가 제한된 특성을 갖는 클라이언트들에 보내지며, 품질 및/또는 해상도의 측면에서 상보적인 데이터를 포함하는 데이터 스트림의 다른 일부는 높은 특성을 갖는 클라이언트에 보내진다.
더욱 최근에는, 이산 웨이블릿 분해(또는 "이산 웨이블릿 변환(DWT)")를 사용한 움직임 보상 시간 필터링을 사용하는 알고리즘들이 대두되었다. 이러한 알고리즘들은 먼저 비디오 이미지 시퀀스의 이미지들 사이의 웨이블릿 시간 변환을 수행한 후, 그 결과의 시간 부대역들을 공간적으로 분해한다. 더욱 자세하게는, 비디오 이미지 시퀀스가 짝수 이미지와 홀수 이미지의 2개의 그룹의 이미지들로 분해되고, 각각의 짝수 이미지와 웨이블릿 시간 변환 중 사용되는 가장 근접한 홀수 이미지 또는 이미지들 사이에서 움직임 필드(motion field)가 추정된다. 짝수 및 홀수 이미지들은 시간 부대역들을 구하기 위하여 서로에 대하여 반복적으로 움직임 보상된다. 이러한 그룹의 생성과 움직임 보상 처리의 반복은 다양한 웨이블릿 변형 레벨들을 생성하기 위하여 효과적일 수 있다. 이어서, 시간상의 이미지들은 웨이블릿 분석 필터들에 의해 공간상으로 필터링된다.
분해의 마지막에, 그 결과는 공간-시간 부대역들의 집합이다. 움직임 필드 및 공간-시간 부대역들은 결국 목표의 해상도 레벨에 대응하는 계층들에서 코딩 및 전송된다. 이러한 알고리즘들 중 일부는 「W Sweldens, Siam J Anal., Vol 29, No 2, pp 511-546, 1997」의 문헌 및 "리프팅(Lifting)"으로 알려진 기법에 따라서 시간 필터링을 수행한다.
이러한 알고리즘들 중에서, "3D sub-band video coding using Barbell Lifting; MSRA Asia; Contribution S05 to the CFP MPEG-21 SVC" 라는 제목의 간행물에서는, 이러한 가중치를 사용하여 가중치 적용된 업데이트를 행하기 위하여 짝수 이미지들로부터 홀수 이미지들을 예측하는 중에 사용되는 홀수 이미지들의 픽셀들의 가중치들을 사용하여 홀수 이미지들로부터의 픽셀들로 짝수 이미지들의 픽셀들을 갱신하는 것이 제안되었다. 가중치(W)를 사용하여 홀수 이미지의 점 Q'(x', y')의 예측에 기여하는 짝수 이미지의 점 P(x, y)은, 가중치(W)가 부여된 점 Q'(x', y')의 부담분 만큼 갱신되게 된다.
이러한 해법은 만족스럽지 못하다. 이는 이 알고리즘에 의해 몇몇 문제점들이 해결되지 않기 때문이다. 짝수 이미지들에는 갱신되지 않는 픽셀들이 존재한다. 홀(hole)이라고도 하는 이러한 픽셀의 갱신 실패는 움직임 필드의 갱신이 완전하게 가역적이 되지 못하도록 하며, 클라이언트의 디코더에서 이미지가 재생될 때 결점(artefact)을 야기한다. 또한, 짝수 이미지의 복수의 픽셀들에 의해 갱신되는 특정의 픽셀들에서는, 갱신이 정규화되지 않는다. 이러한 정규화의 부재는 또한 클라이언트의 디코더에서 이미지가 재생될 때 전방 및/또는 후방 에코(pre-echoes or post-echoes)와 같은 결점들을 야기한다.
본 발명의 목적은, 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스를 코딩 및 디코딩하는 방법 및 장치로서, 디코더에서 재생되는 이미지들이 종래 기술의 결점들을 포함하지 않는 코딩 및 디코딩 방법 및 장치를 제안함으로써, 종래 기술의 문제점을 해결하고자 하는 것이다.
이를 위하여, 제1 양태에 따르면, 본 발명은 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스를 코딩하는 방법으로서, 이산 웨이블릿 분해는, 비디오 이미지 시퀀스를 두 그룹의 이미지들로 나누는 단계, 및 두 그룹 중 하나의 이미지들의 그룹을 소오스 그룹으로 하고, 다른 하나는 목표 그룹으로 하여, 소오스 그룹 중 픽셀들로 이루어진 적어도 하나의 이미지로부터 목표 그룹의 이미지를 대표하는 이미지를 결정하는 단계를 포함하며, 대표 이미지는 소오스 그룹 내의 적어도 하나의 이미지를 서브샘플링하여 얻어지는 픽셀 및 서브픽셀들에서 결정되는 픽셀들 및 서브픽셀들을 포함하는 것을 특징으로 하는 코딩 방법을 제안한다.
이에 대응하여, 본 발명은 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스를 코딩하는 장치로서, 이산 웨이블릿 분해 수단을 포함하며, 이산 웨이블릿 분해 수단은, 비디오 이미지 시퀀스를 두 그룹의 이미지들로 나누는 수단; 및 두 그룹 중 하나의 이미지들의 그룹을 소오스 그룹으로 하고, 다른 하나는 목표 그룹으로 하여, 소오스 그룹 중 픽셀들로 이루어진 적어도 하나의 이미지로부터, 목표 그룹 내의 이미지를 대표하는 이미지를 결정하는 수단을 포함하는 코딩 장치에 있어서, 소오스 그룹 내의 적어도 하나의 이미지를 업샘플링함으로써 얻어지는 픽셀들 및 서브픽셀들에서 결정되는 픽셀들 및 서브픽셀들을 포함하는 대표 이미지를 형성하는 수단을 포함하는 것을 특징으로 하는 코딩 장치에 관한 것이다.
따라서, 서브픽셀 레벨에서 움직임을 추정할 수 있고, 이에 따라 움직임이 축소 또는 확대될 수 있다면 해상도의 변경에 의해 "에일리어싱(aliasing)" 현상의 도입과 정보의 손실을 방지할 수 있는, 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스의 코딩을 실행할 수 있다.
본 발명의 또 다른 양태에 따르면, 소오스 그룹의 이미지들은 적어도 하나의 웨이블릿 분해 합성을 수행함으로써 업샘플링된다.
따라서, 공간 부해상도(sub-resolution)에서 코딩이 수행되는 경우, 웨이블릿 합성이 업샘플링에 특히 적합하여, 웨이블릿 분해의 역이 되도록 한다.
본 발명의 또 다른 양태에 따르면, 상기 이미지를 결정하기 위하여 사용되는 목표 그룹 내의 이미지와 소오스 그룹 내의 각 이미지 사이에서 움직임 필드가 결정되고, 결정된 움직임 필드로부터, 이미지를 예측하기 위하여 사용되는 소오스 그룹 내의 각 이미지의 적어도 하나의 픽셀 및/또는 서브픽셀이 목표 그룹 내의 이미지를 대표하는 이미지의 각 픽셀 및 각 서브픽셀을 관계된다.
따라서, 움직임 필드가 완전히 가역적이며, 종래 기술의 홀(hole)과 관련된 문제점이 비디오 이미지 시퀀스의 디코딩 중에 결점을 발생시키지 않는다.
본 발명의 또 다른 양태에 따르면, 목표 그룹 내의 이미지를 대표하는 이미지의 각 픽셀 및 각 서브픽셀의 값은, 목표 그룹 내의 이미지를 대표하는 이미지의 각 픽셀 및 서브픽셀과 관계된 각 픽셀 및 서브픽셀의 값을 합산하고, 목표 그룹 내의 이미지를 대표하는 이미지의 픽셀 또는 서브픽셀과 관계된 픽셀 및 서브픽셀들의 수만큼 상기 합을 나누어 구한다.
따라서, 비디오 이미지 시퀀스가 디코딩되는 경우, 전방 및 후방 에코와 같은 결점들이 크게 감소된다.
본 발명의 또 다른 양태에 따르면, 목표 그룹 내에서 이미지를 대표하는 이미지가 저역 통과 필터에 의해 필터링된다.
따라서, 축소 동작과 관련된 문제점이 감소된다.
본 발명의 또 다른 양태에 따르면, 목표 그룹 내에서 이미지를 대표하는 이미지는 적어도 하나의 이산 웨이블릿 분해에 의해 서브샘플링되어, 목표 그룹 내에서 이미지를 대표하는 이미지와 동일한 해상도로 서브샘플링된 이미지를 얻는다.
또한, 본 발명은, 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스를 디코딩하는 방법으로서, 이산 웨이블릿 분해는, 비디오 이미지 시퀀스를 두 그룹의 이미지들로 나누는 단계, 및 두 그룹 중 하나의 이미지들의 그룹을 소오스 그룹으로 하고, 다른 하나는 목표 그룹으로 하여, 소오스 그룹 중 픽셀들로 이루어진 적어도 하나의 이미지로부터 목표 그룹의 이미지를 대표하는 이미지를 결정하는 단계를 포함하며, 대표 이미지는 상기 소오스 그룹 내의 적어도 하나의 이미지를 서브샘플링하여 얻어지는 픽셀들 및 서브픽셀들에서 결정되는 픽셀들 및 서브픽셀들을 포함하는 것을 특징으로 하는 디코딩 방법에 관한 것이다.
이에 대응하여, 본 발명은, 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스를 디코딩하는 장치로서, 이산 웨이블릿 분해 수단을 포함하며, 이산 웨이블릿 분해 수단은, 상기 비디오 이미지 시퀀스를 두 그룹의 이미지들로 나누는 수단; 및 두 그룹 중 하나의 이미지들의 그룹을 소오스 그룹으로 하고, 다른 하나는 목표 그룹으로 하여, 소오스 그룹 중 픽셀들로 이루어진 적어도 하나의 이미지로부터, 목표 그룹 내의 이미지를 대표하는 이미지를 결정하는 수단을 포함하는 디코딩 장치에 있어서, 소오스 그룹 내의 적어도 하나의 이미지를 업샘플링함으로써 얻어지는 픽셀들 및 서브픽셀들에서 결정되는 픽셀들 및 서브픽셀들을 포함하는 대표 이미지를 형성하는 수단을 포함하는 것을 특징으로 하는 디코딩 장치에 관한 것이다.
또한, 본 발명은, 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 코딩된 비디오 이미지 시퀀스를 포함하는 신호로서, 상기 신호는 비디오 이미지 시퀀스를 두 그룹의 이미지들로 나누고, 두 그룹 중 하나의 이미지들의 그룹을 소오스 그룹으로 하고, 다른 하나는 목표 그룹으로 하여, 소오스 그룹 중 픽셀들로 이루어진 적어도 하나의 이미지로부터 상기 목표 그룹 내의 이미지를 대표하는 이미지를 결정함으로써 얻어지는 고주파 이미지 및 저주파 이미지를 포함하며, 고주파 이미지 및 저주파 이미지는 소오스 그룹 내의 적어도 하나의 이미지를 업샘플링하여 얻어지는 픽셀들 및 서브픽셀에서 결정되는 픽셀들 및 서브픽셀들로부터 얻어지는 것을 특징으로 하는 신호에 관한 것이다.
또한, 본 발명은, 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 코딩된 비디오 이미지 시퀀스를 포함하는 신호를 전송하는 방법으로서, 신호는 비디오 이미지 시퀀스를 두 그룹의 이미지들로 나누고, 두 그룹 중 하나의 이미지들의 그룹을 소오스 그룹으로 하고, 다른 하나는 목표 그룹으로 하여, 소오스 그룹 중 픽셀들로 이루어진 적어도 하나의 이미지로부터 목표 그룹 내의 이미지를 대표하는 이미지를 결정함으로써 얻어지는 고주파 이미지 및 저주파 이미지를 포함하며, 고주파 이미지 및 상기 저주파 이미지는 소오스 그룹 내의 적어도 하나의 이미지를 업샘플링하여 얻어지는 픽셀들 및 서브픽셀에서 결정되는 픽셀들 및 서브픽셀들로부터 얻어지는 것을 특징으로 하는 신호 전송 방법에 관한 것이다.
또한, 본 발명은, 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 코딩된 비디오 이미지 시퀀스를 포함하는 신호를 저장하는 방법으로서, 신호는 비디오 이미지 시퀀스를 두 그룹의 이미지들로 나누고, 두 그룹 중 하나의 이미지들의 그룹을 소오스 그룹으로 하고, 다른 하나는 목표 그룹으로 하여, 소오스 그룹 중 픽셀들로 이루어진 적어도 하나의 이미지로부터 목표 그룹 내의 이미지를 대표하는 이미지를 결정함으로써 얻어지는 고주파 이미지 및 저주파 이미지를 포함하며, 고주파 이미지 및 저주파 이미지는 소오스 그룹 내의 적어도 하나의 이미지를 업샘플링하여 얻어지는 픽셀들 및 서브픽셀에서 결정되는 픽셀들 및 서브픽셀들로부터 얻어지는 것을 특징으로 하는 신호 저장 방법에 관한 것이다.
저장 매체에 전송 및/또는 저장되는 비디오 이미지 시퀀스를 포함하는 신호의 디코딩 장치 및 방법은 코딩 장치 및 방법의 장점과 동일하므로, 이에 대하여는 설명을 생략한다.
또한, 본 발명은 컴퓨터 시스템에 탑재되어 실행되는 경우, 전술한 방법을 실행하기 위한 명령어들을 포함하는, 정보 매체에 저장되는 컴퓨터 프로그램에 관한 것이다.
전술한 본 발명의 특징들 및 기타의 특징들은 이하의 예시적인 실시예의 설명을 통해 더욱 분명하게 될 것이며, 상기 설명은 이하의 첨부된 도면과 연계하여 주어진다.
도 1은 움직임 보상 시간 필터링 기능을 갖는 비디오 코더의 블록도.
도 2는 Haar 필터가 웨이블릿 분해에서 사용되는 경우 도 1의 비디오 코더의 움직임 보상 시간 필터링 모듈을 나타낸 블록도.
도 3은 도 4 및 도 8을 참조하여 설명되는 알고리즘에 따라서 코딩 및 디코딩 알고리즘을 실행할 수 있는 컴퓨팅 및/또는 원격통신 장치를 나타낸 블록도.
도 4는 Haar 필터가 웨이블릿 분해에 사용되어 움직임 보상 시간 필터링이 소프트웨어로부터 실행되는 경우 프로세서에 의해 실행되는 코딩 알고리즘을 나타낸 도면.
도 5는 본 발명에 따른 움직임 보상 시간 필터링 기능을 갖는 비디오 코더를 나타낸 블록도.
도 6은 Haar 필터가 웨이블릿 분해에 사용되는 경우 도 5의 비디오 디코더의 움직임 보상 시간 역필터링 모듈을 나타낸 블록도.
도 7은 Haar 필터가 웨이블릿 분해에 사용되는 경우, 움직임 보상 시간 역필터링이 소프트웨어를 사용하여 실행되는 때에 프로세서에 의해 실행되는 디코딩 알고리즘을 나타낸 도면.
도 1은 움직임 보상 시간 필터링 기능을 갖는 비디오 코더를 나타낸 블록도이다. 움직임 보상 시간 필터링(10) 기능을 갖는 비디오 코더는 스케일러블 데이터 스트림(18)에 비디오 이미지 시퀀스(15)를 코딩할 수 있다. 스케일러블 데이터 스트림은 이미지의 품질 및/또는 해상도의 측면에서 데이터를 수신하는 적용예의 종류에 따라 변동가능한 표현을 송신할 수 있도록 데이터가 배열된 스트림이다. 이러한 스케일러블 데이터 스트림에 포함된 데이터는, 비디오 이미지 시퀀스의 각종 코딩을 행할 필요없이, 품질과 해상도 양쪽 모두에서 스케일러블 또는 스케일 변환되는 방법으로 비디오 이미지 시퀀스들의 전송을 보장하도록 코딩된다. 따라서, 원격통신망의 전송율이 낮은 경우, 및/또는 원격통신 단말이 고품질 및/또는 고해상도를 요하지 않는 경우, 복원 레벨에 해당하는 스케일러블 데이터 스트림(18)의 일부만을 데이터 매체에 저장하거나, 및/또는 원격통신 단말에 전송할 수 있다.
또한, 동일한 스케일러블 데이터 스트림(18)을 사용하여 원격통신 단말이 고품질 및/또는 고해상도를 필요로 하는 경우 및 원격통신망의 전송율이 높은 경우, 전체 스케일러블 데이터 스트림(18)을 데이터 매체에 저장하거나, 및/또는 원격통신 단말에 전송할 수 있다.
본 발명에 따르면, 움직임 보상 시간 필터링 기능을 갖는 비디오 코더(10)는 움직임 보상 시간 필터링 모듈(100)을 구비한다. 움직임 보상 시간 필터링 모듈(100)은 N 개의 이미지들의 그룹을 예컨대 (N+1)/2 개의 저주파 이미지들의 그룹과 N/2 개의 고주파 이미지들의 그룹의 두 개의 이미지들의 그룹으로 변환하고, 이러한 이미지들을 움직임 보상 시간 필터링 기능을 갖는 비디오 코더(10)의 움직임 추정 모듈(11)에 의해 이루어지는 움직임 추정 기능을 사용하여 변환한다. 움직임 추정 모듈(11)은 각각의 짝수 이미지(x2[m,n])와 선행하는 홀수 이미지(x1[m,n]) 사이에서 또는 가능하다면 이미지 시퀀스 내에서 후행하는 쌍의 홀수 이미지로 움직임 추정을 수행한다. 움직임 보상 시간 필터링 모듈(100)은 시간 필터링이 가능한 효율적이 되도록 짝수 이미지(x2[m,n])의 움직임을 보상한다. 이는 이미지와 이미지의 예측치 사이에 차이가 작을수록, 더 효율적으로, 즉 양호한 속도/왜곡 절충점에서 또는 유사한 방법으로, 재생 품질에 대한 압축율의 양호한 비율로 압축될 수 있기 때문이다.
움직임 추정 모듈(11)은 짝수 및 홀수의 이미지 쌍 각각에 대하여, 예컨대 이에 한하지 않지만, 짝수 이미지에 대하여 홀수 이미지의 블록들을 매칭시킴으로써 움직임 필드를 계산한다. 이러한 기법은 "블록 매칭(block matching)"으로 공지되어 있다. 물론, 예컨대 메싱(meshing)에 의한 움직임 추정 기법과 같은 다른 기법들이 사용될 수 있다. 따라서, 홀수 이미지의 픽셀들로 짝수 소오스 이미지들 중 특정 픽셀들의 패칭이 수행된다. 블록별로 추정하는 특정한 경우에는, 홀수 이 미지의 블록의 각 서브 픽셀 및 각 픽셀에 블록의 움직임의 값이 할당될 수 있다. 일 변형예에 있어서, OBMC(Overlapped Block Motion Compensation)으로 알려진 기법에 따라서 블록의 가중치 움직임 벡터 및 이웃하는 블록들의 가중치 움직임 벡터들이 블록의 각 픽셀에 할당된다.
움직임 보상 시간 필터링 모듈(100)은 비디오 이미지 시퀀스를 하나 이상의 해상도 레벨들에 걸쳐 분산된 수 개의 시간 부대역(sub-band)들로 분해하기 위하여 이미지들 사이의 이산 웨이블릿 분해를 수행한다. 이산 웨이블릿 분해는 요구되는 분해 레벨에 도달하지 않는 한 시간 부대역들 중 낮은 저주파 부대역들에 순환적으로 적용된다. 움직임 보상 시간 필터링 비디오 코더(10)의 결정 모듈(12)은 요구되는 분해 레벨에 도달하였는지 여부를 결정한다.
움직임 보상 시간 필터링 모듈(100)에 의해 얻어진 다양한 주파수 부대역들은 스케일러블 데이터 스트림 생성 모듈(13)에 전달된다. 움직임 추정 모듈(11)은 다양한 주파수 부대역들과 움직임 추정치들로부터 스케일러블 데이터 스트림(18)을 작성하는 스케일러블 스트림 생성 모듈(13)에 움직임 추정치를 전달한다.
도 2는 웨이블릿 분해에서 Haar 필터가 사용되는 경우 도 1의 비디오 코더의 움직임 보상 시간 필터링 모듈을 나타낸 블록도이다. 움직임 보상 시간 필터링 모듈(100)은 "리프팅(lifting)"으로 알려진 기법에 따라서 시간 필터링을 수행한다. 이러한 기법은 웨이블릿 필터링과 동등한, 간편하고, 융통성 있으며, 완전히 가역적인 필터링을 수행할 수 있도록 한다.
소오스 짝수 이미지(x2[m,n])는 본 발명에 따라서 이산 웨블릿 변환 합성 또는 DWT 합성을 수행함으로써 합성 모듈(110)에 의해 업샘플링(upsample)된다. 이는, 특히 이산 웨이블릿 분해에 의해 이미지 x2[m,n]가 얻어 진다면, 보간(interpolation)을 대신하여 DWT 합성을 사용하여 예측치의 차이가 대폭 감소되기 때문이다.
모듈들(110 내지 116)로 구성되는 움직임 보상 시간 필터링 모듈(100)의 일부분에 있어서, 이미지 소오스는 짝수 이미지(x2[m,n])이다.
업샘플링된 짝수 이미지(x2[m,n])는 다시 한번 보간 모듈(111)에 의해 업샘플링된다. 보간 모듈(111)은 예컨대 1/4 픽셀 해상도의 이미지를 얻도록 보간을 수행한다. 예컨대, 보간은 현재 처리중인 픽셀에 제일 근접한 픽셀들이, 그 합은 1과 같고, 현재 처리중인 픽셀로부터의 거리에 따라서 선형 감소하는 계수들만큼 가중치가 부여되는, 쌍선형(bilinear) 보간이다. 일 변형예에 있어서, 보간은 바이큐빅(bicubic) 보간 또는 카디널 사인(cardinal sine) 보간이다. 따라서, 이미지 x2[m,n] 는 합성 모듈(110) 및 보간 모듈(111)에 의해 예컨대 1/4 픽셀의 해상도를 갖는 이미지 x'2[m',n']로 변환된다.
또한, 움직임 보상 시간 필터링 모듈(100)은 초기 움직임 연결 모듈(121)을 구비한다. 초기 움직임 연결 모듈(121)은 목표 이미지 x1[m,n] 보다 적어도 4배 많은 픽셀들을 구비하는 이미지 x'1[m",n"]을 형성한다. 이미지 x'1[m",n"]은 x1[m,n]을 보간하거나 임의의 다른 방법으로 형성되며, 예컨대 이러한 픽셀들과 서브픽셀들을 구비하는 초기 움직임 연결 모듈(121)에 의해 추정되는 블록의 움직임 벡터를 이미지 x'1[m",n"]의 각 픽셀 및 서브픽셀과 관계시킨다. 모듈들(110 내지 116)로 구성되는 움직임 보상 시간 필터링 모듈(100)의 일부에 있어서, 목표 이미지는 홀수 이미지(x1[m,n])이다.
여기서, 이미지 x'2[m',n']의 픽셀은 이미지 x2[m,n]의 픽셀과 동일한 위치를 갖는 이미지 x'2[m',n']의 픽셀을 의미한다. 여기서, 이미지 x'2[m',n']의 서브픽셀은 DWT 합성 및/또는 보간에 의해 생성된 이미지 x'2[m',n']의 픽셀을 의미한다. 여기서, 이미지 x1[m",n"]의 픽셀은 이미지 x1[m,n]의 픽셀과 동일한 위치를 갖는 이미지 이미지 x'1[m",n"]의 픽셀을 의미한다. 여기서, 이미지 x'1[m",n"]의 서브픽셀은 DWT 합성 및/또는 보간에 의해 생성된 이미지 x'1[m",n"]의 서브픽셀을 의미한다.
움직임 보상 시간 필터링 모듈(100)은 움직임 필드 치밀화 모듈(112)을 구비한다. 움직임 필드 치밀화 모듈(112)은 초기 움직임 연결 모듈(121)에 의해 설정된 연결을 사용하여 소오스 이미지 x'2[m',n']의 적어도 하나의 픽셀을 목표 이미지 x'1[m",n"]의 서브픽셀 및 픽셀 각각과 관계시킨다.
모든 관계가 이루어졌다면, 누산 모듈(113)은 이미지 x'1[m",n"]의 크기와 동일한 크기를 갖는 누적 이미지 Xa'[m",n"]을 생성한다. 누적 이미지 Xa'[m",n"]의 픽셀 및 서브픽셀 각각의 값은 목표 이미지 x'1[m",n"]의 대응하는 픽셀 또는 서브픽셀과 관계되는 소오스 이미지 x'2[m',n']의 픽셀 및 서브픽셀의 값들의 합과 같고, 이 합은 정규화되는데, 더욱 자세하게는, 이미지 x'1[m",n"]의 대응하는 픽셀 또는 서브픽셀과 관계되는 소오스 이미지 x'2[m',n']의 픽셀 및 서브픽셀들의 수로 나누어진다. 이러한 나눗셈은 이미지 시퀀스가 디코딩되는 때에 나타나는 전방 및/또는 후방 에코 효과와 같은 결점들을 방지할 수 있도록 한다.
본 발명의 일 변형예에 있어서, 각 관계에 가중치(Wconnex)가 할당된다. 이미지 Xa'[m',n']의 각 픽셀 또는 서브픽셀의 갱신값은 이하의 공식에 따라 계산되게 된다:
Figure 112006097921312-pct00001
여기서, Maj 는 이미지 Xa'[m", n"]의 픽셀 또는 서브픽셀의 값이며, Valsrc은 목표 이미지 x'1[m",n"]의 픽셀 또는 서브픽셀과 관계되는 소오스 이미지 x2[m,n]의 픽셀의 값이다.
그 후, 이미지 Xa'[m",n"]는 저역 통과 필터(114)에 의해 필터링된다. 저역 통과 필터(114)의 기능은 유닛(115)에 의해 수행되는 이미지의 서브샘플링 중에 스 펙트럼의 에일리어싱에 관련된 임의의 결점들을 방지하도록, 이미지 Xa'[m",n"]의 특정 고주파 성분들을 소거하는 것이다.
이미지 Xa'[m",n"]의 모든 픽셀 및 서브픽셀들에 대하여 저역통과 필터링을 행함으로써, 이미지 Xa'[m",n"]의 일부 세부 부분들이 남는다.
그 후, 필터링된 이미지 Xa'[m",n"]가 모듈(115)에 의해 서브샘플링된다. 모듈(115)은 제1 서브샘플러 및 이산 웨이블릿 분해 모듈을 포함하며, 이미지 Xa'[m",n"]를 서브샘플링하여, 후자가 이미지 x1[m,n]와 동일한 해상도를 갖도록 한다. 그 후, 고주파 성분을 포함하는 이미지 H[m,n]를 형성하기 위하여 감산기(116)에 의해 서브샘플링된 이미지 Xa'[m",n"]가 이미지 x1[m,n]으로부터 감산된다. 그 후, 이미지 H[m,n]은 스케일러블 데이터 스트림 생성 모듈(13)과 합성 모듈(130)에 전달된다.
모듈들(130 내지 136)로 이루어진 움직임 보상 시간 필터링 모듈(100)의 일부에 있어서, 소오스 이미지는 이미지 H[m,n]이다.
소오스 이미지 H[m,n]는 합성 모듈(130)에 의해 본 발명에 따라서 이산 웨이블릿 변환 합성 또는 DWT 합성을 수행함으로써 업샘플링된다.
업샘플링된 소오스 이미지(H[m,n])는 소오스 이미지 H'[m',n']를 구하기 위하여 보간 모듈(131)에 의해 다시 한번 업샘플링된다. 보간 모듈(131)은 예컨대 1/4 픽셀의 해상도의 이미지를 얻도록 보간을 수행한다. 이러한 보간은, 예컨대, 보간 모듈(111)에 의해 수행되는 것과 동일한 보간이다.
움직임 보상 시간 필터링 모듈(100)은 또한 움직임 필드 치밀화 모듈(132)을 구비한다.
움직임 필드 치밀화 모듈(132)은 초기 움직임 연결 모듈에 의해 생성된 x'1[m",n"] 과 x'2[m',n'] 사이의 초기 연결을 역전시켜, 이들을 소오스 이미지 H'[m',n']와 목표 이미지 x'2[m",n"] 사이에 적용한다. 모듈들(130 내지 136)로 이루어진 움직임 보상 시간 필터링 모듈(100)의 일부에 있어서, 목표 이미지는 이미지 x2[m,n] 또는 x'2[m",n"] 이다.
움직임 필드 치밀화 모듈(132)은 초기 움직임 연결 모듈(121)에 의해 설정된 연결로부터 소오스 이미지 H'[m',n']의 적어도 하나의 픽셀을 목표 이미지 x'2[m",n"]의 픽셀 및 서브픽셀 각각과 관계시킨다.
여기서, 목표 이미지 x'2[m",n"]의 일부 픽셀 및/또는 서브픽셀들은 소오스 이미지 H'[m',n']의 픽셀 및 서브픽셀들과 관계되지 않는다. 이러한 픽셀 또는 서브픽셀들은 움직임 필드가 완전하게 가역적이지는 않도록 하며, 클라이언트의 디코더에서 이미지가 재생되는 경우 결점들을 일으키게 된다. 본 발명에 따른 움직임 필드 치밀화 모듈(132)은 이러한 홀(hole)들에 대한 관계를 설정한다. 이를 위하여, 움직임 필드 치밀화 모듈(132)은 목표 이미지 x'2[m",n"]의 모든 픽셀 및 서브픽셀들이 관계된 소오스 이미지 H'[m',n']의 적어도 하나의 픽셀 또는 서브픽셀을 가질 때까지, 반복적으로 또한 점진적인 전파형태로, 목표 이미지 x'2[m",n"]의 픽 셀 및 서브픽셀 각각과 가장 근접한 픽셀 또는 서브픽셀과 관계된 소오스 이미지(H'[m',n'])의 픽셀을 관계시킨다. 여기서, 특정 실시예에 있어서, 목표 이미지 x'2[m",n"]의 픽셀 또는 서브픽셀이 소오스 이미지 H'[m',n']의 소정 수의 픽셀들, 예컨대, 4 개의 픽셀들과 관계되는 경우, 상기 픽셀에 대하여는 아무런 새로운 관계가 이루어지지 않는다.
모든 관계가 이루어지면, 누산 모듈(133)은 누적 이미지 Xb'[m",n"]를 생성한다. 누적 이미지 Xb'[m",n"]는 목표 이미지 x'2[m",n"]와 동일한 크기이며, 누산이미지의 각 픽셀 및 서브픽셀의 값은, 이미지 x'2[m",n"] 내의 대응하는 픽셀 또는 서브픽셀과 관계되는 소오스 이미지 H'[m',n']의 픽셀 및 서브픽셀들의 값들의 합과 같으며, 이러한 합은 소오스 이미지 H'[m',n']의 대응하는 픽셀 또는 서브픽셀과 관계되는 이미지 x'2[m",n"]의 픽셀 및 서브픽셀들의 수에 의해 나누어진다. 이러한 나누기는 이미지 시퀀스의 디코딩 중에 나타나는 전방 및/또는 후방 에코 효과와 같은 결점들을 방지할 수 있도록 한다.
본 발명의 일 변형예에 있어서, 각 관계에 가중치(Wconnex)가 할당된다. 이미지 Xb'[m',n']의 각 픽셀 또는 서브픽셀의 갱신값은 이하의 공식에 따라 계산되게 된다:
Figure 112006097921312-pct00002
여기서, Maj 는 이미지 Xb'[m", n"]의 픽셀 또는 서브픽셀의 값이며, Valsrc은 목표 이미지 x'2[m",n"]의 픽셀 또는 서브픽셀과 관계되는 소오스 이미지 H'[m',n']의 픽셀의 값이다.
그 후, 이미지 Xb'[m",n"]는 저역 통과 필터(134)에 의해 필터링된다. 저역 통과 필터(134)의 기능은 유닛(135)에 의해 행해지는 이미지의 서브샘플링 중에 스펙트럼 에일리어싱과 관련된 임의의 결점들을 방지하도록, 이미지 Xb'[m",n"]의 특정 고주파 성분들을 소거하는 것이다. 이미지 Xb'[m",n"]의 모든 픽셀 및 서브픽셀들에 대하여 저역통과 필터링을 행함으로써, 이미지 Xb'[m",n"]의 일부 세부 부분들이 남는다.
그 후, 필터링된 이미지 Xb'[m",n"]가 모듈(115)에 의해 서브샘플링된다. 모듈(135)은 제1 서브샘플러 및 이산 웨이블릿 분해 모듈을 포함하며, 이미지 Xb'[m",n"]를 서브샘플링하여, 후자가 이미지 x2[m,n]와 동일한 해상도를 갖도록 한다. 그 후, 고주파 성분을 포함하는 이미지(L[m,n])를 형성하기 위하여 가산기(136)에 의해 서브샘플링된 이미지 Xb'[m",n"]가 이미지 x2[m,n]에 1/2 가산된다. 그 후, 이미지 L[m,n]은 스케일러블 데이터 스트림 생성 모듈(13)에 전달된다.
그 후, 이미지 L[m,n]은 요구되는 해상도 레벨이 얻어지거나 새로운 분해를 위해 움직임 보상 시간 필터링 모듈(100)에 의해 재처리되는 경우 움직임 보상 시간 필터링 비디오 코더(10)의 결정 모듈(12)에 전달된다. 새로운 분해가 수행되어야 하는 경우, 이미지 L[m,n]은 앞서 설명한 것과 동일한 방법으로 움직임 보상 시 간 필터링 모듈(100)에 의해 처리된다.
따라서, 움직임 보상 시간 필터링 모듈(100)은 예컨대 Haar 필터가 사용되는 경우 고주파 및 저주파 이미지들을 이하의 형태로 형성한다:
Figure 112006097921312-pct00003
여기서, Wi→j 는 이미지 j 상의 이미지 i의 움직임 보상치를 나타낸다.
도 3은 도 4 및 도 8을 참조하여 설명되는 알고리즘에 따라서 코딩 및 디코딩 알고리즘을 실행할 수 있는 컴퓨팅 및/또는 원격통신 장치를 나타낸 블록도이다.
이러한 컴퓨팅 및/또는 원격통신 장치(30)는 소프트웨어를 사용하여 이미지 시퀀스 상에서 움직임 보상 시간 필터링을 수행하도록 구성된다. 본 장치(30)는 또한 본 발명에 따라서 소프트웨어를 사용하여 코딩된 이미지 시퀀스 상에서 움직임 보상 시간 역필터링을 수행할 수 있다.
예컨대, 본 장치(30)는 마이크로컴퓨터일 수 있다. 또한, 본 장치(30)는 텔레비젼 등의 비디오 이미지 시퀀스 표시 수단 또는 텔레비젼, 모바일 전화기 등의 수신 단말기용의 정보의 집합을 생성하는 임의의 기타 장치에 통합될 수 있다.
본 장치(30)는 중앙 유닛(300), ROM(read only memory)(302), RAM(random access memory)(303), 화면(304), 키보드(305), 하드 디스크(308), DVD 플레이어/레코더(309), 및 원격통신망과의 통신을 위한 인터페이스(306)에 연결되는 통신 버 스(301)를 구비한다.
하드 디스크(308)는 본 발명에 따라서 코딩 및/또는 디코딩하는 데이터뿐만 아니라 본 발명을 실행하는 프로그램을 저장한다.
더욱 일반적으로, 본 발명에 따른 프로그램들은 저장 수단에 저장된다. 이러한 저장 수단은 컴퓨터 또는 마이크로프로세서(300)에 의해 판독될 수 있다. 이러한 저장 수단은 본 장치에 통합되거나 되지 않을 수 있으며, 착탈가능한 것일 수도 있다.
본 장치(30)에 전원이 공급되는 경우, 본 발명에 따른 프로그램들은 RAM(303)에 전달되며, 이 때, RAM(303)은 본 발명을 실행하기 위해 필요한 데이터뿐만 아니라 본 발명의 실행가능 코드를 포함한다.
통신 인터페이스(306)는 본 발명에 따른 코딩된 스케일러블 데이터의 스트림을 수신하여 디코딩할 수 있도록 한다. 통신 인터페이스(306)는 또한 본 발명에 따른 코딩된 스케일러블 데이터 스트림을 원격통신망을 통해 전달할 수 있도록 한다.
도 4는 Haar 필터가 웨이블릿 분해에 사용되는 경우, 소프트웨어를 사용하여 움직임 보상 시간 필터링이 실행되는 때에, 프로세서에 의해 실행되는 코딩 알고리즘을 나타낸다.
코딩 및/또는 디코딩 장치(30)의 프로세서(300)는 "리프팅(lifting)"으로 알려진 기법에 따라 시간 필터링을 수행한다.
단계 E400에서, 본 발명에 따라서 이산 웨이블릿 변환 합성을 수행함으로써 프로세서(300)에 의해 소오스 이미지가 업샘플링된다. 본 알고리즘의 현재의 기재에 있어서, 소오스 이미지는 짝수 이미지(x2[m,n])이다.
단계 E401에서, 업샘플링된 소오스 이미지 x2[m,n]는 보간을 수행함으로써 다시 한번 업샘플링된다. 예컨대, 이러한 보간은 쌍선형(bilinear) 보간 또는 바이큐빅(bicubic) 보간 또는 카디널 사인(cardinal sine) 보간이다. 따라서, 이미지 x2[m,n]는 예컨대 1/4 픽셀의 해상도를 갖는 이미지 x'2[m',n']로 변환된다.
단계 E402에서, 현재 처리중인 목표 이미지 x1[m,n]와 짝수 이미지(x2[m,n]) 와의 사이에 이미 움직임 추정이 이루어졌는지가 검사된다. 여기서, 목표 이미지는 홀수 이미지(x1[m,n]) 이다.
만일 그렇다면, 프로세서(300)는 본 장치(30)의 RAM 메모리(303)에 저장된 움직임 추정치를 판독하고, 단계 E405로 이행한다. 그렇지 않다면, 프로세서(300)는 단계 E403로 이행한다.
본 단계에서, 프로세서(300)는, 예컨대 이에 한하지 않지만, 소오스 이미지의 블록들을 과 목표 이미지를 매칭시킴으로써 움직임 필드를 계산한다. 물론, 예컨대, 메싱(meshing)에 의해 움직임 추정하는 기법 등의 기타의 기법들이 사용될 수 있다.
일단 이러한 동작이 수행되면, 프로세서(300)는 다음의 단계 E404로 이행하여, 단계 E403에서 취득된 초기 움직임들의 연결을 설정한다. 프로세서(300)는 목 표 이미지가 업샘플링되는 경우 목표 이미지 x1[m,n]의 각 픽셀, 또는 목표 이미지 x'1[m",n"]의 각 서브픽셀과 예컨대 이러한 픽셀들을 구비하는 블록의 움직임 벡터를 관계시킨다.
본 알고리즘의 기재에 있어서, 목표 이미지는 홀수 이미지 x1[m,n]이다.
그 후, 단계 E405에서, 프로세서(300)는 연결의 치밀화를 수행한다. 이러한 치밀화는 움직임 필드 치밀화 모듈(112)에 의해 수행되는 것과 동일한 방법으로 수행된다.
일단 이러한 동작이 수행되었다면, 프로세서(300)는 누산 모듈(113)에 의해 수행되는 것과 동일한 방법으로 단계 E406에서 누적 이미지 Xa'[m",n"]를 생성한다.
그 후, 단계 E407에서, 이미지 Xa'[m",n"]의 특정 고주파 성분들을 제거하여, 이미지의 후속하는 서브샘플링 중에 스펙트럼 에일리어싱에 관한 임의의 결점을 방지하도록, 저역 통과 필터링을 수행함으로써 이미지 Xa'[m",n"]가 필터링된다.
그 후, 단계 E408에서, 이미지 x1[m,n]과 동일한 해상도를 갖도록 이미지 Xa'[m",n"]의 서브샘플링 및 이산 웨이블릿 분해를 수행함으로써, 필터링된 이미지 Xa'[m",n"]는 서브샘플링된다. 그 후, 단계 E409에서, 서브샘플링된 이미지 Xa'[m",n"]가 이미지 x1[m,n]으로부터 감산되어, 고주파 성분들을 포함하는 이미지 H[m,n]를 형성한다. 그 후, 이미지 H[m,n]는 스케일러블 데이터 스트림 생성 모듈(13)에 전달된다.
프로세서(300)는 이미지 H[m,n]을 소오스 이미지로 하고, 이미지 x2[m,n]을 목표 이미지로 하여, 단계 E400 내지 단계 E409를 다시 한번 수행한다.
단계 E400 및 E401에서, 프로세서(300)는 이미지 H[m,n]에 대하여 이미지 x2[m,n]에 대하여 수행한 것과 동일한 동작을 수행한다. 이에 대하여는 설명을 생략한다.
단계 E405에서, 프로세서(300)는 앞서 설명한 움직임 필드 치밀화 모듈(132)에 의해 수행되는 것과 동일한 방법으로 연결의 치밀화를 행한다.
모든 관계들이 이루어진 경우, 단계 E406에서, 프로세서(300)는 누산 모듈(133)에 대하여 설명된 것과 동일한 방법으로 이미지 Xb'[m",n"]를 생성한다.
단계 E407, E408에서, 프로세서(300)는 이미지 Xa'[m",n"]에 대하여 수행된 것과 동일한 동작을 이미지 X'b[m",n"]에 대하여 수행하며, 이에 대하여는 설명을 생략한다.
이러한 동작들이 수행된 경우, 프로세서(300)는 필터링 및 서브샘플링된 이미지 X'b[m",n"]의 1/2을 이미지 x2[m,n]에 가산하여, 저주파 성분의 이미지 L[m,n]를 형성한다.
그 후, 이미지 L[m,n]는, 요구되는 해상도 레벨이 얻어지거나 새로운 분해를 위해 본 발명의 알고리즘에 의해 재처리되는 경우, 움직임 보상 시간 필터링 비디 오 코더(10)의 결정 모듈(12)에 전달된다. 새로운 분해가 수행되어야 한다면, 이미지 L[m,n]는 앞서 설명한 것과 동일한 방법으로 처리된다.
도 5는 본 발명에 따른 움직임 보상 시간 필터링 비디오 디코더를 나타낸 블록도이다.
움직임 보상 시간 필터링 비디오 디코더(60)는 도 1에서 설명된 바와 같이 코더에 의해 코딩되었던 스케일러블 데이터 스트림(18)에 포함된 데이터를 비디오 이미지 시퀀스(65)로 디코딩할 수 있다.
움직임 보상 시간 필터링 비디오 디코더(60)는 데이터 스트림(18)을 분석하는 모듈(68)을 구비한다. 분석 모듈(68)은 데이터 스트림(18)을 분석하여, 이로부터 가장 하위의 분해 레벨의 저주파 성분을 포함하는 이미지뿐만 아니라 각 분해 레벨의 각 고주파 이미지를 추출한다. 분석 모듈(68)은 고주파 성분(66) 및 저주파 성분(67)을 포함하는 이미지들을 움직임 보상 시간 역필터링 모듈(600)에 전달한다. 또한, 분석 모듈(68)은 데이터 스트림(18)으로부터 도 1의 코더(10)에 의해 이루어지는 움직임 필드의 각종 추정치들을 추출하여, 이들을 움직임 필드 저장 모듈(61)에 전달한다.
움직임 보상 시간 역필터링 모듈(600)은 고주파 이미지 및 저주파 이미지를 반복적으로 변환하여, 보다 높은 분해 레벨의 저주파 이미지에 대응하는 짝수 이미지 및 홀수 이미지를 형성한다. 움직임 보상 시간 역필터링 모듈(600)은 모듈(61)에 저장된 움직임 추정치들로부터 비디오 이미지 시퀀스를 형성한다. 이러한 움직임 추정치들은 본 발명의 코더(10)에 의해 코딩된 비디오 이미지 시퀀스 내에서 각 짝수 이미지와 후행하는 홀수 이미지 사이의 추정치들이다.
움직임 보상 시간 역필터링 모듈(600)은 이미지 L[m,n] 및 H[m,n]의 이산 웨이블릿 합성을 수행하여 비디오 이미지 시퀀스를 형성한다. 이산 웨이블릿 합성은 요구되는 분해 레벨이 얻어지지 않는 한 저주파 이미지들에 순환적으로 적용된다. 움직임 보상 시간 필터링 비디오 디코더(600)의 결정 모듈(62)은 요구되는 분해 레벨이 얻어지는지 여부를 결정한다.
도 6은 Haar 필터가 웨이블릿 분해에 사용되는 경우 도 5의 비디오 디코더의 움직임 보상 시간 역필터링 모듈을 나타낸 블록도이다.
움직임 보상 시간 역필터링 모듈(600)은 본 발명의 코더에 의해 코딩된 비디오 이미지들의 시퀀스의 다양한 이미지들을 재생하도록 "리프팅" 기법에 따라 시간 필터링을 수행한다.
이미지 H[m,n] 또는 소오스 이미지는 합성 모듈(610)에 의해 업샘플링된다. 합성 모듈(610)은 도 2의 합성 모듈(130)과 동일하며, 이에 대하여는 설명을 생략한다.
업샘플링된 이미지 H[m,n]는 보간 모듈(611)에 의해 다시 한번 업샘플링되어 이미지 H'[m',n']를 형성한다. 보간 모듈(611)은 도 2의 보간 모듈(131)과 동일하며, 이에 대하여는 설명을 생략한다.
또한, 움직임 보상 시간 필터링 모듈(100)은 도 2의 초기 움직임 연결 모듈(121)과 동일한 초기 움직임 연결 모듈(621)을 구비하며, 이에 대하여는 설명을 생략한다.
움직임 보상 시간 역필터링 모듈(600)은 움직임 필드 역치밀화 모듈(612)을 구비한다. 움직임 필드 역치밀화 모듈(612)는 도 2의 움직임 필드 역치밀화 모듈(132)과 동일하며, 이에 대하여는 설명을 생략한다.
움직임 보상 시간 역필터링 모듈(600)은 도 2의 누산 모듈(133)과 동일한 누산 모듈(613)을 구비하며, 이에 대하여는 설명을 생략한다. 누산 모듈(613)은 누적 이미지 Xb'[m",n"]를 생성한다.
움직임 보상 시간 역필터링 모듈(600)은 각각 필터링 모듈(134)과 이산 웨이블릿 분해 모듈(135)와 동일한 필터링 모듈(614)과 이산 웨이블릿 분해 모듈(615)을 구비하며, 이에 대하여는 설명을 생략한다.
움직임 보상 시간 역필터링 모듈(600)은 짝수 이미지 X2[m,n]를 형성하기 위하여 이미지 L[m,n]로부터 필터링 및 서브샘플링된 이미지 Xb'[m",n"]의 1/2을 감산하는 가산기(616)를 구비한다.
이미지 x2[m,n] 또는 소오스 이미지는 합성 모듈(630)에 의해 서브샘플링된다. 합성 모듈(630)은 도 6의 합성 모듈(610)과 동일하며, 이에 대하여는 설명을 생략한다.
업샘플링된 이미지 x2[m,n]은 보간 모듈(631)에 의해 다시 한번 업샘플링되어, 이미지 x'2[m',n']를 형성한다. 보간 모듈(631)은 도 2의 보간 모듈(111)과 동일하며, 이에 대하여는 설명을 생략한다.
움직임 보상 시간 역필터링 모듈(600)은 움직임 필드 역치밀화 모듈(632)을 구비한다. 움직임 필드 역치밀화 모듈(632)은 도 2의 움직임 필드 치밀화 모듈(112)과 동일하며, 이에 대하여는 설명을 생략한다.
움직임 보상 시간 역필터링 모듈(600)은 도 2의 누산 모듈(113)과 동일한 누산 모듈(633)을 구비하며, 이에 대하여는 설명을 생략한다. 누산 모듈(633)은 누적 이미지 Xa'[m",n"]를 생성한다.
움직임 보상 시간 역필터링 모듈(600)은 필터링 모듈(114)과 이산 웨이블릿 분해 모듈(115)과 각각 동일한 필터링 모듈(634) 및 이산 웨이블릿 분해 모듈(635)을 구비하며, 이에 대하여는 설명을 생략한다.
움직임 보상 시간 역필터링 모듈(600)은 필터링 및 서브샘플링된 이미지 Xa'[m",n"]을 이미지 H[m,n]에 가산하여 홀수 이미지 x1[m,n]을 형성하는 가산기(636)를 구비한다. 이러한 홀수 이미지는 결정 모듈(62)에 전달된다. 이미지 x1[m,n] 및 x2[m,n]는, 요구되는 분해 레벨에 따라서 인터리빙되어 고위 레벨 이미지 H[m,n]와 함께 재도입되거나 되지 않은 이미지 L[m,n]을 생성하며, 움직임 보상 시간 역필터링 모듈(600)의 스케일러블 데이터 스트림(18)으로부터 판독된다.
도 7은 Haar 필터가 웨이블릿 분해에 사용되는 경우, 움직임 보상 시간 역필터링이 소프트웨어로부터 실행되는 때에 프로세서에 의해 실행되는 디코딩 알고리즘을 나타낸다.
코딩 및/또는 디코딩 장치(30)의 프로세서(300)는 "리프팅"으로 알려진 기법에 따라 시간 필터링을 수행한다.
프로세서(300)는 이미지 H[m,n]를 소오스 이미지로 하고 이미지 L[m,n]를 목표 이미지로 하여, 단계 E800 내지 E807을 수행한다.
단계 E800에서, 소오스 이미지 H[m,n]는 본 발명에 따라서 DWT 합성을 수행하는 프로세서(300)를 통해서 합성 모듈에 의해 업샘플링된다.
단계 E801에서, 도 4의 단계 E401을 참조하여 설명한 것과 동일한 방법으로 보간을 수행함으로써 업샘플링된 소오스 이미지 H[m,n]는 다시 한번 업샘플링되어, 이미지 H'[m',n']를 형성한다.
단계 E802에서, 프로세서(300)는 스케일러블 데이터 스트림(18)내의 대응하는 움직임 필드를 판독하고, 초기 연결들을 설정한다. 본 단계는 도 4의 단계 E404와 동일하므로, 여기서는 설명을 생략한다.
이러한 동작이 일단 수행되었다면, 프로세서(300)는 다음의 단계 E803으로 이행하여, 치밀한 연결들을 설정한다. 프로세서(300)는 초기 움직임 연결 모듈(621)에 의해 설정된 연결들을 사용하여 소오스 이미지 H'[m',n']의 픽셀 및 서브픽셀 각각과, 목표 이미지 L[m,n]의 적어도 하나의 픽셀을 관계시킨다. 도 2의 치밀화 모듈(132)에 의해 실행되는 것과 동일한 방법으로 소오스 및 목표 이미지들의 픽셀 및 서브픽셀들 사이에 치밀한 연결들이 설정된다.
모든 관계가 이루어지면, 프로세서(300)는 단계 E804로 이행하여, 누적 이미지 Xb'[m",n"]를 생성한다. 도 2의 누산 모듈(133)에서 설명된 것과 동일한 방법으로 누적 이미지 Xb'[m", n"]가 생성되며, 이에 대하여는 설명을 생략한다.
그 후, 단계 E805에서, 이미지 Xb'[m",n"]의 특정 고주파 성분들을 제거하여 이미지의 후속하는 서브샘플링 중의 스펙트럼 에일리어싱에 관계된 임의의 결점들을 방지하도록 저역 통과 필터링을 수행함으로써 이미지 Xb'[m",n"]가 필터링된다.
그 후, 단계 E806에서, 이미지 Xb'[m",n"]의 서브샘플링과 이산 웨이블릿 분해를 수행함으로써 후자가 이미지 L[m,n]과 동일한 해상도를 갖도록, 필터링된 이미지 Xb'[m",n"]가 서브샘플링된다.
그 후, 단계 E807에서, 서브샘플링된 이미지 Xb'[m",n"]가 이미지 L[m,n]으로부터 1/2 감산되어, 이미지 x2[m,n]을 형성한다.
프로세서(300)는 이미지 x2[m,n]를 소오스 이미지로 하고, 이미지 H[m,n]를 목표 이미지로 하여 단계 E800 내지 E807를 다시 한번 수행한다.
단계 E800 내지 E802에서, 프로세서(300)는 소오스 이미지 H[m,n] 에 대하여 앞서 수행된 것과 동일한 동작들을 소오스 이미지 x2[m,n]에 대하여 수행하며, 이에 대하여는 설명을 생략한다.
단계 E803에서, 프로세서(300)는 앞서 설명된 움직임 필드 치밀화 모듈(112)에 의해 수행되는 것과 동일한 방법으로 연결의 치밀화를 수행한다.
모든 관계들이 이루어진 경우, 단계 E804에서 프로세서(300)는 누산 모듈(113)에 대하여 설명된 것과 동일한 방법으로 이미지 Xa'[m",n"]를 생성한다.
단계 E805 내지 E806에서, 프로세서(300)는 이미지 Xb"[m",n"]에 대하여 수행된 것과 동일한 동작들을 이미지 Xa'[m",n"]에 대하여 수행하며, 이에 대하여는 설명을 생략한다.
이러한 동작들이 수행된 경우, 프로세서(300)는 이미지 H[m,n]에 필터링 및 서브샘플링된 이미지 X'a[m",n"]를 가산하여, 홀수 이미지 x1[m,n]를 형성한다. 이미지 x1[m,n] 및 x2[m,n]는 요구되는 분해 레벨에 따라서 움직임 보상 시간 필터링 모듈(600)로 재도입되거나 되지 않는다.
본 발명은 Haar 필터를 사용하는 맥락에서 기재되어 있다. 5/3 필터 또는 9/7 필터 등으로 알려진 기타의 필터들이 또한 본 발명에서 사용될 수 있다. 이러한 필터들은 대량의 소오스 이미지들을 사용하여 목표 이미지를 예측한다.
이러한 필터들은 「M B Adams 의 "Reversible wavelet transform and the application to embodded image compression", MASC thesis, Department of Electrical and Computer Engineering, University of Victoria BC 1998」에 기재되어 있다.
종래에는, 비디오 코더의 움직임 보상 시간 필터링 모듈의 모듈들(110 내지 116)이 목표 이미지를 예측하기 위한 모듈들인 한편, 비디오 코더의 움직임 보상 시간 필터링 모듈의 모듈들(130 내지 136)이 목표 이미지를 갱신하기 위한 모듈들이다. 움직임 보상 시간 필터링 모듈의 모듈들(610 내지 616)이 목표 이미지를 갱신하기 위한 모듈들인 한편, 비디오 코더의 움직임 보상 시간 필터링 모듈의 모듈들(630 내지 636)이 목표 이미지를 예측하기 위한 모듈들이다.
본 발명에서 전술한 바와 같은 코딩 및 디코딩 장치들은, 소오스 이미지 및 목표 이미지로 이루어진 각각의 쌍에 대하여, 앞서 존재한 것에 따라서 누적 이미 지를 형성한다. 이러한 누적 이미지 각각은 목표 이미지의 예측 및/또는 갱신을 위하여 고려된다.
그 후, 이에 따라 형성된 누적 이미지는 목표 이미지로부터 가산 또는 감산된다.
물론, 본 발명은 전술한 실시예들에 한하지 않으며, 당업자의 능력내에서 임의의 변형예에 걸쳐서 이루어질 수 있다.

Claims (19)

  1. 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스를 코딩하는 방법으로서, 상기 이산 웨이블릿 분해는,
    상기 비디오 이미지 시퀀스를 소오스 그룹의 이미지 및 목표 그룹의 이미지로 나누는 단계; 및
    상기 소오스 그룹의 소스 이미지 x2[m,n]을 업샘플링하여, 이미지 x'2[m',n']을 얻는 단계;
    상기 목표 그룹의 목표 이미지 x1[m,n]보다 적어도 4배 이상의 픽셀들을 포함하는 이미지 x'1[m",m"]을 형성하는 단계;
    초기 움직임 연결 모듈에 의해 설정된 연결들을 사용하여 소오스 이미지 x'2[m',n']의 적어도 한 픽셀을 목표 이미지 x'1[m",n"]의 각 픽셀 및 서브픽셀에 연관시킴으로 움직임 필드 치밀화를 행하는 단계;
    누적 이미지 Xa'[m",n"]를 생성하는 단계;
    상기 이미지 Xa'[m",n"]를 필터링하는 단계;
    상기 필터링된 이미지 Xa'[m",n"]를 서브샘플링하여, 이미지 x1[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xa'[m",n"]를 얻는 단계;
    상기 서브샘플링된 이미지 Xa'[m",n"]를 상기 목표 이미지 x1[m,n]로부터 감산하여, 고주파수 성분들을 포함하는 H[m,n]이라 표기되는 이미지를 얻는 단계;
    상기 이미지 H[m,n]을 업샘플링하여 이미지 H'[m',n']을 얻는 단계;
    x'1[m",n"]과 x'2[m",n"] 간에 초기 움직임 연결 모듈에 의해 설정된 상기 연결들을 반대로 하고, 이들을, 소오스 이미지로서 간주한 상기 이미지 H'[m',n']과, 목표 이미지로서 간주한 이미지 x'2[m",n"] 간에 적용하는 단계;
    누적 이미지 Xb'[m",n"]을 생성하는 단계;
    상기 이미지 Xb'[m",n"]을 필터링하는 단계;
    상기 필터링된 이미지 Xb'[m",n"]을 서브샘플링하여, 이미지 x2[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xb'[m",n"]을 얻는 단계;
    상기 서브샘플링된 이미지 Xb'[m",n"]을 상기 이미지 x2[m, n]에 반만큼 더하여 저주파수 성분들을 포함하는 L[m,n]으로 표기한 이미지를 얻는 단계를 포함하는, 코딩 방법.
  2. 제1항에 있어서,
    상기 소오스 그룹 내의 이미지들은 웨이블릿 분해 합성을 적어도 한번 수행함으로써 업샘플링되는 것을 특징으로 하는 코딩 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 목표 이미지 x'1[m",n"]의 각 픽셀 및 각 서브픽셀의 값은, 상기 목표 이미지 x'1[m",n"]의 상기 각 픽셀 및 서브픽셀과 관계된 각 픽셀 및 서브픽셀의 값을 합산하고, 상기 목표 이미지 x'1[m",n"] 상기 픽셀 또는 상기 서브픽셀과 관계된 픽셀 및 서브픽셀들의 수로 상기 합을 나누어 얻어지는 것을 특징으로 하는 코딩 방법.
  5. 제1항에 있어서,
    상기 목표 이미지 x'1[m",n"]를 저역 통과 필터링하는 단계를 더 포함하는 것을 특징으로 하는 코딩 방법.
  6. 제5항에 있어서,
    상기 필터링된 이미지 Xa'[m",n"]는 적어도 하나의 이산 웨이블릿 분해에 의해 서브샘플링되어, 상기 이미지 x1[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xa'[m",n"]를 얻는 것을 특징으로 하는 코딩 방법.
  7. 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스를 디코딩하는 방법으로서, 상기 이산 웨이블릿 분해는,
    상기 비디오 이미지 시퀀스를 소오스 그룹의 이미지 및 목표 그룹의 이미지로 나누는 단계; 및
    상기 소오스 그룹의, 고주파수 성분들을 포함하는 소오스 이미지 H[m,n]을 업샘플링하여, 이미지 H'[m',n']을 얻는 단계;
    상기 목표 그룹의, 저주파수 성분들을 포함하는 목표 이미지 L[m,n]보다 적어도 4배 이상의 픽셀들을 포함하는 이미지 L'[m",m"]을 형성하는 단계;
    초기 움직임 연결 모듈에 의해 설정된 연결들을 사용하여 소오스 이미지 H'[m',n']의 적어도 한 픽셀을 목표 이미지 L'[m",n"]의 각 픽셀 및 서브픽셀에 연관시킴으로 움직임 필드 치밀화를 행하는 단계;
    누적 이미지 Xb'[m",n"]를 생성하는 단계;
    상기 이미지 Xb'[m",n"]를 필터링하는 단계;
    상기 필터링된 이미지 Xb'[m",n"]를 서브샘플링하여, 이미지 L[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xb'[m",n"]를 얻는 단계;
    상기 서브샘플링된 이미지 Xb'[m",n"]를 상기 목표 이미지 L[m,n]로부터 반만큼 감산하여, 고주파수 성분들을 포함하는 x2[m,n]이라 표기한 이미지를 얻는 단계;
    상기 이미지 x2[m,n]을 업샘플링하여 이미지 x'2[m',n']을 얻는 단계;
    L'[m",n"]과 H'[m',n'] 간에 초기 움직임 연결 모듈에 의해 설정된 상기 연결들을 반대로 하고, 이들을, 소오스 이미지로서 간주한 상기 이미지 x'2[m',n']과, 목표 이미지로서 간주한 이미지 H[m,n] 간에 적용하는 단계;
    누적 이미지 Xa'[m",n"]을 생성하는 단계;
    상기 이미지 Xa'[m",n"]을 필터링하는 단계;
    상기 필터링된 이미지 Xa'[m",n"]을 서브샘플링하여, 이미지 H[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xa'[m",n"]을 얻는 단계;
    상기 서브샘플링된 이미지 Xa'[m",n"]을 상기 이미지 H[m, n]에 더하여 H[m,n]으로 표기한 이미지를 얻는 단계를 포함하는, 디코딩 방법.
  8. 제7항에 있어서,
    상기 소오스 그룹 내의 이미지들은 웨이블릿 분해 합성을 적어도 한번 수행함으로써 업샘플링되는 것을 특징으로 하는 디코딩 방법.
  9. 삭제
  10. 제7항에 있어서,
    상기 목표 이미지 L'[m",n"]의 각 픽셀 및 각 서브픽셀의 값은, 상기 목표 이미지 L'[m",n"]의 상기 각 픽셀 및 서브픽셀과 관계된 각 픽셀 및 서브픽셀의 값을 합산하고, 상기 목표 이미지 L'[m",n"] 상기 픽셀 또는 상기 서브픽셀과 관계된 픽셀 및 서브픽셀들의 수로 상기 합을 나누어 얻어지는 것을 특징으로 하는 디코딩 방법.
  11. 제7항에 있어서, 상기 목표 이미지 L'[m",n"]를 저역 통과 필터링하는 단계를 더 포함하는 것을 특징으로 하는 디코딩 방법.
  12. 제11항에 있어서,
    상기 필터링된 이미지 Xb'[m",n"]는 적어도 하나의 이산 웨이블릿 분해에 의해 서브샘플링되어, 상기 이미지 L[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xb'[m",n"]를 얻는 것을 특징으로 하는 코딩 방법.
  13. 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스를 코딩하는 장치로서,
    이산 웨이블릿 분해 장치를 포함하며, 상기 이산 웨이블릿 분해 장치는,
    상기 비디오 이미지 시퀀스를 소오스 그룹의 이미지 및 목표 그룹의 이미지로 나누는 단계; 및
    상기 소오스 그룹의 소오스 이미지 x2[m,n]을 업샘플링하여, 이미지 x'2[m',n']을 얻는 단계;
    상기 목표 그룹의 목표 이미지 x1[m,n]보다 적어도 4배 이상의 픽셀들을 포함하는 이미지 x'1[m",m"]을 형성하는 단계;
    초기 움직임 연결 모듈에 의해 설정된 연결들을 사용하여 소오스 이미지 x'2[m',n']의 적어도 한 픽셀을 목표 이미지 x'1[m",n"]의 각 픽셀 및 서브픽셀에 연관시킴으로 움직임 필드 치밀화를 행하는 단계;
    누적 이미지 Xa'[m",n"]를 생성하는 단계;
    상기 이미지 Xa'[m",n"]를 필터링하는 단계;
    상기 필터링된 이미지 Xa'[m",n"]를 서브샘플링하여, 이미지 x1[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xa'[m",n"]를 얻는 단계;
    상기 서브샘플링된 이미지 Xa'[m",n"]를 상기 목표 이미지 x1[m,n]로부터 감산하여, 고주파수 성분들을 포함하는 H[m,n]이라 표기되는 이미지를 얻는 단계;
    상기 이미지 H[m,n]을 업샘플링하여 이미지 H'[m',n']을 얻는 단계;
    x'1[m",n"]과 x'2[m",n"] 간에 초기 움직임 연결 모듈에 의해 설정된 상기 연결들을 반대로 하고, 이들을, 소오스 이미지로서 간주한 상기 이미지 H'[m',n']과, 목표 이미지로서 간주한 이미지 x'2[m",n"] 간에 적용하는 단계;
    누적 이미지 Xb'[m",n"]을 생성하는 단계;
    상기 이미지 Xb'[m",n"]을 필터링하는 단계;
    상기 필터링된 이미지 Xb'[m",n"]을 서브샘플링하여, 이미지 x2[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xb'[m",n"]을 얻는 단계;
    상기 서브샘플링된 이미지 Xb'[m",n"]을 상기 이미지 x2[m, n]에 반만큼 더하여 저주파수 성분들을 포함하는 L[m,n]으로 표기한 이미지를 얻는 단계를 수행하게 구성된 것인, 코딩 장치.
  14. 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스를 디코딩하는 장치로서,
    이산 웨이블릿 분해 장치를 포함하며, 상기 이산 웨이블릿 분해 장치는,
    상기 비디오 이미지 시퀀스를 소오스 그룹의 이미지 및 목표 그룹의 이미지로 나누는 단계; 및
    상기 소오스 그룹의, 고주파수 성분들을 포함하는 소오스 이미지 H[m,n]을 업샘플링하여, 이미지 H'[m',n']을 얻는 단계;
    상기 목표 그룹의, 저주파수 성분들을 포함하는 목표 이미지 L[m,n]보다 적어도 4배 이상의 픽셀들을 포함하는 이미지 L'[m",m"]을 형성하는 단계;
    초기 움직임 연결 모듈에 의해 설정된 연결들을 사용하여 소오스 이미지 H'[m',n']의 적어도 한 픽셀을 목표 이미지 L'[m",n"]의 각 픽셀 및 서브픽셀에 연관시킴으로 움직임 필드 치밀화를 행하는 단계;
    누적 이미지 Xb'[m",n"]를 생성하는 단계;
    상기 이미지 Xb'[m",n"]를 필터링하는 단계;
    상기 필터링된 이미지 Xb'[m",n"]를 서브샘플링하여, 이미지 L[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xb'[m",n"]를 얻는 단계;
    상기 서브샘플링된 이미지 Xb'[m",n"]를 상기 목표 이미지 L[m,n]로부터 반만큼 감산하여, 고주파수 성분들을 포함하는 x2[m,n]이라 표기한 이미지를 얻는 단계;
    상기 이미지 x2[m,n]을 업샘플링하여 이미지 x'2[m',n']을 얻는 단계;
    L'[m",n"]과 H'[m',n'] 간에 초기 움직임 연결 모듈에 의해 설정된 상기 연결들을 반대로 하고, 이들을, 소오스 이미지로서 간주한 상기 이미지 x'2[m',n']과, 목표 이미지로서 간주한 이미지 H[m,n] 간에 적용하는 단계;
    누적 이미지 Xa'[m",n"]을 생성하는 단계;
    상기 이미지 Xa'[m",n"]을 필터링하는 단계;
    상기 필터링된 이미지 Xa'[m",n"]을 서브샘플링하여, 이미지 H[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xa'[m",n"]을 얻는 단계;
    상기 서브샘플링된 이미지 Xa'[m",n"]을 상기 이미지 H[m, n]에 더하여 H[m,n]으로 표기한 이미지를 얻는 단계를 수행하게 구성된 것인, 디코딩 장치.
  15. 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스를 코딩하는 방법을 컴퓨터 시스템으로 하여금 수행하게 하기 위한 명령들을 포함하는 컴퓨터가 판독가능한 프로그램이 저장된 기록 매체로서, 상기 이산 웨이블릿 분해는,
    상기 비디오 이미지 시퀀스를 소오스 그룹의 이미지 및 목표 그룹의 이미지로 나누는 단계; 및
    상기 소오스 그룹의 소오스 이미지 x2[m,n]을 업샘플링하여, 이미지 x'2[m',n']을 얻는 단계;
    상기 목표 그룹의 목표 이미지 x1[m,n]보다 적어도 4배 이상의 픽셀들을 포함하는 이미지 x'1[m",m"]을 형성하는 단계;
    초기 움직임 연결 모듈에 의해 설정된 연결들을 사용하여 소오스 이미지 x'2[m',n']의 적어도 한 픽셀을 목표 이미지 x'1[m",n"]의 각 픽셀 및 서브픽셀에 연관시킴으로 움직임 필드 치밀화를 행하는 단계;
    누적 이미지 Xa'[m",n"]를 생성하는 단계;
    상기 이미지 Xa'[m",n"]를 필터링하는 단계;
    상기 필터링된 이미지 Xa'[m",n"]를 서브샘플링하여, 이미지 x1[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xa'[m",n"]를 얻는 단계;
    상기 서브샘플링된 이미지 Xa'[m",n"]를 상기 목표 이미지 x1[m,n]로부터 감산하여, 고주파수 성분들을 포함하는 H[m,n]이라 표기되는 이미지를 얻는 단계;
    상기 이미지 H[m,n]을 업샘플링하여 이미지 H'[m',n']을 얻는 단계;
    x'1[m",n"]과 x'2[m",n"] 간에 초기 움직임 연결 모듈에 의해 설정된 상기 연결들을 반대로 하고, 이들을, 소오스 이미지로서 간주한 상기 이미지 H'[m',n']과, 목표 이미지로서 간주한 이미지 x'2[m",n"] 간에 적용하는 단계;
    누적 이미지 Xb'[m",n"]을 생성하는 단계;
    상기 이미지 Xb'[m",n"]을 필터링하는 단계;
    상기 필터링된 이미지 Xb'[m",n"]을 서브샘플링하여, 이미지 x2[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xb'[m",n"]을 얻는 단계;
    상기 서브샘플링된 이미지 Xb'[m",n"]을 상기 이미지 x2[m, n]에 반만큼 더하여 저주파수 성분들을 포함하는 L[m,n]으로 표기한 이미지를 얻는 단계를 포함하는 것인, 컴퓨터가 판독가능한 프로그램이 저장된 기록 매체.
  16. 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 비디오 이미지 시퀀스를 디코딩하는 방법을 컴퓨터 시스템으로 하여금 수행하게 하기 위한 명령들을 포함하는 컴퓨터가 판독가능한 프로그램이 저장된 기록 매체로서, 상기 이산 웨이블릿 분해는,
    상기 비디오 이미지 시퀀스를 소오스 그룹의 이미지 및 목표 그룹의 이미지로 나누는 단계; 및
    상기 소오스 그룹의, 고주파수 성분들을 포함하는 소오스 이미지 H[m,n]을 업샘플링하여, 이미지 H'[m',n']을 얻는 단계;
    상기 목표 그룹의, 저주파수 성분들을 포함하는 목표 이미지 L[m,n]보다 적어도 4배 이상의 픽셀들을 포함하는 이미지 L'[m",m"]을 형성하는 단계;
    초기 움직임 연결 모듈에 의해 설정된 연결들을 사용하여 소오스 이미지 H'[m',n']의 적어도 한 픽셀을 목표 이미지 L'[m",n"]의 각 픽셀 및 서브픽셀에 연관시킴으로 움직임 필드 치밀화를 행하는 단계;
    누적 이미지 Xb'[m",n"]를 생성하는 단계;
    상기 이미지 Xb'[m",n"]를 필터링하는 단계;
    상기 필터링된 이미지 Xb'[m",n"]를 서브샘플링하여, 이미지 L[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xb'[m",n"]를 얻는 단계;
    상기 서브샘플링된 이미지 Xb'[m",n"]를 상기 목표 이미지 L[m,n]로부터 반만큼 감산하여, 고주파수 성분들을 포함하는 x2[m,n]이라 표기한 이미지를 얻는 단계;
    상기 이미지 x2[m,n]을 업샘플링하여 이미지 x'2[m',n']을 얻는 단계;
    L'[m",n"]과 H'[m',n'] 간에 초기 움직임 연결 모듈에 의해 설정된 상기 연결들을 반대로 하고, 이들을, 소오스 이미지로서 간주한 상기 이미지 x'2[m',n']과, 목표 이미지로서 간주한 이미지 H[m,n] 간에 적용하는 단계;
    누적 이미지 Xa'[m",n"]을 생성하는 단계;
    상기 이미지 Xa'[m",n"]을 필터링하는 단계;
    상기 필터링된 이미지 Xa'[m",n"]을 서브샘플링하여, 이미지 H[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xa'[m",n"]을 얻는 단계;
    상기 서브샘플링된 이미지 Xa'[m",n"]을 상기 이미지 H[m, n]에 더하여 H[m,n]으로 표기한 이미지를 얻는 단계를 포함하는 것인, 컴퓨터가 판독가능한 프로그램이 저장된 기록 매체.
  17. 삭제
  18. 이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 코딩된 비디오 이미지 시퀀스를 포함하는 신호를 생성하는 방법으로서, 상기 신호는
    상기 비디오 이미지 시퀀스를 소오스 그룹의 이미지 및 목표 그룹의 이미지로 나누는 단계; 및
    상기 소오스 그룹의 소오스 이미지 x2[m,n]을 업샘플링하여, 이미지 x'2[m',n']을 얻는 단계;
    상기 목표 그룹의 목표 이미지 x1[m,n]보다 적어도 4배 이상의 픽셀들을 포함하는 이미지 x'1[m",m"]을 형성하는 단계;
    초기 움직임 연결 모듈에 의해 설정된 연결들을 사용하여 소오스 이미지 x'2[m',n']의 적어도 한 픽셀을 목표 이미지 x'1[m",n"]의 각 픽셀 및 서브픽셀에 연관시킴으로 움직임 필드 치밀화를 행하는 단계;
    누적 이미지 Xa'[m",n"]를 생성하는 단계;
    상기 이미지 Xa'[m",n"]를 필터링하는 단계;
    상기 필터링된 이미지 Xa'[m",n"]를 서브샘플링하여, 이미지 x1[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xa'[m",n"]를 얻는 단계;
    상기 서브샘플링된 이미지 Xa'[m",n"]를 상기 목표 이미지 x1[m,n]로부터 감산하여, 고주파수 성분들을 포함하는 H[m,n]이라 표기되는 이미지를 얻는 단계;
    상기 이미지 H[m,n]을 업샘플링하여 이미지 H'[m',n']을 얻는 단계;
    x'1[m",n"]과 x'2[m",n"] 간에 초기 움직임 연결 모듈에 의해 설정된 상기 연결들을 반대로 하고, 이들을, 소오스 이미지로서 간주한 상기 이미지 H'[m',n']과, 목표 이미지로서 간주한 이미지 x'2[m",n"] 간에 적용하는 단계;
    누적 이미지 Xb'[m",n"]을 생성하는 단계;
    상기 이미지 Xb'[m",n"]을 필터링하는 단계;
    상기 필터링된 이미지 Xb'[m",n"]을 서브샘플링하여, 이미지 x2[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xb'[m",n"]을 얻는 단계;
    상기 서브샘플링된 이미지 Xb'[m",n"]을 상기 이미지 x2[m, n]에 반만큼 더하여 저주파수 성분들을 포함하는 L[m,n]으로 표기한 이미지를 얻는 단계에 의해서, 비디오 코더 장치에 의해 얻어지는 고 및 저 주파수 이미지들을 포함하는 것인, 신호 생성 방법.
  19. 비디오 이미지 시퀀스를 포함하는 신호를 얻는 단계; 및
    이산 웨이블릿 분해를 이용한 움직임 보상 시간 필터링에 의해 코딩된 비디오 이미지 시퀀스를 포함하는 신호를 컴퓨터 판독가능 메모리에 저장하는 단계를 포함하는 신호 획득 및 저장 방법에 있어서,
    상기 신호는 고 및 저 주파수 이미지들을 포함하고,
    상기 비디오 이미지 시퀀스를 소오스 그룹의 이미지 및 목표 그룹의 이미지로 나누는 단계; 및
    상기 소오스 그룹의 소오스 이미지 x2[m,n]을 업샘플링하여, 이미지 x'2[m',n']을 얻는 단계;
    상기 목표 그룹의 목표 이미지 x1[m,n]보다 적어도 4배 이상의 픽셀들을 포함하는 이미지 x'1[m",m"]을 형성하는 단계;
    초기 움직임 연결 모듈에 의해 설정된 연결들을 사용하여 소오스 이미지 x'2[m',n']의 적어도 한 픽셀을 목표 이미지 x'1[m",n"]의 각 픽셀 및 서브픽셀에 연관시킴으로 움직임 필드 치밀화를 행하는 단계;
    누적 이미지 Xa'[m",n"]를 생성하는 단계;
    상기 이미지 Xa'[m",n"]를 필터링하는 단계;
    상기 필터링된 이미지 Xa'[m",n"]를 서브샘플링하여, 이미지 x1[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xa'[m",n"]를 얻는 단계;
    상기 서브샘플링된 이미지 Xa'[m",n"]를 상기 목표 이미지 x1[m,n]로부터 감산하여, 고주파수 성분들을 포함하는 H[m,n]이라 표기되는 이미지를 얻는 단계;
    상기 이미지 H[m,n]을 업샘플링하여 이미지 H'[m',n']을 얻는 단계;
    x'1[m",n"]과 x'2[m",n"] 간에 초기 움직임 연결 모듈에 의해 설정된 상기 연결들을 반대로 하고, 이들을, 소오스 이미지로서 간주한 상기 이미지 H'[m',n']과, 목표 이미지로서 간주한 이미지 x'2[m",n"] 간에 적용하는 단계;
    누적 이미지 Xb'[m",n"]을 생성하는 단계;
    상기 이미지 Xb'[m",n"]을 필터링하는 단계;
    상기 필터링된 이미지 Xb'[m",n"]을 서브샘플링하여, 이미지 x2[m,n]과 동일한 해상도를 갖는 서브샘플링된 이미지 Xb'[m",n"]을 얻는 단계;
    상기 서브샘플링된 이미지 Xb'[m",n"]을 상기 이미지 x2[m, n]에 반만큼 더하여 저주파수 성분들을 포함하는 L[m,n]으로 표기한 이미지를 얻는 단계에 의해 얻어지는 것인, 신호 획득 및 저장 방법.
KR1020067027758A 2004-07-13 2005-06-28 비디오 이미지의 시퀀스를 코딩하는 방법 및 장치 KR101225159B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0407833 2004-07-13
FR0407833 2004-07-13
PCT/FR2005/001639 WO2006016028A1 (fr) 2004-07-13 2005-06-28 Procede et dispositif de codage d’une sequence d’images video

Publications (2)

Publication Number Publication Date
KR20070040341A KR20070040341A (ko) 2007-04-16
KR101225159B1 true KR101225159B1 (ko) 2013-01-22

Family

ID=34949322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067027758A KR101225159B1 (ko) 2004-07-13 2005-06-28 비디오 이미지의 시퀀스를 코딩하는 방법 및 장치

Country Status (6)

Country Link
US (1) US20080037633A1 (ko)
EP (1) EP1766999B1 (ko)
JP (1) JP2008507170A (ko)
KR (1) KR101225159B1 (ko)
CN (1) CN101019436B (ko)
WO (1) WO2006016028A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
WO2013049412A2 (en) 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Reduced complexity motion compensated temporal processing
US20180141039A1 (en) * 2016-11-23 2018-05-24 Access Sensor Technologies Analyte detection devices and systems
CN112232430B (zh) * 2020-10-23 2024-09-06 浙江大华技术股份有限公司 神经网络模型测试方法、装置、存储介质及电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020064786A (ko) * 2000-07-25 2002-08-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 웨이블릿 분해를 사용하는 비디오 인코딩 방법
KR20020077884A (ko) * 2000-11-17 2002-10-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 블록 매칭 프로세스를 사용하는 비디오 코딩 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001078402A1 (en) * 2000-04-11 2001-10-18 Koninklijke Philips Electronics N.V. Video encoding and decoding method
US6795504B1 (en) * 2000-06-21 2004-09-21 Microsoft Corporation Memory efficient 3-D wavelet transform for video coding without boundary effects
KR20020030101A (ko) * 2000-06-30 2002-04-22 요트.게.아. 롤페즈 비디오 시퀀스의 압축을 위한 인코딩 방법
AUPR222500A0 (en) * 2000-12-21 2001-01-25 Unisearch Limited Method for efficient scalable compression of video
KR20030014705A (ko) * 2001-04-10 2003-02-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 프레임들의 시퀀스를 인코딩하는 방법
US7042946B2 (en) * 2002-04-29 2006-05-09 Koninklijke Philips Electronics N.V. Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
AUPS291002A0 (en) * 2002-06-12 2002-07-04 Unisearch Limited Method and apparatus for scalable compression of video
US20060008000A1 (en) * 2002-10-16 2006-01-12 Koninikjkled Phillips Electronics N.V. Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020064786A (ko) * 2000-07-25 2002-08-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 웨이블릿 분해를 사용하는 비디오 인코딩 방법
KR20020077884A (ko) * 2000-11-17 2002-10-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 블록 매칭 프로세스를 사용하는 비디오 코딩 방법

Also Published As

Publication number Publication date
CN101019436B (zh) 2013-05-08
WO2006016028A1 (fr) 2006-02-16
US20080037633A1 (en) 2008-02-14
EP1766999B1 (fr) 2019-11-20
CN101019436A (zh) 2007-08-15
JP2008507170A (ja) 2008-03-06
EP1766999A1 (fr) 2007-03-28
KR20070040341A (ko) 2007-04-16

Similar Documents

Publication Publication Date Title
Schuster et al. Rate-Distortion based video compression: optimal video frame compression and object boundary encoding
CN1764280B (zh) 基于多层在视频编码器中有效压缩运动矢量的方法和装置
KR101225160B1 (ko) 비디오 이미지 시퀀스를 상이한 공간 해상도의 주파수부대역 계수들로 인코딩하는 방법 및 장치
US20070217513A1 (en) Method for coding video data of a sequence of pictures
US20090274380A1 (en) Image processing apparatus, image processing method, program and semiconductor integrated circuit
KR20060128596A (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
JP2008503981A (ja) グリッド動き推定／補償を用いたスケーラブルビデオ符号化
JP2008506328A (ja) 基礎階層を利用するスケーラブルビデオコーディング方法および装置。
KR101225159B1 (ko) 비디오 이미지의 시퀀스를 코딩하는 방법 및 장치
Hoag et al. Low-bit-rate coding of underwater video using wavelet-based compression algorithms
JPH09182069A (ja) 画像圧縮方法および画像圧縮装置
JP2002539657A (ja) 符号化された画像を評価するための処理、装置及び、使用
Taquet et al. Near-lossless and scalable compression for medical imaging using a new adaptive hierarchical oriented prediction
US20190007685A1 (en) Devices and method for video encoding and reconstruction
US5907360A (en) Coder/decoder for television image sub-band compatible coding, and its application to hierarchical motion coding by tree structures
CA2754535C (en) Encoding method, encoding device, and encoding program for encoding interlaced image
US20080117983A1 (en) Method And Device For Densifying A Motion Field
Candotti et al. Pyramidal multiresolution source coding for progressive sequences
de Oliveira et al. Bipredictive video super-resolution using key-frames
Naman et al. Rate-distortion optimized delivery of JPEG2000 compressed video with hierarchical motion side information
JP5700666B2 (ja) 画像復号装置、画像復号方法及び画像復号プログラム
Wu et al. Lossless Compression Using Joint Predictor for Astronomical Images
Strintzis Lossless Image Compression Based on Optimal Prediction, Adaptive Lifting and Conditional Arithmetic Coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180110

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 8