KR101225160B1 - 비디오 이미지 시퀀스를 상이한 공간 해상도의 주파수부대역 계수들로 인코딩하는 방법 및 장치 - Google Patents

비디오 이미지 시퀀스를 상이한 공간 해상도의 주파수부대역 계수들로 인코딩하는 방법 및 장치 Download PDF

Info

Publication number
KR101225160B1
KR101225160B1 KR1020067027762A KR20067027762A KR101225160B1 KR 101225160 B1 KR101225160 B1 KR 101225160B1 KR 1020067027762 A KR1020067027762 A KR 1020067027762A KR 20067027762 A KR20067027762 A KR 20067027762A KR 101225160 B1 KR101225160 B1 KR 101225160B1
Authority
KR
South Korea
Prior art keywords
spatial resolution
coefficients
reconstruction level
resolution
block
Prior art date
Application number
KR1020067027762A
Other languages
English (en)
Other versions
KR20070042933A (ko
Inventor
스테판 파텍스
이사벨 아몽유
실바인 커바덱
Original Assignee
프랑스 텔레콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프랑스 텔레콤 filed Critical 프랑스 텔레콤
Publication of KR20070042933A publication Critical patent/KR20070042933A/ko
Application granted granted Critical
Publication of KR101225160B1 publication Critical patent/KR101225160B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 이미지 시퀀스를 상이한 공간 해상도의 주파수 부대역 계수들로 인코딩하는 방법에 관한 것으로서, 적어도 하나의 복원 레벨(Niv N-2, Niv N-1, Niv N)을 포함하며, 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역 계수들을 포함하는, 적어도 하나의 데이터 스트림(13)이 형성되며, 적어도 하나의 복원 레벨에, 복원 레벨의 공간 해상도 또는 해상도들 보다 큰 공간 해상도를 갖는 주파수 부대역들의 계수들이 삽입되는 것을 특징으로 한다. 본 발명은 또한 이와 관계된 장치에 관한 것이다.
의사 해상도, 공간 해상도, 주파수 부대역, 비디오 이미지 시퀀스, 이산 웨이블릿

Description

비디오 이미지 시퀀스를 상이한 공간 해상도의 주파수 부대역 계수들로 인코딩하는 방법 및 장치{METHOOD AND DEVICE FOR ENCODING A VIDEO IMAGE SEQUENCE INTO FREQUENCY SUBBAND COEFFICIENTS OF DIFFERENT SPATIAL RESOLUTIONS}
본 발명은 상이한 공간 해상도의 주파수 부대역의 계수들로 비디오 이미지 시퀀스를 코딩하는 방법 및 장치에 관한 것이다. 또한, 본 발명은 이와 관계되는 디코딩 방법 및 장치에 관한 것이다. 더욱 자세하게, 본 발명은 이산 웨이블릿 변환에 의한 움직임 보상 및 시간 변환을 사용하여 디지털 이미지들의 시퀀스를 코딩하는 분야에 관한 것이다.
디지털 이미지들의 시퀀스를 코딩하는 분야의 일부 알고리즘들에서는 두 이미지 간의 점들을 관계시키기 위한 해법을 제안한다.
이러한 알고리즘들은 이산 웨이블릿 분해법에 의한 움직임 보상 시간 필터링을 사용한다. 먼저, 이러한 알고리즘들은 비디오 이미지 시퀀스의 이미지들 사이에서 웨이블릿 시간 변환을 실행한 후, 그 결과의 시간 부대역들을 공간적으로 분해시킨다. 더욱 자세하게, 비디오 이미지 시퀀스는 짝수 이미지들과 홀수 이미지들의 두 그룹의 이미지들로 분해되고, 각각의 짝수 이미지와 웨이블릿 시간 변환 중 사용되는 가장 근접한 홀수 이미지 또는 이미지들 사이에서 움직임 필드(motion field)가 추정된다. 짝수 및 홀수 이미지들은 시간 부대역들을 구하기 위하여 서로에 대하여 반복적으로 움직임 보상된다. 이러한 그룹의 생성과 움직임 보상 처리의 반복은 상이한 웨이블릿 분해 레벨들을 생성하기 위하여 효과적일 수 있다. 이어서, 시간상의 이미지들은 웨이블릿 분석 필터들에 의해 공간상으로 필터링된다.
분해의 마지막에, 그 결과는 공간-시간 부대역들의 집합이다. 움직임 필드 및 공간-시간 부대역들은 결국 목표의 해상도 레벨에 대응하는 검색 레벨에서 코딩 및 전송된다.
이러한 알고리즘들에 따르면, 분해에 이어서 양자화 및 엔트로피 코딩 단계가 수행된다. 요청된 검색 레벨의 해상도에서 직접적으로 사용되지 않는 공간 또는 시간상의 고주파 부대역들의 계수들은 소거된다.
비디오 이미지 시퀀스의 상이한 이미지들 사이의 움직임이 이동형(translation) 또는 회전형(rotation)의 움직임인 경우, 검색 레벨의 해상도 보다 높은 해상도에 속하는 고주파 계수들은 비디오 이미지 시퀀스가 재생될 때 나타나는 결점(artefacts) 없이 생략될 수 있다.
비디오 이미지 시퀀스의 다양한 이미지들 사이의 움직임이 확장형 또는 축소형의 움직임인 경우, 본 발명의 발명자들은 복원 레벨의 해상도 보다 높은 해상도에 속하는 고주파 계수들을 소거하는 것은 이미지 시퀀스가 재생될 때 결점을 생성함을 발견하였다.
본 발명의 목적은, 비디오 이미지 시퀀스의 이미지들 사이에 축소형 또는 확대형 움직임이 존재하는 경우, 비디오 이미지 시퀀스 재생을 개선하는 비디오 이미지 시퀀스를 코딩 및 디코딩하는 방법 및 장치를 제공함으로써 종래 기술의 문제점들을 해결하기 위한 것이다.
이를 위하여, 본 발명의 제1 양태에 따르면, 본 발명에서는, 비디오 이미지 시퀀스를 상이한 공간 해상도를 갖는 주파수 부대역들의 계수들로 코딩하는 방법이며, 적어도 하나의 복원 레벨을 포함하는 적어도 하나의 데이터 스트림으로서, 상기 복원 레벨의 공간 해상도와 같은 공간 해상도를 갖는 데이터 스트림을 형성하는 코딩 방법으로서, 적어도 하나의 복원 레벨에 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 삽입하는 단계를 포함하는 것을 특징으로 하는 코딩 방법을 제안한다.
이에 대응하여, 본 발명은 비디오 이미지 시퀀스를 상이한 공간 해상도들을 갖는 주파수 부대역들의 계수들로 코딩하는 장치이며, 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는 적어도 하나의 복원 레벨을 포함하는 적어도 하나의 데이터 스트림을 형성하는 코딩 장치로서, 적어도 하나의 복원 레벨에 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 삽입하는 수단을 포함하는 것을 특징으로 하는 코딩 장치에 관한 것이다.
그러므로, 비디오 이미지 시퀀스 내의 이미지들 사이에 확대 또는 축소의 움직임이 존재하는 경우라도, 비디오 이미지 시퀀스의 재생이 개선된다.
본 발명의 또 다른 양태에 따르면, 상기 복원 레벨의 공간 해상도 또는 공간 해상도들 보다 높은 해상도를 갖는 주파수 부대역들의 계수들을 복원 레벨에 삽입하는 단계에 앞서, 각 주파수 부대역 계수에 대하여 유효 공간 해상도가 획득되며, 각각의 유효 공간 해상도는 복원 레벨의 공간 해상도 또는 해상도들과 비교되며, 복원 레벨에 삽입된 주파수 부대역 계수들은 복원 레벨의 공간 해상도 또는 해상도들 보다 낮은 유효 공간 해상도를 갖는 계수들이다.
따라서, 유효 공간 해상도로부터 삽입되어야 하는 계수들을 결정할 수 있으며, 전송 또는 기억되는 데이터 량을 감소시킬 수 있다.
본 발명의 또 다른 양태에 따르면, 계수의 유효 공간 해상도는 각각의 주파수 부대역 계수에 대하여 의사-해상도를 결정하고, 계수가 속하는 부대역의 공간 해상도를 계수의 의사-해상도로 나누어 구해진다.
따라서, 해상도 레벨에 대한 계수의 효과적인 기여가 올바르게 추정된다.
본 발명의 또 다른 양태에 따르면, 각각의 계수에 대하여 상기 의사-해상도는, 비디오 이미지 시퀀스 내의 각각의 이미지와 그 이미지에 인접한 적어도 하나의 이미지 사이의 움직임 필드를 추정하고, 비디오 이미지 시퀀스 내의 각 이미지의 각 블록에 대하여, 상기 이미지의 블록과 적어도 하나의 인접하는 이미지의 대응하는 블록 사이의 적어도 하나의 확장 인자를 결정함으로써 결정되며, 상기 블록의 확장 인자가 1과 같다면, 블록의 의사-해상도가 1의 값으로 설정되거나, 1의 값 및 상기 이미지의 블록과 적어도 하나의 인접 이미지의 해당 블록 사이의 상기 확장 인자의 값 중 최대값으로 블록의 상기 의사-해상도가 설정된다.
본 발명의 또 다른 양태에 따르면, 블록의 확장 인자는, 블록을 복수의 삼각형들과 관계시키고, 각각의 삼각형에 대하여 블록 내의 삼각형의 꼭지점들과 인접하는 이미지 내의 대응하는 삼각형의 꼭지점들 사이의 어파인(affine) 변환을 결정하고, 상기 삼각형에 대하여 삼각형의 어파인 변환의 결정인자(determinant)를 계산함으로써 삼각형의 확장 인자를 결정하고, 상기 블록과 관계되는 삼각형들의 확장 인자들로부터 블록의 확장 인자를 결정함으로써 결정된다.
따라서, 간단하게 확장 또는 축소 움직임을 검출하고, 이를 고려할 수 있다.
본 발명의 또 다른 양태에 따르면, 비디오 이미지 시퀀스를 상이한 공간 해상도를 갖는 부대역들의 계수들로 코딩하는 것은, 시간 필터링과 이산 웨이블릿 분해에 의해 수행되며, 상기 데이터 스트림은 복수의 복원 레벨을 포함하는 스케일러블 데이터 스트림이다.
따라서, 코딩된 비디오 이미지 시퀀스를 스케일되는(scaled) 방식으로 전송할 수 있다.
본 발명의 또 다른 양태에 따르면, 비디오 이미지 시퀀스는 상이한 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는 데이터 집합에 미리 코딩되어 있으며, 복원 레벨을 포함하며, 상기 복원 레벨의 공간 해상도와 같은 공간 해상도를 갖는 주파수 부대역들의 계수들 및 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는, 복수의 데이터 스트림이 형성된다.
따라서, 코딩된 비디오 이미지 시퀀스의 변환 부호화(transcoding)를 실행할 수 있으며, 그 요구사항에 적합한 데이터 스트림을 클라이언트에 공급할 수 있다.
본 발명의 또 다른 양태에 따르면, 복원 레벨에 삽입되는 각 주파수 부대역 계수의 공간 해상도가 데이터 스트림에 삽입된다.
또한, 본 발명은 시간 필터링 및 이산 웨이블릿 분해에 의해 얻어지는 데이터 스트림을 디코딩하는 방법에 관한 것으로서, 상기 데이터 스트림은 적어도 하나의 복원 레벨을 포함하고, 상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계들을 포함하며, 적어도 하나의 복원 레벨에서 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 구하는 단계; 및 상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들 및 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 합성하는 단계를 포함하는 것을 특징으로 한다.
이에 대응하여, 본 발명은 시간 필터링 및 이산 웨이블릿 분해에 의해 얻어지는 데이터 스트림을 디코딩하는 장치로서, 상기 데이터 스트림은 적어도 하나의 복원 레벨을 포함하며, 상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는 디코딩 장치로서,적어도 하나의 복원 레벨에서, 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 구하는 수단; 및 상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들 및 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 합성하는 수단을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 양태에 따르면, 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 해상도를 갖는 주파수 부대역들의 계수들을 합성하기에 앞서서, 각 주파수 부대역 계수에 대하여 유효 공간 해상도가 구해지고, 상기 복원 레벨의 공간 해상도 또는 해상도들과 각각의 유효 공간 해상도가 비교되며, 합성된 주파수 부대역 계수들은 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 낮은 유효 공간 해상도를 갖는 계수들이다.
따라서, 축소 또는 확대 이동과 관계된 결점들은 감소된다.
본 발명의 또 다른 양태에 따르면, 각 주파수 부대역 계수의 유효 공간 해상도는 데이터 스트림에서 이를 판독함으로써 구해진다.
따라서, 디코더는 유효 공간 해상도를 계산할 필요가 없다.
또한, 본 발명은 상이한 공간 주파수들을 갖는 주파수 부대역들의 계수들로 코딩된 비디오 이미지 시퀀스를 포함하는 신호에 관한 것이며, 상기 신호는 적어도 하나의 복원 레벨을 포함하며, 상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는 적어도 하나의 데이터 스트림을 형성하는 신호로서, 적어도 하나의 복원 레벨에서, 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는 것을 특징으로 한다.
본 발명은 또한 상이한 공간 해상도를 갖는 주파수 부대역들의 계수들로 코딩된 비디오 이미지 시퀀스를 포함하는 신호를 저장 또는 전송하는 방법으로서, 상기 신호는, 적어도 하나의 복원 레벨을 포함하며 상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는 적어도 하나의 데이터 스트림을 형성하고, 적어도 하나의 복원 레벨에서, 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함한다.
디코딩 방법 및 장치의 장점들은 코딩 방법 및 장치의 장점들과 동일하므로, 생략한다.
또한, 본 발명은 정보 매체 상에 저장된 컴퓨터 프로그램에 관한 것으로서, 상기 프로그램은 컴퓨터 시스템에 탑재되어 실행되는 경우 전술한 방법들을 실행하는 명령어들을 포함한다.
전술한 본 발명의 특징들 및 기타의 특징들은 이하의 예시적인 실시예의 설명을 통해 더욱 분명하게 될 것이며, 상기 설명은 이하의 첨부된 도면과 연계하여 주어진다.
도 1은 본 발명에 따른 움직임 보상 시간 필터링 및 이산 웨이블릿 분해 기능을 갖는 비디오 코더를 나타낸 블록도.
도 2는 도 3 및 도 8을 참조하여 설명되는 알고리즘들에 따라서 코딩 및 디코딩 알고리즘들을 실행할 수 있는 컴퓨팅 및/또는 원격통신 장치를 나타낸 블록도.
도 3은 본 발명에 따른 이산 웨이블릿 분해에 의해 얻어지는 계수들을 적응 적으로 선택하는 알고리즘을 나타낸 도면.
도 4는 본 발명에 따른 움직임 보상 시간 필터링 및 이산 웨이블릿 분해에 의해 얻어지는 이미지들의 일례를 나타낸 도면.
도 5a 및 도 5b는 복수의 삼각형들로 이루어진 이미지의 블록의 관계를 나타낸 도면.
도 6은 시간 부대역들이 공간 부대역들로 분해되는 것을 표현한 것으로서, 본 발명에 따른 다양한 유효 공간 해상도들이 결정되는 것을 나타낸 도면.
도 7은 본 발명에 따른 공간 보상 시간 필터링 및 이산 웨이블릿 분해 기능을 갖는 비디오 코더를 나타낸 블록도.
도 8은 본 발명에 따른 코딩된 데이터의 스트림의 디코딩 알고리즘을 나타낸 도면.
도 1은 본 발명에 따른 움직임 보상 시간 필터링 및 이산 웨이블릿 분해 기능을 갖는 비디오 코더를 나타낸 블록도이다.
움직임 보상 시간 필터링 및 이산 웨이블릿 분해 기능을 갖는 비디오 코더(10)는, 비디오 이미지 시퀀스(15)를 스케일러블 데이터(18)의 스트림으로 코딩할 수 있다. 스케일러블 데이터의 스트림은, 이미지의 해상도 및/또는 품질의 측면에서 데이터를 수신하는 적용예의 형태에 따라서 변화될 수 있는 표현을 전송할 수 있도록 데이터가 배열된 스트림이다. 이러한 스케일러블 데이터의 스트림에 포함된 데이터는 비디오 이미지 시퀀스의 상이한 코딩들에 영향을 주지 않고 품질 및 해상도의 측면에서 모두 스케일러블(scalable)한 방식으로 비디오 이미지 시퀀스들의 전송을 보장할 수 있도록 코딩된다. 따라서, 원격통신망의 전송율이 낮은 경우, 및/또는 원격통신 단말이 고품질 및/또는 고해상도를 요하지 않는 경우, 복원 레벨에 해당하는 스케일러블 데이터 스트림(18)의 일부만을 데이터 매체에 저장하거나, 및/또는 원격통신 단말에 전송할 수 있다. 또한, 동일한 스케일러블 데이터 스트림(18)을 사용하여 원격통신 단말이 고품질 및/또는 고해상도를 필요로 하는 경우 및 원격통신망의 전송율이 높은 경우, 전체 스케일러블 데이터 스트림(18)을 데이터 매체에 저장하거나, 및/또는 원격통신 단말에 전송할 수 있다.
본 발명에 따르면, 비디오 코더(10)는 움직임 보상 시간 필터링 모듈(13)을 구비한다. 움직임 보상 시간 필터링 모듈(13)은 (N+1)/2 개의 저주파 이미지들의 그룹과 N/2 개의 고주파 이미지들의 그룹을 변환하며, 비디오 코더(10)의 움직임 추정 모듈(11)에 의해 이루어지는 움직임 추정 기능을 사용하여 이러한 이미지들을 변환한다. 도 4는 이미지들(Im1, Pa1, Im2 및 Pa2)로 이루어지는 비디오 이미지 시퀀스를 나타낸다. 이러한 비디오 이미지 시퀀스는 이미지 Im1 및 Im2로 이루어지는 홀수 이미지들의 그룹과 이미지 Pa1 및 Pa2로 이루어지는 짝수 이미지들의 그룹으로 나누어진다.
움직임 보상 모듈(11)은 비디오 이미지 시퀀스 내의 각각의 홀수 이미지와 인접한 이미지들 사이의 움직임 보상을 실행한다. 움직임 보상 시간 필터링 모듈(13)은 짝수 이미지에 대하여 시간 필터링이 가능한 효과적이도록 움직임을 보상한다. 이는 하나의 이미지의 예측치와 그 이미지 사이의 차이가 작을수록 보다 더 효율적으로, 즉 양호한 속도/왜곡의 절충점에서, 또는 동등한 방법으로 압축비와 재생 품질의 양호한 비율로, 압축될 것이기 때문이다.
여기서, 이산 웨이블릿 분해에서 Haar 필터들이 사용되는 경우의 변형예 있어서, 한 이미지와 그 인접 이미지 사이에서 단일 방향으로 움직임 추정이 이루어진다.
움직임 추정 모듈(11)은 각 이미지에 대하여, 예컨대 이에 한하지 않지만, 홀수 이미지의 블록들을 짝수 이미지들에 매칭시킴으로써, 한 이미지와 그 인접 이미지들 사이의 움직임 필드를 계산한다. 이러한 기법은 "블록 매칭(block matching)"으로 알려져 있다. 물론, 예컨대 매쉬(meshing)에 의해 움직임 추정을 행하는 기법 등의 다른 기법들이 사용될 수 있다. 블록별로 추정하는 특정한 경우, 블록의 움직임의 값이 이미지의 블록의 각 픽셀에 할당될 수 있다. 일 변형예에 있어서, 한 블록의 가중치 움직임 벡터 및 인접한 블록들의 가중치 움직임 벡터들이 OBMC(Overlapped Block Motion Compensation)으로 알려진 기법에 따라서 블록의 각 픽셀에 할당된다.
움직임 보상 시간 필터링 모듈(13)은 비디오 이미지 시퀀스를 하나 이상의 해상도 레벨들에 걸쳐 분산된 수 개의 시간 부대역(sub-band)들로 분해하기 위하여 이미지들 사이의 이산 웨이블릿 분해(discrete wavelet decomposition)를 수행한다. 이산 웨이블릿 분해는 요구되는 분해 레벨에 도달하지 않는 한 시간 부대역들 중 낮은 시간 부대역들에 순환적으로 적용된다. 따라서, 도 4의 예에 따르면, Haar 필터를 사용하는 경우, T-L1 로 나타낸 낮은 시간 부대역 및 T-H1로 나타낸 높은 시간 부대역을 형성하기 위하여 이미지 Im1 및 Pa1가 분해된다. 마찬가지로, T-L2로 나타낸 낮은 시간 부대역 및 T-H2로 나타낸 높은 시간 부대역을 형성하기 위하여 이미지 Im2 및 Pa2가 분해된다. T-LL로 나타낸 낮은 시간 부대역 및 T-LH로 나타낸 높은 시간 부대역을 형성하기 위하여 부대역 T-L1 및 T-L2에 제2 이산 웨이블릿 분해가 적용된다.
움직임 보상 시간 필터링 모듈(13)에 의해 얻어진 다양한 시간 부대역들은 이러한 시간 부대역들의 공간상의 분해를 수행하는 이산 웨이블릿 분해 모듈(14)에 전달된다. 따라서, 도 4에 예에 따르면, 시간 부대역 T-H1은 하나의 저주파 부대역 T-Hs-LL 및 3 개의 고주파 부대역들 T-Hs-LH, T-Hs-HL, 및 T-Hs-HH로 분해된다. 시간 부대역 T-LH는 하나의 저주파 부대역 T-Hs-LL 및 3 개의 고주파 부대역 T-LHs-LH, T-Hs-HL 및 T-LHs-HH로 분해되며, 주파수 부대역 T-LHs-LL은 다시 하나의 저주파 부대역 T-LHs-LLLL 및 3 개의 고주파 부대역들 T-LHs-LLLH, T-LHs-LLHL 및 T-LHs-LLHH로 분해된다. 시간 부대역 T-LL은 하나의 저주파 부대역 T-LLs-LL 및 3 개의 고주파 부대역들 T-LLs-LH, T-LLs-HL, 및 T-LLs-HH로 분해되며, 주파수 부대역 T-LLs-LL은 다시 하나의 저주파 부대역 T-LLs-LLLL 및 3 개의 고주파 부대역 T-LLs-LLLH, T-LLs-LLHL 및 T-LLs-LLHH로 분해된다.
시간 부대역 T-H2는 하나의 저주파 부대역 T-H's-LL 및 3 개의 고주파 부대역들 T-H's-LH, T-H's-HL, 및 T-H's-HH로 분해된다. 이러한 부대역들은 도 1에 도시되어 있지 않다.
부대역 T-Hs-LL은 다시 한 번 하나의 저주파 부대역 T-Hs-LLLL 및 3 개의 고 주파 부대역들 T-Hs-LLLH, T-Hs-LLHL, 및 T-Hs-LLHH로 분해된다. 이러한 부대역들은 도 1에 도시되어 있지 않다.
부대역 T-H's-LL은 다시 한 번 하나의 저주파 부대역 T-H's-LLLL 및 3 개의 고주파 부대역 T-H's-LLLH, T-H's-LLHL, 및 T-H's-LLHH로 분해된다. 이러한 부대역들은 도 1에 도시되어 있지 않다.
비디오 코더는 의사(pseudo)-해상도 계산 모듈(12)을 구비한다. 의사-해상도 계산 모듈(12)은 움직임 예측 모듈(11)에 의해 정의된 화상의 각각 블록과 4 개의 삼각형들을 관계시킨다. 도 5a 나타낸 블록과 그 이웃하는 블록들로부터 의사-해상도 계산 모듈(12)은 도 5b의 4 개의 삼각형(51, 52, 53 및 54)을 형성한다.
움직임 필드 추정 모듈(11)에 의해 결정되며, 삼각형들과 관계되었던 블록에 관계된 움직임 벡터로부터, 의사-해상도 계산 모듈(12)은 각 삼각형의 확장 인자를 결정한다. 삼각형의 확장인자(ρt)는 인접 이미지의 삼각형의 투영을 얻도록 이미지의 삼각형에 적용된 어파인(affine) 변환에 의해 2 개의 인접한 이미지 사이의 삼각형의 움직임을 나타냄으로써 얻어진다. 어파인 변환은 2 개의 이미지 사이에 나타나기 쉬운 움직임들, 소위 이동, 회전, 및 스케일(scale) 변경을 나타낼 수 있다.
여기서, 어파인 변환은 3*3 행렬의 형태로 나타내며, 다음의 수식에 따라 이미지 내의 꼭지점 좌표(x, y)로부터 인접 이미지 내의 삼각형의 각 꼭지점의 좌표 (x', y')을 얻을 수 있도록 한다:
Figure 112006097921996-pct00001
삼각형의 확장 인자(ρt)는 행렬의 결정인자(determinant)를 계산함으로써 얻어진다:
Figure 112006097921996-pct00002
블록의 확장 인자(ρ)는 블록에 관계된 삼각형들의 확장 인자들로부터 의사-해상도 계산 모듈(12)에 의해 결정된다. 블록의 확장 인자(ρ)는 예를 들어 삼각형들의 확장 인자(ρt)들의 평균을 계산함으로써 결정되거나, 일 변형예로서 삼각형들의 확장 인자(ρt)들의 최대값을 확장 인자(ρ)에 할당함으로써 결정된다. 여기서, 또 다른 변형예로서, 블록의 각 픽셀에는, 블록과 관계된 각 삼각형의 픽셀을 분리하는 거리의 역에 의해 가중치가 주어진 확장 인자(ρt)의 값들의 함수로서 결정된 확장 인자와 관계되어 있을 수 있다.
의사-해상도 계산 모듈(12)은 이미지의 각 블록에 대한 및 비디오 이미지 시퀀스(15)내의 각 이미지에 대한 동작들을 수행한다.
일단 확장 인자(ρ)가 결정되었다면, 의사-해상도 계산 모듈(12)은 이로부터 PR로 나타낸 의사-해상도를 결정한다. 확장 인자(ρ)가 1과 같다면, 움직임은 이동 또는 회전으로 간주되며, 의사-해상도(PR)은 그 후 1로 설정된다. 확장 인자(ρ)가 1과 다르다면, 의사-해상도(PR)은 이하의 값 중 최대값과 같다: 숫자 1, 현재 처리중인 이미지의 블록과 비디오 이미지 시퀀스(15) 내의 이전 이미지의 해당 블록 사이의 확장 인자의 값, 현재 처리중인 이미지의 블록과 비디오 이미지 시퀀스(15) 내의 후속 이미지의 해당 블록 사이의 확장 인자의 값.
여기서, 수 개의 분해 레벨에 있어서 시간 변환이 수행되는 때에, 예컨대 많은 수의 이미지들을 필요로 하는 시간 분해 필터들이 움직임 보상 시간 필터링 모듈(13)에 의해 사용되는 경우, 의사-해상도 또한 더 큰 시간상의 이웃에 걸친 움직임을 고려하여 시간에 대하여 작성될 수 있다.
또한, 여기서, 예컨대 Haar 시간 분해 필터들이 움직임 보상 시간 필터링 모듈(13)에 의해 사용되는 경우, 의사-해상도(PR)는 이하의 값들 중 최대값과 같다: 숫자 1, 현재 처러중인 이미지의 블록과 비디오 이미지 시퀀스(15) 내의 선행하는 이미지의 해당 블록과의 사이의 확장 인자의 값.
의사-해상도 계산 모듈(12)은 비디오 이미지 시퀀스(15) 내의 각 이미지의 각 블록에 대하여 의사-해상도(PR)를 결정한다.
움직임 보상 시간 필터링과 이산 웨이블릿 분해 기능을 갖는 비디오 코더는 또한 유효 공간 해상도 계산 모듈(16)을 구비한다. 유효 공간 해상도 계산 모듈(16)은 이산 웨이블릿 분해 모듈(14)에 의해 분해된 각 공간 부대역의 각 계수(c)에 대하여, 유효 공간 해상도(rse(c))를 결정한다. 유효 공간 해상도 계산 모듈(16)은 각 계수(c)와 계수의 공간 좌표들에 공간적으로 대응하는 블록의 의사-해상도를 관계시킨다. 이러한 의사-해상도는 pr(c)로 나타낸다.
계수의 유효 공간 해상도는 계수(c)에 관계된 의사-해상도로 계수(c)의 공간 해상도(sr(c))를 나누어 결정된다. 이러한 유효 공간 해상도는 rse(c)로 나타낸다.
계수의 공간 해상도는, 속하는 주파수 부대역의 공간 해상도를 의미한다. 따라서, 도 4의 예에 따르면, 부대역들 T-Hs-LH, T-Hs-HL, T-Hs-HH, T-LHs-HH, T-LHs-LH, T-LHs-HL, T-LLs-HH, T-LLs-LH, 및 T-LLs-HL의 계수들은 1의 공간 해상도를 갖는다. 부대역들 T-Hs-LL 및 T-LHs-LL, 계속하여 재분해된, T-LLs-LL, 계속하여 재분해된, TLHs-LLHH, TLHs-LLLH, TLHs-LLHL, T-LLs-LLHH, T-LLs-LLLH, 및 T-LLs-LLHL의 계수들은 1/2의 공간 해상도를 갖는다. 부대역들 T-LHs-LLLL 및 T-LLs-LLLL 의 계수들은 1/4의 공간 해상도를 갖는다. 분해 부대역의 각 계수에 대한 유효 공간 해상도의 결정은 도 6을 참조하여 더욱 상세하게 설명될 것이다.
도 6은 시간 부대역이 공간 부대역으로 분해되는 것을 나타낸 것으로서, 본 발명에 따라서 상이한 유효 공간 해상도들이 결정된다. 도 6의 시간 부대역(600)은 예컨대 도 4의 시간 부대역 T-LL이다. 시간 부대역(600)은 공간 해상도 1의 부대역 T-LLs-LH (610a), 공간 해상도 1의 부대역 T-LLs-HH(610b), 공간 해상도 1의 부대역 T-LLs-HL(610c), 및 공간 해상도 1/2의 부대역 T-LLs-LL(610d)로 분해된다. 부대역 T-LLs-LL(610d)은 공간 해상도 1/2의 부대역 T-LLs-LLLH(620a), 공간 해상도 1의 부대역 T-LLs-LLHH(620d), 공간 해상도 1/2의 부대역 T-LLs-LLHL(620c), 및 공간 해상도 1/4의 부대역 T-LLs-LLLL(630)으로 분해된다.
시간 부대역(600)의 구역들(612, 622, 및 632)은 의사-해상도 결정 모듈(12)이 2의 의사-해상도를 결정한 시간 부대역(600)의 대응하는 이미지의 구역에 해당한다. 시간 부대역(600)의 구역들(615, 625, 및 635)은 의사-해상도 결정 모듈(12)이 4의 의사-해상도를 결정한 시간 부대역(600)의 대응하는 이미지의 구역에 해당한다.
구역들(612a, 612b 및 612c)에 포함된 계수들의 유효 공간 해상도는 1/2과 같고, 구역들(615a, 615b, 및 615c)에 포함된 계수들의 유효 공간 해상도는 1/4과 같고, 구역들(622a, 622b 및 622c)에 포함된 계수들의 유효 공간 해상도는 1/4 과 같고, 구역들(625a, 625b, 및 625c)에 포함된 계수들의 유효 공간 해상도는 1/8과 같고, 구역(632)에 포함된 계수들의 유효 공간 해상도는 1/8과 같고, 구역(635)에 포함된 계수들의 유효 공간 해상도는 1/16과 같다.
구역 612 및 615에 포함된 계수들을 제외하고 부대역 610a, 610b, 610c에 포함된 계수들은 1의 유효 공간 해상도를 가지며, 이는 이들의 공간 해상도에 대응한다.
구역 622 및 655에 포함된 계수들을 제외하고 부대역 620a, 620b, 620c에 포함된 계수들은 1/2의 유효 공간 해상도를 가지며, 이는 이들의 공간 해상도에 대응한다.
구역 632 및 635에 포함된 계수들을 제외하고 부대역 630에 포함된 계수들은 1/4의 유효 공간 해상도를 가지며, 이는 이들의 공간 해상도에 대응한다.
움직임 보상 시간 필터링 및 이산 웨이블릿 분해 기능을 갖는 비디오 코더(10)는 결정 모듈(17)을 구비하며, 결정 모듈(17)은 점진적(progressive) 스트림 생성 모듈(19)에 의해 스케일러블 데이터 스트림(18)이 형성되는 목표 복원 해상도 및 각 계수에 대하여 계산되는 유효 공간 해상도로부터, 현재 처리중인 복원 레벨 또는 해상도 레벨에 대하여 스케일러블 데이터 스트림(18)에 어떠한 고주파 계수들이 삽입되어야 하는지를 결정한다.
종래에는, 도 4의 예에 따르면, 스케일러블 데이터 스트림(18)은 3 개의 해상도 레벨을 포함한다. 제1 해상도 레벨(Niv N)은 저주파 부대역 T-LLs-LLLL, T-LHs-LLLL, T-Hs-LLLL, 및 T-H's-LLLL을 포함한다. 이러한 복원 레벨(restitution level)은 비디오 이미지 시퀀스(18) 중 제일 낮은 복원 해상도에 해당하며, 본 경우는 1/4의 복원 해상도이다. 제2 복원 레벨(Niv N-1)은 고주파 부대역 T-Hs-LLHL, T-Hs-LLLH, T-Hs-LLHH, T-H's-LLHL, T-H's-LLLH, T-H's-LLHH 및 고주파 부대역 T-LHs-LLLH, T-LHs-LLHL, T-LHs-LLHH, T-LLs-LLLH, T-LLs-LLHL, 및 T-LLs-LLHH을 포함한다. 이러한 복원 레벨은 비디오 이미지 시퀀스(18)의 중간 해상도에 해당하며, 본 경우 1/2의 해상도이다. 제3 복원 레벨(Niv N-2)은 Niv N-2 로 색인된 도 4의 나머지 모든 부대역들을 포함한다. 이러한 복원 레벨은 비디오 이미지 시퀀스(18)의 최대 해상도에 해당하며, 본 경우 1의 해상도이다.
본 발명에 따르면, 결정 모듈(17)은 복원 레벨에 있어서 복원 레벨의 공간 해상도 레벨에 종래에 포함된 것들과는 다른 고주파 부대역들의 고주파 계수들을 삽입한다. 이를 위해, 결정 모듈(17)은 각 부대역의 각 계수에 대하여 계수의 유 효 공간 해상도와 복원 레벨의 공간 해상도를 비교한다. 계수의 유효 공간 해상도가 복원 레벨의 공간 해상도보다 크다면, 계수는 복원 레벨에 포함되지 않는다. 반면, 계수의 유교 공간 해상도가 복원 레벨의 공간 해상도보다 작거나 같다면, 복원 레벨에 이전에 포함되지 않는 한, 계수는 복원 레벨에 포함된다.
따라서, 도 6의 예에 따르면, 복원 레벨이 레벨 N인 경우, 즉, 해상도가 1/4 일 때, 구역 622a, 622b, 622c, 625a, 625b, 625c, 615a, 615b, 및 615c에 포함된 계수들은 도 4의 주파수 부대역(Niv N)의 계수들에 더하여 본 복원 레벨에서 스케일러블 데이터 스트림(18)에 삽입된다.
복원 레벨이 레벨 N-1인 경우, 즉, 해상도가 1/2일 때, 구역 612a, 612b, 612c에 포함된 계수들은 도 4의 주파수 부대역(Niv N-1)의 계수들에 더하여 본 복원 레벨에서 스케일러블 데이터 스트림에 삽입된다. 여기서, 구역 615a, 615b, 및 615c에 포함된 계수들은 이전의 복원 레벨에서 삽입되었으므로 본 복원 레벨에서 삽입되지 않는다.
결정 모듈(17)은 요구되는 복원 레벨의 형성에 필요한 다양한 분해 부대역들 및 요구되는 복원 레벨에 포함되어야 하는 것으로 결정된 계수들을 점진적 스트림 생성 모듈(19)에 전달한다.
점진적 스트림 생성 모듈(19)은 결정 모듈(17)로부터 수신된 데이터 및 추정 모듈(11)에 의해 전달된 움직임 필드들로부터 스케일러블 데이터 스트림(18)을 형성한다.
일 변형예에 있어서, 점진적 스트림 생성 모듈(19)은 복원 레벨에 포함되어 야 하는 것으로 결정된 각각의 계수의 유효 공간 해상도를 스케일러블 데이터 스트림에 삽입한다.
점진적 스트림 생성 모듈(19)은 「"High Performance Scalability Image Compression with EBCOT", IEEE Transactions on Image Processing, Vol 9, No 7, July 2000, by David Taubman 」에 기재된 코더에서 사용되는 것과 같은 속도-왜곡 최적화 알고리즘을 사용하여 스케일러블 데이터 스트림(18)을 인코딩한다.
종래에는, 이러한 코더는 최대 왜곡의 제약하에서 속도를 최소화하도록 계수들의 그룹의 양자화를 변형시킨다. 이러한 최적화는 Lagrange 공식에 의해 표현된다:
Figure 112006097921996-pct00003
여기서, R 은 속도, D 는 왜곡, θs 는 주파수 부대역에 대한 코딩 파라미터들의 집합.
본 발명의 특정 양태에 따르면, 속도-왜곡 최적화 중에 각 계수의 의사-해상도가 고려된다. 점진적 스트림 생성 모듈(19)은 다음과 같은 최적화를 수행하여 스케일러블 데이터 스트림(18)을 인코딩한다:
Figure 112006097921996-pct00004
여기서, f(c)는 계수 c의 왜곡에 가중치를 부여하기 위한 가중치 인자이다. 가중치 벡터 f(c)가 클수록, 계수에 대하여 왜곡이 더욱 더 완화되게 된다.
바람직하게는, 계수의 유효 공간 해상도가 복원 레벨의 공간 해상도 보다 작거나 같다면, f(c) = (pr(c))2 이다.
일 변형예에 있어서, 계수의 유효 공간 해상도가 복원 레벨의 공간 해상도 보다 높다면 계수들의 선택 및 코딩은 f(c) = 0 으로 설정함으로써 결합된다.
도 2는 도 3 및 도 8을 참조하여 설명되는 알고리즘에 따라서 코딩 및 디코딩 알고리즘을 실행할 수 있는 컴퓨팅 및/또는 원격통신 장치를 나타낸 블록도이다.
이러한 컴퓨팅 및/또는 원격통신 장치(20)는 시간 부대역들을 형성하기 위하여 소프트웨어를 사용하여 이미지 시퀀스에 대하여 움직임 보상 시간 필터링을 수행하도록 구성되며, 계수들을 포함하는 고주파 및 저주파 부대역들을 형성하기 위하여 시간 부대역들의 공간 분해를 수행하도록 구성된다. 본 장치는 적어도 하나의 복원 레벨에서 종래에 복원 레벨에 포함되었던 주파수 부대역들과 다른 해상도를 갖는 공간 부대역들의 고주파 계수들이 삽입된 스케일러블 데이터 스트림을 형성할 수 있다.
본 장치(20)는 소프트웨어를 사용하여 스케일러블 데이터 스트림에 대하여 움직임 보상 시간 역필터링을 수행하고, 복원 레벨에 포함된 고주파 계수들을 처리할 수 있으며, 그 해상도들은 비디오 이미지 시퀀스를 형성하기 위하여 복원 레벨에 포함된 주파수 부대역들의 것들과는 다르다. 본 장치(20)는 또한 스케일러블 데이터 스트림(18)에 포함된 각 계수의 공간 해상도를 결정할 수 있다.
일 변형예에 있어서, 본 장치(20)는 특정 고주파 계수들에 대하여, 그 유효 공간 해상도가 스케일러블 데이터 스트림(18)에 포함되는 계수들, 공간 부대역들, 및 시간 부대역들로부터 비디오 이미지 시퀀스(15)를 형성하기 위하여, 스케일러블 데이터 스트림(18) 내에서 계수들의 유효 공간 해상도를 나타내는 정보를 검출할 수 있다.
예컨대, 본 장치(20)는 마이크로컴퓨터일 수 있다. 또한, 본 장치(20)는 텔레비젼 등의 비디오 이미지 시퀀스 표시 수단 또는 텔레비젼, 모바일 전화기 등의 수신 단말기용의 정보의 집합을 생성하는 임의의 기타 장치에 통합될 수 있다.
본 장치(20)는 중앙 유닛(200), ROM(read only memory)(202), RAM(random access memory)(203), 화면(204), 키보드(205), 하드 디스크(208), DVD 플레이어/레코더(209), 및 원격통신망과의 통신을 위한 인터페이스(206)에 연결되는 통신 버스(201)를 구비한다.
하드 디스크(208)는 본 발명에 따라서 코딩 및/또는 디코딩하는 데이터뿐만 아니라 본 발명을 실행하는 프로그램을 저장한다.
더욱 일반적으로, 본 발명에 따른 프로그램들은 저장 수단에 저장된다. 이러한 저장 수단은 컴퓨터 또는 마이크로프로세서(200)에 의해 판독될 수 있다. 이러한 저장 수단은 본 장치에 통합되거나 되지 않을 수 있으며, 착탈가능한 것일 수도 있다.
본 장치(20)에 전원이 공급되는 경우, 본 발명에 따른 프로그램들은 RAM(203)에 이송되며, 이 때 RAM(203)은 본 발명을 실행하기 위해 필요한 데이터뿐 만 아니라 본 발명의 실행가능 코드를 포함한다.
본 장치는 통신 인터페이스(206)에 의해 수신되거나, DVD 플레이어(209)를 통해 DVD 디스크로부터 판독된 스케일러블 데이터 스트림을 판독할 수 있으며, 이를 본 발명에 따른 비디오 이미지 시퀀스의 형태로 디코딩할 수 있다.
도 3은 본 발명에 따른 이산 웨이블릿 분해에 의해 얻어지는 계수들의 적응적 선택을 위한 알고리즘을 나타낸다.
코딩 및/또는 디코딩 장치(20)의 프로세서(200)는 "리프팅(lifting)"으로 알려진 기법에 따라 시간 필터링 및 주파수 부대역들로의 분해를 수행한다.
단계 E300에서, 본 장치(20)의 프로세서(200)는 비디오 이미지 시퀀스 내의 각 이미지에 대하여 하나의 이미지와 그 인접 이미지들 간의 움직임의 추정을 계산한다. 이러한 움직임 추정은 예컨대 하나의 이미지의 블록들을 각각의 인접 이미지들에 매칭시키는 움직임 추정이다. 프로세서는 도 1에 나타낸 디코더의 추정 모듈(11)에 의해 수행되는 것과 동일한 방법으로 움직임 추정을 행한다.
다음의 단계 E301에서, 프로세서(200)는 움직임 보상 시간 필터링을 수행한다. 프로세서(200)는 비디오 이미지 시퀀스를 하나 이상의 해상도 레벨에 분산된 수 개의 시간 부대역들로 분해하기 위하여 이미지 시퀀스 내의 이미지들 사이의 이산 웨이블릿 분해를 수행한다. 프로세서(200)는 도 1의 움직임 보상 시간 필터링 모듈(13)에 의해 수행되는 것과 동일한 방법으로 움직임 보상 시간 필터링을 수행한다.
다음의 단계 E302에서, 프로세서(200)는 저주파 부대역 및 고주파 부대역을 생성하기 위하여 단계 E301에서 얻어진 시간 부대역들의 공간상의 분해를 수행한다. 공간상의 분해는 도 1의 이산 웨이블릿 분해 모듈(14)에 의해 수행된 것과 동일한 방법으로 수행된다.
다음의 단계 E303에서, 프로세서(200)는 도 1의 코더(10)의 의사-해상도 계산 모듈(12)에 의해 수행되는 것과 동일한 방법으로 움직임 예측 모듈에 의해 정의된 각 블록을 4 개의 삼각형과 관계시킨다.
다음의 단계 E304에서, 프로세서(200)는 도 1의 코더(20)의 의사-해상도 계산 모듈(12)에 의해 실행되는 것과 동일한 방법으로 각 삼각형의 확장 인자(ρt)를 결정한다.
다음의 단계 E305에서, 프로세서(200)는 도 1의 코더(10)의 의사-해상도 계산 모듈(12)에 의해 수행되는 것과 동일한 방법으로 블록과 관계된 삼각형들의 확장 인자들로부터 현재 처리중인 블록의 확장 인자(ρ)를 결정한다.
다음의 단계 E306에서, 프로세서(200)는 단계 E305에서 결정된 확장 인자들(ρ)로부터 현재 처리중인 이미지의 각 블록의 의사-해상도(PR)를 계산한다. 의사-해상도(PR)의 계산은 도 1의 의사-해상도 계산 모듈(12)에 의해 행해지는 것과 동일한 방법으로 행해진다.
프로세서(200)는 현재 처리중인 이미지의 각 블록에 대하여, 각 시간 분해 레벨 및 각 시간 이미지에 대하여, 단계 E303 내지 E306을 수행한다.
다음의 단계 E307에서, 프로세서(200)는 단계 E302에서 분해된 고주파 부대 역들을 판독하고, 단계 E308에서 각 고주파 공간 부대역의 각 계수(c)와 계수의 공간 좌표에 공간적으로 대응하는 블록의 의사-해상도(pr(c))를 관계시킨다.
다음의 단계 E309에서, 프로세서(200)는 각 고주파 부대역의 각 계수에 대하여 계수의 의사-해상도로 계수의 공간 해상도를 나눔으로써 각 계수(c)의 유효 공간 해상도(rse(c))를 계산한다.
다음의 단계 E310에서, 프로세서(200)는 고주파 부대역 계수들 중에서 스케일러블 데이터 스트림에 삽입되어야 하는 고주파 부대역들의 계수들을 결정한다. 프로세서(200)는 도 1의 결정 모듈(17)에 의해 실행되는 것과 동일한 방법으로 종래에 복원 레벨에 포함된 것과는 다른 고주파 부대역들의 고주파 계수들을 복원 레벨에서 삽입한다.
다음의 단계 E311에서, 프로세서(200)는 가중치 인자(f(c))를 각 계수(c)에 할당한다. 이러한 가중치 인자(f(c))는 각 계수(c)의 왜곡에 가중치를 부여할 수 있도록 한다. 가중치 인자(f(c))는 도 1을 참조하여 설명된 것과 동일하므로, 더 이상 설명하지 않는다.
다음의 단계 E312에서, 프로세서(200)는 원하는 복원 레벨에 해당하는 다양한 주파수 부대역들의 계수들, 단계 E310에서 결정된 계수들, 및 단계 E300에서 추정된 움직임 필드들로부터 스케일러블 데이터 스트림(18)을 형성하기 위하여 현재의 복원 레벨의 엔트로피 코딩을 수행한다.
단계 E313에서, 프로세서(200)는 또 다른 스케일러블 데이터 스트림(18)의 복원 레벨이 코딩되어야 하는지 여부를 검사한다. 코딩되어야 한다면, 프로세 서(200)는 모든 복원 레벨들이 처리되지 않는 한, 단계 E310 내지 E313에 의해 형성된 루프를 반복한다. 코딩되지 않아도 된다면, 프로세서(200)는 본 알고리즘을 종료한다.
도 7은 본 발명에 따른 움직임 보상 시간 필터링 및 이산 웨이블릿 분해 기능을 갖는 비디오 코더를 나타낸 블록도이다.
움직임 보상 시간 필터링 및 이산 웨이블릿 분해 기능을 갖는 비디오 코더(70)는 본 발명에 따라 스케일러블 데이터 스트림(18)을 판독하고 비디오 이미지 시퀀스(15)의 형성에서 이를 디코딩할 수 있다.
움직임 보상 시간 필터링 및 이산 웨이블릿 분해 기능을 갖는 비디오 코더 또는 디코더(70)는 스트림 분석 모듈(708)을 포함한다. 스트림 분석 모듈(708)은 스케일러블 데이터 스트림(18)의 엔트로피 디코딩을 수행하며, 이에 따라 디코딩된 스케일러블 데이터 스트림으로부터 스케일러블 데이터 스트림(18)에 포함된 각종 움직임 필드들을 추출하여, 이들을 의사-해상도 계산 모듈(702) 및 움직임 필드 저장 모듈(701)에 전달한다. 스트림 분석 모듈(708)은 디코딩된 스케일러블 데이터 스트림으로부터 본 발명에 따라 현재의 복원 레벨에서 코더에 의해 삽입된 계수들과 스케일러블 데이터 스트림에 포함된 각종 주파수 부대역들의 계수들을 추출한다. 스트림 분석 모듈(708)은 추출된 계수들을 분석 모듈(704)에 전달한다. 여기서, 일 변형예에 있어서, 스트림 분석 모듈(708)은 또한 본 발명에 따라서 각 계수와 관계되며 현재의 복원 레벨에서 코더(10)에 의해 삽입되는 유효 공간 해상도들을 추출하여, 이들을 결정 모듈(707)에 전달한다.
의사-해상도 계산 모듈(702)은 도 1의 의사-해상도 계산 모듈(12)에 의해 수행되는 것과 동일한 방법으로 현재 처리중인 이미지의 각 블록과 4 개의 삼각형들을 관계시킨다. 현재 처리중인 이미지와 그 선행하는 인접 이미지 사이의 움직임 벡터의 및 그 이미지와 그 후행하는 인접 이미지 사이의 움직임 벡터의 이미지의 각 블록에 대하여 작성된 움직임 필드로부터, 의사-해상도 계산 모듈(12)은 현재 이미지 및 인접 이미지들 내의 삼각형들의 꼭지점들의 위치를 결정하고, 코더(10)의 의사-해상도 모듈(12)과 동일한 방법으로, 각 삼각형의 확장 인자(ρt)를 계산한다. 의사-해상도 계산 모듈(702)은 코더(10)의 의사-해상도 모듈(12)과 동일한 방법으로 각 블록에 대한 확장 인자(ρ)를 계산한다.
의사-해상도 계산 모듈(702)은 코더(10)의 의사-해상도 모듈(12)과 동일한 방법으로 블록의 확장 인자(ρ)로부터 블록의 의사-해상도(PR)를 결정한다.
또한, 디코더(70)는 유효 공간 해상도 계산 모듈(706)을 구비한다. 유효 공간 해상도 계산 모듈(706)은 스트림 분석 모듈(708)로부터 수신된 각각의 고주파 공간 부대역의 각 계수(c)에 대하여 유효 공간 해상도(rse(c))를 결정한다. 유효 공간 해상도 계산 모듈(706)은 각 계수와 계수의 좌표에 공간적으로 대응하는 블록의 의사-해상도를 관계시킨다. 유효 공간 해상도 계산은 도 1의 코더(10)의 유효 공간 해상도 모듈(16)에 의해 이루어지는 계산과 동일하다. 각 계수의 유효 공간 해상도들은 유효 공간 해상도 계산 모듈(706)에 의해 결정 모듈(707)에 전달된다.
디코더(70)는 현재 처리중인 이미지의 각 블록에 대하여, 각각의 시간 이미 지 및 각각의 시간 분해 레벨에 대하여, 확장 인자, 의사-해상도, 및 유효 해상도의 계산을 수행한다.
결정 모듈(707)은 현재 처리중인 스케일러블 데이터 스트림(18)의 복원 해상도 및 각 계수에 대하여 계산된 유효 공간 해상도로부터 이산 웨이블릿 합성 모듈(704)에 의해 어느 고주파 계수가 합성되어야 하는지를 결정한다. 이를 위하여, 결정 모듈(707)은 각 부대역의 각 계수에 대하여 계수의 유효 공간 해상도와 현재 처리중인 복원 레벨의 공간 해상도를 비교한다. 계수의 유효 공간 해상도가 복원 레벨의 공간 해상도 보다 높다면, 계수는 이산 웨이블릿 합성 모듈(704)에 전달되지 않는다. 반면, 계수의 유효 공간 해상도가 복원 레벨의 공간 해상도 보다 작거나 같다면, 계수는 이산 웨이블릿 합성 모듈(704)에 전달된다.
따라서, 도 6의 예에 따르면, 복원 레벨이 레벨 N인 경우, 즉, 1/4의 해상도인 경우, 구역 622a, 622b, 622c, 625a, 625b, 625c, 615a, 및 615c에 포함된 계수들은 결정 모듈(707)에 의해 이산 웨이블릿 합성 모듈(704)에 전달된다.
이산 웨이블릿 합성 모듈(704)은 스트림 분석 모듈(708)에서 전송된 각종 주파수 부대역들과 결정 모듈(707)에서 전송된 계수들을 합성한다.
도 6의 예에 따르면, 복원 레벨이 레벨 N인 경우, 이산 웨이블릿 합성 모듈(704)은 부대역(630)과 동등한 주파수의 부대역을 형성하기 위하여 스트림 분석 모듈(708)로부터 수신된 주파수 부대역 T-LLs-LLLL을 구역 622a 및 625a에 포함된 계수들과 0으로 설정된 다른 계수들을 포함하는 고주파 부대역, 구역 622b 및 625b 에 포함된 계수들과 0으로 설정된 다른 계수들을 포함하는 고주파 부대역, 및 구역 622c 및 625c에 포함된 계수들과 0으로 설정된 다른 계수들을 포함하는 고주파 부대역과 합성한다. 이산 웨이블릿 합성 모듈(704)은 초해상도(superresolution) 시간 부대역, 즉 요청된 공간 해상도 보다 높은 공간 해상도의 부대역을 형성하기 위하여, 앞서 형성된 부대역을 구역 615a에 포함된 계수들과 0으로 설정된 다른 계수들을 포함하는 고주파 부대역, 구역 613b에 포함된 계수들과 0으로 설정된 다른 계수들을 포함하는 고주파 부대역, 및 구역 615c에 포함된 계수들과 0으로 설정된 다른 계수들을 포함하는 고주파 부대역과 합성한다.
우선, 초해상도 시간 부대역들은 움직임 보상 시간 역필터링 모듈(703)에 전달된다. 움직임 보상 시간 역필터링 모듈(703)은 본 발명의 코더에 의해 코딩된 비디오 이미지 시퀀스의 각종 이미지들을 재생하도록 "리프팅"기법에 따라서 시간 필터링을 수행한다. 움직임 보상 시간 역필터링 모듈(703)은 고주파 시간 부대역들, 저주파 시간 부대역들, 및 저장 모듈(701)에 저장된 움직임 추정치들로부터 비디오 이미지 시퀀스를 형성한다.
일 변형예에 있어서, 초해상도 시간 부대역들은 움직임 보상 시간 역필터링 모듈(703)에 전달되기에 앞서 요청된 공간 해상도와 동일한 공간 해상도를 갖는 부대역들과 같은 방법으로 서브샘플링(subsample)된다. 그 후, 삽입된 공간 고주파수들은 디코더에서 수행되는 업샘플링(upsample)시에 다시 이미지들에 통합된다.
그 후, 이에 따라 형성된 비디오 이미지 시컨스는 디스플레이를 위해 전달된다.
여기서, 일 변형예에 있어서, 각종 유효 공간 해상도값들이 스케일러블 데이 터 스트림에서 전송되는 경우, 디코더(70)는 의사-해상도 계산 모듈(702) 및 유효 공간 해상도 계산 모듈(706)을 구비하지 않을 수 있다.
도 8은 본 발명의 제1 실시예에 따라서 본 발명에 따라 코딩된 데이터의 스트림을 디코딩하는 알고리즘을 나타낸 도면이다.
코딩 및/또는 디코딩 장치(20)의 프로세서(200)는 "리프팅"으로 알려진 기법에 따라서 시간 역필터링과 이산 웨이블릿 합성을 수행한다.
프로세서(200)는 본 발명에 따라서 미리 코딩된 스케일러블 데이터 스트림(18)을 판독하여, 본 발명에 따른 비디오 이미지 시퀀스의 형태로 이를 디코딩할 수 있다.
단계 E800에서, 프로세서(200)는 복원 레벨의 공간 해상도를 결정하고, 스케일러블 데이터 스트림(18)의 엔트로피 디코딩을 수행한다.
단계 E801에서, 프로세서(200)는 이에 따라 디코딩된 스케일러블 데이터 스트림으로부터 스케일러블 데이터 스트림에 포함된 각종 저주파 부대역들의 계수들을 추출한다.
단계 E802에서, 프로세서(200)는 이에 따라 디코딩된 스케일러블 데이터 스트림으로부터 스케일러블 데이터 스트림에 포함된 각종 고주파 부대역들의 계수들과 본 발명에 따라서 현재의 복원 레벨에서 코더(10)에 의해 삽입된 계수들을 추출한다.
단계 E803에서, 프로세서(200)는 이에 따라 디코딩된 스케일러블 데이터 스트림으로부터 데이터 스트림에 포함된 다양한 움직임 필드들을 추출한다.
여기서, 일 변형예에 있어서, 스트림 분석 모듈(708)은 또한 본 발명에 따라서 현재의 복원 레벨에서 코더(10)에 의해 삽입된 각 변수와 관계되는 유효 공간 해상도들을 추출한다.
단계 E804에서, 프로세서(200)는 고주파 부대역들의 각 계수에 대하여 계수의 유효 공간 해상도를 계산한다. 계수의 유효 공간 해상도는 의사-해상도 계산 모듈(702) 및 유효 공간 해상도 계산 모듈(706)에 의해 계산된 것과 동일한 방법으로 계산된다.
단계 E805에서, 프로세서(200)는 고주파 계수들의 사전 선택(preselection)을 행한다. 이러한 사전 선택은 이산 웨이블릿 합성에 의해 합성되어야 하는 고주파 계수들을 판정하는 것을 포함한다. 이를 위해, 프로세서(200)는 각 부대역의 각 계수에 대하여 계수의 유효 공간 해상도와 현재 처리중인 복원 레벨의 공간 해상도를 비교한다. 계수의 유효 공간 해상도가 복원 레벨의 공간 해상도 보다 높다면, 계수는 합성되는 것으로 채택되지 않는다. 반면, 계수의 유효 공간 해상도가 복원 레벨의 공간 해상도 보다 작거나 같은 경우, 계수는 합성되도록 사전 선택된다.
단계 E806에서, 프로세서(200)는 사전 선택된 계수들 중에서 합성되어야 하는 것들을 선택한다. 이러한 선택은 예컨대 본 장치(20)의 특징에 따라 이루어진다.
단계 E807에서, 프로세서(200)는 이산 웨이블릿 합성을 수행하고, 단계 E806에서 선택된 계수들뿐만 아니라 단계 E801 및 E802에서 판독된 각종 주파수 부대역 들을 합성한다. 이산 웨이블릿 합성은 디코더(70)의 이산 웨이블릿 합성 모듈(704)에서 설명한 것과 동일하다. 이산 웨이블릿 합성의 마지막에, 초해상도 공간 부대역들이 형성된다.
바람직한 실시예에 따르면, 다음의 단계 E808에서, 프로세서(200)는 움직임 보상 시간 역필터링을 수행한다. 프로세서(200)는 본 발명의 코더에 의해 코딩된 비디오 이미지 시퀀스의 상이한 이미지들을 재생하도록 "리프팅" 기법에 따라서 시간 필터링을 수행한다. 프로세서(200)는 초해상도 고주파 부대역, 저주파 시간 부대역들, 단계 E803에서 판독된 움직임 추정치들로부터 비디오 이미지 시퀀스를 형성한다.
일 변형예에 있어서, 초해상도 시간 부대역들은 단계 E808에 앞서 요청된 공간 해상도와 동일한 공간해상도를 갖도록 서브샘플링된다. 그 후, 삽입된 공간 고주파수들은 디코더에서 수행되는 서브샘플링 시에 이미지들에 재통합된다.
이에 따라 형성된 비디오 이미지 시퀀스는 그 후 디스플레이를 위해 전달된다.
일 변형예에 있어서, 본 발명의 코더는 비디오 이미지 시퀀스를 처리하지는 않지만, 비디오 이미지 시퀀스를 나타내는 데이터의 집합을 처리한다. 데이터의 집합은 상이한 공간 해상도의 주파수 부대역들의 계수들을 포함한다. 코더는 앞서 설명된 것과 동일한 방법으로 데이터의 집합에 포함된 각 계수의 유효 공간 해상도를 결정한다. 코더는 복수의 데이터 스트림들을 형성한다. 각 데이터 스트림은 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들 과 복원 레벨의 해상도 또는 그 공간 해상도 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는 복원 레벨로 구성된다.
코더는 적어도 하나의 해상도 레벨에서 상기 해상도 레벨의 공간 해상도보다 낮은 유효 공간 해상도를 갖는 계수들을 삽입한다.
물론, 본 발명은 전술한 실시예들에 한하지 않으며, 당업자의 능력내에서 임의의 변형예에 걸쳐서 이루어질 수 있다.

Claims (21)

  1. 비디오 이미지 시퀀스를 상이한 공간 해상도를 갖는 주파수 부대역들의 계수들로 코딩하는 방법으로서, 적어도 하나의 복원 레벨을 포함하는 적어도 하나의 데이터 스트림을 형성하는 단계를 포함하고, 상기 데이터 스트림은 상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 것으로서, 상기 코딩 방법은,
    상기 주파수 부대역 계수들 각각에 대한 유효 공간 해상도를 얻는 획득 단계,
    각 유효 공간 해상도를 상기 적어도 한 복원 레벨의 공간 해상도 또는 해상도들과 비교하는 비교 단계,
    상기 적어도 한 복원 레벨의 공간 해상도 또는 해상도들보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 적어도 하나의 복원 레벨에 삽입하는 단계를 포함하며,
    상기 복원 레벨에 삽입된 상기 주파수 부대역 계수들은 상기 복원 레벨의 공간 해상도 또는 해상도들보다 낮은 유효 공간 해상도를 갖는 계수들이며;
    상기 획득 단계 및 상기 비교 단계는 상기 적어도 한 복원 레벨의 공간 해상도 또는 해상도들보다 높은 공간 해상도를 갖는 주파수 부대역의 계수들을 복원 레벨에 삽입하는 단계 전에 수행되는 것을 특징으로 하는 코딩 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 계수의 유효 공간 해상도를 획득하는 단계는,
    각각의 주파수 부대역 계수에 대하여 의사-해상도를 결정하는 단계; 및
    상기 계수의 의사-해상도로 상기 계수가 속하는 부대역의 공간 해상도를 나누는 단계
    를 포함하는 것을 특징으로 하는 코딩 방법.
  4. 제3항에 있어서,
    각각의 계수에 대하여 상기 의사-해상도를 결정하는 단계는,
    상기 비디오 이미지 시퀀스 내의 각각의 이미지와 상기 이미지에 인접한 적어도 한 이미지 간의 움직임 필드를 추정하는 단계;
    상기 비디오 이미지 시퀀스 내의 각 이미지의 각 블록에 대하여, 상기 이미지의 블록과 적어도 하나의 인접하는 이미지 내 대응하는 블록 간에 적어도 하나의 확장 인자를 결정하는 단계;
    상기 블록의 확장 인자가 1과 같다면, 블록의 의사-해상도를 1의 값으로 설정하는 단계; 및
    1의 값 및 상기 이미지의 블록과 적어도 하나의 인접 이미지 내 해당 블록 간에 상기 확장 인자의 값 중 최대값으로 블록의 상기 의사-해상도를 설정하는 단계
    를 포함하는 것을 특징으로 하는 코딩 방법.
  5. 제4항에 있어서,
    블록의 상기 확장 인자를 결정하는 단계는,
    상기 블록을 복수의 삼각형들과 관계시키는 단계;
    각각의 삼각형에 대하여 상기 움직임 필드로부터 상기 블록 내의 삼각형의 꼭지점들과 상기 인접하는 이미지 내의 대응하는 삼각형의 꼭지점들 사이의 어파인(affine) 변환을 결정하는 단계;
    상기 삼각형에 대하여 상기 삼각형의 어파인 변환의 결정인자(determinant)를 계산함으로써 상기 삼각형의 확장 인자를 결정하는 단계; 및
    상기 블록과 관계되는 상기 삼각형의 확장 인자들로부터 상기 블록의 확장 인자를 결정하는 단계
    를 포함하는 것을 특징으로 하는 코딩 방법.
  6. 제1항, 제3항 내지 제5항 중 어느 한 항에 있어서,
    상기 비디오 이미지 시퀀스를 상이한 공간 해상도를 갖는 부대역들의 계수들로 코딩하는 것은, 시간 필터링과 이산 웨이블릿 분해에 의해 수행되며,
    상기 데이터 스트림은 복수의 복원 레벨을 포함하는 스케일러블 데이터 스트림인 것을 특징으로 하는 코딩 방법.
  7. 제1항, 제3항 내지 제5항 중 어느 한 항에 있어서,
    상기 비디오 이미지 시퀀스는 상이한 공간 해상도의 주파수 부대역들의 계수들을 포함하는 데이터의 집합에 미리 코딩되어 있으며,
    복원 레벨을 포함하며, 상기 복원 레벨의 공간 해상도와 같은 공간 해상도를 갖는 주파수 부대역들의 계수들 및 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는, 복수의 데이터 스트림을 형성하는 것을 특징으로 하는 코딩 방법.
  8. 제3항 또는 제4항에 있어서,
    상기 복원 레벨에 삽입되는 각 주파수 부대역 계수의 유효 공간 해상도를 상기 데이터 스트림에 삽입하는 단계를 더 포함하는 것을 특징으로 하는 코딩 방법.
  9. 시간 필터링 및 이산 웨이블릿 분해에 의해 얻어지는 데이터 스트림을 디코딩하는 방법이며, 상기 데이터 스트림은 적어도 하나의 복원 레벨을 포함하고, 상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는 방법으로서,
    적어도 하나의 복원 레벨에서 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 구하는 단계; 및
    상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들 및 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 합성하는 단계
    를 포함하는 것을 특징으로 하는 디코딩 방법.
  10. 제9항에 있어서,
    상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 해상도를 갖는 주파수 부대역들의 계수들을 합성하는 단계에 앞서서,
    각 주파수 부대역 계수에 대하여 유효 공간 해상도를 구하는 단계; 및
    상기 복원 레벨의 공간 해상도 또는 해상도들과 각각의 유효 공간 해상도를 비교하는 단계를 포함하며,
    상기 합성된 주파수 부대역 계수들은 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 작은 유효 공간 해상도를 갖는 계수들인 것을 특징으로 하는 디코딩 방법.
  11. 제10항에 있어서,
    각 주파수 부대역 계수의 상기 유효 공간 해상도는 상기 데이터 스트림 내에서 판독하여 얻어지는 것을 특징으로 하는 디코딩 방법.
  12. 제10항에 있어서,
    상기 계수의 유효 공간 해상도를 구하는 단계는,
    각 주파수 부대역 계수에 대한 의사-해상도를 결정하는 단계; 및
    상기 계수의 의사-해상도로 계수가 속하는 부대역의 공간 해상도를 나누는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.
  13. 제12항에 있어서,
    상기 각 계수에 대하여 의사-해상도를 결정하는 단계는,
    상기 데이터 스트림에 있어서 비디오 이미지 시퀀스 내의 각 이미지와 상기 이미지에 인접하는 적어도 하나의 이미지 사이의 움직임 필드를 판독하는 단계;
    상기 비디오 이미지 시퀀스 내의 각 이미지의 각 블록에 대하여, 상기 블록과 적어도 하나의 인접하는 이미지의 대응하는 블록과의 사이의 적어도 하나의 확장 인자를 결정하는 단계;
    상기 블록의 확장 인자가 1과 같다면, 블록의 상기 의사-해상도를 1의 값으로 설정하는 단계; 및
    블록의 상기 의사-해상도를, 1의 값 및 상기 이미지의 블록과 적어도 하나의 인접하는 이미지의 대응하는 블록과의 사이의 상기 확장 인자의 값 중 최대의 값으로 설정하는 단계
    를 포함하는 것을 특징으로 하는 디코딩 방법.
  14. 제13항에 있어서,
    상기 블록의 확장 인자를 결정하는 단계는,
    상기 블록을 복수의 삼각형들과 관계시키는 단계;
    삼각형 각각에 대하여, 상기 움직임 필드로부터 상기 블록내의 삼각형의 꼭지점들과 상기 인접하는 이미지 내의 대응하는 삼각형의 꼭지점들 사이의 어파인(affine) 변환을 결정하는 단계;
    각각의 삼각형에 대하여, 상기 삼각형의 어파인 변환의 결정인자(determinant)를 계산함으로써 상기 삼각형의 확장 인자를 결정하는 단계; 및
    상기 블록과 관계되는 상기 삼각형들의 확장 인자들로부터 상기 블록의 확장 인자를 결정하는 단계
    를 포함하는 것을 특징으로 하는 디코딩 방법.
  15. 비디오 이미지 시퀀스를 상이한 공간 해상도를 갖는 주파수 부대역들의 계수들로 코딩하는 장치이며, 적어도 하나의 복원 레벨을 포함하며, 상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는 적어도 하나의 데이터 스트림을 형성하는 코딩 장치로서,
    적어도 하나의 복원 레벨에, 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 삽입하는 수단을 포함하는 것을 특징으로 하는 코딩 장치.
  16. 시간 필터링 및 이산 웨이블릿 분해에 의해 얻어지는 데이터 스트림을 디코딩하는 장치로서, 상기 데이터 스트림은 적어도 하나의 복원 레벨을 포함하며, 상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수 들을 포함하는 디코딩 장치로서,
    적어도 하나의 복원 레벨에서, 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 구하는 수단; 및
    상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들 및 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 합성하는 수단을 포함하는 것을 특징으로 하는 디코딩 장치.
  17. 컴퓨터 판독가능 저장매체로서, 컴퓨터 장치로 하여금 제1항에 따른 방법을 실행하게 하는 프로그램 명령어들을 포함하는 컴퓨터 프로그램을 위한, 컴퓨터 판독가능 저장매체.
  18. 컴퓨터 판독가능 저장매체로서, 컴퓨터 장치로 하여금 제9항에 따른 방법을 실행하게 하는 프로그램 명령어들을 포함하는 컴퓨터 프로그램을 위한, 컴퓨터 판독가능 저장매체.
  19. 삭제
  20. 상이한 공간 주파수를 갖는 주파수 부대역들의 계수들로 코딩된 비디오 이미지 시퀀스를 포함하는 신호를 전송하는 방법으로서,
    상기 신호는, 적어도 하나의 복원 레벨을 포함하며 상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는 적어도 하나의 데이터 스트림을 형성하며,
    상기 신호는 적어도 하나의 복원 레벨에서 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 공간 주파수들의 계수들을 포함하는 신호 전송 방법.
  21. 상이한 공간 해상도를 갖는 주파수 부대역들의 계수들로 코딩된 비디오 이미지 시퀀스를 포함하는 신호를 저장하는 방법으로서,
    상기 신호는, 적어도 하나의 복원 레벨을 포함하며 상기 복원 레벨의 공간 해상도와 동일한 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하는 적어도 하나의 데이터 스트림을 형성하고,
    상기 신호는, 적어도 하나의 복원 레벨에서, 상기 복원 레벨의 공간 해상도 또는 해상도들 보다 높은 공간 해상도를 갖는 주파수 부대역들의 계수들을 포함하 는 신호 저장 방법.
KR1020067027762A 2004-07-13 2005-06-28 비디오 이미지 시퀀스를 상이한 공간 해상도의 주파수부대역 계수들로 인코딩하는 방법 및 장치 KR101225160B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0407836 2004-07-13
FR0407836 2004-07-13
PCT/FR2005/001640 WO2006016029A1 (fr) 2004-07-13 2005-06-28 Procede et dispositif de codage d’une sequence d’images video en coefficients de sous-bandes de frequence de differentes resolutions spatiales

Publications (2)

Publication Number Publication Date
KR20070042933A KR20070042933A (ko) 2007-04-24
KR101225160B1 true KR101225160B1 (ko) 2013-01-22

Family

ID=34949324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067027762A KR101225160B1 (ko) 2004-07-13 2005-06-28 비디오 이미지 시퀀스를 상이한 공간 해상도의 주파수부대역 계수들로 인코딩하는 방법 및 장치

Country Status (6)

Country Link
US (1) US8204111B2 (ko)
EP (1) EP1766997B1 (ko)
JP (1) JP4942649B2 (ko)
KR (1) KR101225160B1 (ko)
CN (1) CN101032171B (ko)
WO (1) WO2006016029A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2896117A1 (fr) * 2006-01-06 2007-07-13 France Telecom Procedes de codage et de decodage d'une sequence d'images, dispositifs , programmes d'ordinateur, et signal correspondants
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8942430B2 (en) * 2010-07-19 2015-01-27 The University Of Maryland, College Park Method and apparatus for authenticating area biometric scanners
US9128028B2 (en) 2010-07-29 2015-09-08 Honeywell International Inc. Thermal conductivity detectors
US8170334B2 (en) * 2011-10-13 2012-05-01 University Of Dayton Image processing systems employing image compression and accelerated image decompression
US8170335B2 (en) * 2011-10-13 2012-05-01 University Of Dayton Image processing systems employing image compression and accelerated decompression
US8170333B2 (en) * 2011-10-13 2012-05-01 University Of Dayton Image processing systems employing image compression
US10469486B2 (en) 2016-04-08 2019-11-05 University Of Maryland Method and apparatus for authenticating device and for sending/receiving encrypted information
US10944974B2 (en) 2017-01-11 2021-03-09 Raytheon Company Method for encoding and processing raw UHD video via an existing HD video architecture
US11190724B2 (en) * 2017-03-10 2021-11-30 Raytheon Company Adaptive bitrate streaming of UHD image data
US11321568B1 (en) * 2018-10-16 2022-05-03 EVES Technology, Inc. Method for real-time integrated t+2D DWT video compression and low-level video analysis within an intelligent camera optionally embedded in an end-to-end AAL system
CN115147316B (zh) * 2022-08-06 2023-04-04 南阳师范学院 计算机图像高效压缩方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003107683A1 (en) 2002-06-12 2003-12-24 Unisearch Limited Method and apparatus for scalable compression of video

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023922B1 (en) * 2000-06-21 2006-04-04 Microsoft Corporation Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
CN1244232C (zh) * 2000-06-30 2006-03-01 皇家菲利浦电子有限公司 用于视频序列压缩的编码方法
KR20020077884A (ko) * 2000-11-17 2002-10-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 블록 매칭 프로세스를 사용하는 비디오 코딩 방법
AU2002366825A1 (en) * 2001-12-20 2003-07-09 Koninklijke Philips Electronics N.V. Video encoding and decoding method and device
CN1669327A (zh) * 2002-07-17 2005-09-14 皇家飞利浦电子股份有限公司 视频编码方法和设备
US7321625B2 (en) * 2002-12-13 2008-01-22 Ntt Docomo, Inc. Wavelet based multiresolution video representation with spatially scalable motion vectors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003107683A1 (en) 2002-06-12 2003-12-24 Unisearch Limited Method and apparatus for scalable compression of video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THAM J Y ET AL, IEEE INC. NEW YORK, US, vol. 16, no. 1, 1998, Highly scalable wavelet-based video codec for very low bit-rate environment *

Also Published As

Publication number Publication date
EP1766997B1 (fr) 2020-03-25
US20080291996A1 (en) 2008-11-27
CN101032171A (zh) 2007-09-05
EP1766997A1 (fr) 2007-03-28
JP2008507171A (ja) 2008-03-06
CN101032171B (zh) 2010-09-01
WO2006016029A1 (fr) 2006-02-16
JP4942649B2 (ja) 2012-05-30
US8204111B2 (en) 2012-06-19
KR20070042933A (ko) 2007-04-24

Similar Documents

Publication Publication Date Title
KR101225160B1 (ko) 비디오 이미지 시퀀스를 상이한 공간 해상도의 주파수부대역 계수들로 인코딩하는 방법 및 장치
US20060008000A1 (en) Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering
KR100664928B1 (ko) 비디오 코딩 방법 및 장치
US7864219B2 (en) Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
KR100974397B1 (ko) 인터레이스된 디지털 비디오 데이터의 스케일러블 인코딩및 디코딩
US20060209961A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
US7042946B2 (en) Wavelet based coding using motion compensated filtering based on both single and multiple reference frames
US20030202599A1 (en) Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
JP2006521039A (ja) オーバコンプリートウェーブレット展開での動き補償時間フィルタリングを使用した３次元ウェーブレットビデオ符号化
US20070133680A1 (en) Method of and apparatus for coding moving picture, and method of and apparatus for decoding moving picture
CA2552800A1 (en) Video/image coding method and system enabling region-of-interest
JP2006501750A (ja) ウェーブレットベースの符号化において、動き補償された時間フィルタリングのための、フィルタリングされた領域とフィルタリングされない領域とを両方備えるｌフレーム
KR100897640B1 (ko) 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
Wang Fully scalable video coding using redundant-wavelet multihypothesis and motion-compensated temporal filtering
JP4153774B2 (ja) 動画像符号化方法とその復号化方法、およびそれらの装置
de Queiroz et al. Hierarchical image coding with pyramid DPCM
Yabu-uti HIERARCHICAL IMAGE COOING WITH PYRAMID DPCM
WO2006080665A1 (en) Video coding method and apparatus
WO2006098586A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
JP2009253880A (ja) 映像階層符号化装置、映像階層符号化方法、映像階層符号化プログラム、映像階層復号装置、映像階層復号方法、および映像階層復号プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180110

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 8