KR20060038408A - 오버컴플릿 웨이브릿 코딩 및 순환성 예측 맵핑을 사용하는비디오 처리를 위한 시스템 및 방법 - Google Patents

오버컴플릿 웨이브릿 코딩 및 순환성 예측 맵핑을 사용하는비디오 처리를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20060038408A
KR20060038408A KR1020057025465A KR20057025465A KR20060038408A KR 20060038408 A KR20060038408 A KR 20060038408A KR 1020057025465 A KR1020057025465 A KR 1020057025465A KR 20057025465 A KR20057025465 A KR 20057025465A KR 20060038408 A KR20060038408 A KR 20060038408A
Authority
KR
South Korea
Prior art keywords
frames
block
extended reference
frame
domain
Prior art date
Application number
KR1020057025465A
Other languages
English (en)
Inventor
종철 예
데르 사르 미하엘라 반
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060038408A publication Critical patent/KR20060038408A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/99—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals involving fractal coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 오버컴플릿 웨이브릿 도메인에서 순환식 예측 맵핑(CPM)에 기초하여 프랙털 비디오 코딩을 위한 시스템, 방법 및 컴퓨터 프로그램 제품에 관한 것이다. 개시된 처리에 따라, 각각의 범위 블록 [B]은 순환적으로 이전 프레임[Fn_1]의 도메인 블록 [A]에 의해 근사화된다. 도메인 블록의 크기는 동일한 도메인 블록 크기를 사용하는 종래 CPM 알고리즘과 비교하여 빠른 수렴 속도를 제공하는 컴플릿-대-오버컴플릿 변환[도 2]을 사용하여 범위 블록보다 크게 만들어진다. 그러나, 높은 시간적 상관관계는 확장된 참조물[210]이 원래 이미지[202]를 시프팅함으로써 생성되고 따라서 범위 블록들에 대한 높은 시간적 상관관계를 유지하기 때문에 인접한 프레임들 사이에서 이용된다. 게다가, 바람직한 실시예는 공간적 스케일러빌러티를 제공한다.
컴플릿-대-오버컴플릿 변환, 순환식 예측 맵핑, 프랙털 비디오 코딩

Description

오버컴플릿 웨이브릿 코딩 및 순환성 예측 맵핑을 사용하는 비디오 처리를 위한 시스템 및 방법{System and method for video processing using overcomplete wavelet coding and circular prediction mapping}
본 출원은 프랙털(fractal) 비디오 코딩을 위한 시스템, 방법, 신호 및 컴퓨터 프로그램 제품에 관한 것이다.
반복 함수 시스템(iterated function system: IFS)에 기초하여 행하는 프랙털 압축은 선택적 비디오 코딩 기술로서 알려져 있다. 프랙털 이미지 압축의 기본적 개념은 고유한 어트랙터(unique attractor)가 소스 이미지를 근사화시키는 수축 맵핑을 발견하는 것이다. 디코더에서, 맵핑은 어트랙터를 재구성하도록 임의의 이미지에 반복적으로 제공된다. 만약 맵핑이 소스 이미지보다 작은 비트들로 표현되면, 코딩 이득이 얻어진다.
더 구체적으로, 프랙털 이미지 압축 기술들은 수축 맵핑 정리 및 콜라주 정리(collage theorem)를 바탕으로 한다. 수축 맵핑 정리는 각각의 수축 맵핑(f)이 고유한 어트랙터(고정된 포인트)(xf)를 가지는 것을 보장하여, f(xf) = xf이다.
게다가, f가
Figure 112005078406262-PCT00001
에 의해 어트랙터(xf)를 얻기 위하여 임의의 포인트(y)에 반복적으로 제공될 수 있다.
이미지 코딩의 맥락에서, 고유한 어트랙터가 소스 이미지인 수축 맵핑을 인코더가 발견하면, 맵핑은 디코더에서 소스 이미지를 재구성하기 위하여 임의의 이미지에 성공적으로 적용될 수 있다.
손실이 많은 코딩 기술로서, 프랙털 인코더는 콜라주 f(x)가 소스 이미지 x에 근접한 수축 맵핑 f을 발견하기 위하여 시도한다. 그 다음 콜라주 정리는
Figure 112005078406262-PCT00002
에 의해 주어진 인코더에서의 콜라주 에러
Figure 112005078406262-PCT00003
및 디코더에서의 어트랙터 에러
Figure 112005078406262-PCT00004
사이의 관계를 제공하고, 여기서 s는 f에 대한 수축도 인자이다. 이것은 만약 콜라주(f(x))가 소스 이미지(x)에 근접하면 디코딩된 어트랙터(xf)가 소스 이미지(x)에 근접한 것을 의미한다. 그러므로, 프랙털 코딩은 원래 이미지(x)를 근사화하고 수렴 속도를 가속화하기 위하여 작은 수축도 인자를 가진 수축 맵핑 f(x)를 발견하는 것에 관한 것이다.
스틸 이미지들의 프랙털 코딩을 위한 제 1 자동 알고리즘의 개발 후, 상당한 연구가 프랙털 스틸 이미지 코딩 기술들뿐 아니라, 비디오 코딩에 수행되어 왔다. "순환적 예측 맵핑(circular prediction mapping)"(CPM)이라 불리는 하나의 접근법은 잘 알려진 추정/모션 보상 기술들과 프랙털 시퀀스 코더를 조합하기 위하여 사용된다. CPM에서, n 프레임들은 그룹으로서 인코딩되고, 각각의 범위 블록은 범위 블록들과 동일한 크기의 n 순환 이전 프레임의 도메인 블록에 의해 모션 보상된다. 도메인 범위 맵핑에서 적당한 파라미터들을 선택함으로써, CPM은 수축 맵핑이된다. 디코더에서, CPM은 어트랙터 프레임들을 재구성하도록 임의의 n 프레임들에 반복적으로 적용된다.
도 1은 CPM 처리를 나타내고 여기서 k 번째 프레임 Fk에서 각각의 범위 블록(Ri)(도 1의 "B" 블록들)은 범위 블록과 동일한 크기인 n 순환 이전 프레임
Figure 112005078406262-PCT00005
의 도메인 블록(Da (i))(도 1의 "A" 블록들)에 의해 근사화된다. Ri의 근사화는 하기 식에 의해 주어지고,
Figure 112005078406262-PCT00006
여기서 a(i)는 최적 도메인 블록의 위치를 나타내고, si, oi는 각각 실제 계수들이다. C는 모든 화소 값들이 1인 일정한 블럭이고, O은 직교 오퍼레이터이다. 이런 오퍼레이터는 Da (i)로부터 DC 성분을 제거하여, O(Da (i)) 및 C는 서로 직교한다. 직교후, si, oi의 최적 계수 값들은 각각 span{O(Da (i))} 및 span{C}상에 Ri의 투영(pojection)에 의해 직접적으로 얻어진다. si 계수가 맵핑에서 콘트래스트 스케일링을 결정하고, oi 계수들이 범위 블록(Ri)의 DC 값을 나타낸다는 것이 주의된다.
도메인 범위 맵핑은 하나의 종류의 모션 보상 기술로서 통합된다. CPM에서, 모션은 변환에 의해서만 기술되고 따라서 a(i)는 종래 모션 벡터들이다. 모션 추정들 외에, 블록들 콘트래스트 및 전체 밝기의 변화들은 각각 si, oi 계수들에 의해 보상된다. 인코더에서 -1과 1 사이에서 양자화될 스케일링 인자(si)를 설정함으로써, CPM의 반복 애플리케이션은 궁극적으로 수축하고, 프랙털 코딩 기법은 제공된다. CPM에서, 도메인 블록 크기는 범위 블록과 동일하고, 따라서 도메인 블록 크기가 범위 블록 크기보다 큰 경우에 비해 수축도 인자가 우수하지 않다. CPM 처리는 디코더에서 증가된 수의 반복들에 의해 이들 단점들을 보상하고자 한다.
즉, 보다 빠르고 효율적인 CPM 바탕 프랙털 비디오 코딩을 인에이블하는 시스템, 방법, 신호 및 컴퓨터 프로그램 제품이 필요하다.
바람직한 실시예들은 오버컴플릿 웨이브릿 도메인에서 순환적 예측 맵핑(CPM)에 기초하여 프랙털 비디오 코딩을 위한 시스템, 방법, 및 컴퓨터 프로그램 제품을 포함한다. 개시된 처리에 따라, 각각의 범위 블록은 순환적 이전 프레임에서 도메인 블록에 의해 근사화된다. 도메인 블록의 크기는 동일한 도메인 블록 크기를 사용하여 종래 CPM 알고리즘에 비해 빠른 수렴 속도를 제공하는 컴플릿-대-오버컴플릿 변환을 사용하는 범위 블록보다 크다. 그러나, 높은 시간적 상관관계는 확장된 참조가 원래 이미지를 시프팅함으로써 생성되고 따라서 범위 블록들에 높은 시간적 상관관계를 유지하기 때문에, 인접한 프레임들 사이에서 매우 잘 이용된다. 더욱이, 바람직한 실시예는 공간적 스케일러빌러티를 제공한다.
상기 당업자가 다음에 따른 본 발명의 상세한 설명을 보다 잘 이해할 수 있도록 본 발명의 특징들 및 기술적 장점들을 보다 넓게 기술했다. 본 발명의 부가적인 특징들 및 장점들은 본 발명의 청구항들의 주제에서 이후에 기술될 것이다. 당업자는 본 발명의 동일한 목적들을 수행하기 위하여 다른 구조들을 변형 또는 설계하기 위한 기초로서 개시된 개념 및 특정 실시예를 쉽게 사용할 수 있다는 것을 인식할 것이다. 당업자는 또한 상기 등가 구성들이 가장 넓은 형태로 본 발명의 사상 및 범위로부터 벗어나지 않는 것을 인식할 것이다.
상세한 설명을 시작하기 전에, 본 명세서를 통하여 사용된 특정 워드들 및 어구들의 정의들을 나타내는 것이 바람직하다 : 용어들 "포함하다(include, comprise)"뿐 아니라 그것의 활용들은 제한이 없는 포함을 의미하고; 용어 "또는(or)"은 및/또는을 배제하지 않고; 어구들 "와 관련된(associated with)" 및 "그것과 관련된(associated therewith)"뿐 아니라, 그것의 활용들은 포함, 내에 포함, 와 상호접속, 포함, 에 포함, 에 접속, 에 결합, 통신, 협력, 반복, 병렬, 근사화, 한정, 가짐, 특성을 가짐 등을 의미하고; 용어 "제어기(controller)"는 적어도 하나의 동작을 제어하는 임의의 장치, 시스템 또는 부분을 의미하고, 상기 장치는 하드웨어, 펌웨어 또는 소프트웨어, 또는 적어도 2개의 동일한 것의 몇몇 결합으로 실행될 수 있다. 임의의 특정 제어기와 연관된 기능성이 로컬적으로 또는 원격적으로 집중 또는 분산될 수 있는 것이 주의된다. 특히, 제어기는 하나 이상의 애플리케이션 프로그램들 및/또는 동작 시스템 프로그램을 실행하는 하나 이상의 데이타 처리기들, 연관된 입력/출력 장치들 및 메모리를 포함할 수 있다. 특정 워드들 및 어구들에 대한 정의는 본 발명을 통하여 제공되고, 당업자는 만약 가장 일반적이지 않으면, 상기 정의들이 이전뿐 아니라, 미래의 상기 정의된 워드들 및 어구들의 사용하는 것을 이해할 것이다.
본 발명의 보다 완전한 이해를 위하여, 그리고 그것의 장점들을 이해하기 위하여, 첨부 도면들과 관련하여 얻어진 다음 설명에 대해 참조가 이루어지고, 여기서 유사한 번호들은 유사한 대상들을 나타낸다.
도 1은 순환적 예측 맵핑 처리를 도시한다.
도 2는 본 발명에 따른 웨이브릿 계수들의 오버컴플릿 확장으로부터 모션 추정을 위한 확장된 참조의 생성을 도시한다.
도 3은 본 발명의 실시예에 따른 웨이브릿 도메인에서 순환적 예측 맵핑 처리의 구조를 나타낸다.
도 4는 본 발명의 일실시예에 따른 처리의 흐름도이다.
도 1 내지 4는 하기되고, 이 특허 명세서에서 본 발명의 원리들을 기술하기 위하여 사용된 다양한 실시예들은 도시를 위한 것이고 본 발명의 제한하는 임의의 방식으로 고려되어서는 않된다. 당업자는 본 발명의 원리들이 임의의 적당한 배열된 장치로 실행될 수 있다는 것을 이해할 것이다. 본 발명의 다수의 혁신적인 기술들은 현재 바람직한 실시예로 특정 참조로 기술될 것이다.
3D 웨이브릿 구조는 효율적인 비디오 코딩 툴이다. 웨이브릿 프레임워크에서, 각각의 비디오 프레임들은 웨이브릿 필터링을 사용하여 다중 대역들로 공간적으로 분해되고, 각각의 대역에 대한 시간적 상관관계는 모션 추정을 사용하여 제거 된다. 오버컴플릿 웨이브릿(OW) 프레임워크는 예측시 기수 위상 웨이브릿 계수를 고려함으로써 웨이브릿 도메인에서 모션 추정의 비효율성을 극복한다. 기수 위상 계수들을 얻는 편리한 방식은 컴플릿-대-오버컴플릿 변환이라 일반적으로 불리는 알려진 "대역 시프팅(band shifting)" 방법이다. 디코딩된 이전 프레임이 디코더에서 이용할 수 있기 때문에, 오버 컴플릿 확장으로부터의 예측은 임의의 부가적인 오버헤드를 요구하지 않는다.
바람직한 실시예는 모션 추정 성능을 최대화하기 위하여 각각의 대역에 대한 적응적인 보다 높은 보간 필터를 사용한다. 참조 프레임의 보다 높은 순차 필터링은 오버 컴플릿 웨이브릿 계수들을 증가시킴으로써 이루어진다. 예를 들어, HH 대역에서 모션 추정을 위하여 보다 높은 순차 보간을 달성하기 위하여, 웨이브릿 계수들의 3개의 다른 위상들은 도 2에 도시된 프레임들(202/204/206/208)에 도시된 바와 같이, (1,0), (0,1) 및 (1,1)의 양으로 보다 낮은 대역을 시프팅함으로써 원래 웨이브릿 계수들로부터 생성된다. 여기서, 원래 웨이브릿 계수들은 (0,0) 프레임(202) 및 확장된 참조프레임(210)에서 순환하는 것으로 도시된다. 확장된 참조 프레임(210)에서, (1,0) 위상 시프트 계수들은 사각형으로서 도시되고, (0,1) 위상 시프트 계수들은 삼각형으로서 도시되고, (1,1) 위상 시프트 계수들은 오각형으로서 도시된다.
그 다음, 웨이브릿 계수들의 4개의 위상들은 도 2의 우측 프레임과 같이 도시된 확장된 참조 프레임을 생성하기 위하여 증가되고 결합된다. 확장된 참조로부터, 보간기는 당업자에게 알려진 바와 같이 모션 추정을 위하여 분수 화소(1/4, </RTI> 1/8, 1/16 화소들)를 생성한다.
오버컴플릿 웨이브릿 코딩 알고리즘에서 확장된 참조의 생성이 프랙털 코딩 반복으로 알려진 도메인 풀 생성과 매우 유사하다는 것이 주의되고, 여기서 도메인 블록은 범위 블록보다 4배 크다.
이 실시예에 따라, n 프레임들은 도 3에 도시된 바와 같이 웨이브릿 변환을 사용하여 우선 분해되는 프레임들의 그룹(GOF)으로서 인코딩된다. 원래의 분해는 당업자에게 알려지고, 기술된 바와 같이 여기에 참조로써 통합된 2002년 10월 17일 공개된 미국특허공개 제US 2002/0150164호에 기술된 바와 같이 수행된다.
그 다음, 각각의 대역은 확장된 참조 대역을 생성하는 컴플릿-대-오버컴플릿 변환후 4배 큰 n 순환 이전 참조 프레임들로부터 예측된다. 더 구체적으로, 도 3에 도시된 바와 같이 k 번째 프레임에서 대역
Figure 112005078406262-PCT00007
는 범위 블록들로 분할되고, 각각의 범위 블록은 예측되거나, 확장된 참조
Figure 112005078406262-PCT00008
에서 도메인 블록에 의해 근사화되고, 여기서 [k]n은 n에 기초하여 하는 k를 나타낸다.
수렴 속도를 가속화하고 디코더에서 다수의 반복들을 감소시키기 위하여, 많은 보다 큰 확장 참조 프레임은 1/4, 1/8, 1/16 정확도 보간을 사용하여 생성될 수 있다.
도메인 블록의 크기가 이 실시예에서 범위 블록보다 크기 때문에, 수렴 속도는 종래 CPM 알고리즘과 비교하여 크게 개선된다. 게다가, 확장된 참조 프레임은 원래 이미지들의 상이한 시프트들에 기초하여 생성되고, 따라서 많은 시간적 리던 던시들을 존재하여, 결국 범위 블록보다 큰 도메인 블록 크기를 통하여 조차 우수한 도메인 범위 맵핑이 기회가 많다.
어트랙터 시퀀스는 임의의 시퀀스에 CPM을 반복적으로 제공함으로써 재구성될 수 있다. 일반적으로, 수렴 속도는 도메인 블록의 크기 및 범위 블록의 크기의 비율에 따른다. 도메인 블록이 범위 블록에 비해 클때, 디코딩된 시퀀스 수렴은 빨라진다. 그러므로, 바람직한 실시예는 종래 CPM 알고리즘보다 빠른 수렴을 제공한다.
디코딩 반복은 연속적인 반복들 사이의 차이가 작아질 때까지 반복된다. 이것은 고유의 디코딩 복잡도 스케일러빌러티를 제공하고, 여기서 보다 나은 비디오 품질은 보다 많은 디코딩 반복들을 사용하여 얻어지지만, 만약 디코더가 충분한 계산 리소스들을 가지지 않으면, 디코딩 반복은 계산 부담에 부합하도록 정지될 수 있다.
순차 인에이블 공간적 스케일러빌러티에서, 도 3에 관련하여 기술된 처리는 보다 낮은 해상도 이미지가 보다 높은 주파수 대역 정보를 요구하지 않도록 변형된다. 이것은 연장된 참조 프레임을 생성하기 위한 처리를 변형함으로써 행해진다. 예를들어, 도 3에서, 컴플릿-대-오버컴플릿 변환은
Figure 112005078406262-PCT00009
에 적용되지 않고 종래 CPM 알고리즘은 사용되고, 반면 모든 다른 대역은 오버컴플릿 웨이브릿 도메인에서 새로운 CPM 알고리즘을 사용하여 인코딩된다. 이것을 변형함으로써, 공간 스케일러빌러티는 실현될 수 있다. 본 알고리즘의 다른 실시예에서, 공간 분해의 LL 대역 은 종래 모션 예측 DCT 기술 또는 모션 보상 시간적 필터링을 사용하여 인코딩되고, 다른 보다 높은 해상도 대역들은 개시된 CPM 처리를 사용하여 인코딩된다.
상기된 처리의 다양한 실시예들에서, 종래 MC-DCT 코딩 기술은 역행 호환성이 MPEG 같은 종래 비디오 코딩 표준에 허용되도록 (LLLL와 같은) 웨이브릿 분해의 서브대역들의 서브세트에 적용된다. 또한, 몇몇 실시예들에서, 서브대역들의 부분은 상이한 디스플레이 크기의 세트들을 만족시키기 위하여 디코더에서 사용되고, 공간적 스케일러빌러티를 향상시킨다. 게다가, 몇몇 실시예들에서, 반복 수는 디코더의 복잡도 제한을 만족시키기 위하여 디코더에 의해 결정된다.
도 4는 본 발명의 바람직한 실시예에 따른 처리의 흐름도를 도시한다. 이 처리에 따라, 시스템은 일련의 이미지 프레임들을 포함하는 이미지 신호를 우선 수신할 것이다(단계 405). 그 다음 각각의 프레임은 웨이브릿 필터링을 사용하여 다중 대역들로 분해되고, 공간적 리던던시는 제거된다(단계 410). 컴플릿-대-오버컴플릿 보간 필터는 적용되고 최종 위상 시프트 웨이브릿 계수들은 원래 프레임들보다 매우 큰 확장 참조 프레임을 형성하기 위하여 결합된다(단계 415).
n개의 프레임은 웨이브릿 변환을 사용하여 분해되고(단계 420) 프레임들의 그룹으로서 인코딩된다(GOF, 단계 425). 그 다음, 각각의 대역은 다중 범위 블록들 및 도메인 블록들을 분할하고, 이들은 확장 참조 프레임을 생성하는 컴플릿-대-오버컴플릿 변환후 상당히 큰 n 순환 이전 참조 프레임들로부터 예측된다(단계 430). 이 실시예는 원래 프레임보다 4배 클 때 확장 기준 프레임을 도시하고, 이런 크기의 참조 프레임은 수행된 분해에 따라 변화될 수 있다. 따라서, 임의의 특 정프레임에서 각각의 밴드는 범위 블록들로 분할되고, 각각의 범위 블록은 순환적 이전 확장 프레임 도메인 블록으로부터 예측된다.
그 다음 상기 처리는 목표된 정확도 레벨이 얻어질 때까지 단계(415)에서 반복된다.
도 4의 각각의 블록이 기술된 단계를 수행하기 위하여 비디오 디코딩 제어기의 수단에 대응하는 것이 주의된다. 특히, 일 실시예는 일련의 이미지 프레임들을 수신하고, 각각의 프레임을 다중 대역들로 분해하고; 각각의 이미지 프레임에 대응하고, 프레임들의 그룹을 함께 포함하는 확장된 참조 프레임을 생성하도록 각각의 이미지 프레임을 필터링하고, 상기 프레임들의 그룹은 순환적 참조 구조에 배열되고; 다중 범위 블록들 및 도메인 블록들로 각각의 확장 참조 프레임의 각각의 대역을 분할하도록 동작하는 비디오 디코딩 제어기를 포함하는 비디오 처리 시스템을 제공하고, 각각의 블록은 프레임들의 그룹에서 순환적 이전 확장 참조 프레임의 도메인 블록에 의해 예측된다.
상기 처리에서, MC-DCT 코딩은 종래 비디오 코딩 표준로 역행 호환성을 허용되도록 웨이브릿 분해의 다중 대역들의 서브대역들의 서브세트에 적용될 수 있다.
당업자는 단순성 및 간략화를 위하여, 본 발명에 사용하기에 적당한 모든 비디오 처리 시스템들의 전체 구조 및 동작이 여기에 묘사되거나 기술되지 않는 것을 인식할 것이다. 대신, 본 발명의 이해를 위하여 필요하거나 본 발명에 유일한 보다 많은 비디오 처리 시스템은 묘사되고 기술된다. 비디오 처리 시스템의 구성 및 동작의 나머지는 다양한 현재 실행들 및 종래에 기술된 실무들 중 이의의 것에 일 치할 수 있다.
본 발명이 완전히 기능적 시스템의 환경에 기술되었지만, 당업자는 본 발명의 적어도 일부의 메카니즘이 임의의 다양한 형태들의 머신 이용 가능 매체 내에 포함된 명령들 형태로 분배될 수 있는 것을 인식할 것이고, 본 발명이 분배를 실제로 수행하기 위하여 사용된 특정 형태의 명령 또는 신호 보유 매체와 무관하게 똑같이 적용할 수 있는 것을 인식할 것이다. 머신 이용 가능 매체들의 예들은 판독 전용 메모리들(ROM) 또는 전기적으로 소거 가능한 프로그램 가능한 판독 전용 메모리들(EEPROM) 같은 비휘발성, 하드 코드화 형태 매체, 플로피 디스크들, 하드 디스크 드라이브들 및 컴팩트 디스크 판독 전용 메모리들(CD-ROM) 또는 디지탈 다기능 디스크들(DVD)들 같은 사용자 레코드 가능 타입 매체들, 및 디지탈 및 아날로그 통신 링크들 같은 전송형 매체들을 포함한다.
비록 본 발명의 예시적인 실시예가 상세히 기술되었지만, 당업자는 여기에 개시된 본 발명의 다양한 변화들, 대체들, 변형들 및 개선들이 가장 넓은 형태로 본 발명의 사상 및 범위에서 벗어나지 않고 이루어질 수 있다는 것이 이해할 것이다.
본원에서 설명중 어느 것도 임의의 특정 엘리먼트, 단계 또는 기능이 청구범위에 포함되어야 하는 필수적인 엘리먼트인 것을 포함하는 것으로 판독되어서는 않되고; 특허 주제의 범위는 허용된 청구항들에 의해서만 정의된다. 게다가, 이들 청구항들 중 어느 것도 만약 정확한 워드들 "의미(means for)"에 이어서 접사가 뒤따르지 않으면 35USC§112의 구문 6을 발동하도록 의도되지 않는다.

Claims (27)

  1. 비디오 신호를 처리하기 위한 방법에 있어서,
    일련의 이미지 프레임들(Fn)을 수신하는 단계(405);
    각각의 프레임을 다중 대역들로 분해하는 단계(410);
    각각의 이미지 프레임(202,204,206,208)에 대응하는 확장 참조 프레임(210)을 형성하기 위하여 각각의 이미지 프레임을 필터링하는 단계(415)로서, 상기 확장 참조 프레임들은 프레임들의 그룹을 함께 포함하고, 상기 프레임들의 그룹은 순환 참조 구조로 배열되는, 상기 이미지 프레임 필터링 단계; 및
    각각의 확장된 참조 프레임(210)의 각각의 대역을 다중 범위 블록들 및 도메인 블록들(
    Figure 112005078406262-PCT00010
    )로 분할하는 단계(430)로서, 각각의 범위 블록은 상기 프레임들의 그룹에서 상기 순환적 이전 확장 참조 프레임의 도메인 블록에 의해 예측되는, 상기 분할 단계를 포함하는, 비디오 신호 처리 방법.
  2. 제 1 항에 있어서, 상기 필터링은 컴플릿-대-오버컴플릿 보간 필터인, 비디오 신호 처리 방법.
  3. 제 1 항에 있어서, 각각의 도메인 블록(A)은 상기 대응하는 범위 블록(B) 보다 큰, 비디오 신호 처리 방법.
  4. 제 1 항에 있어서, 각각의 도메인 블록(A)은 상기 대응하는 범위 블록(B) 보다 적어도 4배 큰, 비디오 신호 처리 방법.
  5. 제 1 항에 있어서, 상기 처리는 반복되는, 하는 비디오 신호 처리 방법.
  6. 제 1 항에 있어서, 각각의 확장 참조 프레임(210)은 상기 대응하는 이미지 프레임(204,206,208)의 위상 시프트 계수들을 포함하는, 비디오 신호 처리 방법.
  7. 제 1 항에 있어서, 종래 비디오 코딩 표준에 역행 호환성(backward compatibility)을 허용하도록 상기 웨이브릿 분해의 상기 다중 대역들의 서브대역들의 서브세트에 MC-DCT 코딩을 적용하는 단계를 더 포함하는, 비디오 신호 처리 방법.
  8. 제 1 항에 있어서, 상기 다중 대역들의 서브 대역들 부분은 디스플레이 크기들의 상이한 세트들을 만족시키기 위하여 사용되는, 비디오 신호 처리 방법.
  9. 제 1 항에 있어서, 상기 반복 번호는 상기 디코더의 복잡도 제한을 만족시키기 위하여 디코더에 의해 결정되는, 비디오 신호 처리 방법.
  10. 비디오 디코딩 제어기를 포함하는 비디오 처리 시스템에 있어서,
    상기 제어기는 일련의 이미지 프레임들(Fn)을 수신(405)하고, 각각의 프레임을 다중 대역들로 분해(410)하도록 동작 가능하고; 각각의 이미지 프레임(202,204,206,208)에 대응하는 확장 참조 프레임(210)을 생성하기 위하여 각각의 이미지 프레임을 필터링하는데(415), 상기 확장 참조 프레임들은 프레임들의 그룹을 포함하고, 상기 프레임들의 그룹은 순환적 참조 구조에 배열되고; 각각의 확장 참조 프레임(210)의 각각의 대역을 다중 범위 블록들 및 도메인 블록(
    Figure 112005078406262-PCT00011
    )로 분할하고(430), 각각의 범위 블록은 상기 프레임들의 그룹에서 상기 순환적 이전 확장 참조 프레임의 도메인 블록에 의해 예측되는, 비디오 처리 시스템.
  11. 제 10 항에 있어서, 상기 필터링은 컴플릿-대-오버컴플릿 보간 필터인, 비디오 처리 시스템.
  12. 제 10 항에 있어서, 각각의 도메인 블록(A)은 상기 대응하는 범위 블록(B)보다 큰, 비디오 처리 시스템.
  13. 제 10 항에 있어서, 각각의 도메인 블록(A)은 상기 대응하는 범위 블록(B)보다 4배 큰, 비디오 처리 시스템.
  14. 제 10 항에 있어서, 상기 제어기는 상기 기능들을 반복적으로 수행하는, 비디오 처리 시스템.
  15. 제 10 항에 있어서, 각각의 확장된 참조 프레임(210)은 상기 대응하는 이미지 프레임(204,206,208)의 위상 시프트 계수들을 포함하는, 비디오 처리 시스템.
  16. 제 10 항에 있어서, 상기 제어기는 종래 비디오 코딩 표준에 역행 호환성을 허용하도록 상기 웨이브릿 분해의 상기 다중 대역들의 서브대역 서브세트에 MC-DCT 코딩을 적용하도록 더 동작 가능한, 비디오 처리 시스템.
  17. 제 10 항에 있어서, 상기 다중 대역들의 서브 대역들의 부분은 상이한 디스플레이 크기들의 세트들을 만족시키기 위하여 사용되는, 비디오 처리 시스템.
  18. 제 10 항에 있어서, 상기 반복 수는 상기 제어기의 복잡도 제한을 만족시키기 위하여 상기 제어기에 의해 결정되는, 비디오 처리 시스템.
  19. 컴퓨터 판독 가능한 매체로 실현되는 컴퓨터 프로그램 제품에 있어서,
    일련의 이미지 프레임들(Fn)을 수신하기(405) 위한 명령들;
    각각의 프레임을 다중 대역들로 분해하는(410) 명령들;
    각각의 이미지 프레임(202,204,206,208)에 대응하는 확장 참조 프레임(210)을 생성하기 위하여 각각의 이미지 프레임을 필터링(415)하기 위한 명령들로서, 상기 확장 참조 프레임들은 프레임들의 그룹을 함께 포함하고, 상기 프레임들의 그룹은 순환적 참조 구조에 배열되는, 상기 이미지 프레임 필터링 명령들; 및
    각각의 확장 참조 프레임(210)의 각각의 대역을 다중 범위 블록들 및 도메인 블록들(
    Figure 112005078406262-PCT00012
    )로 분할하는(430) 명령들로서, 각각의 범위 블록은 상기 프레임들의 그룹에서 순환적으로 이전 확장 참조 프레임의 도메인 블록에 의해 예측되는 분할 명령들을 포함하는, 컴퓨터 프로그램 제품.
  20. 제 19 항에 있어서, 상기 필터링은 컴플릿-대-오버컴플릿 보간 필터인, 컴퓨터 프로그램 제품.
  21. 제 19 항에 있어서, 각각의 도메인 블록(A)은 상기 대응하는 범위 블록(B)보다 큰, 컴퓨터 프로그램 제품.
  22. 제 19 항에 있어서, 각각의 도메인 블록(A)은 상기 대응하는 범위 블록(B)보다 4배 큰, 컴퓨터 프로그램 제품.
  23. 제 19 항에 있어서, 상기 처리는 반복되는, 컴퓨터 프로그램 제품.
  24. 제 19 항에 있어서, 각각의 확장 참조 프레임(210)은 상기 대응하는 이미지 프레임(204,206,208)의 위상 시프트 계수들을 포함하는, 컴퓨터 프로그램 제품.
  25. 제 19 항에 있어서, 종래 비디오 코딩 표준에 역행 호환성을 허용하도록 상기 상기 웨이브릿 분해의 다중 대역들의 서브대역들의 서브세트에 MC-DCT 코딩을 적용하기 위한 명령들을 더 포함하는, 컴퓨터 프로그램 제품.
  26. 제 19 항에 있어서, 상기 다중 대역들의 서브 대역들의 부분은 상이한 디스플레이 크기들의 세트들을 만족시키기 위하여 사용되는, 컴퓨터 프로그램 제품.
  27. 제 19 항에 있어서, 상기 반복 횟수는 상기 디코더의 복잡도 제한을 만족시키기 위하여 디코더에 의해 결정되는, 컴퓨터 프로그램 제품.
KR1020057025465A 2003-06-30 2004-06-28 오버컴플릿 웨이브릿 코딩 및 순환성 예측 맵핑을 사용하는비디오 처리를 위한 시스템 및 방법 KR20060038408A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US48379403P 2003-06-30 2003-06-30
US60/483,794 2003-06-30

Publications (1)

Publication Number Publication Date
KR20060038408A true KR20060038408A (ko) 2006-05-03

Family

ID=33552088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057025465A KR20060038408A (ko) 2003-06-30 2004-06-28 오버컴플릿 웨이브릿 코딩 및 순환성 예측 맵핑을 사용하는비디오 처리를 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US20060153466A1 (ko)
EP (1) EP1642236A1 (ko)
JP (1) JP2007519273A (ko)
KR (1) KR20060038408A (ko)
CN (1) CN1813269A (ko)
WO (1) WO2005001772A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1813479A (zh) * 2003-06-30 2006-08-02 皇家飞利浦电子股份有限公司 过完备小波域中的视频编码
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
KR100947234B1 (ko) 2006-01-12 2010-03-12 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
JP5021739B2 (ja) * 2006-07-12 2012-09-12 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
US20090003712A1 (en) * 2007-06-28 2009-01-01 Microsoft Corporation Video Collage Presentation
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US9271035B2 (en) 2011-04-12 2016-02-23 Microsoft Technology Licensing, Llc Detecting key roles and their relationships from video
CN103347185B (zh) * 2013-06-28 2016-08-10 北京航空航天大学 基于选择性块变换的无人机侦察图像综合压缩编码方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1181690C (zh) * 1999-07-20 2004-12-22 皇家菲利浦电子有限公司 用于压缩视频序列的编码方法
KR20020026177A (ko) * 2000-04-11 2002-04-06 요트.게.아. 롤페즈 비디오 엔코딩 및 디코딩 방법
EP1300023A2 (en) * 2000-06-30 2003-04-09 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
US6931068B2 (en) * 2000-10-24 2005-08-16 Eyeball Networks Inc. Three-dimensional wavelet-based scalable video compression
AU2002366825A1 (en) * 2001-12-20 2003-07-09 Koninklijke Philips Electronics N.V. Video encoding and decoding method and device
WO2004036919A1 (en) * 2002-10-16 2004-04-29 Koninklijke Philips Electronics N.V. Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering

Also Published As

Publication number Publication date
CN1813269A (zh) 2006-08-02
US20060153466A1 (en) 2006-07-13
JP2007519273A (ja) 2007-07-12
EP1642236A1 (en) 2006-04-05
WO2005001772A1 (en) 2005-01-06

Similar Documents

Publication Publication Date Title
US7746929B2 (en) Video encoding and decoding methods and corresponding devices
KR20060038408A (ko) 오버컴플릿 웨이브릿 코딩 및 순환성 예측 맵핑을 사용하는비디오 처리를 위한 시스템 및 방법
JP4844741B2 (ja) 動画像符号化装置及び動画像復号装置と、その方法及びプログラム
JP2009535983A (ja) 符号化／圧縮と復号／伸張との間の計算複雑度の調整可能な分配を提供するロバストで効率的な圧縮／伸張
JP2003518883A (ja) マッチング追跡アルゴリズムに基づくビデオ符号化方法
US8059715B2 (en) Video encoding and decoding methods and corresponding devices
JPH07131783A (ja) 動きベクトル検出装置および画像符号化装置
EP1629436B1 (en) Overcomplete basis transform-based motion residual frame coding method and apparatus for video compression
KR102312337B1 (ko) Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
JP2007174283A (ja) 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
KR100901178B1 (ko) 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치
US20040151394A1 (en) Symmetrical, highly deterministic, low complexity, temporal transform video codec and vehicle distribution system incorporating same
JP4835855B2 (ja) 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム
JP2008022530A (ja) 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
JP2008022531A (ja) 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JP4565393B2 (ja) 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JPH09502840A (ja) テレビ画像サブバンド両立式符号化用エンコーダ／デコーダ及びツリー構造による階層的運動符号化へのその応用
Gharavi-Alkhansari et al. Fractal video coding by matching pursuit
JP2007074306A (ja) 補足画素生成装置及び復号化システム及び復号化方法及び画像符号化通信システム及び復号化プログラム及びコンピュータ読み取り可能な記録媒体
JP2006526923A (ja) サブバンドビデオデコードの方法および装置
JP2018198402A (ja) 符号化装置、復号装置、及びプログラム
JP2008011009A (ja) 映像信号符号化装置、映像信号復号化装置、映像信号符号化プログラム及び映像信号復号化プログラム
Kuo et al. Multiresolution video coding based on Kalman filtering motion estimation
KR100670459B1 (ko) 영상 압축 부호화 및 복호화 방법과 장치
Wang Fully scalable video coding using redundant-wavelet multihypothesis and motion-compensated temporal filtering

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid