KR20010105361A - Ｓｎｒ 스케일가능 비디오 엔코딩 방법 및 대응 디코딩 방법 - Google Patents

Ｓｎｒ 스케일가능 비디오 엔코딩 방법 및 대응 디코딩 방법 Download PDF

Info

Publication number
KR20010105361A
KR20010105361A KR1020017011006A KR20017011006A KR20010105361A KR 20010105361 A KR20010105361 A KR 20010105361A KR 1020017011006 A KR1020017011006 A KR 1020017011006A KR 20017011006 A KR20017011006 A KR 20017011006A KR 20010105361 A KR20010105361 A KR 20010105361A
Authority
KR
South Korea
Prior art keywords
image
base layer
mesh
video data
video
Prior art date
Application number
KR1020017011006A
Other languages
English (en)
Inventor
보트레아우빈센트
베네티에레마리온
페스큐에트-포페스쿠베아트리세
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20010105361A publication Critical patent/KR20010105361A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 스케일가능 비디오 엔코더, 특히 베이스층 회로와 적어도 하나의 인헨스먼트층 회로를 구비한 엔코더에 관한 것으로, 상기 회로들은 압축된 베이스층 비디오 데이타에 연계되고 비디오 디코더에 전송하기에 적합한 인헨스먼트층 비디오 데이타를 발생할 수 있다. 상기 엔코더에 있어서, 매칭 추구 에러 코딩 단계가 특히 적응되는 계층 삼각형 메시 표현을 기초로 하는 구현된 엔코딩 방법은 베이스층 엔코딩 단계와 인헨스먼트층 엔코딩 단계를 포함한다. 본 발명은 또한 대응 디코딩 방법에 관한 것이다.

Description

ＳＮＲ 스케일가능 비디오 엔코딩 방법 및 대응 디코딩 방법{ＳＮＲ scalable video encoding method and corresponding decoding method}
비디오 압축에 있어서, 스케일러빌리티(scalability)는 변화하는 수신기 능력 및 수요(CPU, 디스플레이 크기, 애플리케이션)에 의해 이종 네트워크들(heterogeneous networks) 상에서의 비디오 전송의 증가하는 제약들(대역폭, 에러율...)을 처리하기 위한 기대되는 기능이다. 실제로, 상기 스케일러빌리티는 비트스트림 형태의 정보의 양에 비례하는 재구성된 비디오 시퀀스의 품질 레벨을 제공하기 위하여 (층 구조로 또는 비 층 구조로) 정보의 점진적(progressive) 전송을 가능하게 한다.
현재의 표준들은 초기에는 이들 문제를 처리하도록 설계되어 있지 않았지만, 상기 표준들은 이 기능을 포함하도록 비디오 코딩 기술들을 업그레이드하는 시도를 했다. 품질이나 SNR 스케일가능 압축 기술들에 있어서, 시간 및 공간 해상도는 동일하게 유지되지만, 이미지 품질은 얼마나 많은 비트스트림이 디코딩되느냐에 따라 달라지도록 되어 있다. 실제로, 대부분의 표준들은 고전적인 단일 스케일 기술을 포기하지 않고 층 구조에 의해 SNR 스케일러빌리티를 제공한다. 베이스층(BL)은 일반적으로 하이브리드 예측 엔코딩 루프에 의해 크게 효율적으로 압축된다. 인헨스먼트 층(EL)은 원래 이미지와 재구성된 이미지간의 차인 잔류 에러(또는 예측 에러)를 엔코딩함으로써, 압축된 비디오 신호의 품질을 개선한다. MPEG-4 버전(4)에서, 예컨대, 상기 EL은 이 잔류 에러를 다시 엔코딩하기 위하여 DCT 비트 평면들을 사용한다.
하지만, 결과적으로 얻어지는 스케일러빌리티는 2가지 주된 이유 때문에 최적이지 못하다. 먼저, 상기 스케일러빌리티는 예측 에러의 부가적인 엔코딩만을 기초로 하고 움직임 추정 처리 및 압축 처리의 개선을 포함하지 않는다. 또한, 상기 스케일러빌리티는 점진적 정보 전송을 제공하도록 본질적으로 설계되지 않은 DCT와 같은 코딩 기술들을 이용한다. 보다 효율적인 스케일가능 비디오 코딩의 경우에, 계층 전략들은 유망한 후보들이다. 주된 개념은 스케일러빌리티에 길을 열어 놓은, 정보의 일반화된 계층 표현을 제공하는 기술들을 설계하는 것이다. 개략적으로, 간단한 계층 비디오 코딩 기술은 여러 레벨들로 구성될 수 있으며, 상기 레벨의 각각은 전반적인 개선 처리에 의해 양호한 재구성 이미지를 전달한다(예컨대, 계층은 여러 이미지 해상도로 구성된 파라미드를 사용할 수 있음).
동시에, 삼각형 메시들과 같은 비블록 이미지 표현들을 이용하는 계층 하이브리드 예측 코딩 기술들은 또한 흥미있는 대안을 구성한다. 메시들은 스무스한영역들 및 윤곽들, 잘 보상된 영역들과 옥클루젼(occlusion) 영역들간을 효율적으로 구별하므로 예측 에러 코딩에 잘 적응된다. 하지만, 현존하는 메시 기초 방법들은 일반적으로 전통적인 방식(예컨대, 블록 기초 DCT)으로, 즉, 움직임 추정 및 보상 단계들 동안에 이용되는 메시를 사용하지 않고 에러 이미지를 전체 화상으로서 간주함으로써, 예측 에러를 엔코딩한다. 이들 방법은 특히 낮은 비트율에서 융통성이 부족하며, 포함된 비트 스트림을 제공하지 않는다.
낮은 비트율에 보다 적절하고 MPEG-4에서 테스트된 DCT의 대안은, 예컨대 에스.말라트(S.Mallat)와 제트.장(Z. Zhang)의 "시간-주파수 사전들을 이용한 매칭 추구(Matching pursuits with time-frequency dictionaries)"(신호 처리에 관한 IEEE 취급, vol.41, n°12, 1993.12, pp3397-3415)에 기재된 이른바 매칭 수행(MP)을 기초로 한다. 실제로, MP는 임의 형상의 오브젝트들의 점진적 구조 엔코딩에 특히 적합하다. 또한, MP에 SNR 스케일러빌리티를 제공하는 본질적인 방식은 엔코딩된 "원자(atom)"들의 개수를 통해 이루어진다. MP는 에너지의 정도를 감소시킬 때 움직임 예측 에러를 엔코딩함으로써 스케일러빌리티를 자연적으로 달성한다. 이 절차는 비트가 고갈되거나 왜곡이 미리 지정된 임계치 이하로 떨어질 때까지 반복적으로 적용된다. MP의 입도(granularity)는 대략 20 비트인 하나의 원자의 코딩 비용이다.
1999년 12월 28일에 출원된 유럽 특허 출원 제 99403307.4 호(PHF99627)에서는, MP 예측 에러 코딩 방법이 계층 구조 메시 기초 비디오 코딩 기술 내에 포함되었으며, 이에 따라 낮은 비트율에서도 공간 적응성, 변형 용량, 컴팩트하고 견고한움직임 추정에 관한 삼각형 메시 이점으로부터 혜택이 주어진다. 이 기술의 메시 구조는 코오스한 정규 삼각형 메시로 제 1 레벨에서 시작하며, 현재 레벨의 삼각형들을 국부적으로 분할하는 메시 개선 처리를 포함하는 코오스-투-파인(coarse-to-fine strategy) 방법을 통해 얻어지며, 여기서, 예측 에러 신호는 움직임 보상 이후에 여전히 중요하다(새로운 메시는 다음 레벨을 위한 입력으로서 취해짐). MP 알고리즘을 기초로, 이 방법은 메시 특성으로부터 이점이 얻어지며, 특히 삼각형 지원을 매칭시키도록 설계된다. 선택된 삼각형이 주어지면, 문제는 먼저 상기 삼각형 내에서의 원자 위치 결정에 대한 최적의 방법을 구하는 것이며, 이에 의해 에러 신호의 고속 에너지 감소와 정확하고 스무스한 신호 분해가 얻어진다.
기하학적 구조의 제 1 위치 결정법은 각각의 원자 위치가 엔코딩되어야 하는 블록 기초법에 비해 경비가 적다는 이점이 있다. 이 기하학적 선택에 의해 삼각형의 중간에 원자들이 머무는 것이 보장되더라도, 위치 결정의 자유도에 있어서 상기 MP의 특성에 손실이 생긴다. 원자 중앙 위치 결정을 위해 에러 에너지 정보를 다시 이용함으로써, 블록 기초법과 보다 유사한 원자 코딩 효율이 얻어진다. 이 제 2 구현은 가장 중요한 에너지의 방향을 따라 하나의 원자축을 향하게 할 수 있는 가능성을 부가함으로써 여전히 개선될 수 있다. 보다 양호한 원자 위치 결정이 이와 같이 얻어지며, 원자축들은 근사화되어야 하는 에러 신호와 정렬된다.
이와 같이 설명한 방법에 있어서, 삼각형 메시 기초 비디오 코딩 기술은 계층 표현에 의해 개선될 수 있다. 계층은 최적의 패치 크기들, 및 레벨에서 레벨로 점진적으로 개선되는 설명을 제공하는 툴(따라서, 스케일러빌리티를 가능하게 함)을 발견하는 문제를 처리한다. 상기 계층은 지정된 기준(예컨대, 에너지)에 따라 연속적으로 개선되는 임의의 코오스 메시(coarse mesh)에 초기화될 수도 있다. 이 경우에 사용되는 계층은 가장 코오스한 메시가 최저 해상도 이미지에 연결된다는 취지로 각각의 해상도로 메시 그리드를 이미지와 조합하는데 있다(여기서, 용어 해상도는 다운 샘플링 없이 소스 이미지들에 대해 수행되는 저역 통과 필터링을 말하며, 데시메이션(decimation)을 말하지는 않음). 따라서, 이미지와 메시는 레벨에 따라 증가하는 정보 정확도를 제공하는 요소들로 구성된다.
예컨대, 소형 삼각형들은 큰 움직임들에 적절하지 않은 정확한 움직임 모델링을 제공한다. 대조적으로, 가장 코오스한 메시는 전체 움직임 추정을 가능하게 한다. 이때, 최소형의 삼각형들로 제조된 개선된 메시들 상에서 갱신된 이 움직임을 전달하면 국소적인 최적화가 얻어진다. 또한, 조절 제약 또는 스무스싱 제약은 이 메시 크기 제어 때문에 필요없다. 도 1에는 메시 계층의 일예가 도시되어 있고, 여기서 화질은 상기 메시 계층으로서 명백하게 진전되다.
하지만, 이들 툴의 계층 특성만을 고려하면, 상기 툴들은 스케일러빌리티를 제공하지 않는다. 그 이유는 움직임 추정이 제 1 레벨의 경우와 동일한 소스 이미지들 사이의 각각의 계층 레벨로 수행되기 때문이다.
본 발명은 SNR(signal-to-noise ratio) 스케일가능 비디오 엔코더에 이용되는 엔코딩 방법, 및 대응하는 디코딩 방법에 관한 것이다.
도 1은 메시 계층의 3 개의 레벨을 나타낸 도면.
도 2 및 도 3은 본 발명에 따른 엔코딩 방법 및 디코딩 방법을 각각 나타내며, 동시에 대응 엔코더와 디코더의 블록도를 나타낸 도면.
그러므로, 본 발명의 목적은 SNR 스케일가능 비디오 코딩 기술의 구현을 위해, 인헨스먼트층(들)의 코딩 효율의 개선에 의해 SNR 스케일러빌리티의 문제를 실제로 처리하는 엔코딩 방법을 제안하는 것이다.
이 때문에, 본 발명은 정보의 점진적 전송을 가능하게 하기 위해, 비디오 이미지들의 입력 스트림을 수신하고 이 입력 스트림으로부터 비디오 디코더에 전송하기에 적합한 압축된 베이스층 비디오 데이타를 발생할 수 있는 베이스층 회로와; 상기 압축된 베이스층 비디오 데이타로부터 상기 압축된 베이스층 비디오 데이타와 연계되고 상기 비디오 디코더에 전송하기에 적합한 인헨스먼트층 비디오 데이타를 발생할 수 있는 적어도 하나의 인헨스먼트층 회로를 구비한 SNR 스케일가능 비디오 엔코더에 이용되는 엔코딩 방법으로서, 매칭 추구 에러 코딩 단계가 특히 적응되는 계층 삼각형 메시 표현을 기초로 하는, 상기 엔코딩 방법에 관한 것이며, 이 엔코딩 방법은,
- 한 쌍의 기준 이미지(N-1)와 현재 이미지(N) 및 코오스 메시(coarse mesh)를 수신하고, 상기 현재 이미지(N)와, 연계된 움직임 보상된 이미지(Nc1)간의 에러 잔류 이미지(εi)를 매칭 추구법에 의해 엔코딩하도록 제공된 베이스층 엔코딩 단계와;
- 상기 움직임 보상된 이미지(Nc1)에 상기 코딩된 에러 잔류 이미지(εi)로부터 재구성된 움직임 잔류 이미지를 부가함으로써 얻어진 재구성된 이미지(N'c1)와 상기 현재 이미지를 수신하고, 상기 현재 이미지와 상기 재구성된 이미지(N'c1)간의 차로부터 다른 레벨에 대한 입력으로서 취해진 새로운 메시 "Mesh 2"쪽으로 현재레벨 메시 "Mesh1"을 개선하는데 사용되는 새로운 에러 잔류 이미지(ε'1)를 발생하도록 제공된 제 1 인헨스먼트층 엔코딩 단계로서, 메시 왜곡에 관한 정보가 움직임 벡터(MV1)들에 포함되는, 상기 제 1 인헨스먼트층 엔코딩 단계와;
- 유사한 수신 및 발생 동작들을 포함하는 적어도 다른 인헨스먼트층 엔코딩 단계를 포함하고, 상기 매칭 추구법은 원자들의 형태의 이미지 구조 정보의 전송을 고려하여 각각의 엔코딩 단계 동안에 상기 에러 잔류 이미지(εi)에 적용된다.
계층 삼각형 메시 표현을 기초로, 본 발명은 각각의 레벨에서 (다른 스플리팅 메시 삼각형들에 의해) 그리드, (이 레벨의 메시 구조에 적응되는 MP 방법으로 예측 에러를 코딩함으로써) 움직임 추정 처리 및 보상 처리, 및 움직밍 보상된 이미지의 구조를 공동으로 개선하는 본질적인 SNR 스케일가능 코딩 기술을 제공한다. 그러므로, 재구성된 이미지 품질은 레벨에서 레벨로 점진적으로 증가한다. 또한, MP 특성들에 의해, 예측 에러 구조 코딩 전용의 비트스트림의 부분이 포함된다.
본 발명의 다른 목적은 대응하는 디코딩 방법을 제안하는데 있다.
이 때문에, 비디오 이미지들의 입력 스트림을 수신하고 이 입력 비트 스트림으로부터 비디오 디코더에 전송하기에 적합한 압축된 베이스층 비디오 데이타를 발생할 수 있는 베이스층 회로와; 상기 압축된 베이스층 비디오 데이타로부터, 상기 압축된 베이스층 비디오 데이타에 연계되고 상기 비디오 디코더에 전송하기에 적합한 인헨스먼트층 비디오 데이타를 발생할 수 있는 적어도 하나의 인헨스먼트층 회로를 구비한 비디오 디코더에 의해 코딩된 SNR 스케일가능 비디오 디코더에 이용되는 본 발명은,
- 코딩된 제 1 원래 이미지의 디코딩 단계와;
- 다음의 코딩된 이미지들의 디코딩 단계로서, 상기 코딩된 이미지들은 각각의 엔코딩 단계에 대응하는 층들에 포함된 메시들, 전송된 원자들 및 움직임 벡터들에 관련된 정보로부터 재구성되고, 상기 재구성 동작 자체는 상기 베이스층 이미지를 재구성하는 연속된 서브 단계들을 포함하고, 대응하는 움직임 벡터들을 적용함으로써 상기 베이스층 이미지를 개선하며, 상기 전송된 원자들에 포함된 이미지 구조 정보를 부가하는, 상기 다음의 코딩된 이미지들의 디코딩 단계를 포함하는 디코딩 방법에 관한 것이다.
이제, 첨부 도면을 참조하여 본 발명의 특징들에 대하여 상세히 설명한다.
본 발명은 SNR 스케일러빌리티를 제공하기 위하여 메시기초 구조의 계층 특성과 MP 알고리즘을 효율적으로 조합함으로써 상기 이전의 작업을 개선한다. 목표가 된 BL과 EL은 자연적으로 메시 계층의 상이한 레벨들에 관련되어 있다. 상기BL은 가장 코스한 메시, 관련 움직임 벡터들, MP 코딩된 원자들 및 제 1 레벨 재구성 이미지의 조합으로 구성되어 있다. 상기 BL 이미지는 대응 움직임 잔류 이미지의 MP 엔코딩으로부터 도출되는 원자들을 부가함으로써 품질이 개선된 제 1 레벨 움직임 보상된 이미지이다.
스케일러빌리티에 대한 중요한 요건은 엔코더가 드리프트 문제를 회피하기 위하여 디코더 측에서 이용 가능하게 되는 정보만을 이용한다는 것이다. 이 제약은 스케일러빌리티의 실제 이용을 구성한다. 실제로, 스케일러빌리티에 관한 일반적인 문제는 두 정보 소스, 즉 이미지(N)에 대한 계층 내부의 이전층들에서 얻어진 재구성된 이미지들과 이미지(N-1)의 이미 엔코딩된 층들의 효과적인 조합이다. 원래 계층은 인헨스먼트 레벨들이 제 1 레벨의 경우와 동일한 이미지들을 입력으로 취하였기 때문에 스케일러빌리티를 제공하지 않았지만, 본 발명은,
- 현재 이미지 BL 움직임 추정에 대한 기준 이미지로서 이전 이미지의 BL를 취하고,
- 다음 계층 레벨에 대한 입력으로서 현재 레벨 재구성된 이미지를 취하는 것을 제안한다.
특히, 가장 코오스한 메시가 BL 재구성된 이미지와 현재 이미지(N) 사이의 DFD 에너지에 따라 다음 메시들에 대해 제 1 레벨에서 개선된다. 일단 개선되면, 즉 최고 잔류 에너지로 삼각형들을 분리함으로써 갱신되면, 이 메시는 이전 움직임 벡터들을 개선하기 위하여 제 2 레벨에서 사용된다. 가장 코오스한 메시 움직임 벡터들은 페어런트(parent) 노드 지점으로부터 차일드(child) 노드 지점으로 전송되고, 동일한 기준 이미지와 현재 이미지 사이에서 새로운 움직임 추정 처리에 있어서의 초기값들로 사용된다. 이와 같이 움직임 추정 처리와 움직임 보상 처리도 또한 개선된다. 그럼에도 불구하고, 이 새로운 재구성 이미지는 이전의 레벨 재구성 이미지로부터 용이하게 도출될 수 없다. 그 이유는 두 이미지가 현재 이미지(N)인 동일 이미지의 근사 이미지를 나타내지만, 동일한 파라미터들로 얻어지지 않기 때문이다. 실제로, 동일 정보, 여기서는 움직임 정보를 두번째 전송하기 위하여 너무 많은 정보 오버헤드(overhead and a fortiori)들을 상기 디코더에 전송하는 것은 바람직하지 않다. 동일한 방식으로, 대응 움직임 잔류 이미지(제 3 레벨에서)는 제 1 레벨의 경우와 동일한 방식으로 현재 레벨의 재구성된 이미지를 얻기 위하여 MP 코딩된다. 움직임 보상된 이미지의 구조를 개선하기 위하여 원자들이 엔코딩된다. 하지만, 상기 제 1 레벨 재구성 이미지에 포함된 원자들은 이 경우에는 사용되지 않는다. 그러므로, 이전의 레벨의 엔코딩 및 전송된 원자들은 디코더 측에서 EL를 계산하는데 더 이상 사용되지 않으며, 상기 원자들은 스케일러빌리티에 관련되지 않는 한 만족스럽지 않다.
이 이유들 때문에, 인헨스먼트층들의 코딩 효율을 개선하기 위하여, 이전의 레벨 재구성 이미지는 이제 계층 코딩 기술의 다음 레벨에 대한 입력으로서 사용되게 된다. 따라서, 본 발명의 주된 이점은,
- 주어진 레벨의 각각의 엔코딩된 정보(움직임, 구조, 메시, 원자들...)가 본질적으로 인헨스먼트 레벨들이 이전 층 구성 요소들을 입력으로서 취하므로 다음 레벨들에 사용되고;
- 주어진 레벨은 실제로 점진적 추가 개선 데이타(움직임 개선을 위한 움직임 벡터들과 구조 인헨스먼트를 위한 원자들)에 의해 이전의 레벨의 인헨스먼트들을 나타내며;
- 처리된 모든 이미지들이 디코더측에서 이용 가능하므로 스케일러빌리티가 보존되며, 이에 의해 코딩 드리프트가 방지된다는 점이다.
제안된 SNR 스케일가능 코딩 기술은 후술되는 바와 같이 3 개의 레벨들로 구성된다. 도 2 및 도 3은 본 발명에 따라 엔코더의 블록도와 디코더의 블록도를 각각 나타낸다. 레벨 1은 베이스층에 대응되고, 레벨 2 및 3은 두 인헨스먼트층들을 나타낸다. 잠재적으로, 이 기술은 보다 많은 인헨스먼트 층들로 완성될 수도 있다.
도 2 및 도 3에 사용된 표기들은 다음과 같다: ME = 움직임 추정; MC=움직임 보상; MER:메시 개선; MOR= 움직임 개선; MP=매칭 추구. 상기 엔코더는 한 쌍의 이미지(기준 이미지(N-1) 및 현재 이미지(N))와 매시(가장 코오스한 메시)를 입력으로 가지고 있고, εi는 제 i 레벨(이 예에서, i는 1,2,3) 이후의 현재 이미지(N)와 움직임 보상된 이미지(Nci)간의 에러 잔류 이미지를 나타낸다. 이 에러 잔류 이미지(εi)는 메칭 추구에 의해 엔코딩되고 엔코딩된 원자(MPi)들에 의해 재구성된다. 이 재구성된 움직임 잔류 이미지는 현재 레벨 층 이미지에 대응하는 개선된(또는 재구성된) 이미지(Nci')를 생성하기 위하여 Nci에 부가된다. N과 Nci'간의 새로운 에러 잔류 이미지(εi')는 다음 레벨 i+1에 대한 입력으로서 취해진메시(Mesh'i) 쪽으로 현재 레벨 메시(Meshi)를 개선하는데 사용된다. 메시 왜곡에 관한 정보는 정점 변위들을 나타내는 움직임 벡터(MVi)에 포함된다. 메시들이 공통 노드들을 공유하므로, 완전하게 전송할 필요는 없다. 각각의 레벨에서 새로운 노드들을 전송하는 것으로 충분하다.
에러 잔류 이미지(εi)들은 현재 이미지(N)와 움직임 보상된 이미지(Nci)간의 차들에 대응된다. 그럼에도 불구하고, 제 2 및 제 3 움직임 보상된 이미지를 생성하는 동작들은 이미지(N)의 두 버전, 즉 이미지(N) 자체와 이전의 재구성된 이미지(Nci'), 즉 MP 코딩된 원자들에 의해 개선된 움직임 보상된 이미지 사이에 적용되므로 엄격하게 말해서 움직임 추정이 아니다. 실제로, 이는 움직임 필드에 브레이크를 도입한다. 이 방법의 이론적인 가정들이 문제가 되는 경우에는, PSNR과 비쥬얼 결과 면에서 효율적이다. 이 방법은 이전의 레벨에 의해 생긴 움직임과 구조를 동시에 이용 가능하게 한다. 그러므로, 본 발명은 계층 코딩 기술들 내부에서 SNR 스케일러빌리티의 문제에 대한 응답을 제공한다.
제 1 원래 이미지가 인트라 모드로 엔코딩되어 전송된다고 할 때, 후속되는 인터 코딩된 이미지들은 2 개의 층에 포함된 메시들, 원자들 및 움직임 벡터들에 관련된 정보에 의해 상기 디코더측에서 재구성될 수 있다. 도 3에는 3 개의 개선된 이미지들이 디코더 측에서 재구성되는 방법이 도시되어 있다. 일단 디코딩되면, 베이스층 이미지(Nci')는 움직임 벡터(MV2)를 적용하고 전송된 원자(MP2)에 포함된 구조 정보를 부가하고 전송된 원자(MP2)에 포함된 구조 정보를 부가함으로써 개선될 수 있다. 또한, 원자들에 의해 제공된 구조 인헨스먼트는 매칭 추구법의 특성들에 의해 점진적이다. 디코더 복잡 정도에 따라, 후속되는 인헨스먼트층에 대해 개선 과정이 실행될 수도 있다.
본 발명은 스케일가능 응용들에 강력하고 융통성 있는 프레임웍(framework)을 공급하는 계층 메시기초 비디오 코딩 기술 내의 SNR 스캐일러빌리티의 문제를 처리한다. 삼각형 메시 지원에 특히 적응되는 매칭 추구 예측 에러 코딩 방법은 점진적 정보 압축을 제공하도록 수정된 계층 코딩 기술 내에서 사용된다.

Claims (2)

  1. 정보의 점진적 전송을 가능하게 하기 위해, 비디오 이미지들의 입력 스트림을 수신하고, 이 입력 스트림으로부터 비디오 디코더에 전송하기에 적합한 압축된 베이스층 비디오 데이타를 발생할 수 있는 베이스층 회로와; 상기 압축된 베이스층 비디오 데이타로부터, 상기 압축된 베이스층 비디오 데이타와 연계되고 상기 비디오 디코더에 전송하기에 적합한 인헨스먼트층 비디오 데이타를 발생할 수 있는 적어도 하나의 인헨스먼트층 회로를 구비한 SNR 스케일가능 비디오 엔코더에 이용되는 엔코딩 방법으로서, 매칭 추구 에러 코딩 단계가 특히 적응되는 계층 삼각형 메시 표현을 기초로 하는, 상기 엔코딩 방법에 있어서,
    한 쌍의 기준 이미지(N-1)와 현재 이미지(N) 및 코오스 메시(coarse mesh)를 수신하고, 상기 현재 이미지(N)와, 연계된 움직임 보상된 이미지(Nc1)간의 에러 잔류 이미지(εi)를 매칭 추구법에 의해 엔코딩하도록 제공된 베이스층 엔코딩 단계와;
    상기 움직임 보상된 이미지(Nc1)에 상기 코딩된 에러 잔류 이미지(εi)로부터 재구성된 움직임 잔류 이미지를 부가함으로써 얻어진 재구성된 이미지(N'c1)와 상기 현재 이미지를 수신하고, 상기 현재 이미지와 상기 재구성된 이미지(N'c1)간의 차로부터, 다른 레벨에 대한 입력으로서 취해진 새로운 메시 "Mesh 2"쪽으로 현재 레벨메시 "Mesh1"을 개선하는데 사용되는 새로운 에러 잔류 이미지(ε'1)를 발생하도록 제공된 제 1 인헨스먼트층 엔코딩 단계로서, 메시 왜곡에 관한 정보가 움직임 벡터(MV1)들에 포함되는, 상기 제 1 인헨스먼트층 엔코딩 단계와;
    유사한 수신 및 발생 동작들을 포함하는 적어도 다른 인헨스먼트층 엔코딩 단계를 포함하고,
    상기 매칭 추구법은 원자들의 형태의 이미지 구조 정보의 전송을 고려하여 각각의 엔코딩 단계 동안에 상기 에러 잔류 이미지(εi)에 적용되는, 엔코딩 방법.
  2. 매칭 추구 에러 코딩 단계가 특히 적응되는 계층 삼각형 메시 표현을 기초로 엔코딩 방법을 구현하는 비디오 엔코더에 의해 코딩된 신호들을 수신하는 SNR 스케일가능 비디오 디코더에 이용되는 디코딩 방법으로서,
    상기 매칭 추구법은 원자들의 형태의 이미지 구조 정보의 전송을 고려하여 적용되고,
    상기 비디오 엔코더는 비디오 이미지들의 입력 스트림을 수신하고, 이 입력 스트림으로부터 비디오 디코더에 전송하기에 적합한 압축된 베이스층 비디오 데이타를 발생할 수 있는 베이스층 회로와; 상기 압축된 베이스층 비디오 데이타로부터, 상기 압축된 베이스층 비디오 데이타에 연계되고 상기 비디오 디코더에 전송하기에 적합한 인헨스먼트층 비디오 데이타를 발생할 수 있는 적어도 하나의 인헨스먼트층 회로를 구비하는, 상기 디코딩 방법에 있어서,
    코딩된 제 1 원래 이미지의 디코딩 단계와;
    다음의 코딩된 이미지들의 디코딩 단계로서, 상기 코딩된 이미지들은 각각의 엔코딩 단계에 대응하는 층들에 포함된 메시들, 전송된 원자들 및 움직임 벡터들에 관련된 정보로부터 재구성되고, 상기 재구성 동작 자체는 상기 베이스층 이미지를 재구성하는 연속된 서브 단계들을 포함하고, 대응하는 움직임 벡터들을 적용함으로써 상기 베이스층 이미지를 개선하며, 상기 전송된 원자들에 포함된 이미지 구조 정보를 부가하는, 상기 다음의 코딩된 이미지들의 디코딩 단계를 포함하는 디코딩 방법.
KR1020017011006A 1999-12-28 2000-12-22 Ｓｎｒ 스케일가능 비디오 엔코딩 방법 및 대응 디코딩 방법 KR20010105361A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP99403308.2 1999-12-28
EP99403308 1999-12-28
PCT/EP2000/013206 WO2001049036A1 (en) 1999-12-28 2000-12-22 Snr scalable video encoding method and corresponding decoding method

Publications (1)

Publication Number Publication Date
KR20010105361A true KR20010105361A (ko) 2001-11-28

Family

ID=8242238

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017011006A KR20010105361A (ko) 1999-12-28 2000-12-22 Ｓｎｒ 스케일가능 비디오 엔코딩 방법 및 대응 디코딩 방법

Country Status (6)

Country Link
US (1) US6985526B2 (ko)
EP (1) EP1161839A1 (ko)
JP (1) JP2003518882A (ko)
KR (1) KR20010105361A (ko)
CN (1) CN1168319C (ko)
WO (1) WO2001049036A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627040B2 (en) 2003-06-10 2009-12-01 Rensselaer Polytechnic Institute (Rpi) Method for processing I-blocks used with motion compensated temporal filtering
US7653133B2 (en) 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US8107535B2 (en) 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US9171383B2 (en) 2010-07-19 2015-10-27 Samsung Electronics Co., Ltd. Apparatus and method of scalable encoding of 3D mesh, and apparatus and method of scalable decoding of 3D mesh
US11973960B2 (en) 2016-03-24 2024-04-30 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding video signal

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2364842A (en) * 2000-07-11 2002-02-06 Motorola Inc Method and system for improving video quality
US20020126759A1 (en) * 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
FR2825855A1 (fr) * 2001-06-06 2002-12-13 France Telecom Procedes et dispositifs de codage et de decodage d'images mettant en oeuvre des maillages emboites, programme, signal et application correspondantes
US20070070059A1 (en) * 2001-08-10 2007-03-29 Alan Rojer Refinement of block motion estimate using texture mapping
WO2003103288A1 (en) * 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
WO2004059534A1 (en) * 2002-12-30 2004-07-15 Koninklijke Philips Electronics N.V. Method and device for storing content on a removable medium
FR2852773A1 (fr) * 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
JP2007531078A (ja) * 2003-07-16 2007-11-01 ハンヤン ハク ウォン カンパニー，リミテッド ３次元メッシュ情報の符号化及び復号化方法並びにその装置
US8478539B2 (en) 2003-12-31 2013-07-02 Jeffrey M. Sieracki System and method for neurological activity signature determination, discrimination, and detection
US7079986B2 (en) * 2003-12-31 2006-07-18 Sieracki Jeffrey M Greedy adaptive signature discrimination system and method
US8271200B2 (en) * 2003-12-31 2012-09-18 Sieracki Jeffrey M System and method for acoustic signature extraction, detection, discrimination, and localization
US7529418B2 (en) * 2004-05-20 2009-05-05 Hewlett-Packard Development Company, L.P. Geometry and view assisted transmission of graphics image streams
WO2006001777A1 (en) * 2004-06-23 2006-01-05 Agency For Science, Technology And Research Scalable video coding with grid motion estimation and compensation
CN100466735C (zh) * 2004-07-15 2009-03-04 三星电子株式会社 视频编码和解码方法以及视频编码器和解码器
KR100664929B1 (ko) 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100913088B1 (ko) * 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
US7929606B2 (en) * 2005-01-21 2011-04-19 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal using block prediction information
US8619860B2 (en) * 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
US7768538B2 (en) * 2005-05-09 2010-08-03 Hewlett-Packard Development Company, L.P. Hybrid data planes
US8121848B2 (en) * 2005-09-08 2012-02-21 Pan Pacific Plasma Llc Bases dictionary for low complexity matching pursuits data coding and decoding
KR100904440B1 (ko) * 2005-10-05 2009-06-26 엘지전자 주식회사 레지듀얼 데이터 스트림을 생성하는 방법과 장치 및 이미지블록을 복원하는 방법과 장치
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100891662B1 (ko) 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
WO2008030068A1 (en) * 2006-09-07 2008-03-13 Lg Electronics Inc. Method and apparatus for decoding/encoding of a video signal
KR101349836B1 (ko) * 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
EP2100450A4 (en) 2006-12-06 2012-02-29 Korea Electronics Telecomm DEVICE AND METHOD FOR A DIGITAL MULTIMEDIA RADIATION SERVICE
FR2917872A1 (fr) 2007-06-25 2008-12-26 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images representee a l'aide de tubes de mouvement, produits programme d'ordinateur et signal correspondant.
US20090010341A1 (en) * 2007-07-02 2009-01-08 Feng Pan Peak signal to noise ratio weighting module, video encoding system and method for use therewith
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8155184B2 (en) * 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8311111B2 (en) * 2008-09-11 2012-11-13 Google Inc. System and method for decoding using parallel processing
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
JP5206273B2 (ja) * 2008-09-25 2013-06-12 沖電気工業株式会社 画像符号化装置、画像符号化システム
CN102301714B (zh) * 2009-01-28 2014-01-22 法国电信公司 用于对实施运动补偿的图像序列进行编码和解码的方法、以及对应的编码和解码装置
CN101588498B (zh) * 2009-06-23 2011-05-25 硅谷数模半导体（北京）有限公司 视频图像数据压缩、解压缩方法及装置
US8805083B1 (en) 2010-03-21 2014-08-12 Jeffrey M. Sieracki System and method for discriminating constituents of image by complex spectral signature extraction
WO2012000132A1 (en) 2010-06-30 2012-01-05 Thomson Broadband R & D (Beijing) Co., Ltd. Method and apparatus for detecting repetitive structures in 3d mesh models
JP5558949B2 (ja) * 2010-07-16 2014-07-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5661359B2 (ja) * 2010-07-16 2015-01-28 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR20120072256A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 Ｍｂｍｓ 방송 서비스 수신 시스템 및 그 방법
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US9558762B1 (en) 2011-07-03 2017-01-31 Reality Analytics, Inc. System and method for distinguishing source from unconstrained acoustic signals emitted thereby in context agnostic manner
US9691395B1 (en) 2011-12-31 2017-06-27 Reality Analytics, Inc. System and method for taxonomically distinguishing unconstrained signal data segments
US9886945B1 (en) 2011-07-03 2018-02-06 Reality Analytics, Inc. System and method for taxonomically distinguishing sample data captured from biota sources
WO2013029232A1 (en) * 2011-08-30 2013-03-07 Technicolor (China) Technology Co., Ltd. Multi-resolution 3d textured mesh coding
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9100657B1 (en) 2011-12-07 2015-08-04 Google Inc. Encoding time management in parallel real-time video encoding
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
CN104717501A (zh) * 2012-09-28 2015-06-17 英特尔公司 层间像素样本预测
US11425395B2 (en) 2013-08-20 2022-08-23 Google Llc Encoding and decoding using tiling
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
WO2017016468A1 (en) * 2015-07-27 2017-02-02 Mediatek Inc. Method of system for video coding using intra block copy mode
US9794574B2 (en) 2016-01-11 2017-10-17 Google Inc. Adaptive tile data size coding for video and image compression
US10542258B2 (en) 2016-01-25 2020-01-21 Google Llc Tile copying for video compression
US20200202622A1 (en) * 2018-12-19 2020-06-25 Nvidia Corporation Mesh reconstruction using data-driven priors

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5699121A (en) * 1995-09-21 1997-12-16 Regents Of The University Of California Method and apparatus for compression of low bit rate video signals
US6148026A (en) * 1997-01-08 2000-11-14 At&T Corp. Mesh node coding to enable object based functionalities within a motion compensated transform video coder
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6577310B1 (en) * 1998-12-01 2003-06-10 Samsung Electronics Co., Ltd. 3D mesh coding/decoding method and apparatus for error resilience and incremental rendering

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627040B2 (en) 2003-06-10 2009-12-01 Rensselaer Polytechnic Institute (Rpi) Method for processing I-blocks used with motion compensated temporal filtering
US7653133B2 (en) 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US8107535B2 (en) 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US9171383B2 (en) 2010-07-19 2015-10-27 Samsung Electronics Co., Ltd. Apparatus and method of scalable encoding of 3D mesh, and apparatus and method of scalable decoding of 3D mesh
US11973960B2 (en) 2016-03-24 2024-04-30 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding video signal

Also Published As

Publication number Publication date
CN1168319C (zh) 2004-09-22
CN1349716A (zh) 2002-05-15
US20020159518A1 (en) 2002-10-31
JP2003518882A (ja) 2003-06-10
US6985526B2 (en) 2006-01-10
EP1161839A1 (en) 2001-12-12
WO2001049036A1 (en) 2001-07-05

Similar Documents

Publication Publication Date Title
KR20010105361A (ko) Ｓｎｒ 스케일가능 비디오 엔코딩 방법 및 대응 디코딩 방법
Guo et al. Distributed multi-view video coding
KR100714689B1 (ko) 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
KR100763181B1 (ko) 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
US20070274388A1 (en) Method and apparatus for encoding/decoding FGS layers using weighting factor
Rose et al. Toward optimality in scalable predictive coding
US20060088102A1 (en) Method and apparatus for effectively encoding multi-layered motion vectors
WO2013009441A2 (en) Scalable video coding using multiple coding technologies
KR20020090239A (ko) 미세한 그레뉼라 스케일러빌리티 비디오 코딩에서확장층에 대한 개선된 예측 구조들
WO2007081162A1 (en) Method and apparatus for motion prediction using inverse motion transform
JP2005513928A (ja) ファイン・グレイン映像符号化に関する計算量スケーラビリティ（ｆｇｓ）
US20040151394A1 (en) Symmetrical, highly deterministic, low complexity, temporal transform video codec and vehicle distribution system incorporating same
EP0937367B1 (en) Real-time mobile video communication with low power terminals
WO2005001772A1 (en) System and method for video processing using overcomplete wavelet coding and circular prediction mapping
Dufaux et al. Recent advances in multiview distributed video coding
JP2008022530A (ja) 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
US20060182315A1 (en) Method and apparatus for encoding/decoding and referencing virtual area image
US9462284B2 (en) Encoding and decoding method and encoding and decoding device
Guo et al. Free viewpoint switching in multi-view video streaming using Wyner-Ziv video coding
Jia et al. Decoder side information generation techniques in Wyner-Ziv video coding: A review
KR101500300B1 (ko) 부호화기와 복호화기 사이에 상호작용이 가능한 선택적 저전력 비디오 코덱 장치, 이를 이용한 부호화 및 복호화 방법
HoangVan et al. Optimal reconstruction for a HEVC backward compatible distributed scalable video codec
Meng et al. Bayesian Multi-Hypothesis Wyner-Ziv Video Coding.
KR20100067029A (ko) 시간적 스케일러블 비디오 인코더
Tillo et al. Distributed coding of spherical images with jointly refined decoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application