KR101073535B1

KR101073535B1 - 기술적 모델 매개변수들을 사용하여 향상 계층 데이터를 인코딩하고 디코딩하기 위한 시스템 및 방법

Info

Publication number: KR101073535B1
Application number: KR1020067004230A
Authority: KR
Inventors: 드제브데트 브라제로빅; 윌헬무스 브룰스; 스티즌 웨일
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2003-08-29
Filing date: 2006-02-28
Publication date: 2011-10-17
Also published as: EP1661405B1; CN1843039A; US20060262846A1; CN1843039B; US7953156B2; ATE435567T1; JP4949836B2; KR20060132797A; JP2007504696A; EP1661405A1; DE602004021818D1; WO2005022918A1

Abstract

입력 이미지 데이터를 수신하고 대응하는 인코딩된 이미지 출력 데이터를 발생시키기 위한 인코더(300)를 포함하는 이미지 인코딩 시스템(300, 400)이 제공된다. 상기 인코더는 적어도 하나의 기본 계층 BLOP 및 적어도 하나의 향상 계층 ELOP를 포함하는 복수의 대응하는 이미지 계층들을 각각의 입력 이미지에 대해 발생시키기 위해 상기 입력 이미지 데이터를 처리하기 위한 이미지 처리 특징부들(310, 320, 330, 360)을 포함한다. 게다가, 상기 인코더(300)는 상기 이미지 계층들을 수신하고 그로부터 상기 인코딩된 이미지 출력 데이터를 발생시키기 위한 인코딩 특징부들(350)을 더 포함한다. 상기 인코딩 특징부들은 상기 적어도 하나의 향상 계층의 하나 이상의 서브-영역들을 선택하고, 기술적 모델 매개변수들로 상기 이미지 출력 데이터에서 그 표현을 위해 하나 이상의 서브-영역들을 모델화하기 위한 블록 선택 특징부들(340)을 더 포함한다.

인코더, 디코더, BLOP, ELOP, 이미지 처리 특징부들

Description

기술적 모델 매개변수들을 사용하여 향상 계층 데이터를 인코딩하고 디코딩하기 위한 시스템 및 방법{System and method for encoding and decoding enhancement layer data using descriptive model parameters}

본 발명은 일반적으로 신호 처리에 관한 것이다. 특히, 본 발명은 이미지 인코딩 시스템, 예를 들면, 비디오 인코딩 시스템들을 포함하는 이러한 시스템들, 및 대응하는 이미지 디코딩 시스템들에 관한 것으로, 인코딩 동안에, 이미지 정보는, 대응하는 공간적으로 계층화된 포맷으로 변환되며, 이 계층화된 포맷에서 적어도 일부의 이미지 정보에는 매개변수 모델링이 적용된다. 게다가, 본 발명은 또한 상기 시스템들 내에서 이용되는 이미지 인코딩의 방법에 관한 것이다. 게다가, 본 발명은 또한 상기 시스템들 내에서 이용되는 이미지 디코딩의 방법에 관한 것이다. 추가로, 본 발명은, 매개변수 모델링이 적용되는 최적의 해결책들의 식별 방법에 관한 것으로, 이러한 식별 방법들은, 모델 오더의 선택이 요구되는 광범위한 신호 처리에서 이미지 인코딩 시스템들의 기술적 분야 이외에서도 잠재적으로 적용가능하다.

이미지 정보를 인코딩하고 이에 대응해서 디코딩하는 방법들은 수년 동안 알려져 왔다. 이러한 방법들은 DVD, 이동 전화 디지털 이미지 전송, 디지털 케이블 텔레비전 및 디지털 위성 텔레비전에서 매우 중요하다. 그 결과, 많은 인코딩 및 대응하는 디코딩 기술들이 존재하며, 일부는 MPEG-2와 같은 국제적으로 인정된 표준들이 되었다.

1997년 이후에, 국제 전기 통신 연합(ITU)의 코딩 전문가들 그룹(VCEG)은 국제 명명 H.26L을 갖는 새로운 비디오 코딩 표준에 운영되고 있다. 2001년 말에, VCEG와 함께 국제 표준화 기구/국제 전기 표준 회의(ISO/IEC)의 동화상 전문가 그룹(MPEG)은 단일 기술적 설계를 생성하기 위해 공동 비디오 팀(JVT)으로서 공동 작업하기를 결정하였으며, 그 설계는 "추천 H.264(Recommendation H.264) "으로서 ITU-T에 의해 그리고 "국제 표준 14496-10(International Standard 14496-10)"(MPEG-4 파트 10) 진보된 비디오 코딩(AVC)으로서 ISO/IEC에 의해 2003년에 공식적으로 승인될 것으로 예상된다.

상기 H.264/AVC 표준화의 주요 목적들은 비디오 압축 효율을 크게 개선하고 대화형 및 비-대화형 애플리케이션들을 다루는 "네트워크-친화(network friendly)" 비디오 표현을 제공하는 것이었으며, 대화형 애플리케이션들은 전화통신에 관한 것인 반면, 비-대화형 응용들은 통신 데이터의 저장, 방송, 및 스트리밍에 관한 것이다. 현재, 표준 H.264/AVC는 이들 목적들을 달성할 수 있는 것으로 널리 인식되어 있으며, 게다가, 표준 H264/AVC는 또한 비디오 애플리케이션들을 다루는 몇몇 다른 기술적인 표준화 본체들, 예를 들면, DVB-포럼 및 DVD 포럼에 의한 채택을 위해 고려되고 있다.

H.264/AVC 인코더들 및 디코더들의 소프트웨어 및 하드웨어 구현들 모두가 이용가능해지고 있다.

비디오 인코딩 및 디코딩의 다른 형태들이 또한 알려져 있다. 예를 들면, 미국특허공보 제 5,917,609호에서, 하이브리드 파형 및 모델-기반 이미지 신호 인코더 및 대응하는 디코더가 있다. 인코더 및 대응하는 디코더에서, 원래 이미지 신호는 파형-인코딩되고 압축 이후에 가능한 근접하게 상기 원래 신호의 파형을 근사화시키기 위해 디코딩된다. 그 손실을 보상하기 위해, 신호의 잡음 성분, 즉, 파형 인코딩에 의해 손실되는 신호 성분은 모델-기반 인코딩되고 분리해서 전송되거나 저장된다. 디코더에서, 잡음은 재생되고 파형-디코딩된 이미지 신호에 부가된다. 미국특허공보 제 5,917,609호에 명시된 상기 인코더 및 디코더는 특히 잡음의 손실이 대응하는 이미지들이 심장학자 또는 방사선 학자로 하여금 왜곡되게 하는 의학적 X-선 혈관 촬영 이미지들(X-ray angiographic images)의 압축에 관한 것이다. 그러나, 상술된 인코더 및 대응하는 디코더는 임의의 수립된 것에 반드시 순응하지 않거나 이미지 인코딩과 대응하는 디코딩 표준들을 출현시키는 전문인 구현들로서 간주된 것이다.

다시, 상술된 H.264 표준을 참조하여, 상기 표준은 MPEG-2와 같은 기존 표준들로부터 알려진 공간 확장성(spatial scalability)의 유사한 원리들을 이용한다.

그 원리들의 애플리케이션은, 최고 계층에서 최저 계층까지의 순서로 구성된 2개 이상의 계층들에서 비디오 시퀀스를 인코딩할 수 있다는 것을 의미하며, 각 계층은 다음의 최고 계층의 공간적 해상도 이하인 공간적 해상도를 사용한다. 상기 계층들은 종종 "향상 계층(enhancement layer)"이라 하는 더 높은 계층이 국부적으로 디코딩되고 원래 이미지들에 대응하는 공간적 해상도로 스케일-업된 후에 비디오 시퀀스에서의 원래 이미지들과 더 낮은 인코딩된 계층 간의 차이를 표현하는 방식으로 상호 관련되어 있다. 도 1에서, 향상 계층에 대응하는 데이터를 발생시키기 위한 스킴이 도시되어 있다.

도 1에서, 일반적으로 10으로 표기된 알려진 합성 인코더가 도시되어 있다. 상기 인코더(10)는 스케일링-다운 함수(20), 제 1 H.264 인코더(30), 로컬 H.264 디코더(40), 스케일링-업 함수(50), 차이 함수(60)와 제 2 H.264 인코더(70)를 포함한다. 비디오 신호 입력 IP는 픽셀 이미지 데이터를 입력하기 위해 제공된다. 상기 입력 IP는 상기 차이 함수(60)의 비-반전 입력(+) 및 상기 스케일링-다운 함수(20)의 입력에 결합된다. 상기 스케일링-다운 함수(20)의 스케일-다운 출력은 상기 제 1 인코더(30)의 입력에 결합된다. 상기 제 1 인코더(30)의 제 1 주요 인코딩된 출력은 기본 계층 출력 BLOP를 제공하도록 구성된다. 게다가, 상기 제 1 인코더(30)의 제 2 로컬 인코딩된 출력은, 대응하는 디코딩된 출력이 상기 스케일링-업 함수(50)의 입력에 결합되는 로컬 H.264 디코더의 입력에 결합된다. 게다가, 상기 스케일링-업 함수(50)의 스케일-업 출력은 상기 차이 함수(60)의 반전 입력(-)에 결합된다. 상기 차이 함수(60)의 차이 출력은 상기 제 2 인코더(70)의 입력에 결합된다. 상기 제 2 인코더(70)로부터의 인코딩된 출력은 향상 계층 출력 ELOP를 제공하도록 구성된다. 상기 합성 인코더(10)는 복수의 인코딩된 출력들, 예를 들면, BLOP 및 ELOP 출력들에서 표현되는 입력 IP에서 제공된 입력 이미지 데이터로 인해 멀티-계층 인코더인 것으로 정의되며, 각각의 출력은 "계층"에 대응한다.

상기 합성 인코더(10)는 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어 모두의 혼합에서 구현되기 쉽다. 게다가, 상기 스케일링-다운 함수(20) 및 상기 스케일링-업 함수(50)은 바람직하게 일치시키고 이미지 스케일링 특성들을 상호 반전시키도록 구성된다. 게다가, 상기 제 1 인코더(30) 및 상기 로컬 디코더(40)는 바람직하게는 일치되지만 반전 특성들을 제공하도록 구성된다. 추가로, 상기 제 1 및 제 2 인코더들(30, 70)은 바람직하게 상호 유사한 인코딩 특성들이 부여된다.

상기 합성 인코더(10)의 동작은 지금 도 1을 참조하여 기재될 것이다.

이미지들의 시퀀스에 대응하는 픽셀 데이터의 입력 스트림은 상기 인코더(10)의 입력 IP에서 제공된다. 상기 스트림은 프레임 단위로 상기 차이 함수(60)의 비-반전 입력(+)과 또한 상기 스케일링-다운 함수(20)에 전달된다. 상기 스케일링-다운 함수(20)로부터 제공되는 입력 IP의 스케일-다운 버전은 상기 기본 계층 BLOP 출력을 제공하기 위해 스케일-다운 버전을 인코딩하는 상기 제 1 인코더(30)에 제공된다. 게다가, 상기 제 1 인코더(30)는 또한 상기 제 1 인코더(20)에 제공되는 입력의 스케일-다운 버전의 버전을 재구성하는 상기 로컬 디코더(40)에 유사한 인코딩된 출력을 제공한다. 그 후, 상기 재구성된 버전은 상기 스케일링-업 함수(50)를 거쳐 상기 차이 함수(60)의 반전 입력(-)으로 통과된다. 이에 따라, 상기 차이 함수(60)는 상기 제 1 인코더(30) 및 그 연관된 디코더(40)의 조합에 의해 도입된 에러들에 대응하는 에러 신호를 상기 제 2 인코더(70)의 입력에 제공된 출력에서 제공하며, 상기 스케일링 함수들(20, 50)에 의해 도입된 편차들은 무시한다. 이 에러 신호는 향상 계층 ELOP 출력을 발생시키도록 인코딩된다.

BLOP 및 ELOP 출력들이 동작 특성에서 상기 로컬 디코더(40)에 유사한 하나 이상의 디코더들을 사용하여 BLOP 및 ELOP 출력들을 디코딩하도록 동작가능한 수신기에 전송 매체를 통해 운반된 다음에, 결과적인 디코딩된 ELOP 및 BLOP 신호들이 조합되면, 인코딩 및 디코딩 에러들이 ELOP 신호의 영향에 의해 수신기에서 보상되기 수월하므로 향상된 정확성으로 상기 수신기에서 입력 IP을 재구성하기 용이하다.

그러나, 발명자들은, ELOP 출력이 전형적으로 H.26L 인코더와 같은 비디오 인코더에 대해 요구하는 물질에 대응하는 비교적 높은 공간-주파수 잡음형 특성을 가질 것이며, 다음에서, 용어 "잡음-형(noise-like)"은 더 높은 공간 주파수들에서 분포되는 신호 에너지의 대부분과 함께 동시에 공간 상관관계의 상대적 부족을 언급하도록 해석된다는 것을 알고 있었다. 따라서, 향상 계층의 주어진 부분을 인코딩하는데 사용되는 데이터량이 원래 이미지의 대응하는 부분을 인코딩하는데 필요한 데이터량을 초과한다는 것은 실제로 일반적이다. 향상 계층 신호 ELOP를 인코딩하기 위한 이러한 높은 데이터량 전제조건은 잠재적으로 본 발명이 부각하려고 하는 문제점을 나타낸다.

본 발명의 제 1 목적은 더 큰 이미지 데이터 압축을 제공하기 쉬운 멀티-계층 이미지 인코딩 및 디코딩을 이용하여 이미지 인코딩 시스템 및 대응하는 상보 디코딩 시스템을 제공하는 것이다.

본 발명의 제 2 목적은 이미지들의 시퀀스 내에 존재하는 실질적으로 완전한 정보를 운반하면서 인코딩 이미지들의 더 효율적인 방법을 제공하는 것이다.

본 발명의 제 1 특징에 따르면, 입력 이미지 데이터를 수신하고 대응하는 인코딩된 이미지 출력 데이터를 발생시키기 위한 인코더를 포함하는 이미지 인코딩 시스템이 제공되며, 상기 인코더는 적어도 하나의 기본 계층과 적어도 하나의 향상 계층을 포함하는 복수의 대응하는 이미지 계층들을 각각의 입력 이미지에 대해 발생시키도록 상기 입력 이미지 데이터를 처리하기 위한 이미지 처리 수단, 및 상기 이미지 계층들을 수신하여 그로부터 상기 인코딩된 이미지 출력 데이터를 발생시키기 위한 인코딩 수단을 포함하며, 상기 인코딩 수단은, 상기 적어도 하나의 향상 계층의 하나 이상의 서브-영역들을 선택하여, 기술적 모델 매개변수들(descriptive model parameters)을 통해 상기 이미지 출력 데이터에서 상기 하나 이상의 서브-영역들을 표현(representation)하기 위해 상기 하나 이상의 서브-영역들을 모델링하기 위한 블록 선택 수단을 더 포함한다.

본 발명은, 더 큰 데이터 압축에 수월한 향상된 이미지 인코딩 및 디코딩을 제공할 수 있다는 점에서 유리하다.

바람직하게, 상기 시스템에서, 상기 처리 수단은 대응하는 적어도 하나의 기본 계층에서 각 입력 이미지의 하나 이상의 주요 특징들을 표현하고, 상기 입력 이미지에서의 정보 및 상기 적어도 하나의 향상 계층에서 대응하는 적어도 하나의 기본 계층 간의 차이에 대응하는 잔여 이미지 정보를 표현하도록 동작가능하다. 상기 입력 이미지의 몇몇 계층들로의 서브분할은, 원하는 최종 디코딩된 이미지의 품질에 따라 인코딩 잔여 세부사항들의 진보 정도를 허용하면서, 이미지 세밀 부분이 그 주요 특징들로부터 분리되게 할 수 있어 상기 주요 특징들의 더 효율적인 코딩을 가능케 하므로 유리하다.

바람직하게, 상기 시스템에서, 상기 하나 이상의 서브-영역들은 모델링을 위해 부적합하도록 상기 선택 수단에 의해 결정될 때 대응하는 데이터로서 상기 인코딩 수단으로부터 상기 인코딩된 출력 데이터에서 표현되고, 모델링에 적합하도록 상기 선택 수단에 의해 결정될 때 등가의 모델 매개변수들에 의해 표현된다. 모델링에 가장 적절한 특징들에의 모델링의 적용은, 이미지 데이터 압축과 디코딩된 품질 간의 최적의 절충이 이에 따라 달성되기 수월하다는 점에서 유리하다.

바람직하게, 상기 시스템에서, 예를 들면, 기존의 인코딩 표준들과의 역 호환성을 유지하기 위해, 상기 인코딩 수단은 실질적으로 상기 모델 매개변수들을 포함하여 향상된 U-T H.264 및 ISO/IEC MPEG-4 AVC 표준들 중 적어도 하나에서 상기 입력 이미지 데이터를 인코딩하도록 배열된다. 더 바람직하게, 동적으로 할당가능한 개인 데이터 필드들을 허용하는 이러한 현재의 표준들로 인해, 상기 모델 매개변수들은 상기 인코딩된 이미지 출력 데이터의 하나 이상의 개인 데이터 영역들로 포함된다.

바람직하게, 상기 시스템에서, 상기 인코딩 수단은 상기 인코딩된 이미지 출력 데이터에 포함하기 위해 그 대응하는 모델 매개변수들에 상기 적어도 하나의 선택된 서브-영역을 변환하기 위한 공간 변환을 적용하도록 동작가능하다. 더 바람직하게, 상기 변환은 이산 코사인 변환(DCT)을 포함한다. 선택적으로, 이러한 DCT 변환은 다른 형태의 수학적 변환으로 대체될 수 있다.

바람직하게, 상기 시스템에서, 상기 변환은 각각 대응하는 서브-영역을 위한 대응하는 2차원 데이터 세트를 발생시키도록 동작가능하고, 상기 인코딩 수단은 상기 인코딩된 이미지 출력 데이터에서 상기 모델 매개변수들에 포함하기 위해 대응하는 1차원 데이터 세트를 발생시키기 위해 상기 2차원 데이터 세트를 연쇄시키도록 배열된다. 발명자들은, DCT의 사용이, 예를 들면, 2D에서 1D로 연쇄될 때 허용가능한 소량의 데이터를 초래하면서 각각의 서브-영역에서 마주치는 특징의 형태에 특히 적합하다는 것을 알았다. 그러나, 본 발명은 2-D의 1-D 연쇄에 대한 필요성 없이 구현되기 수월하다. 예를 들면, 선택된 매크로블록들로부터 2-D 변환 데이터의 직접 매개변수 모델링이 필요에 따라 사용될 수 있다.

바람직하게, 상기 시스템에서, 상기 인코딩 수단은, 상기 모델링 매개변수들이 그들의 하나 이상의 대응하는 서브-영역들을 표현하는 모델 매개변수 데이터량 및 정확성 간의 최적화에 의해 상기 대응하는 모델 매개변수들에서 상기 하나 이상의 서브-영역들을 인코딩하는데 사용하기 위한 모델 오더를 선택하도록 배열된다. 최적화의 사용은 실질적으로 이미지 품질을 유지하면서 상기 시스템이 보다 최적화된 데이터 압축을 제공하게 할 수 있다.

바람직하게, 상기 시스템에서, 상기 인코딩 수단은 상기 하나 이상의 서브-영역들에 대응하는 이미지 데이터 및 그들의 대응하는 모델 매개변수들 간의 통계적 에러를 계산하기 위해 통계적 테스트를 적용하고, 상기 인코딩된 출력 데이터를 위한 모델링 매개변수들을 발생시키는데 사용하기 위해 모델 오더를 결정하도록 선택적 매개변수 추정을 적용하도록 배열된다. 내삽(interpolation)의 사용은 상기 하나 이상의 서브-영역들을 인코딩하도록 요구된 계산상의 노력을 감소시키며 이에 따라 상기 시스템이 구현하기 더 간단한 것들 중 적어도 하나가 되는 것이 수월하여, 보다 빠른 이미지 인코딩과 저렴한 비용으로 구현할 수 있다.

바람직하게, 상기 시스템에서, 상기 하나 이상의 서브-영역들은 상기 적어도 하나의 입력 이미지에서 제공되는 공간 잡음-형 특징들에 실질적으로 대응한다. 발명자들은, 공간 잡음이 모델 매개변수들에 의해 표현되지 않으면 상당한 양의 데이터를 발생시키기 쉽다는 것을 알았다. 공간 잡음-형 특징들의 포함이 디코딩에 대해 정확한 이미지 재생성에 중요한 한편, 발명자들은, 상기 공간 잡음의 정확한 본성이 이미지 명료함과 품질에 크게 중요하지 않다는 것을 알 수 있었다. 즉, 발명자들은, 공간 잡음-형 특징들의 통계적 특성들이 정확한 이미지 픽셀 값들 보다 명료함과 품질에 더 중요하다는 것을 알았다.

바람직하게, 상기 시스템은 상기 인코더로부터 상기 인코딩된 출력 데이터를 수신하고 상기 입력 이미지를 재생성하기 위해 상기 출력 데이터를 디코딩하기 위한 디코더를 더 포함하고, 상기 디코더는 상기 인코딩된 출력 데이터에서 직접 인코딩된 이미지 데이터로부터 상기 모델 매개변수들을 분리하기 위한 디코딩 수단을 포함하며, 상기 디코더는 상기 디코딩된 모델 매개변수들을 수신하고 상기 매개변수들로부터 상기 하나 이상의 서브-영역들에 대응하는 데이터를 발생시키기 위한 서브-영역 합성 수단을 더 포함하며, 상기 디코더는 상기 인코더에 제공되는 상기 이미지 입력에 대응하는 디코딩된 출력 이미지 데이터를 발생시키기 위해 디코딩된 직접 이미지 데이터와 상기 합성된 서브-영역 데이터를 조합하기 위한 데이터 병합(merged) 수단을 더 포함한다.

바람직하게, 상기 시스템에서, 상기 인코더로부터의 상기 인코딩된 출력 이미지 데이터는 전송 매체를 통해 상기 디코더로 운반되며, 상기 매체는 인터넷, 광 데이터 디스크, 자기 데이터 디스크, DVD, CD, 고체-상태 메모리 장치, 무선 통신 네트워크 중 적어도 하나를 포함한다.

본 발명의 제 2 양상에 따르면, 입력 이미지 데이터를 수신하고 대응하는 인코딩된 이미지 출력 데이터를 발생시키기 위한 인코더가 제공되며, 상기 인코더는 적어도 하나의 기본 계층과 적어도 하나의 향상 계층을 포함하는 복수의 대응하는 이미지 계층들을 각 입력 이미지에 대해 발생시키기 위해 상기 입력 이미지 데이터를 처리하기 위한 이미지 처리 수단, 및 상기 이미지 계층들을 수신하고 상기 인코딩된 이미지 출력 데이터를 그로부터 발생시키기 위한 인코딩 수단을 포함하며, 상기 인코딩 수단은 상기 적어도 하나의 향상 계층의 하나 이상의 서브-영역들을 선택하고 기술적 모델 매개변수들로 상기 이미지 출력 데이터에서의 표현을 위한 상기 하나 이상의 서브-영역들을 모델링하기 위한 블록 선택 수단을 더 포함한다.

본 발명은, 상기 인코더가 본 발명의 상술된 목적들 중 적어도 하나를 처리하기 수월하다는 점에서 유리하다.

바람직하게, 상기 인코더에서, 상기 처리 수단은 대응하는 적어도 하나의 기본 계층에서 각 입력 이미지의 하나 이상의 주요 특징들을 표현하고, 상기 입력 이미지에서의 정보 및 상기 적어도 하나의 향상 계층에서 그 대응하는 적어도 하나의 기본 계층 간의 차이에 대응하는 잔여 이미지 정보를 표현하도록 동작가능하다.

바람직하게, 상기 인코더에서, 상기 하나 이상의 서브-영역들은, 모델링에 부적합하도록 상기 선택 수단에 의해 결정될 때 대응하는 데이터로서 상기 인코덩 수단으로부터 상기 인코딩된 출력 데이터에서 표현되고, 모델링에 적합하도록 상기 선택 수단에 의해 결정될 때 등가의 모델 매개변수들에 의해 표현된다.

바람직하게, 상기 인코더에서, 상기 인코딩 수단은 상기 모델 매개변수들의 포함에 의해 향상된 실질적으로 ITU-T H.264 및 ISO/IEC MPEG-4 AVC 표준들 중 적어도 하나에서 상기 입력 이미지 데이터를 인코딩하도록 배열된다. 더 바람직하게, 상기 모델 매개변수들은 상기 인코딩된 이미지 출력 데이터의 하나 이상의 개인 데이터 영역들로 포함된다. 이러한 개인 데이터 영역들의 사용은 상기 인코더가 역방향으로 호환가능할 수 있게 한다.

바람직하게, 상기 인코더에서, 상기 인코딩 수단은 상기 인코딩된 이미지 출력 데이터에의 포함을 위해 그 대응하는 모델 매개변수들에 상기 적어도 하나의 선택된 서브-영역을 변환하기 위한 공간 변환을 적용하도록 동작가능하다. 더 바람직하게, 상기 변환은 이산 코사인 변환(DCT)을 포함한다. 그러나, 대안적인 변환들은 또한 사용되기 쉽다.

바람직하게, 상기 인코더에서, 상기 변환은 각각의 대응하는 서브-영역을 위한 대응하는 2차원 데이터 세트를 발생시키도록 동작가능하고, 상기 인코딩 수단은 상기 인코딩된 이미지 출력 데이터에서 상기 모델 매개변수들에의 포함을 위해 대응하는 1차원 데이터 세트를 발생시키기 위해 상기 2차원 데이터 세트를 연쇄시키도록 배열된다.

바람직하게, 상기 인코더에서, 상기 인코딩 수단은 상기 모델링 매개변수들이 그들의 하나 이상의 대응하는 서브-영역들을 표현하는 모델 매개변수 데이터량과 정확성 간의 최적화에 의해 상기 대응하는 모델 매개변수들에서 상기 하나 이상의 서브-영역들을 인코딩하는데 사용하기 위한 모델 오더를 선택하도록 배열된다.

바람직하게, 상기 인코더에서, 상기 인코딩 수단은 상기 하나 이상의 서브-영역들에 대응하는 이미지 데이터와 그들의 대응하는 모델 매개변수들 간의 통계적 에러를 계산하기 위해 통계적 테스트를 적용하고, 상기 인코딩된 출력 데이터를 위해 상기 모델링 매개변수들을 발생시키는데 사용하기 위해 모델 오더를 결정하도록 선택적 매개변수 추정을 적용하도록 배열된다.

바람직하게, 상기 인코더에서, 상기 하나 이상의 서브-영역들은 상기 입력 이미지에서 제공되는 공간 잡음-형 특징들에 실질적으로 대응한다.

본 발명의 제 3 양상에 따르면, 본 발명의 제 2 양상에 따른 인코더에 사용하기 위한 디코더가 제공되며, 상기 디코더는 상기 인코더로부터 인코딩된 출력 데이터를 수신하도록 동작가능하고, 대응하는 입력 이미지를 재생성하기 위해 상기 출력 데이터를 디코딩하기 위한 것이며, 상기 디코더는 상기 인코딩된 출력 데이터에서 직접 인코딩된 이미지 데이터로부터 모델 매개변수들을 분리하기 위한 디코딩 수단을 포함하며, 상기 디코더는 상기 디코딩된 이미지 모델 매개변수들을 수신하고 상기 매개변수들로부터 하나 이상의 서브-영역들에 대응하는 데이터를 발생시키기 위한 서브-영역 합성 수단을 더 포함하며, 상기 디코더는 상기 인코더에 제공되는 상기 이미지 입력에 대응하는 디코딩된 출력 이미지 데이터를 발생시키기 위해, 상기 합성된 서브-영역을 디코딩된 직접 이미지 데이터와 조합하기 위한 데이터 병합 수단을 더 포함한다.

본 발명의 제 4 양상에 따르면, 본 발명의 제 1 특징에 따른 인코더로부터 상기 인코딩된 출력 이미지 데이터를 운반하기 위한 전송 매체가 제공되며, 상기 매체는 광 데이터 디스크, 자기 데이터 디스크, DVD, CD, 고체-상태 메모리 장치 중 적어도 하나를 포함한다. 다른 형태들의 데이터 캐리어가 또한 가능하다는 것을 알아야 한다.

본 발명의 제 5 양상에 따르면, 인코더에서 이미지 데이터를 인코딩하는 방법이 제공되며, 상기 방법은

(a) 처리 수단 및 블록 선택 수단을 포함하도록 상기 인코더에 대해 배열하는 단계;

(b) 적어도 하나의 기본 계층과 적어도 하나의 향상 계층을 포함하는 복수의 대응하는 이미지 계층들을 각각의 입력 이미지에 대해 발생시키기 위해, 상기 입력 이미지 데이터를 처리하는 상기 처리 수단을 적용하는 단계;

(c) 상기 적어도 하나의 향상 계층의 하나 이상의 서브-영역들을 선택하는 상기 선택 수단을 적용하고, 기술적 모델 매개변수들에 의해 상기 이미지 출력 데이터에서의 표현을 위한 상기 하나 이상의 서브-영역들을 모델링하는 단계; 및

(d) 상기 입력 이미지 데이터에 대응하는 인코딩된 이미지 출력 데이터를 그로부터 발생시키기 위한 복수의 이미지 계층들에 적어도 일부 대응하는 인코딩된 데이터와 상기 모델 매개변수들을 조합하는 단계를 포함한다.

바람직하게, 상기 방법에서, 상기 처리 수단은 그 대응하는 적어도 하나의 기본 계층에서 각 입력 이미지의 하나 이상의 주요 특징들을 표현하고, 상기 입력 이미지에서의 정보 및 상기 적어도 하나의 향상 계층에서 그 대응하는 적어도 하나의 기본 계층 간의 차이에 대응하는 잔여 이미지 정보를 표현하도록 동작가능하다. 따라서, 즉, 상기 적어도 하나의 기본 계층은 다시 디코딩될 때 상기 이미지가 인식가능하게 하는데 필요한 대부분의 주요 세부사항들을 포함하고, 상기 적어도 하나의 향상 계층은 상기 적어도 하나의 기본 계층에 운반된 이미지를 보완하고 정제하는 정밀한 세부사항을 포함한다.

바람직하게, 상기 방법에서, 상기 하나 이상의 서브-영역들은 모델링에 부적합하도록 상기 선택 수단에 의해 결정될 때 대응하는 데이터로서 상기 인코딩 수단으로부터 상기 인코딩된 출력 데이터에서 표현되고, 모델링에 적합하도록 상기 선택 수단에 의해 결정될 때 등가의 모델 매개변수들에 의해 표현된다.

바람직하게, 상기 방법에서, 상기 인코딩 수단은 상기 모델 매개변수들의 포함에 의해 향상된 실질적으로 ITU-T H.264 및 ISO/IEC MPEG-4 AVC 표준들 중 적어도 하나에서 입력 이미지 데이터를 인코딩하도록 배열된다. 더 바람직하게, 상기 모델 매개변수들은 상기 인코딩된 이미지 출력 데이터의 하나 이상의 개인 데이터 영역들로 포함된다.

바람직하게, 상기 방법에서, 상기 인코딩 수단은 상기 인코딩된 이미지 출력 데이터에서의 포함을 위해 그 대응하는 모델 매개변수들에 상기 적어도 하나의 선택된 서브-영역을 변환하기 위한 공간 변환을 적용하도록 동작가능하다. 더 바람직하게, 상기 변환은 이산 코사인 변환(DCT)을 포함한다. 그러나, 다른 형태들의 변환은 대안적으로 또는 추가로 사용되기 쉽다.

바람직하게, 상기 방법에서, 상기 변환은 각각의 대응하는 서브-영역을 위한 대응하는 2차원 데이터 세트를 발생시키도록 동작가능하고, 상기 인코딩 수단은 상기 인코딩된 이미지 출력 데이터에서 상기 모델 매개변수들에의 포함을 위해 대응하는 1차원 데이터 세트를 발생시키기 위해 상기 2차원 데이터 세트를 연쇄시키도록 배열된다.

바람직하게, 상기 방법에서, 상기 인코딩 수단은, 상기 모델링 매개변수들이 그들의 하나 이상의 대응하는 서브-영역들을 표현하는 모델 매개변수 데이터량과 정확성 간의 최적화에 의해 상기 대응하는 모델 매개변수들에서 상기 하나 이상의 서브-영역들을 인코딩하는데 사용하기 위한 모델 오더를 선택하도록 배열된다. 더 바람직하게, 상기 인코딩 수단은 상기 하나 이상의 서브-영역들에 대응하는 이미지 데이터와 그들의 대응하는 모델 매개변수들 간의 통계적 에러를 계산하기 위해 통계적 테스트를 적용하고, 상기 인코딩된 출력 데이터를 위한 모델링 매개변수들을 발생시키는데 사용하기 위해 모델 오더를 결정하도록 선택적 매개변수 추정을 적용하도록 배열된다.

바람직하게, 상기 방법에서, 상기 하나 이상의 서브-영역들은 상기 적어도 하나의 입력 이미지에 제공되는 공간 잡음-형 특징들에 실질적으로 대응한다. 이러한 공간 잡음-형 특징들은, 보다 많은 서브-영역들이 모델 매개변수들에 의해 표현되기 용이함에 따라 상기 방법을 더 효율적으로 동작하게 할 수 있다.

바람직하게, 상기 방법에서, 상기 인코더로부터 상기 인코딩된 출력 데이터를 수신하고 상기 입력 이미지를 재생성하기 위해 상기 출력 데이터를 디코딩하기 위한 디코더를 포함하며, 상기 디코더는 상기 인코딩된 출력 데이터에서 직접 인코딩된 이미지 데이터로부터 상기 모델 매개변수들을 분리시키기 위한 디코딩 수단을 포함하며, 상기 디코더는 상기 디코딩된 모델 매개변수들을 수신하고 상기 매개변수들로부터 상기 하나 이상의 서브-영역들에 대응하는 데이터를 발생시키기 위한 서브-영역 합성 수단을 더 포함하며, 상기 디코더는 상기 인코더에 제공되는 상기 이미지 입력에 대응하는 디코딩된 출력 이미지 데이터를 발생시키기 위해, 디코딩된 직접 이미지 데이터와 상기 합성된 서브-영역 데이터를 조합하기 위한 데이터 병합 수단을 더 포함한다.

바람직하게, 상기 방법에서, 상기 인코더로부터 상기 인코딩된 출력 이미지 데이터는 전송 매체를 거쳐 상기 디코더로 운반되며, 상기 매체는 인터넷, 광 데이터 디스크, 자기 데이터 디스크, DVD, CD, 고체-상태 메모리 디바이스, 무선 통신 네트워크 중 적어도 하나를 포함한다.

바람직하게, 본 발명은 하나 이상의 하드웨어, 소프트웨어, 및 소프트웨어와 하드웨어의 조합에서 구현될 수 있다.

본 발명의 특징들은 본 발명의 범위를 벗어나지 않고 임의의 조합으로 조합되기 수월하다는 것을 알아야 한다.

본 발명의 실시예들은 지금 다음의 도면들을 참조하여 예제로만 기재될 것이다.

도 1은 멀티-계층 이미지 인코딩을 이용하는 합성 인코더의 개략적인 도면.

도 2는 도 1의 인코더에서 인코딩되는 이미지들의 그룹의 도면.

도 3은 에러 차이 신호가 향상 계층 ELOP 데이터 스트림을 발생시키기 위한 세부 분석된 멀티-계층 이미지 인코딩을 이용하는 합성 인코더의 개략적인 도면.

도 4는 상기 인코더에 의해 발생된 향상 계층 ELOP 데이터에서 하나 이상의 선택된 매크로블록들을 표현하기 위해 모델 매개변수 데이터를 이용하는, 본 발명에 따른 합성 인코더의 개략적인 도면.

도 5는 도 4의 인코더를 보완하는 본 발명에 따른 대응한 디코더를 도시한 도면.

도 6은 선택된 매크로블록들 B1 내지 B4가 그 위에 표기된 예제 향상 계층 ELOP 이미지를 도시한 도면.

도 7 내지 도 10은 도 6의 매크로블록들 B1 내지 B4의 이산 코사인 변환(DCT)을 도시한 도면.

도 11은 도 6의 매크로블록들 B1 내지 B4에 관한 2-D 대 1-D 데이터 연쇄의 그래프 세트를 도시한 도면.

도 12는 본 발명에서 사용하기 위한 잡음 합성기의 개략적인 도면.

도 13 및 도 14는 상기 선택된 매크로블록 B2에 대한 잡음-형 신호들의 합성의 도면.

도 15는 선택적 매크로블록들 B1, B3 및 B4에 관한 전력 스펙트럼 밀도(PSD) 비교를 도시한 도면.

도 16은 내삽된 ELOP 매크로블록 모델 매개변수 최적화를 도시한 그래프.

상기 도시된 도 1을 참조하면, 상기 제 2 인코더(70)를 거쳐 향상-계층 ELOP 신호를 발생시키기 위해 상기 입력 IP로부터 차감된 상기 스케일링-업 함수(50)로부터의 신호는 몇몇 처리 단계들, 즉, 다운-스케일링, 인코딩, 디코딩 및 업-스케일링을 통해 상기 입력 IP를 통과함으로써 얻어진다. 이들 단계들 각각은 왜곡들을 도입하도록 동작가능하며, 예를 들면, 재-샘플링은 나이퀴스트 기준과 관련된 방식으로 불완전한 필터링의 사용으로 인해 상기 입력 IP의 이미지들에 존재하는 더 높은 공간 주파수 정보(higher spatial frequency information)를 왜곡시킬 수 있으며, 코딩은 더 높은 변환 계수들(higher transform coefficients)의 양자화에 대부분 기인하는 아티팩트들을 도입시킨다. 모든 이들 왜곡들은 실질적으로 비선형이어서, 상기 차이 함수(60)의 반전 입력(-)에 제공된 전체 왜곡은 간단하게 그들의 합산, 예를 들면, 에러들의 제곱 합으로서 양자화될 수 없다. 그럼에도 불구하고, 발명자들은, 상기 차이 함수(60)의 반전(-) 입력에 제공된 신호에서의 전체 왜곡은 더 높은 공간 주파수 특징들, 예를 들면, 상기 입력 IP의 이미지들에 존재하는 에지들과 텍스처 세부사항들에 현저하게 영향을 미칠 것이라는 것을 알게 되었다. 더 높은 공간 주파수의 왜곡들이 압도적이고 예상될 수 있는 반면, 발명자들은, 왜곡들이 또한 더 랜덤한 방식으로 공간 주파수 스펙트럼의 더 낮은 부분에 나타날 것이라는 것을 알게 되었다. 이러한 더 낮은 주파수 공간 왜곡들은 원래 이미지 신호 IP의 덜 상세한 부분들에 대응하는 상기 차이 함수(60)의 반전 입력(-)에 제공된 신호의 그들 부분들에서 명백하다. 더욱이 발명자들은 또한, 이러한 반전(-) 입력에 나타나는 잡음이 입력 신호 IP에 이미 나타난 잡음으로부터 발생되는 것으로 받아들인다. 이러한 이미지 인코딩 에러들은 도 1의 상기 인코더(10)를 서브-최적화되게 한다.

도 2에서, 상기 입력 신호 IP에 제공된 이미지들의 시퀀스로부터의 예제 이미지가 도시되어 있어, 도 2는 "스냅-샷(snap-shot)" 상황을 나타낸다. 상기 입력 IP에서 제공된 원래 이미지는 100으로 표기된다. 110으로 표기된 이미지는 상기 스케일링-다운 함수(20)에서 x 2의 인자로 다운 스케일링된 다음, 대응한 디코딩이 수반되는 상기 제 1 인코더(30)에서 JPEG 인코딩된다. 게다가, 120으로 표기된 이미지는, 상기 스케일링-업 함수(50)에서 업-스케일링된 후 상기 이미지(110)에 대응한다. 게다가, 130으로 표기된 이미지는, 즉, 상기 제 2 인코더(70)에 상기 차이 함수(60)로부터 제공된 차이 이미지 정보에 등가의 상기 이미지(100, 200)의 공간 차이에 대응하며, 상기 이미지(130)는 향상-계층 ELOP 신호를 발생시키는데 사용하기 적합하다. 도 2의 이미지들에 관해서는, 7-탭 FIR 필터는 이미지 필터링 목적들을 위해 이용되고, JPEG 인코딩을 위해 픽셀(bpp) 당 1.5 비트들에 이용된다.

발명자들은 향상 계층에서, 즉 상기 ELOP 신호 데이터에서 제공된 모든 데이터가 상기 ELOP 신호 데이터로 디코딩되고 이에 따라 재구성될 때, 상기 BLOP 신호 데이터에서 기본 계층의 명백한 공간 해상도의 개선에 관해 유사한 방식으로 기여하지 않는다는 것을 특히 알아야 한다. 이러한 가정은 도 3에 도시된 바와 같이 구성된 합성 인코더(200)에 이미 사용되었다.

도 3에서, 상기 합성 인코더(200)는 상기 인코더(10)의 구성요소 부분들, 즉, 상기 스케일링-다운 함수(20), 상기 제 1 H.264 인코더, 상기 로컬 H.264 디코더(40), 상기 스케일링-업 함수(50), 상기 차이 함수(60) 및 상기 제 2 H.264 인코더 (70)를 포함한다. 상기 합성 인코더(200)는 □-수정자(210), 상세 분석기(220), 및 승산기 함수(230)를 더 포함한다.

상기 인코더(200)의 연결 토폴로지가 지금 기재될 것이다. 상기 비디오 신호 입력 IP는 상기 차이 함수의 비-반전 입력(+), 상기 상세 분석기(220)의 제 1 입력 및 상기 스케일링-다운 함수(20)에 결합된다. 상기 스케일링-다운 함수(20)의 출력은 출력이 상기 기본 계층 BLOP 출력에 대응하는 상기 제 1 H.264 인코더(30)의 입력에 접속된다. 상기 인코더(30)의 보조 인코딩된 출력은 출력이 상기 스케일링-업 함수(50)를 거쳐 상기 상세 분석기(220)의 제 2 입력 및 상기 차이 함수(60)의 반전 입력(-)에 접속되는 상기 로컬 H.264 디코더(40)를 통해 결합되며, 상기 스케일링-업 함수(50)와 상기 스케일링-다운 함수(20)는 바람직하게 상호 상반되는 영향들을 제공하도록 구성된다. 상기 분석기(220)의 출력 SG는 상기 수정자(210)의 입력에 결합된다. 게다가, 상기 수정자(210)로부터의 출력(1-□)은 상기 승산 함수(230)의 제 1 승산 입력에 결합된다. 게다가, 상기 차이 함수(60)의 합산 출력은 상기 승산 함수(230)의 제 2 승산 입력에 접속된다. 마지막으로, 상기 함수(230)의 승산 출력 MRS는 출력이 상기 향상 계층 ELOP 신호를 제공하도록 구성되는 상기 제 2 H.264 인코더(70)의 입력에 결합된다.

상기 합성 인코더(200)가 전용 하드웨어 중 적어도 하나에서, 컴퓨터 하드웨어에서 실행하는 소프트웨어에서, 그리고 소프트웨어와 전용 하드웨어에서 구현되기 쉽다는 것을 알 수 있다.

도 3에 도시된 합성 인코더(200)는 도 1에서 상기 인코더(10)에 유사한 방식 으로 대부분 기능하도록 구성되며, 즉,

(a) 상기 입력 신호 IP는 상기 인코딩된 기본 계층 BLOP를 발생시키기 위해 상기 제 1 인코더(30)에 상기 스케일링-다운 함수(20)를 통해 전달된다. 상기 제 1 인코더(30)는 또한 상기 로컬 디코더(40)에서 디코딩되고 신호 DS를 발생시키기 위해 상기 스케일링-업 함수(50)에서 스케일링-업되는 BLOP에 등가의 신호를 제공하도록 동작가능하다.

(b) 상기 입력 신호 IP는, 인코딩 및 디코딩되는 상기 입력 신호 IP의 재구성된 버전, 즉, 신호 DS가 대응하는 잔여 차이 신호 RS를 발생시키기 위해 원래 신호 IP로부터 차감되는 상기 차이 함수(60)를 통해 전달된다. 상기 잔여 신호 RS는 상기 향상 계층 ELOP를 발생시키기 위해 상기 제 2 인코더(70)에서 다음에 인코딩되는 변조된 차이 신호 MRS를 발생시키도록 신호 (1-□)로 승산되는 상기 승산기 함수(230)에 제공된다.

상기 상세 분석기(220)는 상기 입력 신호 IP 및 상기 잔여 신호 DS를 수신하고,

(a) 상기 향상 계층 ELOP에서의 관련된 신호 정보의 포함이 출력들 BLOP 및 ELOP에서의 신호들로부터 재생성된 이미지들의 가시적 인식에 유리하고,

(b) 상기 출력 ELOP에서 제공된 정보가 BLOP 및 ELOP로부터 재생된 이미지들의 인식에 비교적 맞지 않는 상기 입력 IP에서의 이미지들의 영역들인 상기 입력 신호 IP에서 운반되는 이미지들의 공간 영역들의 측정을 그로부터 도출하도록 동작가능하다.

상기 잔여 신호 RS는 비교적 높은 가시적 의미의 이미지 정보를 포함하는 경우, 상기 승산기(30)는, 상기 인코더(70)가 가시적 의미의 특징들이 다음에 디코딩되고 재구성되도록 상기 ELOP 출력에서 충분한 데이터를 대응적으로 발생시키도록 상기 신호 RS에 적용된 감쇠를 감소시키도록 동작가능하다. 반대로, 상기 잔여 신호 RS가 낮은 의미의 이미지 정보를 포함하는 경우, 상기 승산기(230)는, 상기 인코더(70)가 데이터를 덜 발생시키도록 상기 신호 RS에 적용되는 감쇠를 증가시키도록 동작가능하다. 상기 제 2 인코더(70)의 공간적인 선택적 사용에 의해, 도 1에 도시된 상기 인코더(10)에 비해 상기 ELOP 출력에서 제공된 데이터량을 감소시키는데 용이하다.

따라서, 상기 상세 분석기(220)는 각각의 픽셀 또는 입력 데이터 IP의 인입 이미지들에 제공되는 픽셀들의 그룹에 대한 픽셀 매개변수들(x,y,fr#)과 관련된 수치 값 □을 발생시키며, "x" 및 "y"는 이미지 픽셀 공간 좌표인 한편, fr#은 컬러 및/또는 휘도 데이터 표시기이다. 상기 입력 IP의 이미지들에 더 세부사항이 있는 경우, 값 □의 값은 낮고 □는 0 내지 1의 범위에 있다. 반대로, 상기 입력 IP의 이미지들에서 비교적 적은 세부사항이 있는 경우, 값 □의 값은 높다. 따라서, 상기 승산기 함수(230)는 0 내지 1의 범위 내에 있는 승산 인자(1-□)가 제공된다.

상기 합성 인코더(200)에 의해 제공되는 영향은 비교적 적은 세부사항을 포함하는 상기 입력 IP에서의 이미지들의 영역들을 필터링하는 것이다. 비교적 적은 세부사항의 이러한 영역들에서, 상기 ELOP 출력에 대한 상당한 데이터량은 상기 인코더(10)에서 발생되었으며, 상기 영역들은 실질적으로 무관한 적은 세부사항들과 잡음에 실제 대응한다.

따라서, 이미지 데이터 압축의 관점으로부터, 상기 합성 인코더(200)는 상기 인코더(10)에 대한 진보이다.

발명자들은, 도 3에 도시된 상기 합성 인코더(200)가 더 개선될 수 있다는 것을 알아야 한다. 이러한 개선에서, 발명자들은, 상기 ELOP 출력에서 훨씬 명백하게 낮은-세부사항, 잡음-형 영역들이 대응하는 BLOP 신호와 조합하여 재구성될 때 공간 해상도를 개선할 수 있으며, 다시 말해서, 상기 ELOP 이미지들에서 훨씬 명백하게 낮은-세부사항 잡음-형 영역들은 상기 BLOP 출력에서 대응하는 이미지들의 공간 해상도를 개선할 수 있다. 게다가, 발명자들은, 정확한 픽셀 값들이 종종 공간 잡음-형 영역들에 주요 관심사가 아니라, 상기 ELOP 및 BLOP 출력들로부터 이미지들을 재구성할 때 이들 영역들의 전체 기여는 지각적으로 중요하다. 그러므로, 잡음-형 구성요소들이 제대로 여과되고 상기 ELOP 출력에서 나타나지 않는 상기 인코더(200)와 대비하여, 발명자들은 이러한 잡음-형 영역들을 모델링하는 것을 제안하고 대응하는 모델 매개변수들을 인에이블된 디코더에 전송하며, 상기 인에이블된 디코더는 원래 잡음-형 데이터의 근사치를 합성하기 위해 상기 모델 매개변수들을 합성기에 적용할 수 있다. 발명자들에 의해 고안된 이러한 방법은 상기 인코더들(10, 200)로부터 도출된 디코딩된 이미지들에 비해 더 디코딩된 이미지 공간 해상도를 보존할 수 있을 뿐만 아니라, 상기 방법에서 더 적은 모델 매개변수들의 코딩이 상기 모델 매개변수들에 의해 기재된 대응하는 원래 이미지 데이터의 코딩보다 효율적이라면 대응해서 발생된 BLOP 및 ELOP 출력들에서 비트율을 감소시킬 수 있다. 상기 방법에서, 발명자들은, 전체 인코딩으로부터 신호 IP의 데이터 부분들의 제외 및 상기 제외된 부분들에 대응하는 모델 데이터의 운반은 종래의 매크로-블록 뛰어넘기 프로시져들을 이용하여 실제로 구현될 수 있다.

도 4에서, 본 발명에 따라 합성 인코더의 개략적인 도면이 제공되며, 상기 인코더는 일반적으로 300으로 표기된다. 상기 인코더(300)는, 예를 들면, 상기 합성 인코더들(10, 200)에서 사용된 바와 같이, 상기 스케일링-다운 함수(20), 상기 제 1 H.264 인코더(30), 상기 로컬 H.264 디코더(40), 상기 스케일링-업 함수(50), 상기 차이 함수(60) 및 상기 제 2 인코더(70)를 포함한다. 상기 합성 인코더(300)는, 상기 인코더(300)가 상세 분석기(310), 버퍼(320), 분석기(330), 블록 선택 함수(340), 모델 추출 함수(350), 인코더(360) 및 멀티플렉서(370)를 포함한다는 점에서 상기 합성 인코더들(10, 200)과는 구별된다. 도 4에서, 파선으로 도시된 항목들, 즉, 상기 상세 분석기(310)는 선택적으로 생략될 수 있다. 상기 합성 인코더(300)에 의해 발생된 BLOP 및 ELOP 이미지 데이터는 전송/저장 매체(380)에 결합된다. 상기 매체(380)는 바람직하게 인터넷과 같은 통신 네트워크, CD, DVD, 광 섬유 네트워크 및 이동 전화기들에 사용된 것과 같은 무선 전송 네트워크 중 적어도 하나이다.

지금, 상기 합성 인코더(300)의 동작은 도 4를 참조하여 전반적으로 기재될 것이다.

디지털 픽셀 이미지들의 시퀀스에 대응하는 입력 신호 IP는, 예를 들면, 도 2에 도시된 방식으로 이미지들을 스케일한 다음, 그들을 상기 BLOP 출력의 형태로 대응한 인코딩된 데이터를 발생시키기 위해 상기 이미지들을 처리하는 상기 제 1 H.264 인코더(30)에 공급하는 상기 스케일링-다운 함수(20)에 운반된다. 게다가, 상기 인코더(300)로부터의 보조 인코딩된 출력 LE는 상기 차이 함수(60)의 반전 입력에의 입력을 위해 재구성된 신호 RD를 제공하기 위해 상기 스케일링-업 함수를 통해 전달된다. 상기 신호 RD는, 상기 제 1 인코더(30) 내에서 발생하는 인코딩 에러들 및 상기 로컬 디코더(40)에서 발생하는 대응하는 에러를 포함하는 것을 제외하면, 상기 신호 IP에 대응한다. 바람직하게, 상기 스케일링-다운 함수(20) 및 상기 스케일링-업 함수(50)는, 상기 인코더(30) 및 그 로컬 디코더(40)가 실질적으로 상호 보완적인 특성들을 제공하도록 구성될 때, 상호 동일하지만 상호 반전 특성을 제공하도록 구성된다. 상기 신호 RD 및 상기 입력 신호 IP는 내부에서 인코딩하기 위한 상기 제 2 H.264 인코더(70)의 입력에 운반되는 잔여 신호 RS를 발생시키기 위해 상기 차이 함수(60)에서 상호 감산된다. 게다가, 상기 제 2 인코더(70)는 나중에 더 상세히 명확해질 방식으로 상기 향상 계층 ELOP 출력을 발생시키기 위해 상기 멀티플렉서(370)를 통해 선택적으로 전송되는 대응하는 인코딩된 데이터를 발생시키도록 동작가능하다. 상기 BLOP 및 ELOP 출력들은 상기 전송/저장 매체(380)에 운반된다.

예를 들면, FIFO에 대응하는 방식으로 동작가능한 상기 버퍼(320)는 상기 입력 IP에서 제공된 이미지들의 시퀀스들을 수신하고 그들을 상기 분석기(330)로 공급하기 위해 저장하도록 구성된다. 다음에, 상기 분석기(330)는 상기 버퍼(320)로부터 이미지 데이터를 수신하고 매개변수 모델에 의해 구현되는 그들의 ELOP 잔여 데이터를 갖기 쉬운 그 영역들을 결정하기 위해 상기 데이터를 분석하도록 동작가능하며, 이들 영역들은 또한 "이미지 블록들"이라 한다. 상기 분석기(330)가 매개변수 모델의 사용이 부적합할 때, 상기 블록 선택 함수(340)는, 예를 들면, 상기 합성 인코더(200)에서 발생하는 것과 같은 일반적인 방식으로 상기 신호 RS를 인코딩해야 하는 상기 제 2 인코더(70)로 통신한다. 반대로, 상기 분석기(330)가, 상기 신호 RS가 매개변수 모델에 의해 표현되기 쉬운 하나 이상의 이미지 블록들을 포함하는지를 결정할 때, 상기 블록 선택 함수(340)는 인에이블 블록 EB에 의해 상기 제 2 인코더(70)를 디스에이블시키고 상기 모델 추출 함수(350)가 상기 하나 이상의 선택된 블록들을 처리하게 하고 대응하는 모델 매개변수들 MP를 계산한다. 게다가, 상기 블록 선택 함수(340)는 또한, 상기 인코더(360)가 상기 추출 함수(350)로부터 상기 모델 매개변수들 MP 뿐만 아니라, 상기 선택 함수(340)로부터 대응하는 블록의 표기를 수신하도록 상기 인코더(360)에 대응하는 블록 인덱스 BI를 통과시킨다. 상기 제 2 인코더(70)에 대한 대체에서, 상기 인코더(360)는 상기 선택된 블록들에 대응하는 모델 매개변수들을 상기 ELOP 출력에 출력한다. 따라서, 상기 복합 인코더(300)는, 하나 이상의 이미지 블록들이, 모델 매개변수들이 상기 제 2 인코더(70)로부터 등가의 인코딩된 데이터 대신에 상기 ELOP 출력에 삽입되는 모델 매개변수들로 표현된 그들의 잔여 이미지를 갖기 쉬운 상기 입력 IP에서 구별될 때 이외에, 상기 합성 인코더(10)에 유사한 방식으로 기능한다. 상기 상세 분석기(310)는 상기 ELOP 출력에서 모델 매개변수들로 표현되는데 적합한 사전-선택 적합한 이미지 블록들에서 사용하기 위한 상기 인코더(300)로 선택적으로 포함되며, 상기 상세 분석기(310)에는 도시된 바와 같이 상기 차이 함수(60)와 입력 신호 IP 중 적어도 하나로부터 입력 데이터가 제공된다. 상기 분석기(310)는 향상 계층 이미지 밀도로 표시된 출력 □를 제공하도록 동작가능하다.

상기 합성 인코더(300)는 바람직하게 하드웨어, 컴퓨팅 하드웨어 상에서 실행하는 소프트웨어 및 소프트웨어와 하드웨어의 혼합 중 적어도 하나에서 구현된다.

지금, 상기 합성 인코더(300)는 더 상세히 명료해질 것이다.

상기 버퍼(320)는, 상기 신호 IP에 제공된 이미지들이 공간적이고 시간적으로, 즉, 시퀀스로 몇몇 이미지들에 걸쳐 분석되기 쉽다는 잇점을 제공할 수 있다. 게다가, 상기 모델 추출 함수(350)는 이하 더 상세히 분명해질 통계적이고 스펙트럼 분석에 유리하게 기초로 한다. 상기 블록 선택 함수(340)는 상기 제어 신호 EB를 매개변수 모델링을 위해 선택된 이미지 블록들에 대응하여 내부의 메모리 위치들을 비우는 상기 제 2 인코더(70)에 제공하며, 이러한 공백은 이른바 건너뛰기 매크로-블록을 통해 발생한다. 상기 블록 좌표들과 모델 매개변수들은 고정 길이 코딩(FLC), 즉, 펄스 코드 변조(PCM) 및 자연 이진수 코딩 중 적어도 하나를 바람직하게 사용하는 상기 인코더(360)에 의해 인코딩되며, 대안적이거나 추가로, 가변 길이 코딩(VLC)은, 예를 들면, 허프만 코딩 및/또는 연산 코딩이 사용되기 쉽다. 바람직하게, 코드화 모델 매개변수들은, 예를 들면, 최근의 "예약된 SEI 메시지들"을 이용하여 높은 이송 레벨로, 또는 내부적으로 상기 제 2 인코더(70) 자체에서 개인 데이터로서 상기 제 2 인코더(70)로부터 제공되는 표준 비트 스트림 구성과 다중화될 수 있으며, SEI는, SEI 메시지들이 H.264/AVC 구문의 특정 부분들이므로 상기 H.264/AVC 표준에 적합된 "보조 향상 정보"에 대한 약자이다.

도 4에 도시된 상기 인코더(300)는 도 5에 도시된 대응하는 디코더에 의해 보완된다.

도 5에서, 상기 디코더는 일반적으로 400으로 표기된다. 상기 디코더(400)는 상기 전송/저장 매체(380)로부터 BLOP 이미지 계층을 수신하기 위한 1차 신호 처리 경로를 포함하며, 상기 1차 경로는 상기 합성 인코더(300)의 상기 제 1 인코더(30)를 보완하도록 구성된 H.264 디코더(430), 상기 합성 인코더(300)의 상기 스케일링-다운 함수(20)를 보완하도록 구성된 스케일링-업 함수(410), 및 출력 OP가 상기 디코더(400)로부터 최종 디코딩된 출력을 제공하는 합산 함수(420)를 순차적으로 포함한다.

상기 1차 경로와 병렬로, ELOP 이미지 계층 데이터를 위한 2차 경로가 상기 디코더(400)에서 제공된다. 상기 2차 경로는 상기 ELOP 데이터를 수신하기 위한 입력, H.264 디코더(450)에 결합된 제 1 출력 및 상기 매개변수 모델 데이터를 디코딩하도록 동작가능한 디코더(460)에 결합된 "개인 데이터"를 지칭하는 제 2 출력 PRD를 제공하는 역다중화기(440)를 포함한다. 출력 EP+SB, 즉, "향상된 픽쳐들 및 스킵된 매크로블록들"은 상기 H.264 디코더(450)에서 출력이 도시된 상기 합산 함수(420)에 결합되는 블록 겹쳐쓰기 함수(480)에 결합된다. 상기 디코더(460)는, 출력이 도시된 바와 같이 상기 블록 겹쳐쓰기 함수(480)에 교대로 결합되는 블록 선택 함수(470)에 결합된 제 1 출력을 포함한다. 상기 블록 겹쳐쓰기 함수(480)는 상기 합산 함수(420)의 합산 입력에 접속된 출력을 포함한다. 게다가, 상기 디코더(460)는 제 2 출력 MP, 즉, 랜덤 잡음 발생기(510)로부터 잡음 입력 데이터를 수신하도록 구성된 매크로블록 합성기(490)에 접속된 "모델 매개변수들"을 포함한다. 상기 합성기(490)로부터의 모의실험된 잡음 출력은 사후-처리 함수(500)를 통해 상기 블록 겹쳐쓰기 함수(480)에 결합된다. 상기 사후-처리 함수(500)는 매크로블록 클리핑과 같은 특징들을 포함하지만, 다른 형태들의 이미지 편집 함수들을 포함하기 쉽다.

상기 디코더(400)의 동작이 지금 도 5를 참조하여 기재될 것이다.

도 4의 합성 인코더(300)로부터 계층 이미지 데이터, 즉, BLOP 및 대응하는 ELOP 데이터는 도시된 바와 같이 상기 매체(380)를 통해 상기 디코더(430) 및 상기 역다중화기(440)에 결합된다. BLOP 계층 이미지 데이터는 상기 디코더(430)에서 디코딩되고 OP에서 다음의 출력을 위해 상기 합산 함수(420)에 BLOP 계층 출력 데이터를 제공하기 위해 상기 디코딩된 BLOP 데이터를 스케일 업하는 상기 스케일링-업 함수(410)에 통과된다. 상기 ELOP 데이터는 상기 역-다중화기(440)에서 수신되고 매크로블록 모델링이 상기 인코더(300)에서 구현되지 않았던 상기 디코더(450)에 선택적으로 향하게 된다. 반대로, 상기 인코더(300)가 선택된 매크로블록들의 매개변수 모델링을 구현할 수 있는 경우, 대응하는 매개변수들은 상기 전송/저장 매체(380)를 통해 운반된 상기 ELOP 데이터의 개인 데이터 영역들로 인코딩된다. 상기 역다중화기(440)는 상기 ELOP 데이터로부터 개인 데이터, 즉, "PRD"를 추출하고 이 PRD를 상기 PRD로부터 대응하는 모델 매개변수들 MP를 발생시키도록 동작가능한 상기 디코더(460)에 전달한다. 상기 모델 매개변수들 MP는 상술된 바와 같이 상기 인코더(300)에서 구별되고 인코딩된 매크로블록들의 잡음-형 구조들을 생성시키도록 동작가능한 상기 잡음 발생기(510)와 함께 기능하는 상기 합성기(490)에 전달된다. 상기 선택된 매크로블록들에 대응하는 합성된 출력은 상기 사후-처리 함수(500)를 거쳐 상기 사후-처리 함수(500)로부터 수신된 합성된 출력이 상기 인코더(300)에 의해 선택된 매크로블록들에 대한 상기 디코더(450)로부터의 출력에 대해 선호함을 이용하도록 동작가능한 상기 블록 겹쳐쓰기 함수(480)에 통과시킨다. 상기 합산 함수(420)는 최종 뷰잉에 적합한 재구성된 이미지 출력 OP를 발생시키기 위해 상기 BLOP 및 ELOP 데이터에 대응하는 디코딩된 출력을 조합하였다.

상기 인코더(300)의 동작이 지금 더 상세히 기재될 것이다.

도 4의 상기 합성 인코더(300)의 상기 분석기(330)는, BLOP-형 이미지 정보가 감산된 후 상기 향상 계층에서 잡음-형과 텍스처-형 구조들 간에 구별하거나, 선택적으로 포함될 때 상기 상세 분석 함수(310)에 의해 이미 실행되면 이러한 구별을 재정의하도록 동작가능하다. 동작 시, 상기 분석기(330)는 대응하는 모델 매개변수들에의 변환을 위해 구별된 매크로블록들의 이산 코사인 변환, 즉, "DCT"를 수행한다. 상기 DCT는 매개변수 모델링을 위한 상기 입력 IP에서 이미지들의 각 선택된 블록 내의 스펙트럼 에너지 분포에 대한 정보를 발생시키며, 이러한 스펙트럼 에너지 분포들은 상기 이미지들에서 제공되는 다양한 형태들의 텍스처 및 잡음-형 구조들을 분류하는데 사용하는데 적절하다. DCT 분석의 예제들이 도 6 내지 도 10을 참조하여 기재되며, 상기 분석기(330)에 의해 선택된 매크로블록들 B1, B2, B3, B4를 위한 DCT 분석들은 560, 565, 570, 575 각각에 의해 일반적으로 표기된다. 도 6에서, 도 2에 도시된 초상 이미지의 향상 계층 이미지가 제공된다. 도 6의 향상 계층 이미지에서, 상기 매크로블록들 B1 내지 B4의 공간 위치들이 도시되어 있으며, 각각 블록은 16x16 픽셀들의 필드를 포함한다. 상기 매크로블록 B2는 낮은-상세 잡음-형 블록인 것으로 구별되는 한편, 상기 매크로블록들 B1, B3, B4는 보다 텍스쳐-형 세부사항을 포함하며, 상기 매크로블록들 B1 내지 B4는 모두 모델링되어 대응하는 모델 매개변수들로 표현되기 쉽다. 예를 들어, 매크로블록 B1은 명백한 수직 에지를 포함하고, 반면에, 블록들 B3 및 특히 B4는 블록 B1보다 더욱 공간적으로 일정하다. 더욱 근접한 분석에 있어서, 상기 블록 B3는 공간적으로, 점차 대각선 텍스쳐의 변경을 포함하는 한편, 상기 매크로블록 B4는 매우 상세한 공간적으로 불규칙한 텍스쳐를 포함한다. 따라서, 상기 매크로블록 B4는 보다 피크된 DCT 특성을 발생시키는 한편, 상기 매크로블록들 B1, B3는 특정 방향들로, 즉, 상기 매크로블록 B1에 대해 실질적으로 수평으로 그리고 상기 매크로블록 B3에 대해 실질적으로 대각선으로 배치되도록 도 7 및 도 9에 도시된 몇몇 우세한 계수들을 포함한다.

DCT가 상기 ELOP 이미지 계층에서 선택된 매크로블록들을 모델링하는데 사용되기 쉽더라도, 다른 방법들은 추가로 또는 대안적으로 이용될 수 있다. 이러한 다른 방법들은 바람직하게 각각의 선택된 매크로블록 내 뿐만 아니라, 예를 들면, 2차원(2-D) 상호-상관관계를 이용하여 이러한 매크로블록들을 둘러싼 영역들에서의 픽셀들로부터 데이터를 처리하도록 구성된다. 게다가, 각각의 선택된 매크로블록 의 다양한 특성들은 상기 분석기(330)에 제공된 이미지들의 시퀀스에서 이미지 마다 시간적 분석이 이뤄지기 쉽다. 예를 들면, 임의의 DCT 특성의 시간-일관성의 분석은 잠재적으로 시간적 잡음으로부터 공간적 이미지 세부사항을 구별하는데 사용되기 쉽다. 다른 예제로서, 상기 분석기(330)의 동작은 바람직하게 또한 상기 합성 인코더(300) 내의 H.264 인코딩으로부터 유용한 코딩 매개변수들과 내용 분석 결정들을 포함한다.

대응한 DCT로의 상기 분석기(330)에 의해 선택된 상기 ELOP 이미지 데이터에서의 매크로블록들의 변환은 발생되는 비교가능한 데이터량을 초래하며, 즉, DCT를 선택된 매크로블록들로 인가하는 것은 잠재적으로 데이터 압축을 초래한다는 것을 도 7 내지 도 10으로부터 알아야 한다. 발명자들은, 매개변수 모델링이, 예를 들면, 도 7 내지 도 10에 도시된 바와 같이, 상기 합성 인코더(300)로부터 제공되는 상기 ELOP 데이터의 데이터 압축을 제공하기 위해, 상기 DCT 매개변수들로 유리하게 적용된다는 것을 알아야 한다.

2-D 스펙트럼 모델링의 몇몇 알려진 방법들, 예를 들면, 자동-회귀(auto-regressive; AR) 모델링이 있다. 게다가, 최대형 및 최대 엔트로피 방법들은 1990년 프렌티스 홀에 의해 공개된 제이 에스. 임에 의한 발행물 "2차원 신호 처리"에 기재되어 있다. 선택된 매크로블록들의 매개변수 모델링인 경우, 발명자들은 자동-회귀(AR)를 선호해서 사용한다. 특히, 발명자들은 실제로 잘 기능한 것으로 밝혀지고 더욱 상세하게 분명해질 2-D 블록의 값들의 1차원(1-D) 표현을 이용하는 것을 선호하므로, 도 7 내지 도 10의 2-D DCT 그래프들은 1-D로 표현되기 쉽다.

예를 들면, 도 7 내지 도 10에 도시된 바와 같이, 2-D 블록의 데이터의 1-D 표현을 발생시키는 제 1 단계는 고정되거나 랜덤한 순서로 블록 열들 또는 행들을 연쇄시키는 것이다. 도 7 내지 도 10에 대해 1-D 변환에의 이러한 2-D의 결과들은, 상기 매크로블록들 B1 및 B3의 결정적 본성은 상기 매크로블록들 B2 및 B4의 비교적 더욱 랜덤한 본성과는 대조된 도 11에 도시되어 있다. 도 11에서, 계수들 b3는 상기 매크로블록들 B3에 대응하는 열들을 연쇄시킴으로써 발생되는 한편, 계수들 b1, b2, 및 b4는 상기 매크로블록들 B1, B2, 및 B4의 행들을 각각 연쇄시킴으로써 발생된다.

상기 선택된 매크로블록들에 1-D AR 모델의 적용은, 대응하는 모델 매개변수들에 의해 표현될 데이터가 특성들이 수학식 1로 표현된 시스템에 의해 발생되었음을 가정한다.

여기서, x[n] = 시스템의 관찰된 출력, e[n] = 상기 시스템의 관찰되지 않은 입력, 및 ak's = 상기 시스템을 설명한 계수들이다.

상기 분석기(330)에서 상기 입력 e[n]에 대해 수학식 1을 적용하는 목적으로, x[n]의 전력 스펙트럼 밀도(PSD) 함수 P_xx(f)는 매개변수 f가 주파수를 표현하는데 사용되는 수학식 2에 의해 결정된 바와 같이 계산되기 쉽다. 상기 PSD 함수는 AR 계수들 ak 및 □2로 지칭된 관련된 잡음 분산을 추정함으로써 결정될 수 있다. 몇몇 방법들은 1998년, 플로리다주, CRC 발행물에 의해 발행된, 비제이 매디세티, 더글라스 윌리암스에 의한 "디지털 신호 처리 핸드북"에 기재된 율-워커(Yule-Walker) 방법, 공분산(covariance) 방법 및 버그(Burg) 방법 중 적어도 하나를 상기 AR 계수 ak를 추정하는데 사용될 수 있다.

도 13, 14에 제공된 결과들을 발생시킬 때, 발명자들은 도 12에서 600으로 일반적으로 표기된 합성기를 이용하였다. 예를 들면, 도 8에 제공된 b2[n]에 대한 256 샘플 데이터 세트인 경우, 발명자들은 매개변수 P=12를 선택하였고 추정을 위한 공분산 방법을 이용하였다. 상기 합성기(600)는 b2[n]의 합성을 발생시키도록 동작가능하다. 추정된 AR 계수들은 제로-평균 정상적으로 분포된 잡음 과정, 즉, □=1이도록 통계적 특성을 갖는 과정의 256 샘플들을 형성하도록 동작가능한 필터용 계수들로서 상기 합성기(600)에 사용된다. 상기 합성기(600)는, s[n]이 매개변수 G가 이득에 대응하는 수학식 3에 의해 기재된 b2[n]의 것들에 실질적으로 정확한 일치인 평균 및 분산을 갖도록, 예를 들면, b2[n]의 합성 s[n]을 발생시킨다.

상기 합성기(600)는 상기 합성기(490) 및 도 5에 도시된 상기 디코더(400)에서 그와 관련된 잡음 발생기를 구현하는데 사용되기 쉽다.

도 12에서, 상기 합성기(600)는 매개변수 디코더(630), 잡음 발생기(640), 매개변수로-구동된 성형 필터(650), 결합된 분산 계산 함수(660), 및 관련된 이득 계산 함수(670), 평균 계산 함수(680) 및 승산 함수(690) 및 그와 관련된 차이 함수(700)를 포함한다. 상기 합성기(600)는 하드웨어에서, 컴퓨터 장치에서 실행가능한 소프트웨어에서, 및 소프트웨어와 하드웨어의 혼합 구현될 수 있다는 것을 알아야 한다.

상기 잡음 발생기(640)는 상기 성형 필터(650)의 입력에 결합된 출력 e[n]을 포함하며, 상기 필터(650)는 또한 그로부터 AR 계수들을 수신하기 위해 상기 디코더(630)에 결합된다. 게다가, 상기 성형 필터(shaping filter)(650)는 상기 승산 함수(690)의 제 1 입력 및 상기 평균 계산 함수와 상기 분산 계산 함수(660)의 각 입력들에 결합된 출력 s[n]을 포함한다. "G"로 표기된 상기 승산 함수(690)의 제 2 입력은 상기 이득 계산 함수(670)의 출력에 접속된다. 이 함수(670)는 도시된 상기 분산 계산 함수(660) 및 상기 매개변수 디코딩 디코더(630)로부터의 입력들을 수신하도록 구성된다. 상기 함수(690)로부터의 승산 출력은 상기 차이 함수(700)의 제 1 입력에 결합된다. 상기 차이 함수(700)는 감산 입력을 포함해서, 상기 평균 계산 함수(680)는 분산 수단 "평균 s"를 제공하도록 동작가능하며, 게다가, 상기 함수(700)는 또한 상기 매개변수들 b2의 평균, 즉, "평균 b2"에 대응하는 상기 디코더(630)로부터의 출력을 수신하기 위한 추가 입력을 포함한다.

상기 합성기(600)의 동작이 지금 기재될 것이다. 상기 잡음 발생기(640)는 상기 필터(650)에 통과되는 e[n]에 대한 잡음형 데이터 세트를 발생시킨다. 상기 필터(650)는 상기 디코더(630)로부터 AR 계수들을 수신하고 상기 출력 s[n]을 발생시키기 위해 상기 데이터 세트 e[n]의 대응하는 성분들을 여과한다. 상기 출력 s[n]은 이 평균을 감산하도록 동작가능한 상기 차이 함수(700)에 통과되는 그 대응하는 평균 "평균 s"를 발생시키는 상기 평균 계산 함수(680)에 통과시키므로, 상기 출력 b^2[n]이 실질적으로 0의 평균을 갖는다는 것을 보장한다. 상기 분산 계산 함수(660)는 s[n]'s 분산을 결정하도록 동작가능하고 이 분산을 상기 이득 계산 함수(670)에 통과시킨다. 상기 이득 계산 함수(670)는 상기 디코더(630)로부터 원하는 분산 □b2를 수신하며, 이에 따라, 상기 승산기 함수(690)로부터 제공되는 출력 {G.s[n]}이 상기 디코더(630)에 의해 표기된 원하는 분산을 갖도록 상기 이득 G를 조정한다. 마지막으로, 상기 디코더(630)는 상기 차이 함수(700)로부터 출력 b^2[n]의 평균을 조정하기 위하여 그 출력 "평균 b2"를 제공한다.

상기 합성기(600)는 도 13 및 도 14에 도시된 바와 같이 매개변수들 b[n]을 모의실험할 수 있다. 746으로 표기된 제 1 그래프는 상기 매개변수 b2에 대해 DCT 샘플 픽셀 인덱스와 픽셀 값에 각각 대응하는 횡 좌표 및 종 좌표를 포함한다. 비교 목적을 위해, 748로 표기된 그래프는 상기 그래프(746)에 대응하는 정규화된 공간 주파수에 대해 전력 스펙트럼 밀도이다.

상기 그래프(746)의 내용은 750으로 표기된 그래프에서 등가 데이터를 발생시키기 위해 상기 합성기(600)에 의해 합성될 수 있으며, 대응하는 전력 스펙트럼 밀도 그래프는 752에 일반적으로 표기된다. 그러므로, 원래 그래프들(746, 748)은 상기 합성된 그래프들(750, 752)과 각각 비교된다. 완전하게 동일하지 않지만, 상기 합성기(600)는 이에 제공된 간결한 모델 매개변수 데이터로부터의 유사함을 발생시킬 수 있다는 것을 알아야 한다. 다른 예제로서, 도 15에서, 정규화된 공간 주파수에 대한 횡 좌표(756) 및 전력 스펙트럼 밀도(PSD)에 대한 종 좌표(758)를 포함하는 754에 의해 일반적으로 표기된 그래프가 제공된다. 상기 그래프(754)는 상기 매개변수들 b1, b3, b4에 대한 PSD 추정치들을 나타내고, 상기 그래프(754)는 도 4의 상기 인코더(300)에 제공되는 이미지들의 다른 선택된 ELOP-계층 매크로블록들 간의 변화들을 도시한다.

상기에서 명료해진 바와 같이, 상기 인코더(300) 및 대응하는 디코더(400)는 상기 인코더(300)로부터 데이터 출력의 향상된 데이터 압축을 제공하면서 알려진 인코더(10)에 비해 이미지 품질과 세부사항을 실질적으로 유지하기 쉬우며, 이러한 데이터 압축은, 상기에서 분명하듯이, 모델 매개변수들에 의해 상기 ELOP 향상 계층에서 하나 이상의 선택된 매크로블록들을 표현함으로써 발생하며, 이러한 매개변수들은 DCT 및 발생된 DCT 계수들의 다음의 2D 대 1D 연쇄에 의해 도출되며, 이러한 연결은 그 개인 데이터 필드들에서 ELOP 계층 데이터와 통신되기 쉽다. 상기 인코더(300)를 사용하여 달성가능한 데이터 압축 정도를 추정하기 위해, 사용된 모델 매개변수들과 관련된 통계치를 고려할 필요가 있다.

상기에서 기재된 발명의 실시예들은 본 발명의 범위에서 벗어나지 않고 수정되기 쉽고 다음의 청구항들이 이에 따라 해석된다는 것을 알아야 한다.

발명자들은, 예를 들면, 상기 인코더(300)의 상기 모델 추출 함수(350)에서와 같이 이용하는 모델 매개변수들의 적합한 수의 선택은 상기 인코더(300)로부터 얻을 수 있는 데이터 압축 정도에 대한 엄청난 영향을 갖는다는 것을 알았으며, 사용된 상기 모델 매개변수들의 개수는 이하 "모델 오더"라 한다. 상기 인코더(300)에서, 상기 모델 오더는 동적으로 변하게 될 수 있다. 대안적으로, 상기 모델 오더는 우선 타협 값으로 설정될 수 있다. 상기 모델 추출 함수(350)에서 사용될 수 있는 정확한 프로시져는 증가한 오더의 매개변수 값들을 추정하고, 모델 오더에서의 증가가 상기 디코더(400)로부터 인식된 이미지 품질의 대응하는 증가에 제공하지 않도록 최적의 타협을 결정하는 것이다. 그러나, 최적의 모델 오더를 결정하는 이러한 방법은 계산상으로 요구되고 있다.

따라서, 발명자들은, 다른 모델 오더들에 대한 모델 매개변수들의 세트의 한정된 수의 적합성을 계산한 다음, 최적의 모델 오더를 결정하기 위해 적합 기준의 특성들을 사용하는데 계산적으로 보다 유리하다는 것을 알았다. 이러한 우선 방법은 모델 매개변수 세트들의 전체 시퀀스를 어렵게 발생시키고 각 세트의 인코딩 품질을 검사할 필요성을 피하려고 한다. 더 바람직하게, 통계적 분석은 상기 모델추출 함수(350)에서 적용되고 예를 들면, 이미지 재구성 목적들을 위해 사용될 적합의 품질을 결정하는데 사용된다. 이러한 애플리케이션에서, 예를 들면, 내삽은 원래 버전의 이미지 및 내삽 목적을 위해 상당한 정보를 산출할 수 있는 잡음 성분들로 인해 주어진 모델 오더들에 대한 재구성된 이미지 간의 잡음 성분들의 차이로 유리하게 구동된다.

잡음 통계치에 기초하여 모델 오더의 이러한 선택을 더욱 분명하게 하기 위해, 도 16의 800에 의해 일반적으로 표기된 그래프가 지금 기재될 것이다. 상기 그래프(800)는 모델 오더 P를 지칭하는 횡 좌표(810) 및 그 논란들 중 하나로서 상기 모델 오더 P를 갖고 상기 모델과 상기 데이터 간의 차이를 나타내는 적합 함수 F(P)를 지칭하는 종 좌표(820)를 포함한다. 상기 적합 함수 F(P)는 상기 모델 추출 함수(350)의 일부로서 구현되고 상기 ELOP 향상 계층에서 대응하는 선택된 매크로블록들에 모델 매개변수들의 통계적 적합성의 양을 가리킨다. 상기 그래프(800)는 2002년 4월, 피이.엠.티이.브로어센(Broersen)에 의해, IEEE Transactions on Instrumentation and Measurement, 51(2)에서 페이지 211-216의 "시간 일련 모델들을 갖는 자동 스펙트럼 분석"에 기재된 범용 정보 기준(GIC)에 기초하여 최적의 모델 오더 P의 반복적 선택을 나타내며, 전형적인 적합은 파선(830)으로 지칭되고 GIC의 임계 값들은 840으로 지칭된다. GIC에 대한 전형적인 형태는 수학식 4에 제공된다.

GIC(P) = F(P) + 3P

여기서, 3P는 페널티 Q(P)를 나타낸다. 상기 페널티에 대한 다른 선택들은 문학에서 기재된다. 여기서, 상기 페널티 3P는, 언더픽트(underfit) 및 오버픽트의 최적의 트레이드오프를 유발시키므로 사용된다. Q(P)는 M(P) 또는 데이터에 의존하는 것이 아니라, P에 따라 증가하고 쉽게 계산되는 알려진 함수이다. 상기 예제에서, 3P로 지칭된 상기 특정 페널티 함수는, 상기 페널티가 p(알파*p)의 선형 함수일 때 발생하는 페널티 인자를 포함한다. 여기서, 알파=3이다.

상기 페널티 함수의 선택은 다양한 기준에 의존할 수 있다.

1) 사용되는 매개변수 추정 방법의 통계적 특성들에 기초하며,

2) 사용되는 매개변수 추정 방법의 통계적 특성들을 고려하여 언더픽트 및 오버픽트의 상충관계에 기초하며,

3) 제한된 샘플 효과들을 고려하여 사용되는 상기 매개변수 추정 방법의 통계적 특성들을 고려하여 언더픽트 및 오버픽트의 상충관계에 기초하고,

4) p의 선형 함수: 알파=2, 또는 3 등인 Q(P)=알파*p

5) p의 선형 함수: 알파가 관찰 수 N에 기초하는 Q(P)=알파*p

6) p의 선형 함수: 알파=log(N)으로서 알파가 관찰 수 N에 기초하는 Q(P)=알파*p.

대부분의 경우들에서 사용된 기준은 Q(P)=2*P인 알카이케 정보 기준(AIC)이다. 바람직하게, 상기 페널티는 상기 적합성이 감소하는 것 보다 빨리 증가해야 한다. 상기 모델 추출 함수(350)에서, GIC가 최소인 모델 오더는 수학식 5에 의해 제공된다.

여기서, Pmax= 적응된 최고 오더 모델, Psel=모델 매개변수들로서 ELOP-계층 선택된 매크로블록을 나타내는데 사용하기 위한 선택된 모델 오더이다.

기재된 예제로서 사용된 상기 모델 추출 함수(350)에서, 다음의 단계들은, 표준 비-내삽 방법이 사용될 때 (예를 들면, 등가의 매개변수들로서 표현된 각각의 ELOP-계층 선택된 매크로블록에 대해) 실행된다.

(a) 시퀀스 M(1),M(2),...,M(Pmax)에서 모든 모델들 M(P)에 대한 매개변수들이 선택된 매크로블록에 대해 계산된다.

(b) 대응하는 통계적 적합 F(P)는 시퀀스에서 상기 모델들 각각에 대해 결정된다.

(c) 최종의 일련의 통계적 적합들 F(P)는 내부에서 최상의 적합, 즉, GIC에 대한 최소값을 구별하도록 검색된다.

상기 내삽 방법에서, 상기 추정 모델들 M(P)은 상기 모델 오더 P의 증가하는 값들에 따라 감소한다고 가정한다. 이러한 상황이 속할 때, 바람직한 내삽 방법은 다음과 같이 사용될 수 있다.

(0) 적은 수의 매개변수들 P0을 갖는 모델 M(P0)은 추정된다(많은 계산들을 요구하지 않음).

(A) 최고 복합 모델 M(Pm)이 계산되고 그 적합 F(Pm)과 대응하는 GIC가 계산 된다.

(B) 더 낮은-오더 모델들의 적합, 즉, M(Pm-1),M(Pm-2),...이 M(Pm)의 것 보다 열악함을 가정하여, 이들 더 낮은-오더 모델들은 상기 모델 M(Pm) 보다 큰 F(P)를 갖는다고 직접 추론할 수 있으므로, 상기 함수(350)에서 사용하기 위한 새로운 최고 후보는 대응한 GIC가 GIC(P0), 즉, F(Pm)+3Pm<GIC(P0) 보다 잠재적으로 작은 오더의 모델 Pm이고, 단계 (B)는, 상기 적합 F(P)이 GIC(P0) 보다 낮을 때까지 반복되면 반복된다.

(C) 단계 (B)는 적합 F(P)가 GIC(P0) 보다 낮을 때까지 반복되면 반복된다.

이 프로시져 (F(P*)+3P*<GIC(P0))의 복수의 반복 이후에, P0의 값은 추가의 낮은-오더 모델들 (M(P0+1), M(P0+2),...)의 매개변수들을 추정함으로써 증가될 수 있다. 이는 P0가 0에 가까운 낮은 오더 모델에 대응해야 하는 도 16을 참조하여 기재될 수 있다.

상기 내삽 방법은 GIC의 최소값이 상기 함수(350) 내에서 크게 감소된 계산 비용으로 발견될 수 있게 한다.

여기 기재된 통계적 오더 선택을 위한 선택적 추정의 프로시져는, 상기 적합 F(P)가 복수의 매개변수 추정 방법들에 대한 경우에서와 같이, 감소하면, 정확한 최소치를 산출한다. 그래서, 이 경우에, 최종 오더는 상기 지점들 (a) 내지 (c)에서 기재된 바와 같이, 표준 "전체 검색(full search)" 방법에 따라 발견된 오더와 정확한 동일하다.

상기 적합이 더 큰 스케일에 대해 감소하지만, 이 동작의 일부 편차는 국부적으로 발생할 수 있으면, 절대 최소값이 발견된다는 보장이 더 이상 없더라도 이 프로시져에 따라 선택된 오더는 여전히 정확하다. 실제로 사용되는 대부분의 추정기들은 2개의 카테고리들, 즉 정확하게 감소하거나 대략적으로 감소하는 것들 중 하나에 속한다. 이 특징은, 애플리케이션들이 이미지 또는 비디오 코딩에 관련되지 않는 것으로 고려되더라도, 유효해진다.

내삽 방법 (A) 내지 (C)의 특정 예가 지금 제공될 것이다.

도 16을 참조하면, 최대 모델 오더 Pmax=100인 경우, 추정될 필요가 있는 복수의 매개변수들이 1+2+...5+7+14+20+40+100=196 매개변수들에 의해 제공된다.

비교를 위해, 표준 방법 (a) 내지 (c)는 다음의 추정될 매개변수들의 개수, 즉, 1+2+3+...+99+100=5050 매개변수들을 필요로 한다.

상기 내삽 방법은 모델 매개변수 결정을 위해 상기 함수(350)의 실행 속도를 증가시키기 쉽다는 것을 알아야 한다. 이러한 장점은 상기 함수(350)가 저렴하고 소형의 하드웨어 및/또는 소프트웨어, 예를 들면, 저렴한 소비자 제품에서 구현될 수 있게 한다.

도 16과 상기에서 그와 관련된 설명을 참조하여, 이러한 모델 오더 선택은, 예를 들면, 고정의 확률적 신호들의 곡선 조정과 분석이 요구되는 다른 상황들에서 상기 비디오 인코딩과 대응하는 디코딩의 것 이외의 기술적 분야에 적용되기 쉬우며, 고정의 확률적 신호들은 또한 "컬러링된 잡음"으로 알려져 있다. 도 16과 그와 관련된 예제에 대해 명확해진 상기 모델 오더 선택 방법은 "ARMAsel" 알고리즘이고 고정의 확률적 신호들의 분석을 위한 일반적인 도구를 나타낸다. 게다가, 상기 방법은 AR 모델들에 사용할 뿐만 아니라, 선택적으로 이동 평균들(MA)이 포함되는 경우 및 조합된 ARMA 모델들에 대해서도 유용하다. 이와 같이, 상기 모델 오더 선택 방법은 광범위한 상호 다른 형태의 신호에 대해 얻어질 수 있다는 것을 보장할 수 있다.

예를 들면, 소비자 전기 장치용 비디오 코딩에서, 최신의 비디오 코덱들, 예를 들면, MPEG 및 H.264는 컬러링된 잡음으로 특성화되기 쉬운 이미지 부품들의 처리에 매우 적합하지 않다. 이러한 부품들의 생략은 인공적인 외관을 갖는 디코딩된 이미지들로 표현된다. 본 발명의 상기 모델 오더 선택 방법을 사용하여, 이러한 컬러링된 잡음 성분들의 소형 및 정확한 데이터 설명이 도출될 수 있으므로, 외모상 그들을 더 자연스럽게 하는 디코딩된 이미지들의 세밀함을 유지한다.

의학 애플리케이션들에 대한 이미지 인코딩에서, 의학 이미지들의 잡음 모델링은, 높은 압축비가 관련된 이미지 데이터를 발생시키는데 사용되는 경우에도, 대응하는 원래 이미지들에 유사한 디코딩된 이미지들을 제공할 수 있다. 도 16에 사용된 방법은 이러한 압축된 데이터를 발생시키는데 사용하기 위한 더 정확한 모델들을 결정하도록 적용되기 쉽다.

상기 모델 오더 선택 방법은 또한, 범용 의학 데이터 분석, 예를 들면, 심장박동 신호들의 모니터링, 진단 목적을 위한 폐 잡음의 분석 및 EEG 전기 신호 분석에 적용가능하다.

도 16에 사용된 상기 모델 오더 선택 방법은 1차원 모델 오더 선택에 제한되지 않는다는 것을 알아야 한다. 특히, 2차원 AR, MA 또는 ARMA 모델들을 위한 모 델 오더 선택은 또한 상기 방법을 사용하여 구현가능하다. 더 높은 차원의 데이터에 대해 가장 적합한 모델의 선택은 또한 예를 들면, 3차원 및 상기에 대한 상기 방법에 의해 도모된다.

모델 오더 선택의 상기 방법은 또한 스피치 및/또는 음악에서 오디오 신호들에서의 시간적인 잡음-형 성분들을 처리하기 위해 사운드 처리에 사용되기 쉽다. 사운드 신호 압축은 또한 대응하는 잡음-설명 모델 매개변수들에 의해 시간적 잡음-형 성분들의 표현에 의해 향상되며, 이러한 오디오 애플리케이션에서 사용하는데 적합한 모델 오더의 선택은 상기 방법에 의해 착수될 수 있다.

상술된 모델 오더 선택에 대한 방법은 광범위한 응용들, 예를 들면, 무선 시스템들에서와 같이, 범용 디지털 신호 처리에서 응용될 수 있다. 예를 들면, 상기 방법은, 예를 들면, 상기 ARMAsel 알고리즘을 사용하여 모델링된 바다 파형들로부터의 레이더 반사들에 신호들을 처리하기 위한 레이더 시스템들에서 응용가능하며, 이러한 레이더 반사들은 매우 복잡하고 원하는 신호와 잡음-형 성분들 모두의 중첩에 대응하는 대응한 신호들을 발생시키기 쉽다. 유사하게, 모델 오더 선택에 대한 방법은 또한 예를 들면, 소용돌이 모델링에서와 같이 터빈 시스템들을 모델링하는데 사용하기 쉽다.

추가로, 모델 선택의 상기 방법은 또한 공기 프레임 진동 분석의 기계적 구조들의 진동 분석에서, 그리고, 특히 가스 순환의 터빈 액체가 발생하기 쉬운 화학적 처리들의 모니터링에서 잠재적으로 응용가능하다. 진동 분석에서, 기계적 구조들은 복잡한 고조파 진동 모드 스펙트럼을 나타내기 쉽고, 게다가, 진동 스펙트럼 측정은 종종 주의의 시간적 및/또는 고조파 잡음의 백그라운드에서 실행되며, 이러한 특성들은 상기 방법에 의해 결정되기 쉽다.

앞서 언급된, "포함한다"(comprise, comprising, include, including, incorporate, incorporating, contain, containing, encompass, encompassing), "~이다"(is, are), "~을 갖다"(has, have)의 표현은 비 배타적으로 해석된다. 즉, 엄격하게 선언되지 않은 부가적인 구성요소들 또는 부분들이 표시될 수도 있다. 이러한 용어들의 해석 방식은 특히, 첨부된 청구항들의 범위를 해석할 때 적절하다. 단수에 관련된 언급이 복수로 해석될 수 있고, 그 역도 가능하다.

Claims

입력 데이터를 수신하고 대응하는 인코딩된 출력 데이터를 발생시키기 위한 인코더를 포함하는 데이터 인코딩 시스템에 있어서,

상기 인코더는 각각의 입력에 대해 적어도 하나의 기본 계층 및 적어도 하나의 향상 계층(enhancement layer)을 포함하는 복수의 대응하는 데이터 계층들을 발생시키도록 상기 입력 데이터를 처리하기 위한 디지털 처리 수단 및 상기 데이터 계층들을 수신하고 그로부터 상기 인코딩된 출력 데이터를 발생시키기 위한 인코딩 수단을 포함하며,

상기 인코딩 수단은 상기 적어도 하나의 향상 계층의 하나 이상의 서브-영역들을 선택하여 기술적 모델 매개변수들(descriptive model parameters)을 통해 상기 출력 데이터에서 상기 하나 이상의 서브-영역들을 표현하기 위해 상기 하나 이상의 서브-영역들을 모델링하기 위한 블록 선택 수단을 더 포함하는, 데이터 인코딩 시스템.
제 1 항에 있어서,

상기 데이터는 이미지 데이터를 나타내는, 데이터 인코딩 시스템.
제 2 항에 있어서,

상기 처리 수단은 각각의 입력 이미지의 대응하는 적어도 하나의 기본 계층에서 상기 각각의 입력 이미지의 하나 이상의 주요 특징들을 표현하고, 상기 입력 이미지에서의 정보와 상기 적어도 하나의 향상 계층에서 상기 입력 이미지의 대응하는 적어도 하나의 기본 계층 간의 차이에 대응하는 잔여 이미지 정보를 표현하도록 동작가능한, 데이터 인코딩 시스템.
제 3 항에 있어서,

상기 하나 이상의 서브-영역들은, 모델링에 부적합하도록 상기 선택 수단에 의해 결정될 때 대응하는 데이터로서 상기 인코딩 수단으로부터 상기 인코딩된 출력 데이터에 표현되고, 모델링에 적합하도록 상기 선택 수단에 의해 결정될 때 등가의 모델 매개변수들에 의해 표현되는, 데이터 인코딩 시스템.
제 2 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 인코딩 수단은 상기 모델 매개변수들의 포함에 의해 향상된 실질적으로 ITU-T H.264 및 ISO/IEC MPEG-4 AVC 표준들 중 적어도 하나에서 상기 입력 이미지 데이터를 인코딩하도록 배열되는, 데이터 인코딩 시스템.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 모델 매개변수들은 상기 인코딩된 이미지 출력 데이터의 하나 이상의 개인 데이터 영역들로 포함되는, 데이터 인코딩 시스템.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 인코딩 수단은 상기 적어도 하나의 선택된 서브-영역을 상기 인코딩된 이미지 출력 데이터에의 포함을 위한 대응하는 모델 매개변수들로 변환하기 위해 공간 변환을 이용하도록 동작가능한, 데이터 인코딩 시스템.
제 7 항에 있어서,

상기 변환은 이산 코사인 변환(DCT)을 포함하는, 데이터 인코딩 시스템.
제 7 항에 있어서,

상기 변환은 각각의 대응하는 서브-영역을 위한 대응하는 2차원 데이터 세트를 발생시키도록 동작가능하고, 상기 인코딩 수단은 상기 인코딩된 이미지 출력 데이터에서 상기 모델 매개변수들에의 포함을 위한 대응하는 1차원 데이터 세트를 발생시키기 위해 상기 2차원 데이터 세트를 연쇄시키도록 배열되는, 데이터 인코딩 시스템.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 인코딩 수단은, 상기 모델링 매개변수들이 상기 모델링 매개변수들의 하나 이상의 대응하는 서브-영역들을 표현하는 모델 매개변수 데이터량과 정확성 간의 최적화에 의해 상기 대응하는 모델 매개변수들에서 상기 하나 이상의 서브-영역들을 인코딩하는데 사용하기 위한 모델 오더(model order)를 선택하도록 배열되는, 데이터 인코딩 시스템.
제 10 항에 있어서,

상기 인코딩 수단은 상기 하나 이상의 서브-영역들에 대응하는 이미지 데이터와 상기 하나 이상의 서브-영역들의 대응하는 모델 매개변수들 간의 통계적 에러를 계산하기 위해 통계적 테스트를 적용하고, 상기 인코딩된 출력 데이터를 위한 모델링 매개변수들을 발생시키는데 사용하기 위해 모델 오더를 결정하도록 선택적 매개변수 추정을 적용하도록 배열되는, 데이터 인코딩 시스템.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 하나 이상의 서브-영역들은 상기 적어도 하나의 입력 이미지에 존재하는 공간 잡음-형 특징들에 실질적으로 대응하는, 데이터 인코딩 시스템.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 시스템은 상기 인코더로부터 상기 인코딩된 출력 데이터를 수신하고 상기 입력 이미지를 재생성하기 위해 상기 출력 데이터를 디코딩하기 위한 디코더를 더 포함하며, 상기 디코더는 상기 인코딩된 출력 데이터에서 직접 인코딩된 이미지 데이터로부터 상기 모델 매개변수들을 분리시키기 위한 디코딩 수단을 포함하며, 상기 디코더는 상기 디코딩된 모델 매개변수들을 수신하고 상기 매개변수들로부터 상기 하나 이상의 서브-영역들에 대응하는 데이터를 발생시키기 위한 서브-영역 합성 수단을 더 포함하며, 상기 디코더는 상기 인코더에 제공된 상기 이미지 입력에 대응하는 디코딩된 출력 이미지 데이터를 발생시키기 위해 디코딩된 직접 이미지 데이터와 상기 합성된 서브-영역 데이터를 조합하기 위한 데이터 병합(merge) 수단을 더 포함하는, 데이터 인코딩 시스템.
제 13 항에 있어서,

상기 인코더로부터 상기 인코딩된 출력 이미지 데이터는 전송 매체를 통해 상기 디코더에 전달되며, 상기 매체는 인터넷, 광 데이터 디스크, 자기 데이터 디스크, DVD, CD, 고체-상태 메모리 디바이스, 무선 통신 네트워크 중 적어도 하나를 포함하는, 데이터 인코딩 시스템.
입력 이미지 데이터를 수신하고 대응하는 인코딩된 이미지 출력 데이터를 발생시키기 위한 인코더에 있어서,

상기 인코더는 각각의 입력 이미지에 대해 적어도 하나의 기본 계층 및 적어도 하나의 향상 계층을 포함하는 복수의 대응하는 이미지 계층들을 발생시키도록 상기 입력 이미지 데이터를 처리하기 위한 이미지 처리 수단, 및 상기 이미지 계층들을 수신하고 그로부터 상기 인코딩된 이미지 출력 데이터를 발생시키기 위한 인코딩 수단을 포함하며,

상기 인코딩 수단은 상기 적어도 하나의 향상 계층의 하나 이상의 서브-영역들을 선택하여 기술적 모델 매개변수들을 통해 상기 출력 데이터에서 상기 하나 이상의 서브-영역들을 표현하기 위해 상기 하나 이상의 서브-영역들을 모델링하기 위한 블록 선택 수단을 더 포함하는, 인코더.
제 15 항에 있어서,

상기 처리 수단은 각각의 입력 이미지의 대응하는 적어도 하나의 기본 계층에서 상기 각각의 입력 이미지의 하나 이상의 주요 특징들을 표현하고, 상기 입력 이미지에서의 정보와 상기 적어도 하나의 향상 계층에서 상기 입력 이미지의 대응하는 적어도 하나의 기본 계층 간의 차이에 대응하는 잔여 이미지 정보를 표현하도록 배열되는, 인코더.
제 15 항 또는 제 16 항에 있어서,

상기 인코딩 수단은 상기 모델 매개변수들의 포함에 의해 향상된 실질적으로 ITU-T H.264 및 ISO/IEC MPEG-4 AVC 표준들 중 적어도 하나에서 상기 입력 이미지 데이터를 인코딩하도록 배열되는, 인코더.
제 15 항 또는 제 16 항에 따른 인코더에 사용하기 위한 디코더에 있어서,

상기 디코더는 상기 인코더로부터 인코딩된 출력 데이터를 수신하도록 동작가능하고 대응하는 입력 이미지를 재생성하기 위해 상기 출력 데이터를 디코딩하기 위한 것이며, 상기 디코더는 상기 인코딩된 출력 데이터에서 직접 인코딩된 이미지 데이터로부터 모델 매개변수들을 분리시키기 위한 디코딩 수단을 포함하며, 상기 디코더는 상기 디코딩된 모델 매개변수들을 수신하고 상기 매개변수들로부터 하나 이상의 서브-영역들에 대응하는 데이터를 발생시키기 위한 서브-영역 합성 수단을 더 포함하며, 상기 디코더는 상기 인코더에 제공된 상기 이미지 입력에 대응하는 디코딩된 출력 이미지 데이터를 발생시키기 위해 디코딩된 직접 이미지 데이터와 상기 합성된 서브-영역 데이터를 조합하기 위한 데이터 병합 수단을 더 포함하는, 디코더.
제 15 항 또는 제 16 항에 따른 인코더로부터 상기 인코딩된 출력 이미지 데이터를 전달하기 위한 전송 매체에 있어서,

상기 매체는 광 데이터 디스크, 자기 데이터 디스크, DVD, CD, 고체-상태 메모리 디바이스 중 적어도 하나를 포함하는, 전송 매체.
인코더에서 이미지 데이터를 인코딩하는 방법에 있어서,

(a) 처리 수단과 블록 선택 수단을 포함하도록 상기 인코더를 준비하는 단계;

(b) 각각의 입력 이미지에 대해 적어도 하나의 기본 계층 및 적어도 하나의 향상 계층을 포함하는 복수의 대응하는 이미지 계층들을 발생시키기 위해, 상기 입력 이미지 데이터를 처리하도록 상기 처리 수단을 이용하는 단계;

(c) 상기 적어도 하나의 향상 계층의 하나 이상의 서브-영역들을 선택하기 위해 상기 선택 수단을 이용하고, 기술적 모델 매개변수들을 통해 상기 이미지 출력 데이터에서 상기 하나 이상의 서브-영역들을 표현하기 위해 상기 하나 이상의 서브-영역들을 모델링하는 단계; 및

(d) 상기 입력 이미지 데이터에 대응하는 인코딩된 이미지 출력 데이터를 그로부터 발생시키기 위한 상기 복수의 이미지 계층들에 적어도 일부 대응하는 인코딩된 데이터와 상기 모델 매개변수들을 조합하는 단계를 포함하는, 인코딩 방법.
물리적 신호를 나타내는 데이터를 처리하는 방법에 있어서,

다양한 복잡성의 복수의 가능한 모델들 M(P) 중에서, 적합 함수(fit function) F(P)에 따라 상기 데이터를 맞추는 후보 모델 M(Pm)을 결정하는 단계를 포함하고, P는 상기 복잡성이 P에 따라 증가하는 모델의 매개변수들의 개수이고, 상기 적합 함수 F(P)는 P에 따라 감소하며, 상기 후보 모델 M(Pm) 결정 단계는:

(a) 매개변수들의 기준 번호(P0)를 갖는 참조 모델 M(P0)을 계산하는 단계;

(b) 규칙 G(P)=F(P)+Q(P)에 따라 모델 M(Pm), 상기 M(Pm)의 적합 함수 F(Pm) 및 대응하는 기준 G(Pm)을 계산하는 단계로서, Pm은 P0보다 높고, Q(P)는 P에 따라 증가하는 페널티이고 M(P)와는 독립적이며, Pm에 대한 시작 값은 Pmax인, 상기 계산 단계; 및

(c) F(Pm)+Q(Pm*)<G(P0)이도록 대응한 기준이 G(P0)보다 잠재적으로 작은 새로운 모델 M(Pm*)을 결정하는 단계를 포함하는, 데이터 처리 방법.
제 21 항에 있어서,

단계 (b),(c)는, 상기 기준 G(Pm)이 G(P0) 보다 낮을 때까지 Pm이 Pm*으로 대체되면서 반복되는, 데이터 처리 방법.