KR20030005222A

KR20030005222A - 코딩

Info

Publication number: KR20030005222A
Application number: KR1020027011884A
Authority: KR
Inventors: 스테판 오. 미에텐스; 피터 에이치. 엔. 데위드; 크리스챤 헨트췔
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2001-01-10
Filing date: 2001-12-12
Publication date: 2003-01-17
Also published as: EP1368748A2; US20020173952A1; WO2002056250A3; CN1237465C; CN1474980A; WO2002056250A2; JP2004518199A

Abstract

발명은 선택 상위 우선순위가 다른 계수들에 비해 낮은 계산 비용을 요구하는 주어진 계수들을, 주어진 입력 값들에 주어진 알고리즘에 의해 계산 될 수 있는 가능 계수들의 전체 세트로부터, 계산되도록 계수들을 선택함으로써(201), 그리고 계수들의 세트를 획득하도록 선택된 계수들을 계산함으로써, 주어진 알고리즘의 사용에 의해 입력 값들의 세트를 계수들의 세트로 코딩하는 것을 제공한다. 바람직하게, 주어진 계수들을 위해 계산 비용은 다른 선택된 계수들의 계산에 공유될 수 있는 계산들의 양이 감소된 주어진 계수를 계산하도록 요구되는 계산 단계들의 양에 적어도 부분적으로 기초되고, 계산 단계에서 공유된 계산 단계들의 결과들은 공유된 계산 단계들을 공유하는 다른 계수들을 계산에 다시 사용된다.

Description

코딩{Coding}

Pao 및 Sun[5]은 H.263과 같은 디지털 비디오 코딩 표준들(digital video coding standards) 및 MPEG가 멀티미디어 애플리케이션들(multimedia applications)을 위해 점점 중요해지고 있음을 개시한다. 막대한 양의 계산들(computations)이 요구되기 때문에, 비디오 인코더들의 프로세싱 속도를 올리려는 상당한 노력들이 있다. 이전에, 노력들은 빠른 움직임-추정 알고리즘(motion-estimation algorithm)에 주로 초점이 맞춰져 있었다. 그러나, 움직임-추정 알고리즘이 최대로 활용됨에 따라, 비디오 인코더들의 속도를 올리도록 이산 코사인 변환(DCT) 및 역DCT(IDCT)와 같은 추가적인 다른 함수들이 최대로 활용될 필요가 있다. Pao 및 Sun은 DCT 계수들을 위한 이론적인 모델을 제안한다. 이모델에 기초하여, DCT 계수들의 변수들(variances)은 움직임 보상 예측(motion-compensation prediction) 후 MMAE(minimum mean absolute error)의 함수로서 표현될 수 있음을 보인다. 다중 임계값들(multiple thresholds)을 가진 적응 방법은 DCT, IDCT, 양자화(quantization) 및 역 양자화(inverse quantization)의 계산들을 감소시키기 위해 통계적인 모델로부터 유도된다. Pao 및 Sun은 양자화 단계가 클 때 DCT의 계산들(calculations) 속도를 더 올릴 수 있는 DCT 근사 알고리즘(DCT approximation algorithm)을 더 제공한다. 프로세싱 속도에서 개선은 무시할 수 있는 비디오 품질 저하(video-quality degradation)로 성취될 수 있다.

본 발명은 입력값들의 집합(set)을 주어진 알고리즘(algorithm)을 사용하여 계수들(coefficients)의 집합으로 코딩하는 것에 관한 것이다. 이 알고리즘은 이산 코사인 변환(discrete cosine transformation;DCT)일 수 있고, 이 알고리즘은 이미지 및 비디오 코딩 분야에서 널리 사용된다.

도 1은 코사인 함수의 주기를 보인 도면.

도 2는 H.263 및 MPEG에 사용된 지그재그 스캔을 보인 도면.

도 3은 발명의 실시예에 따라 입력들 A 에서 입력들 B까지의 계산을 보인 도면.

도 4는 발명의 실시예에 따른 DCT 매트릭스에서 계수들의 계산 순서를 보인 도면.

도 5는 매트릭스의 상위 왼쪽 코너를 위해 부가적인 우선순위를 고려하는 본 발명의 실시예에 따른 DCT 매트릭스에서 계수들의 계산 순서를 보인 도면.

도 6은 발명의 실시예에 따른 비디오 시스템을 보인 도면.

도면들은 단지 발명을 이해하는데 필요한 이 구성요소들을 도시한다.

발명의 목적은 주어진 알고리즘의 확장성(scalability)을 지원하는 것이다. 이를 위해, 발명은 독립 청구항들에서 정의된 것처럼 입력값들의 집합을 계수들의 집합으로 코딩하기 위한 방법 및 장치, 비디오 시스템, 신호, 저장 매체(storage medium), 주어진 알고리즘의 계산 비용을 결정하기 위한 방법 및 장치, 데이터베이스 및 컴퓨터 프로그램을 제공한다.

확장성은 특히, 품질이 알고리즘 복잡도 또는 계산 능력으로 바뀔 수 있음을 의미한다. 반대로, 품질 저하는 알고리즘 복잡도 또는 계산 능력의 감소 대신 제외될 수 있다.

발명의 제 1 실시예는 입력값들의 집합을 주어진 알고리즘의 사용에 의해 계수들의 집합으로 코딩하는 것을 제공하고, 이 방법은, 주어진 입력값들의 집합에대해 주어진 알고리즘에 의해 계산될 수 있는 가능 계수들의 전체 집합으로부터 계산될 계수들을 선택하는 것으로서 이 선택에서 상위 우선순위(selecting higher priority)가 다른 계수들에 비해 낮은 계산 비용을 요구하는 계수들로 주어지는, 선택과, 계수들의 집합을 획득하도록 선택된 계수들을 계산하는 것을 포함한다. 낮은 계산 비용을 요구하는 계수들을 선택함으로써, 주어진 더 많은 상위 계수들이 제한된 수의 계산 단계들 또는 제한된 시간 기간에 대해 계산된다. 계산된 계수들의 수는 품질에 관련이 있다.

이 발명은 제 1 도메인(예를 들어 시간 또는 공간 도메인) 내의 입력값을 제 2 도메인(예를 들어 주파수 도메인) 내의 계수들로 변환하는 알고리즘들을 위해 특히 유리하다. 제 2 도메인 내의 계수는 제 1 도메인 내의 모든 값들 상에 정보를 포함할 수 있지만, 다른 계수들 이외의 주어진 레벨만에 정보를 포함할 수 있다. 이 경우에서, 더 많은 계수들이 이용 가능하다면, 제 1 도메인 내의 값들의 더 적당한 표현은 주어질 수 있다. 코딩은 유리하게 비디오 코딩이고, 입력값들은 화소값들(pixel values)을 형성하고, 계수들은 가능 변환 계수들의 블록 중에서 선택된 변환 계수들이다.

본 발명의 유리한 실시예에서, 주어진 계수들을 위한 계산 비용은 다른 선택된 계수들의 계산이 공유될 수 있는 양의 계산이 감소된 주어진 계수를 계산하도록 요구되는 양의 계산 단계들에 적어도 부분적으로 기초되고, 계산 단계에서 공유된 계산 단계들의 결과들은 공유된 계산 단계들을 공유하는 다른 계수들을 계산하도록 다시 사용된다. 공유될 수 있는 계산 단계들의 수를 고려하면서 더 낮은 계산 비용을 요구하는 이 계수들을 선택함으로써 더 최적의 선택에 도달한다. 주어진 제한된 리소스들(resources)에 대해, 많은 계수들은 이 방법으로 계산될 수 있다. 실용적인 실시예에서, 선택된 계수들의 계산에서, 공유된 계산 단계들의 중간 결과들은 메모리에 저장되고 필요할 때 다른 계수들을 계산하는데 다시 사용하기 위해 검색된다.

선택 단계에서. 계산될 계수들의 수는 주어진 최대 전체 계산 비용에 대해 최대화될 수 있다. 이 실시예에서 주어진 제한된 계산 파워에 대해 최대 품질이 달성된다. 이 실시예에서, 선택 후 계산 순서는 임의일 수 있다. 대안으로, 주어진 계산될 다수의 희망 계수들에 대해, 최저로 요구된 계산 비용이 결정될 수 있다. 이것은 계산 리소스들을 다른 알고리즘들 또는 애플리케이션들에 관련한 주어진 알고리즘에 할당하는데 유용할 수 있다.

유리한 실시예에 따라, 이미 계산된 계수들 이외에, 다음 계수들의 반복된 선택은 계산 비용이 아직 계산되지않은 다른 가능 계수들에 비해 최저인 다음 계수를 대해, 종료 기준(stop criterion)에 도달할 때까지 수행된다. 이 실시예에서 '온 더 플라이(on-the-fly)' 계산이 가능하고, 이 계산은 계산 한계 또는 특정 시간 기간에 도달할 때 멈춰지게 된다. 알고리즘은 (시간) 한계에 도달하게될 때까지 이 특정 순서로 계산 단계들을 처리하도록 다시 프로그램될 수 있다. 이 (시간) 한계에서, 결과들은 때때로 업데이트될 수 있다. 알고리즘은 사용된 컴퓨터 시스템으로부터 지금 독립되고, 이는 임의의 계산 능력(arbitrary computation power)를 가질 수 있다. 알고리즘은 주어진 (시간) 한계 및 가능한 다른 제한들(constraints)에가능한 한 많은 계수들을 계산할 것이다. 또한 이 실시예에서, 계산 비용은, 다음 계수의 계산과 이미 계산된 계수들을 위한 계산 단계들 사이에 공유되는 계산 단계들의 양이 감소된 다음 계수를 계산하도록 요구되는 계산 단계들의 양에 바람직하게 적어도 부분적으로 기초된다.

이 발명은 프로그램 가능한 비디오 아키텍쳐(video architecture)에서 유리하게 적용된다. 이 실시예에서, 스케일러블(MPEG) 코딩 알고리즘(scalable(MPEG) coding algorithm)은 이용 가능한 계산 능력에 관련한 스케일러블 비디오 품질을 특징짓는 것이 제공되고, 이 능력은 원하는 애플리케이션에 의존할 수 있다. 제한된 계산 능력이 주어지면, 이 실시예는 가능한 한 양호하게 품질을 더 보호한다. 비디오 프로세싱 애플리케이션들의 시간 소모 알고리즘들 중 하나는 이산 코사인 변환(DCT;Discrete Cosine Transformation)의 계산이지만, 이 발명은 다른 알고리즘들에 또한 응용될 수 있다. 변환 알고리즘의 경우에서, 주어진 계산적인 한계에, 최대 수의 변환 계수들이 주어진 계산 한계에서 계산된다.

본 발명의 양호한 실시예에서, 계수들이 계산되는 것에 의해 적어도 부분적으로 결정되는 스캔 순서(scan order)가 사용된다. 그러한 스캔 순서는 예를 들어, 프레임 당, 디코더로 송신될 수 있다. 이것은 프레임 당 스캔 순서 적용을 허용하고, 이는 인코더 프로세싱 및 비트 레이트(bit-rate)에서 유리하다. 특정 스캔 순서는 프레임 당 송신되고 그러므로 송신된 신호 내에 존재한다. 모든 계산된 계수들이 송신된 신호에 존재한다면, 블록 끝(EOB;end of block)은 주어진 블록에 대해 더이상 송신되지 않음을 지시하기 위해 송신된 신호 내에 삽입될 수 있다.

이 발명의 대안의 실시예에서, 둘 다 MPEG에 정의된 지그재그 스캔(zig-zag scan) 또는 대안으로 교호 스캔(alternate sacan)과 같은 미리 결정된 스캔 순서가 사용되고, 미리 결정된 값이 계산되지않은 변환 계수들에 대한 결과적인 비트 스트림에 넣는다. 이 미리 결정된 값은 실용적 실시예에서 제로(zero)이다. 발명의 이 실시예에 따른 신호는 그러므로 주어진 제한된 계산 능력에 대해 계산될 수 있었던 양의 변환 계수에 의존하는 제로들(zeros)의 특정 패턴을 갖을 것이다. 낮은 비트 레이트의 경우에서, 많은 제로들은 최적화되지 않는다. 또한 이 실시예에서, MPEG 컴플리언트 디코더는 송신된 신호를 디코드할 수 있다. 가능한 변환 계수들의 특정 선택이 계산되기 때문에, 발명의 이 실시예의 결과는 송신된 신호에서 인식할 수 있다.

유리한 계산 및/또는 스캔 순서들은 주어진 변환 알고리즘에 대한 오프라인으로 결정될 수 있고, 이 유리한 순서는 인코더 내의 데이터베이스(예를 들어 룩 업 테이블(look-up-table))에 저장된다. 계산 순서는 스캔 순서와 같이 동일하게 될 필요는 없고, 그것들이 유사한 것이 양호한 메모리에 저장하는 것이 필요하다. 비표준(non-standard) 스캔 순서가 사용되는 경우에서, 어느 스캔 순서가 사용되었는지의 스캔 순서의 지시는 삽입되어야 한다. 그러나 바람직하게 동일한 데이터베이스가 또한 디코더에 저장되면, 계수들 또는 데이터베이스/룩 업 테이블의 순서를 디코더로 송신하는 것이 필요하지 않다. 이 경우에 인덱스(index)는 스캔 순서들의 집합으로부터의 어느 스캔 순서가 인코더에서 사용되었던 것을 지시하는 것을 충족한다. 하나의 미리 결정된 스캔 순서만이 사용된 경우에, 스캔 순서는 송신될 필요가 없다.

인코더에서, 이용 가능한 계산된 변환 계수들에 기초되어, 디코더에서 사용을 위한 가장 유리한 계수들의 스캔 순서가 결정될 수 있다. 얼마나 많은 계수들이 디코더에 버퍼링될 수 있는지에 의존하여, 디코더 내의 가장 효과적인 계산 순서와 대략적으로 유사한 순서로 변환 계수들을 송신하는 것이 유리하다. 디코더는 유리하게 송신된 신호에 존재하는 것과 같은 순서로 계수들의 그룹 당 또는 개별적으로 플라이(fly) 상의 계수들을 디코드한다.

유리하게, 적어도 하나의 부가 기준이 계산될 변환 값들을 계산되도록 선택하는데 사용된다. 어떤 계수들은 다른 것들 보다 화상 품질(picture quality)을 위해 더 중요하기 때문에, 계수들 사이에 우선순위 세팅(setting)은 유용하다. 우선순위는 예를 들어 임의의 종류(sort)의 상위 함수에 의해 데이터베이스에서 계산 비용을 곱함으로써 또는 그룹 당 프로세스 순서를 주는 다른 우선순위 그룹들로 계수들을 분류함으로써 세트 설정될 수 있다. 이미지 블록들의 다른 형태들에 의존하여, 다른 상위 레벨들이 입력에 의존하는 계산 스타일들을 찾기 위해, 알고리즘 출력에 대해 선택될 수 있다.

바람직하게, 하나의 우선순위 기준은 얼마나 자주 계수 값이 제로가 되는지에(양자화 후) 기초될 수 있다. 자주 제로가 되는 계수들은 낮은 우선순위를 가져야 한다. 디코더에서, 계수들의 계산 순서 적응은 수신된 계수들과 얼마나 많은 이들 계수들이 버퍼링될 수 있는지에 의존한다.

역변환 동작은 이 발명의 문맥에서 변환 동작으로서 또한 해석될 수 있다.이 경우에, 입력 값들은 계수들에 의해 형성되고 선택은 예를 들어 화소 값들(pixel values)인, 가능 출력 값들 사이에 행해진다. 계산되지않은 화소 값들은 미리 결정된 값에 의해 채워질 수 있거나 또는 예를 들어, 평균화(averaging)하여, 주위 화소 값들로부터 유도될 수 있다. 대안으로, 선택은 출력 값들을 계산하기 위해 알고리즘에 입력되는 계수들로부터 행해진다. 또한 이 경우에서, 계산 비용은 계산되는 출력 값들 중에서 선택됨에 의해서가 아니라, 화소 값들을 계산하기 위해 알고리즘으로의 입력으로써 사용된 이용 가능하고/수신된 변환 값들 중에서 선택됨으로써, 최소화된다. 모든 이용가능한 변환 값들이 수행될 수 있는 계산 단계들의 한계 때문에 사용될 수 없으면, 출력 값들은 덜 정확하게될 것이나, 이미지의 경우에 여전히 이미지(블록)의 임의의 화소에 대한 값이 획득된다.

이 발명은 본 발명의 실시예에 따른 적어도 인코딩 장치 및 디코딩 장치를 포함한 비디오 시스템에 더 관련이 있다. 그러한 비디오 시스템의 예는 하드디스크 드라이브(HDD;Hard Disc Drive) 상에 비디오 자료를 디지털적으로 저장하기 위한 클로즈드 시스템(closed system)이다. 다른 예들은 영상 회의 시스템들(video conferencing systems), 디지털 헨드 헬드 카메라들(digital hand-held cameras) 등이다. 비디오 자료가 아날로그인 경우에 비디오 시스템은 부가적으로 아날로그 디지털 변환기(analog to digital converter)를 포함한다. 이 비디오 시스템 내의 인코더가 MPEG 컴플리언트 비트 스트림을 생산하면 표준 디코더가 사용될 수 있다. 유리하게, 비디오 시스템 내의 디코더는 본 발명의 실시예에 따른 디코더이다.

이 발명은 알고리즘의 계산 비용을 분석하는 방법에 더 관련이 있다. 분석은계수들의 함수로서 계산 비용의 데이터베이스를 리턴한다. 이 데이터베이스로 어느 계수들이 주어진 계산 한계 내에서 계산될 수 있는지의 정보를 제공하는 계수들의 리스트가 도출될 수 있다. 그러한 데이터베이스는 본 발명의 실시예에 따른 (디)코딩에 사용될 수 있다.

전술 및 발명의 다른 양상들은 이하에 설명된 실시예들에 참조하여 설명되고 명백해질 것이다.

발명의 더 나은 이해를 위해, DCT 변환 상에 약간의 기본 이론이 먼저 제공된다. DCT는 이미지의 작은 사각형 블록들의 휘도(luminances) 및 색도(chrominance) 값들을 변환 도메인으로 변환한다. 그 후, 모든 계수들은 양자화되고, 소량의 계수들로의 신호 집중은 전체 이미지가 원래보다 적은 데이터로 저장될 수 있는 것을 보장한다.

2D 데이터 매트릭스{ｘ[ｉ,ｊ];i,j=0,1,...,N-1}로 표현되는 주어진 이미지 블록에 대해, 2D DCT 매트릭스{X[i,j];i,j=0,1,...,N-1}는

...(1)

로 주어지며,

여기서

식(1)의 복잡성을 감소시키기 위해, 행-열 방법(row-column method)이 자주 사용된다. 이 방법으로, 이미지 블록의 각각의 행 및 열은 1D-DCT에 의해 각각 변환된다. 주어진 1D 데이터 벡터{x[i];i=0,1,...,N-1}에 대해, 1D-DCT 벡터{X[i,j];i=0,1,...,N-1}는

...(2)

로 정의된다.

식(1) 및 식(2) 둘 다는

Output=Const*InputMatrix*CosMatrix ...(3)

의 형태를 갖는다.

식(3)의 상수 부분(constant part)은 변환된 계수들이 데이터 압축 목적들을 위해 제거되는 나중에 양자화 단계로 병합될 수 있다. 물론, 입력 데이터는 수정될 수 없다. 관심있는 제 3자는 코사인 매트릭스(cosine matrix)이다. 이 매트릭스의 변환들은 코사인 함수의 주기성에 기초된다. 코사인 함수는 주기적이고, 함수의 결과들이 이것은 2π:cos(α)=cos(n*2π+α);nZ일때마다 반복하는 것을 의미한다. 게다가, 코사인 함수는 π마다 반-주기(anti-periodic)이고, 이것은 함수의 결과들이 π일때마다 반복하는 것을 의미하지만, 사인(sign)은 변한다: cos(α)=*cos(n*π+α);nZ 도 1은 코사인 함수의 프롯을 도시하고, 여기서 동일한 절대값을 갖는 4개의 화살표들이 마크된다.

가장 알려진 DCT 알고리즘들이 최상의 비디오 품질을 위해 설계된다. 다른 전략들은 식(1) 또는 식(2)의 수학적인 변환들에 의해 DCT 계산의 복잡성을 경감하도록 발견될 수 있다:Lee 및 Huang[1]은 코사인 매트릭스의 계산을 낮은 복잡성의 상응하는 하부 문제들로 경감한다. 그들은 코사인 매트릭스의 각각의 각도 α를 0≤<0.5π로 표준화하고 그러므로×-DCT는 낮은 복잡도의×-DCT로 감소된다. Cho 와 Lee(2)는 다른 매트릭스의 함수로서 매트릭스들 중의 하나를 표현하도록 식(1)에 주어진 두 코사인 매트릭스들 사이의 데이터 종속성들을 발견했다. 그러므로, 2D-변환은 1D 변환으로 경감되었고, 1D-DCT 알고리즘의 선택은선택(choice)이 자유롭다. Arai, Agui 및 Nakajima[3]는 이산 푸리에 변환(Discrete Fourier Transform;DFT)으로부터 DCT를 유도하고, 여기서 몇 개의 곱셈은 나중의 양자화 단계에 병합될 수 있다.

게다가 계산 시간 속도를 빠르게 하기 위해 DCT의 계산 복잡성을 경감하는 알고리즘들이 알려져있고 이에 의해 비디오 품질 저하의 손실이 허용된다: Merhav와 Vasudev[4]는 DCT 및 역 DCT(IDCT)를 위한 계산 체계를 개발하였다. 주 아이디어는 모든 곱셈들과 쉬프트 동작들을 교환하는 것이고 추가적인 비용없이 추후 양자화 단계에서 가능한 양호하게 결과적인 에러를 보상하는 것이다. Pao와 Sun[5]은 비디오 코딩 표준 H.263로 다른 비디오 시퀀스들을 코딩하는 통계적인 분석을 행한다. 이 코딩 표준은 모두 제로가 아닌 값들 저장될 때까지, 도 2에 도시된 것처럼 지그재그 순서에서 DCT의 계산 후 이미지 블록을 저장한다. 남아있는 제로들은 블록 끝(EOB)에 의해 대체된다. 분석으로부터, DCT 계수들의 변화들은 MMAE(minimum mean absolute error)의 함수로서 표현될 수 있고, 이것은 움직임 보상 예측(motion compensated predict) 후에 취해진다. 비디오 코딩 표준 H.263의 양자화 파라미터와 이 함수에 의존하여, 임계값들(thresholds)은 다른 방법들로 이미지 블럭을 처리하도록 측정되었다. DCT는 모든 64 계수들, 또는 대략적인 4×4 저 주파수 DCT를 위해, 또는 상위 왼쪽 계수들(값만)위해 계산되거나, 또는 DCT는 전혀 수행되지 않는 것이다.

이하에서, 발명의 실시예는 DCT 계수들의 특정 계산 순서가 DCT 알고리즘에 의존하여 사용되는 것이 설명되었다. 계산 단계 후, 남은 계수들의 리스트는 다음단계에서 최저 계산 비용을 가진 계수가 계산되도록 분류된다. 이 경우에, 계산 순서는 주어진 감소된 계산 파워내에 다수의 계수들이 최대화하도록 DCT 알고리즘을 위한 설계 규칙을 제공한다. 비록 이 섹션이 DCT를 계산에 집중하지만, 설명된 문제는 역 이산 코사인 변환(IDCT)과 같은, 다른 알고리즘들에 또한 적용할 수 있다.

Merhav와 Vasudev[4] 및 Pao와 Sun[5]에 의한 접근들은 이미 계산들을 저장하기 위해 품질 저하를 허용한다. 그러나, 둘 다의 접근들은 각각의 변환 계수들을 계산하는데 공유되는 계산들을 고려하는 기본 DCT 알고리즘을 고려하지 않는다.

기본 DCT 알고리즘의 지식은 주어진 계산 노력 및/또는 시간 제한들내에 저 비디오 품질로 스케일링하기 위한 최상의 전략을 발견하는 것에 중요하다. 결과로서, 특정 알고리즘은 몇 개의 계산들 및 그와 같은 계수들을 제거함으로써 수정된다. 알고리즘의 결과들은 가능한 한 많은 계수들이 계산되기 때문에, 그 후 주어진 한계에 가능한 최상의 품질로 스케일링하기 위한 최상의 전략을 가질 것이다. 최상의 가능한 비디오 품질을 위해 계수들의 최대를 유지하는데 어떤 계산들이 제거될 수 것을 발견하는 것이 중요하다. DCT 알고리즘들은 다른 방법들로 비디오 데이터를 처리하기 때문에, 특정 애플리케이션을 위해 사용된 알고리즘은 면밀히 분석되어야 한다.

DCT 알고리즘은 계산들의 수를 발견하도록 분석되고, 이것은 특정 DCT 계수들을 획득하기 위해 필요하다. 이 분석은 알고리즘내에 노드들(nodes) 사이에 데이터의 의존성들을 찾아낸다. 데이터베이스는 입력값들에서 최종 변환된 계수까지 진행할 때와 어떤 계산들이 또다른 계수를 획득하도록 더욱 필요한 지, 모든 계산 단계에 대해 구성될 수 있다. 계산 제한이 설정되면, 계산 단계들을 공유하는 계수들을 계산하는 것이 바람직하다. 계수들의 수는 그 후 최소 노력을 가지고 최대화된다.

이 방법의 분석 단계와 이점은 도 3에 주어진 간단한 계산의 예를 가지고 설명된다. 이 예는 세 개의 중간 결과들및을 갖는 계산을 도시한다. 계수들및를 위한 계산 비용은 입력값들로부터 시작한 각각의 계수들을 계산하는데 필요한 모든 동작들을 카운팅함으로써 결정된다. 예를 들어은=*=(+)*에 의해 계산되고 그러므로 하나의 덧셈(내에) 및 하나의 곱셈으로 구성된다. 이 정보는 테이블 1에서 주어진 데이터베이스에 저장되고, 여기서 하나의 곱셈은 예로서 세 개의 덧셈들에 상응하도록 세트된다.

전체 계산들
덧셈들	1	1	1	+0=1	++1=3	+0=1
곱셈들	0	0	0	+1=1	++0=0	+1=1
동작들 카운트	1	1	1	1+1*3=4	3+0*3=3	1+1*3=4

테이블 1:본 발명의 실시예에 따른 계산 비용. 하나의 덧셈은 하나의 동작으로서 카운트되고, 하나의 곱셈은 세 개의 동작들로서 카운트된다.

이 데이터베이스를 사용하여, 우리는 이미 행해진 계산들에 의존하여 최소의 동작들이 필요한 다음 DCT 계수들을 찾는 것에 집중할 수 있다. 이것은 계수들의 알고리즘에 의존한 계산 순서를 제공할 것이다. 도 3에 주어진 실시예에서,는세 가지의 동작들만이 필요하기 때문에, 제 1 단계에서 계산될 수 있다. 계수들및는 동일한 계산 비용을 갖고, 그래서 먼저또는가 계산되는지 계산되지 않는지 차이가 없을것 같다. 그러나, 계수들및는 노드를 공유하고, 이것은 제 2 단계에서보다을 위해 남은 계산 비용을 적게 한다. 이것은 테이블 2에서 볼 수 있고, 테이블 1의 데이터베이스는가 계산되었고, 정보에 의해 업데이트되었다.

남은 계산들
덧셈들	0	0	1	0	0	1
곱셈들	0	0	0	1	0	1
동작들 카운트	0	0	1	3	0	4

테이블 2:가 계산된 후 남은 계산 비용.

그러므로, 이 순서로, 주어진 계수들을 계산하는 것이 바람직하다:,,. 계산 파워가 이 예를 위해 6개의 동작으로 감소되면, 계수들및은 계산될 수 있다.,,B1의 계산 순서로, 처음 두 개의 계수들및이 일곱 개의 동작들을 함께 요구하기 때문에만이 계산될 수 있다.

이 섹션에서 설명된 접근은 Arai, Agui 및 Nakajima[3]에 의해 1D-DCT 알고리즘을 포함하는 Cho와 Lee[2]에 의한 2D-DCT 알고리즘을 위해 계산 순서를 찾는 데 사용되었다. 결과들은 도 4에 도시된다.

계산 순서는 DCT 계산 후에 양자화 단계가 고려되면, 개선될 수 있다. 대부분의 경우에서, 변환된 이미지 블럭의 중요값들은 블록의 상위 왼쪽 코너에서 발견될 수 있다. 양자화 단계는 덜 중요한 값들을 데이터 압축 목적들을 위해 제거한다. 그러므로, 계수들은 상위 왼쪽 코너 내의 계수들을 선호하도록 상위 함수에 결합될 수 있다. 도 5에 주어진 계산 순서는 계수 C[i,j](발생된 데이터베이스에 저장됨)를 위한 다수의 동작들을 상위 함수 p(i,j)=i*2++1에 곱함으로써 찾아졌었다. 함수 p는 몇 개의 실험에 의해 찾아졌었고 첫 번째 구현에 적합하게 될 것 같다.

테이블 3은 어떻게 이 변화가 또다른 계산을 리드하는지 보인다. 여기에서, 하나의 곱셈은 세 개의 덧셈들에 상응하게 되도록 세트(set)되고 처음 두 개의 계수들및는 이미 계산되었다. 계산될 다음 계수들이 상위 함수를 사용함없이이지만, 상위 함수 p를 사용할 때는인 것은 분명하다.


계수를 계산하는데 남은 덧셈들	7	9
계수를 계산하는데 남은 곱셈들	4	4
상위 함수가 없는 동작들 카운트	19	22
상위 함수p(i,j)	13	9
상위 함수에 따라 비교된 동작들 카운트	247	189

테이블 3:계산될 다음 계수들의 결정.는 상위 함수 p를 사용하지 않을 때는 상위 함수 p 를 사용시 선호된다.

더 향상된 것은 계산 순서가 상위 함수로 최적화될 수 있고, 이는 이미지 블록의 특정 콘텐트들을 위해 설계되는 것이다. 이미지 블록들은 예를 들어, 세 개의 그룹들에서 카테고리화되었다: 명확한 구성이 없는 수평 라인들, 수직 라인들 또는 블록들을 포함한 이미지 블록들. 각각의 세 개의 그룹들에서, DCT는 원래 이미지 블록을 설명하는데 특정 계수들을 선호할 것이다. 이것은 상위 함수로 표현될 수 있다. 각각의 이미지 블록의 간단한 사전 분석은 가장 중요한 계수들이 먼저 계산되는 것을 보장하기 위해, 유사한 분석을 행하는 다른 함수들로부터 취해지거나 또는 실행될 수 있다.

MPEG 표준 내에서, 도 2에 도시한 바와 같은 지그재그 순서는 가장 중요한 값들이 양자화된 블럭의 상위 왼쪽 코너에서 보통 발견되기 때문에, DCT 계수들을 코딩하는데 사용된다. 계산 순서로서 이 지그재그 순서를 사용하여, 많은 시간을 소비하는 계산들은 이들 값들이 다른 입력들에 의존하고 중간 결과들이 다시 사용될 수 없기 때문에, 제 1 계수들을 획득하는데 계산의 시작에서 행해지도록 해야한다. 감소된 계산 파워를, 이것은 결과로 그 후 사용되어질 소수의 계수들이 될 것이다. 이와 같이 최상의 계산 순서를 찾는 것은 유용하다

지그재그 순서의 주어진 수의 계수들을 위한 동작들 카운트는 이 섹션에 제공된 계산이 최적화된 순서와 비교된다. 계산이 최적화된 순서는 상당한 계수들이 계산되게 하는 것을 알 수 있고, 그 결과 보다 나은 비디오 품질이 된다. SNR은 1-5dB에서 개선된다.

제공된 방법은 많은 방법들에서 스케일러블 알고리즘을 위해 실용적이다.

계산될 계수의 특정 양을 제공하는 대신에, 그것은 자동 품질 비교(automatic quality scaling)를 위해 사용될 수 있다. 예를 들어, 낮은 계산 능력이 PC 상에서 실시간 비디오 애플리케이션을 동작시키는 것은 이 PC가 실시간에 모든 계산들을 완료할 수 없기 때문에, 실패할 것이다. 이 경우에서, 비디오 프로세싱은 실패하거나 또는 힉-업(hick-up)들을 보일 것이다. 이 문제를 해결하기 위해서, 비디오 프로세싱 소프트웨어는 다음 블럭이 프로세스되거나 또는 사용자가 정의한 시간 한계에 이를 때까지, 이미 계산된 계수들의 리스트를 업데이트할 수 있다. 이 해결책을 가지고, 풀 스크린 및 전체 시간의 시청가능한 비디오가 보장될 수 있다.

발명의 이 실시예는 확장성을 지원하도록 특정한 순서에서 DCT를 계산하기 위한 유리한 방법을 제공한다. 이것은 최소의 노력으로 다음 계산해야 하는 계수들을 찾도록 DCT 알고리즘의 각각의 계산 단계를 분석함으로써 성취된다. 방법은 고려할 포인트까지 큰 양의 DCT 계수들을 획득함으로써, 계산하는 동안 화상(picture)의 SNR을 최대화한다.

계산 방법은 상위 함수와 같은 다양한 특징들에 의해 강화될 수 있고, 이것은 DCT를 수행 후 MPEG 코딩과 더 맞도록 저 주파수 계수들의 계산을 선호한다. 이 기술은 또한 DCT를 위해 성공적으로 구현될 수 있다,

도 6은 비디오 소스(1), 송신기(2), 통신 채널 또는 저장 매체(3), 수신기(4) 및 디스플레이 장치(5)를 포함한 비디오 시스템을 도시한다. 비디오 소스(1)는 카메라 또는 그와 같은 것 일 수 있고, 비디오 소스 신호(S1)를 송신기(2)로 공급한다. 송신기(2)는 비디오 인코더(20)을 포함한다. 비디오 인코더는 계산 유닛(201), 메모리(202) 및 출력 유닛(203)을 포함한다. 계산 유닛은 비디오 소스 신호(S1)의 입력 셈플들로부터 통신 채널(3)을 통해 송신되는 코드된 출력 신호(S2) 내에 포함되거나 또는 대안으로 통신 채널(3)이 저장 매체인 경우에 저장되는 변환 계수들의 집합을 계산한다. 비디오 인코더(20)는 메모리(202)를 더 포함하고, 이것은 계산 유닛(201) 의 계산들의 중간 결과들을 저장하기 위해 사용된다. 중간 결과들은 전형적으로 계산 유닛(201)에서 계산되는 각각의 변환 계수들의 계산들 사이에 공유되는 계산들로부터의 결과들이다. 메모리(202)는 변환 계수들의 계산 순서 또는 스캔 순서를 저장하는데 더 사용될 수 있다. 출력 유닛(203)은 변환값들을 송신을 위한 적당한 값들로 포맷한다. MPEG 인코더들과 같은 비디오 인코더들에서, 변환 계수들은 변환값들을 표현하는데 필요한 비트들의 수를 감소시키도록 보통 양자화된다. 도 6에서, 필요한 양자화 동작들은 계산 유닛(201)에서 수행되도록 가정된다. 도 6에서는 도시되지 않았지만, MPEG 인코더들은 보통 예측 코딩 화상들을 위한 보상과 움직임 추정을 수행하기 위한 구성요소들을 또한 포함한다. 출력 유닛(203)은 가변 길이 인코딩, 멀티플렉싱 및 채널 코딩과 같은 동작들을 수행할 수 있다.

이 발명의 실시예에 따라서, 계산 순서는 계산 순서가 앞서 설명된 것처럼, 다른 조건들을 고려하는 상위 함수에 의해 부가적으로 결정될 수 있지만, 알고리즘에 의존한다. 스캔 순서는 계산 순서에 동일할 수 있지만, 그것이 필요하지는 않다. 임의의 경우에서, 디코더는 스캔 순서에서 인코더와 등가되어야 한다. 디코더는 디코딩 알고리즘(들)을 위해 또다른 계산이 더 효과적일 수 있기 때문에, 인코더 보다 또다른 계산 순서를 사용할 수 있다.

수신기(4)는 디코더(40)를 포함한다. 비디오 디코더(40)는 입력 유닛(403), 계산 유닛(401) 및 메모리(403)를 포함한다. 입력 유닛은 통신 채널 또는 저장 매체(3)로부터 코드된 비디오 신호(S2')를 수신한다. 코드된 비디오 신호(S2')는 (S2')가 통신 채널 또는 저장 매체(3)에 의해 도입된 특정 에러들일 수 있으나, 신호 S2' 에 보통 일치될 수 있다. 입력 유닛(403)은 보통 출력 유닛(203)에서 수행되는 동작들에 반대로, 가변 길이 디코딩, 역멀티플렉싱(demultiplexing) 및 채널 디코딩과 같은 동작들을 수행할 수 있다. 계산 유닛(401)은 수신된 변환 계수들로부터 화상값들을 계산하는 역변환을 수행한다. 화상값들은 비디오 소스 신호 S1의 감소된 품질 버젼인 출력 신호 S1'에 포함된다. 출력 신호 S1'은 디스플레이 유닛(5)에 디스플레이된다.

디코더(40)은 표준 디코더일 수 있다. 유리하게, 디코더(40)는 이 발명의 실시예에 따른 디코더이다. 이미 설명된 것처럼, 선택은 역변환으로 입력되는 이용 가능한 변환 계수들 사이에 행해지고, 이 선택에서 상위 우선순위는 다른 계수들 보다 더 적은 계산 비용을 요구하는 변환 계수들에 제공되고, 또한 선택된 변환 계수들을 위해 요구되는 계산 단계들의 수 및 공유될 수 있는 계산 단계들의 수에 기초된다. 이 목적을 위해, 메모리(402)는 어느 이용가능한 주어진 최대 계산 파워에 대해 변환 계수들이 계산될 수 있는지를 지시하는 데이터베이스를 포함할 수 있다. 추가 실시예에서, 메모리(402)는 본 발명의 실시예에 따라 인코더에 의해 사용된스캔 순서를 저장하고, 이 스캔 순서는 계수들이 계산되는 것에 의해 결정되거나 또는 이 스캔 순서가 인코더에서 계산 순서에 대략적으로 유사하다.

본 발명은 한편으로 실시간 비디오 인코딩이 필요한 애플리케이션들에 적용되지만, 다른 한편 이하와 같은, 추가 제한들(restrictions)을 갖는다:

영상 회의 시스템(video conferencing system)들은 낮은 비디오 해상도(low video resolution)을 가지고 자주 협대역 접속(narrow-bandwidth connection)을 통해 비디오 스트림을 통신한다. 이것은 회의 참석자들(conference participants) 사이의 통신 지연(delay)을 일으키고, 이 지연은 최소가되어야 한다. 게다가, 영상 회의는 충분한 시간적 해상도(temporal resolution)를 가진 비디오가 높은 공간적 비디오 품질 보다 더 중요한 예시이다.

디지털 핸드-헬드 비디오 카메라들(digital hand-held video cameras)은 소비자에 의해 용인될 좋은 품질이고 편리하고, 값이 싸야한다. 이들 카메라들은 중간 해상도를 가지고 그러므로 영상 회의 시스템들 보다 더 복잡한 비디오 프로세싱 알고리즘들이 필요하다. 카메라의 비용을 제한하도록, 이들 알고리즘들은 소프트웨어로 프로그램할 수 있어야 하거나 또는 단순한 하드웨어 솔루션들이 되어야 한다.

범용 계산 능력을 가진 텔레비젼들. 이용 가능한 계산 파워의 부분은 낮은 복잡성에 비디오 애플리케이션들을 위한 주어진 알고리즘을 스케일링 저장될 수 있고, 그러므로 텔레비젼이 병렬로 다른 임무들(tasks)을 수행하도록 만든다. 그렇지않으면, 비디오 애플리케이션은 관심있는 다른 애플리케이션들을 방해할 수 있다.

본 발명은 파라메트릭 코딩 체계들(parametric coding schemes)에 더 적용할수 있고, 여기서 입력값은 파라메터들의 세트로 코딩한다. 청구항들에서, 계수들은 이들 코딩 체계들 내의 파라미터들로 해석되어야 한다.

위에 언급된 실시예는 본 발명을 제한하는 것이기 보다는 도시를 위한 것이고, 이 기술에서 숙련된 자는 첨부된 청구항들의 범위를 벗어나지 않고 많은 대안적인 실시예들을 설계할 수 있음을 알아야할 것이다. 청구항들에서, 괄호들 사이에 위치한 임의의 양호한 표시들은 청구항을 제한하는 것으로 해석되어서는 안된다. 단어 "포함하다(comprise)"는 청구항에서 이 리스트된 이상의 다른 구성요소들 또는 단계들의 존재를 배재하지 않는다. 이 발명은 몇 개의 개별 구성요소들을 포함하는 하드웨어에 의해서, 그리고 적당하게 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇 개의 수단을 열거한 장치 청구항에서, 이들 수단의 몇 개는 하나 및 하드웨어의 동알한 아이템에 의해 구성될 수 있다. 특정 수단들(measures)이 상호적으로 다른 종속 청구항에서 인용되어 있다는 사실이 단순히 이들 수단들의 결합이 유리하게 사용될 수 없음을 지시하는 것은 아니다.

참고문헌(Bibliography):

Claims

주어진 알고리즘을 사용하여 입력값들(S1)의 세트(set)가 계수들(coefficients)의 세트로 코딩(20)하는 방법에 있어서,

주어진 입력값들의 세트에 대해 주어진 알고리즘에 의해서 계산될 수 있는 가능 계수들의 전체 세트로부터 계산되는 계수들을 선택하는 것으로부터, 이 선택에서 우선순위들(priorities)이 개별적인 가능 계수들의 계산 비용들에 의존하는, 상기 계수들을 선택하고(201), 계수들의 세트를 획득하기 위해 선택된 계산 계수들을 계산하는(201), 코딩 방법.
제 1항에 있어서,

주어진 계수들에 대해 상기 계산 비용은 다른 선택된 계수들의 계산과 공유될 수 있는 계산들의 양이 감소된 주어진 계수들을 계산하도록 요구되는 계산 단계들의 양에 적어도 부분적으로 기초되고, 계산 단계(201)에서, 공유된 계산 단계들의 결과들은 공유된 계산 단계들을 공유하는 다른 계수들을 계산하는데(201) 다시 사용되는, 코딩 방법.
제 1항에 있어서,

상기 선택 단계(201)에서 계산될 계수들의 수는 주어진 최대 전체 계산 비용을 최대화하는, 코딩 방법.
제 1항에 있어서,

상기 선택 단계(201)에서 미리 결정된 수의 계수들이 선택되는, 코딩 방법.
제 1항에 있어서,

상기 방법은 종료 기준(stop criterion)에 부합할 때까지 계산될 다음 계수를 반복적으로 선택하고(201), 다음 계수를 위해 상기 계산 비용이 아직 계산되지않은 다른 가능 계수들에 비해 최소인, 코딩 방법.
제 5항에 있어서,

상기 계산 비용은 다음 계수의 계산과 이미 계산된 계수들에 대해 이미 수행된 계산 단계들 사이에 공유될 수 있는 계산 단계들의 양이 감소된 다음 계수를 계산하기 위해 요구되는 계산 단계들의 양에 적어도 부분적으로 기초되는, 코딩 방법.
제 1항에 있어서,

적어도 하나의 부가 기준은 계산될 상기 계수들을 선택하는데(201) 사용되는, 코딩 방법.
제 7항에 있어서,

상기 계산 비용은 적어도 하나의 부가 기준을 표현하는 우선순위 함수(priority function)에 의해 가중되는(201), 코딩 방법.
제 1항에 있어서,

상기 방법은

상기 계산된 계수들에 의해서 적어도 부분적으로 결정되는 스캔 순서(scan order)에 따라 출력 신호(S2) 내에 계수들의 세트를 포함하고(203), 상기 출력 신호(S2)에서 스캔 순서에 대한 정보를 포함하는(203) 것을 더 포함하는, 코딩 방법.
제 1항에 있어서,

상기 계수들의 세트는 미리 결정된 스캔 순서에 따라 출력 신호(S2)에 포함되고(203), 상기 미리 결정된 스캔 순서에서 계산되지않은 계수들에 대해서는 미리 결정된 값이 사용되는(203), 코딩 방법.
제 10항에 있어서,

상기 미리 결정된 값은 제로(zero)인, 코딩 방법.
제 1항에 있어서,

계산될 상기 계수들은 각각의 가능 계수들의 계산 비용들에 대한 정보를 포함하는 데이터베이스(202)로부터 획득되는, 코딩 방법.
제 12항에 있어서,

상기 데이터베이스(202)내의 계산 비용들 정보는 어느 계수들이 이용 가능한 계산 단계들의 주어진 최대치의 함수로서 계산될 수 있는가를 나타내는 리스트 형태로 이용 가능한, 코딩 방법.
입력값들(S1)의 세트를 주어진 알고리즘의 사용에 의해 계수들의 세트로 코딩하기(20) 위한 장치에 있어서,

주어진입력값들의 세트에 대해 주어진 알고리즘에 의해서 계산될 수 있는 가능 계수들의 전체 세트로부터 계산되는 계수들을 선택하는 수단(201)으로서, 이 선택 에서 우선순위들이 개별적인 가능 계수들의 계산 비용들에 의존하는 상기 계수들을 선택하는 수단 및

계수들의 세트를 획득하기 위해 선택된 계수들을 계산하는 수단(201)을 포함하는, 코딩 장치.
계수들(S2)의 세트를 주어진 알고리즘의 사용에 의해 출력 값들(S1')의 집합으로 역변환하는(inverse transforming) (401) 방법에 있어서,

주어진 알고리즘에 의해 상기 값들을 계산하는데 입력으로서 사용하기 위한 이용 가능한 계수들의 전체 세트 중에서 각각의 계수들을 선택하는 것으로서, 이 선택에서 우선순위들은 개별적인 이용 가능한 계수들의 계산 비용들에 의존하는,상기 계수들을 선택하고,

상기 선택된 계수들로부터 상기 값들을 계산하는(410), 역변환 방법.
제 15항에 있어서,

주어진 계수에 대해, 계산 비용은 알고리즘에 대한 입력으로서 다른 계수들에 기초한 계산들과 공유될 수 있는 계산들의 양으로 감소된 상기 알고리즘에 대한 입력으로서 주어진 계수로 상기 값들을 계산하는데 필요로 되는 계산 단계들의 양에 적어도 부분적으로 기초하는, 역변환 방법.
계수들(S2')의 세트를 주어진 알고리즘을 사용하여 출력값들(S1')의 세트로 역변환하기 위한 장치(40)에 있어서,

주어진 알고리즘에 의해 값들을 계산하는데 입력으로서 사용하기 위한 이용 가능한 계수들의 전체 세트로부터 각각의 계수들을 선택하기 위한 수단(401)으로서 이 선택에서 우선순위들이 각각의 이용 가능한 계수들의 계산 비용에 의존하는 상기 계수들을 선택하는 수단, 및

선택된 계수들로부터 상기 값들을 계산하기 위한 수단(401)을 포함하는, 역변환 장치.
값들의 세트를 나타내는 계수들의 세트를 포함하는 신호(S2,S2')에 있어서,

계수들의 세트는 상기 값들의 세트로부터 주어진 알고리즘에 의해 계산될 수

있는 가능 계수들의 전체 세트의 서브 세트(sub-set)이고, 신호 내의 각각의 계수들은 계산 비용이 계산되지않은 계수들에 비해 더 낮은 계수들인, 신호.
제 18항에 있어서,

상기 계수들은 계산된 계수들에, 신호에 의해 미리 결정된 스캔 순서에 따라 신호에 존재하고, 상기 신호는 스캔 순서에 대한 정보를 더 포함하는, 신호.
제 18항에 있어서,

상기 계수들은 미리 결정된 스캔 순서에 따라 신호에 포함되고, 상기 계산되지않은 계수들에 대해서는, 미리 결정된 값이 송신된 신호에 포함되는, 신호.
제 18항에 따른 신호(S2, S2')가 저장되어 있는 저장 매체(storage medium)(3).
제 19항에 따른 신호(S2, S2')를 디코딩하는(40) 방법에 있어서,

계산된 계수들에 의해 결정된 스캔 순서에 대한 정보를 신호로부터 획득하고(403),

상기 획득된 스캔 순서를 사용함으로써 상기 계수들을 상기 신호로부터 획득하고(403),

상기 계수들을 계산하는(401) 것을 포함하는, 디코딩 방법.
제 19항에 따른 신호(S2, S2')를 디코딩하는 장치(40)에 있어서,

계산된 계수들에 의해 결정된 스캔 순서에 대한 정보를 신호로부터 획득하기 위한 수단(403)과,

상기 획득된 스캔 순서를 사용함으로써 계수들을 신호들로부터 획득하기 위한 수단(403)과,

상기 계수들을 계산하기 위한 수단(401)을 포함하는, 디코딩 장치.
프로세서가 제 1항에 따른 방법을 수행할 수 있게 하는 컴퓨터 프로그램이 들어있는 신호.
제 24항에 청구된 것과 같은 신호가 저장되어 있는 저장 매체.