KR100796176B1

KR100796176B1 - 신호 코딩 방법 및 장치, 인코더, 카메라 시스템, 디코딩 방법, 스케일가능 디코더 및 수신기

Info

Publication number: KR100796176B1
Application number: KR1020017005339A
Authority: KR
Inventors: 클리홀스트리차드피; 반데르브레우틴리나투스제이
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1999-08-27
Filing date: 2000-08-24
Publication date: 2008-01-21
Also published as: JP5173990B2; EP1161840A1; WO2001017268A1; AU6999400A; CN1336078A; US7020342B1; CN1199470C; JP2010051013A; JP2003508981A; KR20010089375A

Abstract

본 발명은 스케일가능 비트 스트림(O)을 얻기 위해 신호(S)를 코딩하는 방법 및 장치를 제공한다. 신호(S)는 값들의 블록들을 포함한다. 각 블록은 비트 플레인들의 시퀀스로서 표현되고(20), 상기 값들은 비트 플레인의 중요도가 감소하는 순서로 스캔 및 송신된다(21, 23). 각 비트 플레인에 대하여, 스캔 및 송신(21, 23)은 블록의 코너(일반적으로 상부 좌측 코너)로부터 시작되어 직사각형 스캔 존(R_MAX/C_MAX)에서 실행된다. 바람직하게, 스캔 및 송신(21, 23)은 각 블록에 대하여 개별적으로 실행된다. 생성된 비트 스트림(O)은 소망의 위치에서 비트 스트림(O)을 간단히 절단(3)하여 소망의 비트 레이트로 양자화된다. 초기에, 모든 값들은 중요하지 않다고 마킹된다(22). 각 비트 플레인에 대하여, 비트는 각 중요한 값(SC) 예를 들어, 이전의 비트 플레인에서 새롭게 중요해진 값(NSC)을 위해 송신된다(21, 23). 중요한 값들(SC) 외에, 임의의 중요하지 않은 값들이 현재 비트 플레인으로부터 새롭게 중요해지는지에 대한 표시가 송신된다. 직사각형 스캔 존(R_MAX/C_MAX)의 치수들은 현재 비트 플레인에서 새롭게 중요한 값들(NSC)을 위해 선택 및 송신된다. 상기 스캔 존 내에서 이전에 중요하지 않은 값의 각각에 대하여, 값이 새롭게 중요해는지(NSC)에 대한 표시 및 각 새롭게 중요한 값(NSC)에 대한 부호 비트를 송신된다. 그 후, 다음 비트 플레인(20)이 진행된다. 상기 값들은 변환 계수들일 수 있다.

비트 플레인, 인트라 프레임, 변환 계수, 스캔 경로

Description

신호 코딩 방법 및 장치, 인코더, 카메라 시스템, 디코딩 방법, 스케일가능 디코더 및 수신기{Method and device of coding a signal, encoder, camera system, method of decoding, scalable decoder, and receiver}

본 발명은 스케일가능 코딩(scalable coding) 방법 및 장치에 관한 것이다.

본 발명은 또한 인코더, 카메라 시스템, 디코딩 방법, 스케일가능 디코더, 수신기, 스케일가능 비트 스트림 및 저장 매체에 관한 것이다.

WO 99/16250은 임베딩된 DCT 기반의 정지 영상 코딩 알고리즘을 개시하고 있다. 임베딩된 비트 스트림은 인코더에 의해 생성된다. 디코더는 비트 스트림을 임의의 점에서 절단할 수 있어, 보다 낮은 비트 레이트로 영상을 재구성할 수 있다. 임베딩된 비트 스트림이 비트 스트림의 선두에서 임베딩된 모든 보다 낮은 레이트들을 포함하기 때문에, 비트들은 가장 중요한 것에서 덜 중요한 것으로 순서화된다. 임베딩된 코드를 사용하여, 비트 카운트로서 타겟 파라미터가 충족될 때 인코딩을 간단히 중단한다. 유사한 방식으로, 소정의 임베딩된 비트 스트림에 대해, 디코더는 임의의 점에서 디코딩을 중지하고, 모든 보다 낮은 레이트의 인코딩에 대응하는 재구성을 생성할 수 있다. 상기 보다 낮은 레이트로 재구성된 영상의 품질은 그 영상이 그 레이트로 바로 코딩된 것과 같이 동일하다.

DCT는 에너지를 보존하는 것을 의미하는 직교(orthonormal)이다. 소정 크기의 변환된 영상의 오차는 원래 영상에서 같은 크기의 오차를 생성한다. 이는 최대의 크기들을 갖는 계수들이 최대의 정보 내용을 갖고 있기 때문에, 상기 계수들이 먼저 송신되어야 하는 것을 의미한다. 이는 정보 역시 2진수 표시에 따라 랭킹될 수 있으며, 가장 중요한 비트들이 먼저 송신되어야 하는 것을 의미한다.

코딩은 비트 플레인씩 행해진다. DCT 계수들은 상부 좌측 코너(DC 계수에 대응하는)로부터 시작하는 순서로 스캔 및 송신되며, 각 DCT 블록의 하부 우측 코너에서 예를 들어, 최하 주파수 계수에서 최고 주파수 계수로 종료된다. 블록 내에서, DCT 계수들은 비트 플레인씩 대각선 순서로 스캔된다. 대각선을 각각 스캔한 후, 블록의 나머지에서 임의의 새롭게 중요한 계수들이 있는지를 나타내는 플래그(flag)가 송신된다.

본 발명의 목적은 특히 보다 효율적인 인코딩을 제공하는 것이다. 이를 위해, 본 발명은 독립 청구항에 규정되는 바와 같은 신호 코딩 장치 및 방법, 인코더, 카메라 시스템, 디코딩 방법, 스케일가능 디코더, 수신기, 스케일가능 비트 스트림 및 저장 매체를 제공한다. 양호한 실시예들은 종속 청구항에서 규정된다.

본 발명의 제1 양상에 따라, 값들의 블록들을 포함하는 신호는 스케일가능 비트 스트림을 얻기 위해, 각 블록을 비트 플레인들의 시퀀스로서 표현하는 단계로서, 상기 값들의 가장 중요한 비트들은 가장 중요한 비트 플레인을 형성하고, 상기 값들의 각각의 스케일가능 비트들은 각각의 스케일가능 비트 플레인들을 형성하는, 상기 표현하는 단계와, 비트 플레인의 중요도(significance)가 감소하는 순서로 값들을 스캔 및 송신하는 단계로서, 각 비트 플레인에 대하여, 상기 스캔 및 송신하는 단계는 블록의 코너로부터 시작되어 직사각형 스캔 존(rectrangular scan zone)에서 실행되는, 상기 스캔 및 송신하는 단계에 의해 코딩된다. 코너 위치는 계수들이 순서화되는 방법에 의존한다. 통상, 스캔 존은 블록의 상부 좌측 코너에서 시작된다. 본 발명은 개별 블록들에 대한 데이터가 수평 또는 수직 방향의 사선을 갖는다는 식견(insight)에 근거한다. 이것은 값들이 변환 계수들인 경우에 특별하지만, 또한 다른 값들에 들어맞을 수도 있다. 그러므로 코너에서 시작되는 직사각형 스캔 존은 값들의 블록들을 보다 효율적으로 인코딩한다. 영상들에 대하여, 본 발명은 비디오/영상 인코더들, 디코더들 및 채널들에 따른 영상/비디오 데이터의 송신에 필요한 영상 메모리를 최소화한다. 인코더와 디코더가 이 스캔에 동조되는 한, 스캔 존 내에서의 스캔은 어떤 방식으로도 행해질 수 있다. 본 발명은 특히 저 비용 분야 즉, 하드웨어 비디오 압축에서 적용가능하다.

본 발명에 따른 제2 실시예는, 코딩이 각 블록에 대하여 개별적으로 실행되는 것을 특징으로 한다. 개별 블록들을 처리하는데 직사각형 스캔 존을 사용하는 것은 적합하다. 개별 블록들을 처리하는 이점은, 신호의 모든 블록들을 모으고 재배치할 필요 없이 각 수신된 블록에 대하여 "처리중(on the fly)"이라는 작업 가능성을 제공하는 것이다. 이는 실행 메모리의 량을 저감시킨다. 블록들이 독립적으로 코딩되기 때문에, 그 블록들은 병행하여 처리될 수 있다.

본 발명의 다른 실시예에서, 스캔 및 송신하는 단계는;

모든 값들은 중요하지 않다고 초기에 마킹하는 단계와;

각 비트 플레인에 대하여,
- 현재 비트 플레인에서 각 중요한 값에 대한 비트를 송신하는 단계와;
- 임의의 중요하지 않은 값들이 상기 현재 비트 플레인에서 새롭게 중요해지는지에 대한 표시를 송신하는 단계와;
- 상기 현재 비트 플레인에서 상기 새롭게 중요한 값들에 대하여 직사각형 스캔 존의 치수들을 선택 및 송신하고, 상기 스캔 존 내에서 이전에 중요하지 않은 값의 각각에 대하여, 그 값이 새롭게 중요한 값(newly significant value)이 되는지에 대한 표시 및 새롭게 중요한 값 각각에 대한 부호 비트를 송신하는 단계를, 정지 조건이 충족될 때까지 실행하는 단계를 포함한다.

본 실시예에서 단계들의 순서는 본 발명의 범위에서 벗어나지 않으면서 변경될 수 있다. 새롭게 중요한 값들은 다음의 비트 플레인에서 그 값들이 중요하다고간주되도록 마킹된다. 이전의 비트 플레인에서 어떤 값도 새롭게 중요해지지 않는 한, 중요한 값들도 전혀 존재하지 않는다. 그러한 비트 플레인에 대하여, 중요한 값을 위한 비트들이 전혀 송신되지 않는다. 이것은 예를 들어 최고 중요한 비트 플레인에 대한 경우이다.

본 발명의 실시예에서, 상기 장치는 하이브리드 인코더(hybrid encoder)에서 사용되며, 상기 하이브리드 인코더는 임의의 비트 레이트의 출력 신호를 얻기 위해 스케일가능 비트 스트림을 절단하는 절단체(truncator)를 더 포함한다.

유리한 실시예에서, 상기 장치는 스케일가능 비트 스트림을 이전의 프레임을 저장하는 메모리에 공급하도록 인코더에서 사용된다. 이것은 필요한 메모리를 최소화하고, 단일 칩 상에 하이브리드 코더와 메모리를 통합할 수 있다. 하이브리드 인코더는 예를 들어, 2차원 데이터 변환 및 모션 보상에 의해 시공간적으로 코딩되는 인코더이다.

본 발명의 전술한 양상과 다른 양상은 이하 기술될 실시예들을 참조로 명백하고 명료해질 것이다.

도 1은 본 발명에 따른 직사각형 스캔 존을 구비한 예시적인 비트 플레인을 도시하는 도면.

도 2는 본 발명에 따른 코딩 기술의 시각화(visualization)를 도시하는 도면.

도 3은 본 발명에 따른 예시적인 실시예를 도시하는 도면.

도 4는 본 발명에 따른 스케일가능 영상 코딩 방법의 실례를 도시하는 도면.

도 5 및 6은 카메라 시스템에 적용되는 본 발명에 따른 메모리에 스케일가능 비트 스트림을 공급하기 위해 스케일가능 코더를 시용하는 하이브리드 인코더들을 도시하는 도면.

도 7은 하이브리드 인코더의 출력에 스케일가능 비트 스트림을 공급하기 위해 스케일가능 코더를 시용하는 본 발명에 따른 부가의 하이브리드 인코더를 포함하는 카메라 시스템을 도시하는 도면.

도 8은 도 7의 하이브리드 인코더에 의해 생성된 스케일가능 비트 스트림을 디코딩하는 디코더를 도시하는 도면.

도면들은 단지 본 발명을 이해하기에 필요한 소자들을 도시한다.

절단될 수 있는 비트 스트림을 생성하기 위하여, 가장 중요한 정보가 먼저 송신되고, 후속하여 개량 정보(refinement information)가 송신된다. 본 발명에 대하여 바람직한 방식인 이산 코사인 변환(DCT ; Discrete Cosine Transformation) 코딩 방식의 경우에, 영상은 8×8 픽셀의 직사각형 블록들로 분할된다. 각 블록은 2차원 DCT로 분리되어 송신된다. 결과로서 생긴 DCT 계수들은 양자화되며, 가장 중요한 정보가 먼저 송신되도록 순차로 송신 또는 저장된다. 이것은 남은 코딩이 하나씩 저감되는 순차적인 양자화에 의해 실현된다. 변환 후, 영상의 대부분의 에너지는 낮은 주파수 계수들에서 집중되고, 계수들의 나머지는 매우 작은 값들을 가진다. 이는 가장 중요한 비트 플레인들 대부분이 0이라는 것을 의미한다.

비트 플레인(BP)은 소정의 중요도를 갖는 변환 계수들의 비트들을 포함하는 플레인이다. 이러한 비트 플레인의 실례는 도 1에 도시된다. 이 비트 플레인(BP)은 소정의 중요도를 갖는 각각의 변환 계수(8×8)의 비트를 포함한다. 모든 변환 계수들의 가장 중요한 비트들을 포함하는 비트 플레인은 가장 중요한 비트 플레인(BP_MSB)이라고 불린다. 또한, 스케일가능 비트들은 각각 스케일가능 비트 플레인들을 형성한다. 도 1은 또한 R_MAX=3 및 C_MAX=4의 치수를 갖는 직사각형 스캔 존을 도시하며, R_MAX은 최대 로우 수이고, C_MAX는 최대 컬럼 수이다. 위치(0,0)가 DC 계수의 비트를 표현하는 것에 주목해야 한다.

본 발명에 따른 코딩 방법의 그래픽 시각화는 도 2에 도시되고, 그 방법은 하기에 설명할 것이다. 이 실시예에서, DC 계수는 완전히 비트 스트림의 개시부에서 송신된다. 다른 DCT 계수들은 가장 중요한 비트 플레인(BP_MSB)(부호 플레인(sign plane)을 카운트하지 않음)으로 시작하여 비트 플레인씩 인코딩되고 송신된다. 이것이 예컨대 하이브리드 인코더들을 위한 바람직한 실시예라고 하더라도, 다른 DCT 계수들과 동일한 방법으로 DC 계수를 예컨대 비트 플레인씩 인코딩할 수 있다. 각각의 비트 플레인을 인코딩하는 동안, 중요한 계수 및 중요하지 않은 계수 사이의 구별이 이루어진다. 중요한 계수(SC)는 하나 이상의 비트들이 이미 송신(보다 더 중요한 비트 플레인에서)된 계수이다. 중요하지 않은 계수는 어떤 비트들도 아직 송신되지 않은 계수이다. 이것은 이전의 비트 플레인들에서 모든 비트들이 0인 경우이다. 계수가 0을 갖는 한 스케일가능하다고 간주된다.

중요한 계수와 중요하지 않은 계수는 다른 확률 분포들(probability distributions)을 갖는다. 중요한 계수의 현재 비트 플레인에서의 비트는 0 또는 1이 되는 대략 같은 확률을 갖는다. 그러므로, 그것을 더 효율적으로 송신하려고 노력하는 것에 의해 그다지 얻어지지 않는다. 그러나, 중요하지 않은 계수에서의 비트는 0일 가능성이 있다. 더구나, DCT(및 전형적인 영상들)의 특성 때문에, 중요한 계수 및 중요하지 않은 계수는 클러스터(cluster)되기 쉽다. 이것은 구역 기술에 의해 많은 "중요하지 않은 0"을 효율적으로 송신하는 것을 가능하게 한다.

모든 계수들은 초기에 중요하지 않다고 마킹된다. 그 다음, 가장 중요한 비트 플레인(BP_MSB)으로 시작하여, 인코딩이 시작된다. 예컨대, 이전 중요하지 않은 계수가 0 비트가 아닐 때, 소정의 중요하지 않은 비트들이 현재 비트 플레인에서 중요해지는지가 발견되는 표시(즉, 도 2에 도시된 한 비트(0 또는 1))가 송신된다. 이들 소위 새롭게 중요한 계수들(NSC)이 발견되는 경우, 그들의 위치들은 도 1에 도시된 직사각형 스캔 존의 도움에 의해 송신된다. 새롭게 중요한 계수들의 위치들이 송신된 이후, 그들의 부호 비트들이 송신된다. NSC의 위치 등을 송신하는 방법은 하기에 설명된다. 새롭게 중요한 계수들의 비트들은 항상 1이기 때문에 송신되지 않는다. 다른 방법으로, 계수는 중요하지 않게 남아있을 것이다. 상술된 절차는 각각의 비트 플레인(BP_MSB...BP_LSB)을 위해 소정의 정지 조건이 예컨대, 소정의 비트 레이트 또는 품질 또는 오직 모든 비트 플레인들(BP_MSB...BP_LSB)이 비트 스트림에 넣어지는 것과 교차할 때까지 반복된다.

임의의 비트 플레인을 위하여, 중요한 계수들의 비트들(0 또는 0이 아닌)은, 새롭게 중요한 계수들이 현재 비트 플레인에 존재하더라도 송신되기 전에 자동적으로 송신된다. 모든 계수들이 절차의 시작에서 중요하지 않다고 마킹되기 때문에, 가장 중요한 비트 플레인(BP_MSB)을 위하여, 중요한 계수들이 전혀 존재하지 않고, 단지 비트들은 새롭게 중요한 계수들을 위해 송신될 뿐이다. 이들 새롭게 중요한 계수들은 그 다음 중요하다고 마킹된다. 이는 다음 비트 플레인이 처리될 때, 이들 계수들이 중요하고, 그들의 비트들이 자동적으로 송신되는 것을 의미한다. 소정의 새롭게 중요한 계수들이 발견되지 않은 경우, 표시는 (즉, 0 비트)을 송신하고, 코딩은 다음 비트 플레인으로 나아간다.

상술된 바와 같이, 새롭게 중요한 계수들의 위치를 인코딩하기 위하여, 직사각형 스캔 존이 이용된다. 스캔 존은 새롭게 중요한 계수들이 발견되는 영역을 가리킨다. 스캔 존의 치수들은 새롭게 중요한 계수들의 맨 뒤의 위치들에 의해 결정된다. 도 1을 참조로, R_MAX는 최대 로우 수(여기서, 3)를 가리키고, C_MAX는 최대 컬럼 수(여기서, 4)를 가리키며, 새롭게 중요한 계수가 발견된다. 스캔 존이 단지 새롭게 중요한 계수들이 발견되는 최대 영역을 가리키기 때문에, 정확한 위치들이 송신될 필요가 있다. 이것은 계수가 중요해지더라도 가리키게 되는 스캔 존 내에서 각각의 새롭게 중요한 계수를 위해 한 개의 비트를 송신함으로써 이루어진다. 이미 중요한 계수를 위해 비트를 송신하는 것은 필요하지 않기 때문에(또한, 만일을 대비하여 DC 계수를 위해, 이 계수는 개별적으로 송신되었다), 이 위치 코딩은 매우 효율적이다.

인코딩은 더 큰 크기를 가진 계수들이 더 낮은 수평 또는 수직의 주파수들로 가까워지기 쉽다는 관찰에 의거한다. 그러므로, 종래 기술 분야에서, 지그재그 또는 대각선 스캔 순서가 사용된다. 이 스캔 순사들은 신호-독립(signal-independent)이고, 데이터가 변환 블록의 상부 좌측 삼각형 영역에서 집중된다고 추측한다. 비록 이 가정이 평균적으로 사실이지만, 본 발명은 개개의 DCT 블록들이 종종 수평 또는 수직의 방향의 사선을 갖는다는 식견에 의거한다. 그러므로, 상술된 바와 같이 직사각형 스캔 존에 의존하는 신호(또한 상부 좌측 코너에서 시작하는 즉, 낮은 주파수들)는 계수들의 보다 더 효율적으로 인코딩을 생성한다. 인코더 및 대응하는 디코더가 이 스캔에 동조하는 한 이 영역을 스캔하는 것은 어떤 방법으로도 행할 수 있다. 가능한 스캔 순서들은 예컨대, 대각선, 지그재그, 수직 또는 수평이다.

직사각형 스캔 존은 같은 블록내의 한 비트 플레인에서 다른 비트 플레인까지뿐만 아니라 또한 한 블록에서 다른 블록까지 다를 수 있다. 소정의 새롭게 중요한 계수들이 소정의 비트 플레인에 대한 블록내에서 발견되지 않을 때, 임의의 스캔 존이 정해진다. 이 경우에, 단지 비트는 새롭게 중요한 계수들이 존재하지 않다는 것을 나타내기 위해 송신될 뿐이다.

상술된 실시예에서, 현재 비트 플레인의 중요한 계수들이 같은 비트 플레인에 대한 구역 정보와 새롭게 중요한 계수 앞에 비트 스트림에 임베딩된다는 것에 주목해야 한다. 이 순서는 본 발명의 범위에서 벗어나지 않고 변경될 것이다. 중요한 계수들은 예컨대, 새롭게 중요한 계수들에 대한 정보 다음에 비트 스트림에 임베딩될 수 있다.

만일 새롭게 중요한 계수들을 표현하는 비트 스트림의 일부가 엔트로피 코딩 즉, 산술 코딩(arithmetic coded)되면 실행을 코딩하는 것의 증가는 부가적인 복잡한 비용으로 이루어질 수 있다. 구역 정보는 예컨대, 하프만 코딩(Huffman coded)이 될 수 있다.

도 3은 DCT 변환기(1), 스케일가능 코더(2) 및 절단체(T3)를 포함하는 본 발명에 다른 예시적인 실시예를 도시한다. 스케일가능 코더(2)는 비트 플레인 스위치 검파기(BPS)(20), 스캔 유닛(R_MAX/C_MAX)(21), 중요한 계수의 인덱스(ISC)(22), 출력 멀티플렉서(23)를 포함한다. 디지털화된 영상을 나타내는 입력 신호는 신호(S)를 DCT(1)에서 DCT 변환되어 신호(S)가 된다. 스케일가능 코더(2)에서, DC 계수는 울력 멀티플레서(23)에 공급된다. DC 계수가 멀티플렉서(23)에 공급된 후, ISC(22)에서 인덱스된 중요한 계수들(SC)의 비트들은 BPS(20)에서 검출된 현재 비트 플레인으로 나아간다. 스캔 유닛(21)에서, 직사각형 스캔 존은 가장 중요한 비트 플레인(BP_MSB)에서 가장 중요하지 않은 비트 플레인(BP_LSB)까지 소정의 새롭게 중요한 계수들을 선택한다. 새롭게 중요한 계수들이 존재하는 경우, R_MAX 및 C_MAX를 위한 값들이 결정되어, 멀티플렉서(23)에 공급되며, 뒤이어 새롭게 중요한 계수들(NSC)을 위한 비트들이 공급된다. 이들 비트들은 전술된 바와 같이 NSC의 위치 및 부호들을 포함한다. 이 과정이 BPS(20)에서 검출된 각각의 다음 비트 플레인을 위해 반복된다. NSC는 ISC(22)에서 인덱스되고, 다음 비트 플레인에서 중요하다고 간주된다. 생성된 스케일가능 비트 스트림(O)은 절단체(3)의 소망 위치에서 비트 스트림을 간단히 절단하여 소망의 비트 레이트로 절단될 수 있다.

(DCT) 블록들로 구성된 전체 영상은 모든 DCT 블록들을 개별적으로 코딩함으로써 코딩될 수 있고, 스캔 방법상 그들을 연결한다. 전체 영상을 코딩하는 다른 방식은 도 4에 도시되어 있다. 분리된 DCT 블록들(DCT_1 내지 DCT_N)을 연결하는 것에 의해, 코딩된 DCT 블록들을 주기적으로 스캔하고, i=1내지 N을 갖는 개개의 블록들 DCT_i의 코딩된 변환 계수들(P1, P2,...) 즉, 1 또는 적은 비트의 일부만을 송신하는 것에 의해, 영상은 스케일가능 방식에 송신된다. 다음 스캔 경로는 그 다음 DCT 블록들의 코딩된 변환 계수들의 다음 부분을 얻는다. 부분(P3)에 대해 도 4에 도시된 바와 같이, 선택된 부분에서의 비트들의 수는 예컨대, 코딩된 변환 계수들 부분의 중요도에 의존하여, 각각의 블록 또는 각각의 스캔 경로에 따라 다를 수 있다. 소정의 중요한 데이터 또는 소정의 계수를 나타내는 다소의 비트들을 선택할 수 있고, 이는 다른 블록들에 대한 비트들의 다른 양에 의해 나타난다. 소정의 DCT 블록이 스캔 경로에서 요구하는 소정의 중요한 코딩 부분을 갖고 있지 않다면, 특정 DCT 블록이 스킵될 수 있다. 이것은 도 4에서 설명되며, 블록 DCT_2가 소정의 코딩된 변환 계수들 이상 즉, 코드가 소모된 것을 내포하고 있지 않기 때문에 블록 DCT_2는 제 3 스캔 경로(P3)에서 스킵된다. 소정의 스캔 경로에서 블록을 또한 스킵할 수 있다. 왜냐하면, 중요도가 DCT_4에 대한 제 4 스캔 경로에서 설명된 요구보다 더 낮기 때문이다. 다음 스캔 경로에서 이 블록 DCT_4의 코딩된 중요한 계수들의 다음 부분을 선택할 수 있게 한다. 이런 방식으로, 모든 DCT 블록들이 개별적으로 코딩되는 경우에 얻어지고 스캐닝 형태로 연결하는 블록 단위의 스케일가능 코딩 대신에 전체 영상의 스케일가능 코딩이 얻어진다.

MPEG2 및 H.263 등의 하이브리드 비디오 압축 방식은 모션 보상 코딩을 위해 영상 메모리를 이용한다. VLSI 구현에 있어서, 이 영상은 대개 그것의 크기가 크다는 이유 때문에 외부 RAM에 저장된다. 전체 시스템의 원가를 줄이기 위하여, 저장 이전에 계수 4 내지 5로 영상의 압축이 제안되어 있는데, 이것은 인코더 IC 자체에 영상 메모리를 내장할 수 있게 한다. DCT 영역 인코더에서, 입력 신호에 대해 인코딩 루프의 외측에서 DCT가 직접 행해진다(도 5 및 도 6 참조). 이것은 모션 추정 및 보상이 DCT 영역에서 수행되어야 함을 의미한다. 역양자화(IQ) 및 반전 MC(IMC)를 행하는 한 로컬 디코딩만이 행하여진다. 양자화(Q) 이후(현재까지는 IQ 이후)의 많은 수의 제로 계수들의 이점을 취하기 위하여, 본 발명을 따르는 스케일가능 코더(LLC)(도 3에 도시된 스케일가능 코더(2)와 유사)가 저장 단계 이전에 사용된다. 스케일가능 코딩 방법은 원래 손실이 없지만, 경우에 따라서는 비트 스트림으로부터 양자화될 수 있다. 모션 보상을 위한 메모리(MEM)로부터의 추출 동작이 스케일가능 디코더(LLD)에 의해 행해진다. 유의할 점은 거의 모든 인코더 부분들이 통상적인 비DCT 영역 인코더의 경우에 제한된 부분만이 DCT 영역내에 위치해있는 것과 마찬가지로 DCT 영역내에 현재 위치해 있다는 것이다.

실제 저장을 제어하고 보증하기 위해서는 상술한 바와 같이 스케일가능 압축이 사용된다.

도 5는 본 발명을 따르는 1차 DCT 영역 하이브리드 인코더를 포함하는 카메라 시스템을 도시하고 있다. 이 경우에 상기 하이브리드 인코더는 소위 'PIPI' 인코더가며, 이것은 교번하는 I(intra) 및 P(inter) 프레임들을 인코딩하는 것을 나타낸다. 상기 카메라 시스템은 카메라(4)와 하이브리드 인코더(5)를 포함한다. 카메라(4)에 의해 발생된 신호가 DCT(50)에서 1차 DCT 변환된다. 그 후에 변환된 신호에 대해 ME(51)에서 모션 추정이 행해지고 MC(52)에서 모션 보상이 행해진다. 모션 보상된 신호는 Q(53)에서 양자화된다. 양자화된 신호는 지그재그 스캐너(ZZ)(58)와, 런랭스 인코더(RLE)(59)와, 가변 길이 인코더(VLE)(6)에 의해 한층 더 처리되어서 예컨대 MPEG 인코딩된 신호를 얻는다. 양자화된 신호는 LLC(54)에서 추가로 스케일가능 코딩되고 이후에 메모리(55)에 제공된다. 메모리(55)의 요구되는 크기는 인코더(5) 자체의 버퍼/레이트 제어 메카니즘에 의해 보증될 수 있다. 그 이유는 인트라 프레임 I의 계수들만이 메모리(55)에 효과적으로 저장되기 때문이다. 인코더의 원가 및 편집 성능이 압축율보다 더 중요한 저장 애플리케이션 등의 응용 분야의 경우에 이것은 적합한 인코더가 된다. 루프 메모리(55)는 양자화기(53) 바로 다음에 배치되어, 원래의 인코더 성능의 이점을 거의 전부 갖게 된다. 모션 추정기(51)에서 사용될 수 있는 재구성된 프레임을 얻기 위해, 인코더는 메모리(55)에 결합된 스케일가능 디코더 LLD(56)와 역 양자화기 IQ(57)를 포함한다. 스케일가능 디코더 LLD(56)는 스케일가능 코더 LLC(54)의 역 동작을 수행한다.

더 높은 압축율에서, 더 낮은 비트 레이트에 대하여, 순차적인 P 프레임들이 사용되어야 한다. 멀티플 P 프레임 인코더(7)를 포함하는 카메라 시스템의 아키텍쳐는 도 6에 도시된다. 도 5와 유사하게, 인코더(7)는 DCT(70), ME(71), MC(72), Q(73), ZZ(80), RLE(81) 및 VLE(82)를 포함한다. 상기 Q(73)는 재구성된 신호를 얻기 위해 IQ(74)를 통해, 역 모션 보상기(IMC)(75)에 결합된다. 상호 코딩된 프레임들(P) 사이에, 제로가 아닌 계수들의 지정되지 않은 수는 루프 메모리(78)에 직접적으로 IMC 메카니즘(75)을 통해 슬립(slip)되어 Q(73)를 바이패스한다. 저장 요구들을 능동적으로 제어하기 위한 방법은 루프 메모리(78)로 가는 신호들을 양자화하는 것이다. 인코더의 목적된 출력 질보다 (훨씬) 더 높은 영상 품질을 유지하는 한, 어느 정도 양의 양자화는 허용될 수 있고, 순차적인 P 프레임들의 수는 제한된다. 이 양자화는 스케일가능 코딩 원리에 따라, 각각의 DCT 블록에 대한 임의의 퍼센트의 비트 스트림을 간단하게 스트림핑함으로써 실행된다. 분리된 버퍼 제어 메카니즘은 영상 내용을 프로파일하고, 주행중 이 퍼센트를 조절할 수 있다. 양자화 정보는 LLD(79)에서 실행되는 디코딩 위상에 대해 필요하지 않다. 추가의 양자화는 LLC(76)에 의해 스케일가능 비트 스트림 산물들에서 절단체 T(77)에 의해 실행된다. 폴-백 메카니즘은, 비 제로 계수들의 수가 수용될 수 있는 것 보다 더 높다면, 인트라 블록들(intra-blocks)에 대한 교환에 의해 사용될 수 있다. 도 5 및 6에 도시된 실시예들은 표준 MPEG 또는 유사하게 인코딩된 비트 스트림을 산출한다. 이 비트 스트림은 표준 디코더에 의해 디코딩될 수 있다.

상술한 실시예들에서, 루프 메모리에 스케일가능 비트 스트림을 공급하기 위해, 스케일가능 코딩이 인코더내에서 사용되었지만, 스케일가능 코딩은 원격 디코더에 스케일가능 비트 스트림을 송신하기 위해서도 사용될 수 있다. 그 뒤, 수신기는 스케일가능 비트 스트림을 디코딩하기 위한 수단을 필요로 한다. 도 7은 카메라(4)와 하이브리드 인코더(9)를 포함하는 카메라 시스템을 도시한다. 하이브리드 인코더(9)는 모션 추정기(ME)(90), 모션 보상기(MC)(91), DCT 변환기(92), 스케일가능 코더(LLC)(93)(도 3참조), 엔트로피 코더(EC)(94)(선택사양) 및 절단체(T)(95)를 포함한다. 인코더는 엔트로피 인코더(ED)(96)(선택사양), 스케일가능 디코더(LLD)(97), 역 DCT 변환기(IDCT)(98), 역 모션 보상기(IMC)(99) 및 메모리(MEM)(100)를 더 포함한다. 표준 지그재그 스캐닝, 주행 길이 코딩 및 가변 길이 코딩대신에, 하이브리드 코더(9)의 출력에 스케일가능 비트 스트림을 공급하기 위해, 스케일가능 코더 LLC(93)이 사용될 수 있다. 상기 스케일가능 비트-스트림은 EC(94) 예를들어, 산술법 이나 허프만 코팅으로 부호화된 엔트로피이다. 도7 에 따른 실시예는 소망의 비트 레이트로 출력 비트 스트림(BS)을 얻기 위해 상기 스케일가능 비트 스트림을 절단하는 출력 통로의 절단체(T)를 포함하고 있다. 상기 실시예는 양자기에 적합하도록 피드백 루프를 사용하는 실시예보다 빠르고 좋은 비트 레이트를 채택하는 편리하고 단순한 비트 레이트 제어를 제공한다. 도5 및 도6에 도시된 실시예와 도7 에 도시된 실시예의 콤비네이션도 실시할 수 있다. 모션 보상이 필요하지 않은 경우, 주로, DCT(92), 스케일가능 LLC 코더(93) 및 절단체 T(95)를 포함하는 실시예가 사용될 수 있다(도3 과 유사).

도7 의 실시예의 출력이 표준 MPEG-2 출력이 아니므로, 비 MPEG-2 표준 디코더는 상기 비트 스트림(BS)을 디코딩할 필요가 있다. 스케일가능 디코더(11)를 포함하는 수신기는 도8 에 도시되어 있다. 스케일가능 비트 스트림(BS)은 디코더 특히, 엔트로피 디코더(ED)에 수용된다. 상기 비트 스트림(BS)의 소스는 저장 매체(10)일 수 있지만, 일정 종류의 매체 상의 송신일 수도 있다. 엔트로피 디코딩 후에, 비트 스트림(BS)은 LLD(112)에 스케일가능하게 디코딩된다. 또한, 상기 디코더의 부가의 소자로는, 상기 인코더(9)의 그 상대물과 유사한 역전 DCT 변환(IDCT;113)이 있다. 절단에 의한 비트 계수는 디코더(11)에 의한 예상치 또는 임의값에 대해 0 으로 설정될 수 있다. 상기 디코딩된 비트 스트림은 디스플레이D(12) 상에 표시될 수 잇다. 인코더의 복잡도에 따라서, 상기 ED(111) 이나 IMC(114) 및 MEM(115)은 생략될 수 있다.

요약하면, 본 발명은 스케일가능 비트 스트림을 얻기 위해서 신호를 코딩하는 장치 및 방법을 제공한다. 상기 신호는 값들의 블록들을 포함한다. 각 블록은 비트 플레인의 시퀸스로서 표현되며, 상기 값은 비트 플레인의 중요도가 감소하는 순서로 스캔 및 송신된다. 각 비트 플레인에 대하여, 상기 스캔 및 송신은 상기 블록의 코너(통상, 상부 좌측 코너)로부터 시작되어 직사각형 스캔 존에서 실행된다. 양호하게는, 상기 스캔 및 송신은 각 블록에 대하여 개별적으로 실행된다. 생성된 비트 스트림은 소망의 위치에서 비트 스트림을 간단히 절단함으로써 소망의 비트 레이트로 양자화된다. 모든 값은 초기에 중요하지 않다고 마킹된다. 각 비트 플레인에 대하여, 각 중요한 값을 위한 비트, 예들 들어, 이전의 비트 플레인에서 새롭게 중요해지는 값이 송신된다. 중요한 값들 외에도, 소정의 중요하지 않은 값들이 현재의 비트 플레인에서 새롭게 중요해지는지가 송신된다. 직사각형 스캔 존의 크기는 현재의 비트 플레인의 새롭게 중요한 값으로 선택되어 송신된다. 이는 스캔 존 내에서 각각의 이전의 중요하지 않은 값에 대하여, 그 값이 새롭게 중요한 값이 되는지에 대한 표시 및 각각의 새롭게 중요한 값에 대한 부호 비트를 송신한다. 그 후, 다음 비트 플레인이 진행된다. 값들은 변환 계수들일 수 있다.

상술된 실시예들이 본 발명을 제한하기 보다는 오히여 실례를 보여 주고, 본 기술분야에 숙련된 자들이 많은 대안의 실시예들을 첨부된 청구항의 범위에서 벗어나지 않고 설계할 수 있다는 것에 주목할 필요가 있다. 영상들은 서브-영상들로 분할 될 수 있으며, 여기서 본 발명은 영상보다 오히여 서브 영상들에 적용된다. 청구항에서, 괄호 사이에 놓인 어떤 참조 부호들은 청구항을 제한하면서 해석되진 않을 것이다. 용어 "포함하는"은 청구항에 기술된 것들보다 다른 소자들 또는 단계들의 존재를 배제하지 않는다. 본 발명은 여러 다른 소자들을 포함하는 하드웨어에 의해, 적절히 프로그램된 컴퓨터에 의해 실행될 수 있다. 몇개의 수단을 열거하는 장치 청구항에서, 몇 개의 수단들은 하드웨어의 어떤 및 동일한 아이템에 의해 구현될 수 있다.

Claims

스케일가능 비트 스트림을 얻기 위해 값들의 블록들을 포함하는 신호를 코딩하는 방법에 있어서:

각 블록을 비트 플레인들의 시퀀스로서 표현하는 단계로서, 상기 값들의 가장 중요한 비트들은 가장 중요한 비트 플레인을 형성하고, 상기 값들 각각의 덜 중요한 비트들은 각각의 덜 중요한 비트 플레인들을 형성하는, 상기 표현하는 단계와;

비트 플레인의 중요도가 감소하는 순서로 상기 값들을 스캔 및 송신하는 단계를 포함하고,

각 비트 플레인에 대하여, 상기 스캔 및 송신하는 단계는 상기 블록의 상부 좌측 코너로부터 시작되어 직사각형 스캔 존(R_MAX, C_MAX)에서 실행되며, 상기 직사각형 스캔 존은 상기 블록내의 비트 플레인에 대하여, 상기 블록내의 비트 플레인에서 새롭게 중요한 값들의 가장 바깥쪽 위치들로부터 선택되는, 신호 코딩 방법.
제1항에 있어서,

상기 값들은 변환 계수들인, 신호 코딩 방법.
제1항에 있어서,

상기 코딩(2)은 각각의 개별 블록들에 대하여 각각의 스케일가능 비트 스트림들을 얻기 위해 각 블록에 대하여 개별적으로 실행되는, 신호 코딩 방법.
제1항에 있어서,

상기 스캔 및 송신(21, 23)하는 단계는:

모든 값들을 중요하지 않다고 초기에 마킹(22)하는 단계와;

각 비트 플레인(BP_MSB...BP_LSB)에 대하여,

- 현재 비트 플레인(BP)에 있어서 각 중요한 값(SC)에 대한 비트를 송신(21, 23)하는 단계와;

- 임의의 중요하지 않은 값들이 상기 현재 비트 플레인에서 새롭게 중요해지는지에 대한 표시를 송신(21, 23)하는 단계와;

- 상기 현재 비트 플레인에 있어서 상기 새롭게 중요한 값들에 대하여 상기 직사각형 스캔 존(R_MAX/C_MAX)의 치수들을 선택 및 송신(21, 23)하고, 상기 스캔 존 내에서 이전에 중요하지 않은 값 각각에 대하여, 그 값이 새롭게 중요한 값(NSC)이 되는지에 대한 표시 및 새롭게 중요한 값(NSC) 각각에 대한 부호 비트를 송신하는 단계를, 정지 조건이 충족될 때까지 실행하는 단계를 포함하는, 신호 코딩 방법.
제4항에 있어서,

상기 새롭게 중요한 값들(NSC)을 표현하는 상기 비트 스트림의 부분은 엔트로피 코딩(entropy coding)되는, 신호 코딩 방법.
제3항에 있어서,

스케일가능 비트 스트림은 상기 각각의 개별 블록들의 각각의 스케일가능 비트 스트림들(DCT_1....DCT_N)의 선택된 부분들(P1, P2,..)을 주기적 및 순차적으로 스캔하여 얻어지는, 신호 코딩 방법.
스케일가능 비트 스트림(O, BS)을 얻기 위해 값들의 블록들을 포함하는 신호를 코딩하는 장치(2)에 있어서:

각 블록내에서 비트 플레인들을 검출(20)하는 수단으로서, 상기 값들의 가장 중요한 비트들은 가장 중요한 비트 플레인을 형성하고, 상기 값들의 각각의 덜 중요한 비트들은 각각의 덜 중요한 비트 플레인들을 형성하는, 상기 검출(20)하는 수단과;

비트 플레인의 중요도가 감소하는 순서로 상기 값들을 스캔 및 송신(21, 23)하는 수단을 포함하고,

각 비트 플레인에 대하여, 상기 스캔 및 송신(21, 23)하는 수단은 상기 블록의 상부 좌측 코너로부터 시작되어 직사각형 스캔 존(R_MAX, C_MAX)에서 각 비트 플레인에 대하여 상기 스캔 및 송신을 실행하도록 배치되며, 상기 직사각형 스캔 존은 상기 블록내의 비트 플레인에 대하여, 상기 블록내의 비트 플레인에서 새롭게 중요한 값들의 가장 바깥쪽 위치들로부터 선택되는, 신호 코딩 장치(2).
제7항에 청구된 장치(93)와,

소정의 비트 레이트에서 상기 스케일가능 비트 스트림(O, BS)을 절단하는 절단체(truncator; 95)를 포함하는, 인코더(9).
제7항에 청구된 장치(54, 76)와,

이전 프레임을 저장하는 메모리(55, 78)를 포함하고,

상기 장치(54, 76)는 상기 메모리(55, 78)에 상기 스케일가능 비트 스트림(O, BS)을 공급하도록 배치되는, 인코더(5, 7).
카메라(4)와,

제8항 또는 제9항에 청구된 인코더(5, 7, 9)를 포함하는, 카메라 시스템.
디코딩 방법에 있어서:

값들의 블록들을 포함하는 스케일가능 비트 스트림을 수신하는 단계로서, 각 블록에 대한 상기 값들은 비트 플레인의 중요도가 감소하는 순서로 이용가능하고, 각 비트 플레인에 대하여 상기 블록의 상부 좌측 코너로부터 시작되어 직사각형 스캔 존에서 스캔되며, 주어진 블록에서, 상기 직사각형 스캔 존은 상기 블록내의 비트 플레인에 대하여, 상기 블록내의 비트 플레인에서 새롭게 중요한 값들의 가장 바깥쪽 위치들로부터 선택되는, 상기 수신하는 단계와;

상기 스케일가능 비트 스트림으로부터 상기 값들의 블록들을 재생하는 단계와;

상기 값들의 블록들을 디코딩하는 단계를 포함하는, 디코딩 방법.
스케일가능 디코더(11)에 있어서:

값들의 블록들을 포함하는 스케일가능 비트 스트림을 수신(111)하는 수단으로서, 각 블록들에 대한 상기 값들은 비트 플레인의 중요도가 감소하는 순서로 이용가능하고, 각 비트 플레인에 대하여 상기 블록의 상부 좌측 코너로부터 시작되어 직사각형 스캔 존에서 스캔되며, 주어진 블록에서 상기 직사각형 스캔 존은 상기 블록내의 비트 플레인에 대하여, 상기 블록내의 비트 플레인에서 새롭게 중요한 값들의 가장 바깥쪽 위치들로부터 선택되는, 상기 수신(111)하는 수단과;

상기 스케일가능 비트 스트림으로부터 상기 값들의 블록들을 재생(112)하는 수단과;

상기 값들의 블록들을 디코딩(113 내지 115)하는 수단을 포함하는, 스케일가능 디코더(11).
제12항에 청구된 스케일가능 디코더(11)와,

상기 디코딩된 값들을 출력(12)하는 수단을 포함하는, 수신기.
삭제
삭제