KR20050096169A

KR20050096169A - 차량 분배 시스템용 3ｄ-변환 비디오 코덱

Info

Publication number: KR20050096169A
Application number: KR1020057014029A
Authority: KR
Inventors: 미카엘 소더버그; 카즈 젤; 수브라마니암 시바라마크리시난; 마크 길
Original assignee: 아나로그 디바이시즈 인코포레이티드
Priority date: 2003-01-31
Filing date: 2004-01-15
Publication date: 2005-10-05
Also published as: JP2006517076A; EP1588567A1; WO2004071100A1; US20040151394A1

Abstract

이미지 데이터를 인코딩하고 디코딩하기 위한 방법 및 장치가 제공된다. 상기 방법은 고품질 혹은 낮은 지연시간과 같은 소정의 성능을 달성하기 위해 이미지 프레임 시퀀스에서의 다수의 순차적인 이미지 프레임들을 선택하는 단계; 계수들의 3차원 행렬을 제공하기 위해 상기 이미지 프레임 시퀀스에서의 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하는 단계; 및 전송용 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하는 단계를 포함한다. 상기 인코딩 및 디코딩 기술을 포함하는 차량 분배 시스템이 또한 제공된다. 상기 차량 분배 시스템은 네트워크에 결합되고 차량 내에서의 데이터를 분배하기 위한 하나 이상의 인코더 노드 및 하나 이상의 디코더 노드를 포함한다.

Description

차량 분배 시스템용 3Ｄ-변환 비디오 코덱{3D-TRANSFORM VIDEO CODEC FOR A VEHICLE DISTRIBUTION SYSTEM}

본 발명은 디지털 동기 네트워크를 통해 비디오를 분배하기 위한 비디오 압축 기술에 관한 것이다. 이 기술은 비디오를 차량들내에서 분배하는데 특히 유용하지만, 이러한 응용으로 제한되지 않는다. 본 발명은 또한 비디오 압축 기술을 포함하는 차량 분배 시스템에 관한 것이다.

오늘날, 차량들내에서의 드라이버 정보 및 인포테인먼트(infotainment) 시스템에 사용되는 주요한 네트워크 기술들은 모두 대역폭이 제한되어 디지털 비디오 애플리케이션에 다소 부적당하다. 이에 따라 자동차 제조업자 및 타이어-1 공급자는, 디지털 네트워크를 통해 오디오, 제어 및 패키지-기반 통신(예를 들어, TCP/IP 혹은 유사물)을 분배하고 또한 아날로그 동축 케이블을 통해 병렬로 비디오를 분배하는 시스템을 설계해야 한다. 물론 비디오가 다른 매체 및 제어 데이터와 함께 디지털 통신 버스를 통해 분배될 수 있다면 시스템 비용이 상당히 절감될 것이다.

MPEG 및ITU-T 표준에 기반한 시스템들은 알고리즘 복잡성, 낮은 예측성 및 고비용을 포함하는 여러 가지 이유로 적당하지 않다. 게다가, 이들 압축 기술들은 상대적으로 길고 비결정론적 지연시간(latency)을 특징으로 하고 있으며, 이러한 지연시간은 이들 압축기술들을 실시간 애플리케이션에 대해 유용하지 않게 한다.

발명의 개요

시간적인 도메인 데이터에 변환을 적용함으로써 복잡도가 낮고 지연시간이 작은 고도로 결정론적, 대칭적인 비디오 코덱을 생성하는 방법을 제안한다. 알고리즘의 복잡도가 낮기 때문에 상이한 플랫폼들 사이에서의 보다 비용이 적게 드는 포팅(porting), 경쟁 기술보다 훨씬 낮은 컴퓨팅 파워 요구사항 및 MPEG 혹은 ITU-T 표준 코덱보다 현저하게 보다 작은 코드 풋프린트를 제공한다. 이것이 "엔드-투-엔드(end-to-end)" 소프트웨어 솔루션을 가능하게 하고, 범용 디지털 신호 프로세서(DSP)를 활용하게 하는 반면, MPEG 혹은 ITU-T 알고리즘은 통상적으로 ASIC 또는 (대규모 병렬 긴 명령어 DSP와 같은) 매우 강력한 프로그래밍가능 디바이스를 필요로 한다. 그러므로, 본 발명의 솔루션은 대안 기술 보다 비용이 적게 들고 보다 융통성이 있다.

일 양태에 있어서, 본 발명은 대칭적, 고도로 결정론적, 낮은 복잡도, 시간적인 변환 디자인을 활용하는 비디오 압축 기술을 구성한다. 이것은 공간 도메인에서 미리 변환된 시간적인 데이터를 고해상도 변환함으로써 달성된다. 활용되고 있는 시간적인 중복량은 고도로 설정가능(configurable)하고 다양한 사용 케이스들로부터의 요구사항을 최적으로 충족시키기 위해 사용된다.

오늘날, 자동차 인포테인먼트 시스템 시장에서는 차량 내에서 동기 디지털 네트워크를 통해 낮은 대역폭, 작은 지연시간, 고품질 비디오 전송을 제공하는 솔루션을 찾고 있다. 상기 솔루션은 저비용이고 상이한 플랫폼에 용이하게 이식가능(portable)해야 하고 상이한 목적 및 리어 뷰 카메라/프런트 뷰 카메라, DVD-비디오 및 차량 네비게이션 정보와 같은 비디오 소스에 대해 고도로 설정가능해야 한다.

본 발명은 플랫폼 독립적이고 상이한 요구사항 세트들을 갖는 상이한 용도 케이스들에 고도로 설정가능한, 대칭적, 고도로 결정론적, 낮은 복잡도, 시간적인 변환 비디오 압축 기술을 사용함으로써 이들 요구들을 충족시키는 비디오 코덱용 솔루션을 제공한다.

디지털 네트워크를 통한 리어 뷰 카메라/프런트 뷰 카메라 비디오 전송에 대한 특정한 요구는 실시간, 결정론적인 작은 지연시간 및 낮은 대역폭이다.

본 발명은 시간적인 압축의 적절한 설정(configuration)을 선택함으로써 실시간, 결정론적 작은 지연시간 비디오 전송을 제공한다. 적절한 공간적인 압축 및 특정한 요구에 적합한 다른 압축 알고리즘 파라미터들을 선택함으로써 낮은 대역폭이 달성된다.

디지털 네트워크를 통한 DVD 비디오 전송에 대한 특정한 요구는 높은 가시 품질 및 낮은 대역폭이다.

본 발명은 높은 시간적인 압축 및 특정한 요구에 적합한 다른 알고리즘 파라미터들을 갖는 설정을 선택함으로써 낮은 대역폭, 높은 가시 품질 비디오 전송을 제공한다.

디지털 네트워크를 통한 차량 네비게이션 정보 비디오 전송에 대한 특정한 요구는 실시간, 결정론적 작은 지연시간 및 높은 가시 품질이다.

본 발명은 시간적인 압축의 적절한 설정을 선택함으로써 실시간, 결정론적 작은 지연시간 비디오 전송을 제공한다. 낮은 대역폭은 적절한 공간적인 압축 및 특정한 요구에 적합한 다른 압축 알고리즘 파라미터들을 선택함으로써 달성된다.

본 발명의 일 양태에 따르면, 이미지 데이터를 인코딩하는 방법이 제공된다. 상기 방법은 소정의 인코딩 성능을 달성하기 위해 이미지 프레임 시퀀스에서의 다수의 순차적인 이미지 프레임들을 선택하는 단계; 계수들의 3차원 행렬을 제공하기 위해 상기 이미지 프레임 시퀀스에서의 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하는 단계; 및 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하는 단계를 구비한다.

본 발명의 다른 양태에 따르면, 이미지 데이터를 인코딩하는 장치가 제공된다. 상기 장치는 소정의 인코딩 성능을 달성하기 위해 이미지 프레임 시퀀스에서의 다수의 순차적인 이미지 프레임들을 선택하기 위한 수단; 계수들의 3차원 행렬을 제공하기 위해 상기 이미지 프레임 시퀀스에서의 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하기 위한 수단; 및 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하기 위한 수단을 구비한다.

본 발명의 또 다른 양태에 따르면, 이미지 데이터를 인코딩하는 방법이 제공된다. 상기 방법은 소정의 인코딩 성능을 달성하기 위해 이미지 프레임 시퀀스에서의 다수의 순차적인 이미지 프레임들을 선택하는 단계; 상기 이미지 프레임 시퀀스의 대표적인 이미지 데이터를 서브-블록들로 분할하는 단계로서, 상기 서브-블록들 각각이 상기 이미지 프레임 시퀀스에서의 이미지 프레임들의 개수와 일치하는 깊이를 갖는, 상기 분할 단계; 상기 서브-블록들 각각에 대해, 서브-블록 계수들의 3차원 행렬을 제공하기 위해 상기 서브-블록들 각각에서의 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하는 단계; 및 인코딩된 비트 시퀀스를 제공하기 위해 상기 서브-블록 계수들을 처리하는 단계를 구비한다.

본 발명의 또 다른 양태에 따르면, 차량 내의 제1 위치로부터 제2 위치로 이미지 데이터를 전송하는 방법이 제공된다. 상기 방법은 소정의 성능을 달성하기 위해 이미지 프레임 시퀀스에서의 다수의 순차적인 이미지 프레임들을 선택하는 단계; 계수들의 3차원 행렬을 제공하기 위해 상기 이미지 프레임 시퀀스의 대표적인 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하는 단계; 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하는 단계; 상기 인코딩된 비트 시퀀스를 상기 차량 내에서의 제1 위치로부터 제2 위치로 전송하는 단계; 및 전송된 이미지 프레임 시퀀스를 제공하기 위해 상기 제2 위치에서 상기 인코딩된 비트 시퀀스를 디코딩하는 단계를 구비한다.

본 발명의 또 다른 양태에 따르면, 차량 내의 제1 위치로부터 제2 위치로 전송될 이미지 데이터를 처리하는 방법이 제공된다. 상기 방법은 계수들의 3차원 행렬을 제공하기 위해 이미지 프레임 시퀀스의 대표적인 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하는 단계; 및 상기 차량 내에서의 제1 위치로부터 제2 위치로의 전송을 위한 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하는 단계를 구비한다.

본 발명의 또 다른 양태에 따르면, 비트 시퀀스를 디코딩하는 방법이 제공된다. 상기 방법은 양자화된 계수들을 제공하기 위해 이미지 데이터의 대표적인 인코딩된 비트 시퀀스를 가변 길이 디코딩하는 단계; 탈양자화된 계수들을 제공하기 위해 상기 양자화된 계수들을 역양자화하는 단계; 및 이미지 프레임 시퀀스의 대표적인 이미지 데이터를 제공하기 위해 상기 탈양자화된 계수들에 대해 3차원 이산 코사인 역변환을 수행하는 단계를 구비한다.

본 발명의 또 다른 양태에 따르면, 차량 내에서의 비디오 신호를 분배하는 장치가 제공된다. 상기 장치는 상기 차량 내의 데이터를 분배하기 위한 네트워크; 상기 네트워크에 결합되고, 비디오 소스로부터 비디오 신호를 수신하고, 계수들의 3차원 행렬을 제공하기 위해 상기 비디오 신호로부터 유도되는 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하고, 또한 상기 네트워크를 통한 분배용 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하기 위한 인코더 노드; 및 상기 네트워크에 결합되고, 수신된 비디오 신호를 제공하기 위해 상기 인코딩된 비트 시퀀스를 디코딩하기 위한 디코더 노드를 구비한다.

본 발명의 또 다른 양태에 따르면, 비디오 소스를 네트워크에 대해 인터페이싱하기 위한 인코더 노드가 제공된다. 상기 인코더 노드는 비디오 신호를 이미지 데이터로 컨버팅하기 위한 비디오 아날로그-디지털 컨버터; 계수들의 3차원 행렬을 제공하기 위해 상기 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하기 위한 수단 및 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하기 위한 수단을 포함하는 디지털 신호 프로세서; 및 상기 네트워크를 통해 상기 인코딩된 비트 시퀀스를 전송하기 위한 네트워크 드라이버 디바이스를 구비한다.

본 발명의 또 다른 양태에 따르면, 차량 내에서의 비디오 신호들을 분배하는 장치가 제공된다. 상기 장치는 상기 차량 내의 데이터를 분배하기 위한 네트워크; 상기 네트워크에 결합되고, 제1 비디오 소스로부터 제1 비디오 신호를 수신하고, 계수들의 3차원 행렬을 제공하기 위해 상기 제1 비디오 신호로부터 유도되는 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하고, 또한 제1 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하기 위한 제1 인코더 노드로서, 상기 제1 비디오 신호로부터 유도되는 이미지 데이터가 제1 깊이를 갖는 제1 이미지 프레임 시퀀스를 구비하는, 상기 제1 인코더 노드; 상기 네트워크에 결합되고, 제1 수신된 비디오 신호를 제공하기 위해 상기 제1 인코딩된 비트 시퀀스를 디코딩하기 위한 제1 디코더 노드; 상기 네트워크에 결합되고, 제2 비디오 소스로부터 제2 비디오 신호를 수신하고, 계수들의 3차원 행렬을 제공하기 위해 상기 제2 비디오 신호로부터 유도되는 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하고, 또한 제2 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하기 위한 제2 인코더 노드로서, 상기 제2 비디오 신호로부터 유도되는 이미지 데이터가 상기 제1 깊이와는 상이한 제2 깊이를 갖는 이미지 프레임 시퀀스를 구비하는, 상기 제2 인코더 노드; 및 상기 네트워크에 결합되고, 제2 수신된 비디오 신호를 제공하기 위해 상기 제2 인코딩된 비트 시퀀스를 디코딩하기 위한 제2 디코더 노드를 구비한다.

본 발명을 더욱 잘 이해할 수 있도록, 여기에 참고로 포함된 첨부된 도면을 참조한다.

도 1 은 본 발명의 일 실시예에 따른 코딩/디코딩 프로세스의 블록도이다.

도 2 는 본 발명의 일 실시예에 따른 코딩/디코딩 프로세스를 예시하는 타이밍도이다.

도 3 은 본 발명의 일 실시예에 따른 코딩 프로세스를 예시하는 흐름도이다.

도 4 는 본 발명의 일 실시예에 따른 코딩/디코딩 프로세스를 활용하는 차량 분배 시스템의 블록도이다.

도 5 는 도 4 에 도시된 인코더 노드의 일 실시예를 나타내는 블록도이다.

도 6 은 도 4 에 도시된 디코더 노드의 일 실시예를 나타내는 블록도이다.

비디오 압축법은 미리 변환된 공간 데이터로부터 수신된 계수들의 이산 코사인 변환을 수행한다. 이용되는 시간 중복(temporal redundancy)량은 변환된 프레임의 개수에 의해 제어된다. 이것이 시스템을 다양한 요구조건, "비트 레이트상의 지연시간(latency over bit rate)", "지연시간상의 비트 레이트(bit rate over latency)" 등에 맞추는데 사용되는 주요(key) 디자인 파라미터이다.

시간 변환으로부터의 출력은 수학적인 표현을 사용하여 얻어지는 양자화 행렬에 의해 양자화된다. 양자화량 및 결과적으로 압축비는 재설정가능(reconfigurable) 스케일링 인자에 의해 런-타임으로 제어될 수 있다.

양자화된 출력은, 실험적인 데이터로부터 선택되고 (제로) 런-길이 인코딩(RLE: run-length encoding) 알고리즘으로 공급되는 스캔 테이블을 사용하여, 3차원에서 스캐닝된다.

RLE로부터의 출력은 가변 길이 코딩(VLC) 테이블을 사용하여 가변 길이 인코딩되고 풀(혹은 지연시간 문제를 회피하기 위해 인코딩된 최종 프레임)일 때 전송되는 출력 버퍼에 심볼-와이즈 복사된다.

디코더는 상술된 동작의 역(inverse), 그러므로 코덱의 근접 최적(near-optimal) 대칭적 성질을 수행한다.

인코딩 및 디코딩 알고리즘은 인코더에 의해 미리 생성된 버퍼를 프로세싱하는 디코더와 동시에 작동하도록 디자인되어 있다.

동시성 및 지연시간 최소화를 유지하는 스케일가능 전용 포스트-프로세싱 알고리즘이 활용가능하고 인코더에 의해 제어될 수 있다. 기본적인 알고리즘은 상이한 윈도우 및 결정 기준을 갖는 디블록킹(deblocking), 평균화 및 메디안 필터들이다. 이들 포스트-프로세싱 알고리즘은 MPEG 및 ITU-T 비디오 압축 표준에서 통상적으로 사용되는 모션 추정 및 모션 보상 알고리즘의 부족에 의한 이러한 솔루션에 적용할 수 있다.

에러 탄력성(resiliency)은 로우 비트 에러 레이트 네트워크의 성능에 의해 유도되는 설계에 의해 달성되고 그럼으로써 오버헤드를 최소화한다.

본 발명이 사용될 수 있는 응용들의 예는 다음과 같다:

·멀티미디어 통신용 디지털 동기 데이터 버스를 사용하는 차량(자동차, 기차 및 비행기를 포함)에서의 리어 뷰/프런트 뷰 카메라

·멀티미디어 통신용 디지털 동기 데이터 버스를 사용하는 차량(자동차, 기차 및 비행기를 포함)에서의 DVD 및 비디오 애플리케이션

·멀티미디어 통신용 디지털 동기 데이터 버스를 사용하는 차량(자동차, 기차 및 비행기를 포함)에서의 TV-튜너 애플리케이션

·동기 디지털 네트워크를 통한 그래픽 데이터의 분배를 필요로 하는 애플리케이션(예를 들어, 네비게이션 컴퓨터, 비디오 게임 콘솔 출력 또는 차량에서의 드라이버 정보 디스플레이(레이더, 적외선))

·멀티미디어 통신용 디지털 동기 데이터 버스를 사용하는 차량(자동차, 기차 및 비행기를 포함)에서의 화상 회의

상기 시스템은 데이터의 흐름을 따라 순차적으로 설명된다.

순방향 3DDCT (3차원 이상 코사인 변환):

압축 방식에서의 준비 단계는 직교 변환을 사용하여 공간/시간-도메인 데이터로부터 주파수 정보를 추출하는 것이다. 캡처된 화상 프레임의 시퀀스, 예를 들어 1, 2, 4 혹은 8은 3차원 블록을 나타내고, 3차원 블록은 8×8의 사이드(sides) 및 수집된 프레임의 개수에 의해 주어지는 깊이를 갖는 서브-블록으로 분할된다. 사용되는 직교 변환은 이산 코사인 변환(DCT)이다. 자연 비디오 콘텐트에 존재하는 시간 중복을 활용하기 위해, 공간 도메인에서의 정보의 주지된 2DDCT에 부가하여 DCT가 시간 도메인에서 수행된다.

F(u,v,w) = α(u)α(v)α(w)ΣiΣjΣkf(x,y,z)*

cos((x+1/2)uπ/8)cos((y+1/2)vπ/8)cos((z+1/2)wπ/8)

여기에서

Σi 는 인덱스 i 에 대한 합이고: x = 0..7

Σj 는 인데스 j 에 대한 합이고: y = 0..7

Σk 는 인덱스 k 에 대한 합이고: z = 0, 0..1, 0..3 혹은 0..7

α(q): q = 0 에 대해 1/√2

α(q): 그 외에 대해 1

x,y,z 는 3차원 공간에서의 인덱스이고 f(x,y,z)는 대응하는 위치에서의 픽셀값이다.

시간 중복의 활용의 레벨은 인코딩 전에 수집된 프레임의 개수 (본 예에서는 1, 2, 4 혹은 8)에 의해 구성되고 이것이 시스템을 소정의 대역폭 대 중복 요구조건에 적응시키는데 사용된다. 하나의 화상 프레임의 깊이가 2차원 이산 코사인 변환의 특별한 경우로 축소된다는 것을 이해할 것이다.

수학식 1의 변환에 의해 계수들의 3차원 행렬이 얻어진다. 8×8 (공간 차원에서) 이미지 서브-블록들에 대한 변환에 의해, 8×8의 사이드 및 이미지 프레임 시퀀스의 선택된 깊이에 일치하는 깊이를 갖는 계수 행렬, 즉 8×8×깊이 차원을 갖는 행렬이 얻어진다. 8×8×깊이 서브-블록은 계산 복잡도를 제한하는데 사용된다. 그러나, 본 발명은 이것으로 제한되지 않고 보다 크거나 혹은 보다 작은 서브-블록을 활용할 수 있고, 또는 원리상으로 이미지 시퀀스를 서브-블록으로 분할하지 않고 완전한 이미지를 처리할 수 있다.

실제 비디오 데이터로부터 취득된, 시간 깊이 2를 갖는 경우에 대한 예가 시그널 체인을 통해 추종된다:

오리지널: 프레임 0

프레임 1:

이러한 입력과 k (깊이를 나타냄)를 [0,1]로 설정하여 수학식 1의 값을 구하면 계수들의 3차원 함수를 구할 수 있다:

DCT 이후:

양자화:

변환된 계수들은 이후 개별 계수들이 양자화 행렬로부터 얻어진 양자화 인자에 의해 분할되는 양자화 단계로 넘어간다. 이러한 행렬에 따라, 양자화 인자는

[0,7] 에서의 u

[0,7] 에서의 v

[0,0],[0,1],[0,3] 혹은 [0,7] 에서의 w

모두에 대해 런-타임 동안 양자화를 제어하는데, 예를 들어 비트-레이트, 즉

Q(u,v,w) = nint(F(u,v,w)/(k*q(u,v,w)))

를 제어하는데 사용되고 여기에서 "nint" 는 최근접 정수이고 k 는 양자화 인자로서, 이 경우에는 '1' 이다. 양자화 행렬 q(u,v,w)은 3차원 행렬이다. 8×8×깊이 이미지 서브-블록에 대하여, 양자화 행렬은 8×8의 사이드 및 이미지 프레임 시퀀스의 선택된 깊이와 일치하는 깊이를 갖는다.

이전의 예를 계속하면, 양자화 행렬 q(u,v,w)은

양자화 스텝에 의해 양자화된 계수들의 3차원 행렬이 얻어진다. 8×8×깊이 이미지 서브-블록에 대하여, 양자화된 계수들의 행렬은 8×8의 사이드 및 이미지 프레임 시퀀스의 선택된 깊이와 일치하는 깊이를 갖는다.

양자화 이후:

가변-길이 인코딩:

양자화 스텝으로부터의 출력은 통상 다수의 제로들을 포함한다. 가변-길이 인코딩을 효과적으로 수행하기 위해, 이들 계수들은 조심스럽게 디자인된 스캔 테이블에 따라 재배열된다.

스캔 테이블을 갖는 다음 예:

여기에서 계수들은 위의 양자화된 계수들이 수집되어야 하는 순서를 나타낸다. 스캔 테이블에서의 숫자는 평이한 판독 순서, 즉 상부-하부 및 좌-우로 양자화된 계수들의 행렬에서의 값들을 색인(index)하는데 사용된다. 이런 식으로, 숫자 0-63은 첫번째 8×8 행렬에서의 값을 색인하고, 숫자 64-127은 두번째 8×8 행렬에서의 값을 색인한다. 그래서, 예를 들어, 이러한 스캔 순서에 있어서, 수집된 5번째 요소(element)는 판독 순서에서 3번째이다. 이것이 다음 시퀀스를 생성한다:

상기 예를 계속하면, 현재의 비트 스트림이 다음의 가변 길이 코드워드에 따라 생성된다.

본 예(12)에서, DC-컴포넌트는, DC-예측이 사용되는 경우를 제외하고, 고정된 개수의 비트로 인코드된다. 이것이 인코드된 DC-계수들에서 고유 중복(inherent redundancy)을 활용하는 방식이다. DC-예측 동안, 현재와 동일한 위치에서 이전의 깊이의 서브-블록으로부터의 DC-컴포넌트의 차이가 전송되고 AC-컴포넌트와 동일한 코드 테이블로 인코드된다. 주의: DC-컴포넌트는 결코 양자화되지 않으므로, 이것의 결과로서 정보 손실이 도입되지 않는다. DC-컴포넌트는 여기에서 '6'이고, '6'은 "000000001100"으로서 인코드되고, "000000001100"은 부호 비트에 대한 여지(room)를 만들기 위해 시프트된 일 비트가 남겨진 DC-컴포넌트의 절대값이고, 이 경우에는 인코드된 숫자가 양이므로 '0' 이다. 다음 숫자 '0' 이 주목되지만 인코딩이 발생하지 않고 대신 알고리즘은 다음 값, 이 경우에 '-1' 을 찾는다. 이제, 가변 길이 인코더는 가변 길이 코드가능에서의 엔트리, 구체적으로는 "1100" 을 갖는, ["연속적인 제로들의 개수", "계속되는 넌-제로 숫자의 절대값"] 을 나타내는 런-사이즈 쌍 [1,1] 을 갖고 인코딩이 발생한다. 오리지널 숫자가 '-1' 이었기 때문에, 부호 비트가 최우측 비트에 부가되어 시퀀스 "1101" 이 만들어진다. 완료를 위해, 나머지 비트 발생은 덜 자세하게 설명된다.

선행하는 제로들을 갖지 않는 '-2' 는 다음의 런-사이즈 쌍 [0,2]의 인코딩을 초래한다. 부호 인코딩 이후, 이 계수값은 "10011"로서 인코딩된다.

계속되는 124개의 제로들은 인코딩되지 않는다. 대신 END_OF BLOCK("010011")으로 명명된 심볼이 비트스트림에 부가되고 디코더는 이 시퀀스에 제로들만이 남겨졌는지를 올바르게 결정한다.

이 서브-블록으로부터 부가되는 비트 시퀀스는 그러므로 128×8/26 = 39.4의 압축 인자를 초래하는 "000000001100110110011010011"이다.

예를 들어, 상당히 큰 요소에 의해 추종되는 다수의 연속적인 제로들과 같은 보통이 아닌 상황에 대처하기 위해, 코드-테이블은, 모든 가능한 런-사이즈 쌍이 단일하게 인코딩될 수 있음을 보장하는 이스케이프-코딩(escape-coding) 메카니즘을 수반한다.

가변 길이 인코딩 절차에 대한 입력의 통계적인 특성들은 모션-추정/모션 보상에 기초한 통상적인 비디오 압축 방법들의 것과 상이하다. 이를 테면, 매우 긴 제로들의 런-길이가 가능하다. 가변 길이 인코딩 테이블에는 그러므로 지정된 멀티-레벨 이스케이프-인코딩 메카니즘이 갖추어져 다수의 자연 비디오 시퀀스로부터의 실험적인 데이터를 사용하여 유도되는 가변 길이 코딩 테이블에 부가적으로 압축이 더욱 향상된다.

이스케이프-코딩은 다음의 경우들로 분할된다:

· 전체적인 최대 한계를 초과하는 제로들의 런(run) 및 뒤이어 일어나는 요소들 절대값 = 1

·영과 일치하는 제로들의 런 및 전체적인 최대 한계를 초과하는 요소

·8 미만의 제로들의 런 및 128 미만의 요소

·나머지 경우들을 위한 에스케이프-코드

가변 길이 인코더로부터의 비트스트림 출력은 네트워크를 통한 전송을 위해 고정된 사이즈의 버퍼들로 패킷화된다. 버퍼 사이즈는 설정가능하고 네트워크 전송 프로토콜로부터의 권고(recommendation)을 충족하도록 설계될 수 있다.

디코더가 비트스트림을 수신할 때, 단일 심볼들의 구문 분석(parsing)이 일어난다. 본 예에 있어서, 그것은 먼저 첫번째 12개의 비트(DC-예측이 활용되지 않는 것으로 가정)를 조사하고 '6'이 DC-컴포넌트로서 송신되었음을 결정한다. 그 다음에 디코더는 후속 비트스트림을 구문 분석하고 '1101'을 만나면 이것이 최소의 단일 후속 시퀀스임을 결정하고 그 결과 그것을 매그니튜드 "'1'의 요소에 의해 추종되는 하나의 '0'" 으로서 결정한다. 최종 비트는 '1'이었기 때문에, 요소는 음의 부호이었던 것으로 결정되고 0, -1의 디코딩된 시퀀스를 초래하고 요소 시퀀스 6, 0, -1 을 갖게 된다. 동일한 방법을 추종하면, 비트 "10011"은 "매그니튜드 '2' 에 의해 추종되는 제로 '0'으로서 디코딩되고 최종 비트를 갖는 부호를 '-2'로서 보상된다. 비트스트림에서의 비트들의 다음의 단일 시퀀스는 END_OF_BLOCK 으로서 디코딩되는 "010011"이고, 또는 보다 구두적으로는, "이 서브-블록의 나머지에서의 제로들만"에 의해 디코더는 124개(128-4개의 이미 디코딩된 심볼)의 제로들을 시퀀스에 부가한다.

디코더는 본질적으로 인버스 스캔 및 포워드로부터의 상술된 활동들의 역을 수행하고 있다.

역 양자화 방정식은,

[0,7] 에서의 u

[0,7] 에서의 v

[0,0],[0,1],[0,3] 혹은 [0,7] 에서의 w

모두에 대해

F(u,v,w) = nint(Q(u,v,w)*k*q(u,v,w))

로 주어지고, 여기에서 Q(u,v,w)는 디코딩된 비트스트림을 역스캐닝한 후에 얻어지는 서브-블록의 요소들이다. 역 3D-IDCT는 다음의 방정식으로 주어지고:

f(x,y,z) = ΣiΣjΣkα(u)α(v)α(w)F(u,v,w)*

cos((x+1/2)uπ/8)cos((y+1/2)vπ/8)cos((z+1/2)wπ/8)

여기에서

Σi 는 인덱스 i 에 대한 합이고: u = 0..7

Σj 는 인데스 j 에 대한 합이고: v = 0..7

Σk 는 인덱스 k 에 대한 합이고: w = 0, 0..1, 0..3 혹은 0..7

α(q): q = 0 에 대해 1/√2

α(q): 그 외에 대해 1.

디코더 복잡도는 비트스트림의 생성이 비트스트림을 구문 분석하고 디코딩하는 것보다 더 요구되기 때문에 인코더보다 약간 덜하지만, 2개의 알고리즘은 우수한 정확도로 동일하게 계산상 지나치게 요구하는 것으로 간주될 수 있다. 이것은 인코더가 새로운 것을 생성하는 것과 동시에 디코더가 수신 버퍼를 처리하도록 허용함으로써 인코더와 디코더의 동시 실행을 가능하게 한다. 이벤트들의 이러한 시퀀스가 도 2에 도시되어 있다. 이러한 방식에 대한 유일한 예외는, 전송 버퍼가 어떻게 충전되어 있는가에 관계없이, 전체적인 시간 깊이를 처리하는 것이 마무리되면 인코더는 항상 전송 버퍼를 송신한다는 것이다. 이것이 증가된 지연시간을 감소시키는 것이다.

본 발명의 일 실시예에 따른 인코딩/디코딩 프로세스의 단순화된 흐름도가 도 1에 도시되어 있다. 선택된 개수의 이미지 프레임을 포함하는 이미지 프레임 시퀀스(10)가 획득된다. 상술한 바와 같이, 이미지 프레임 시퀀스의 깊이로서 또한 알려져 있는, 이미지 프레임 시퀀스에서의 이미지 프레임의 개수가 소정의 성능을 제공하도록 선택된다. 이미지 프레임 시퀀스는 순방향 3-차원 이산 코사인 변환(12), 양자화(14) 및 가변 길이 인코딩(16)을 수행함으로써 인코딩된다. 인코딩 프로세스의 결과는 이미지 프레임 시퀀스(10)를 나타내는 인코딩된 비트 시퀀스이다. 인코딩된 비트 시퀀스는 네트워크(20) 또는 다른 전송 채널을 통해 전송된다. 수신된 비트 시퀀스는 가변 길이 디코딩(30) 및 역양자화(32)에 의해 디코딩되고 3-차원 이산 코사인 역변환(34)을 수행함으로써 수신된 이미지 시퀀스(40)가 생성된다. 수신된 이미지 프레임 시퀀스의 품질 및 수신된 이미지 프레임 시퀀스를 생성할 때의 지연시간(지연)은 이미지 프레임 시퀀스의 선택된 깊이의 함수들이다.

본 발명의 일 실시예에 따른 인코딩된 정보의 네트워크 데이터 전송을 예시하는 타이밍도가 도 2에 도시되어 있다. 파형(100)은 카메라, DVD 플레이어 또는 다른 비디오 소스에 의해 생성된 일련의 이미지 프레임들의 타이밍을 나타낸다. 상술한 바와 같이, 본 발명에 따른 인코딩은, 선택된 깊이, 즉 이미지 프레임의 개수를 갖는 이미지 프레임 시퀀스를 처리하는 것을 포함한다. 도 2의 예에서, 선택된 깊이는 4개의 이미지 프레임이다. 따라서, 이미지 프레임 시퀀스(110)는 상술된 바와 같이 인코딩되어 있는 4개의 이미지 프레임을 포함한다. 인코더는 네트워크를 통해 수신처로 전송될 네트워크 버퍼를 충전한다. 버퍼들의 전송은 도 2에서 파형(120)으로 도시되어 있다. 이미지 프레임 시퀀스(110)를 나타내는 정보가 시간 간격(130) 동안 네트워크를 통해 전송된다. 인코더와 송신기가 동시에 동작하도록 송신기가 하나의 버퍼를 보내는 동안, 인코더는 인코딩하여 다른 버퍼를 충전한다. 수신단(receiving end)에서, 디코더는 네트워크로부터 데이터 버퍼들을 수신하고 상술한 바와 같이 디코딩을 수행한다. 디코딩된 정보는 이미지 프레임 시퀀스(110)에 대응하는 이미지 프레임 시퀀스(140)를 생성한다. 수신기와 디코더가 동시에 동작하도록 디코더가 하나의 수신된 데이터 버퍼를 디코딩하는 동안, 수신기는 다른 버퍼를 수신한다.

본 발명의 일 실시예에 따른 인코딩 프로세스의 흐름도가 도 3에 도시되어 있다. 스텝(200)에서, 이미지 프레임 시퀀스의 깊이는 소정의 성능을 제공하도록 선택된다. 상술한 바와 같이, 상대적으로 작은 깊이는 상대적으로 낮은 지연시간을 제공하는 반면, 상대적으로 큰 깊이는 높은 이미지 품질을 제공할 수 있다. 스텝(202)에서, 이미지 프레임 시퀀스는, 통상 8×8의 사이드 및 이미지 프레임 시퀀스의 선택된 깊이에 대응하는 깊이를 갖는 서브-블록들로 분할된다. 스텝(204)에서, 3차원 이산 코사인 변환이 각각의 서브-블록에 대해 수행된다. 그 결과는 각각의 서브-블록에 대한 3차원 계수 행렬이다. 스텝(206)에서, 각각의 계수 행렬은 바람직하게는 3차원 양자화 행렬 및 양자화 인수를 사용하여 양자화된다. 스텝(208)에서, 각각의 양자화된 계수 행렬이 스캔 테이블에 따라 스캔되어 순서화된 계수들의 세트가 제공된다. 스텝(210)에서, 순서화된 계수들의 가변 길이 인코딩이 수행된다. 가변 길이 인코딩 프로세스에서는 가변 길이 인코딩 테이블을 활용하여 순서화된 계수들이 인코딩된 비트 시퀀스로 변환된다. 스텝(212)에서, 인코딩된 비트 시퀀스는 네트워크 또는 다른 전송 채널을 통해 전송된다.

여기에 설명된 인코딩/디코딩 기술은 차량에서의 비디오 정보를 분배하는데 특히 유용하지만, 그러한 응용으로 제한되지는 않는다. 본 발명의 실시예에 따라 코딩/디코딩 프로세스를 활용하는 차량 분배 시스템의 블록도가 도 4에 도시되어 있다. 차량 분배 시스템은 차량 내의 하나 이상의 소스로부터 하나 이상의 목적지까지 비디오 정보를 전달하기 위한 네트워크(300)를 활용한다. 일 실시예에 있어서, 네트워크(300)는 MOST Cooperation에 의해 개발된 MOST 네트워크로 알려진 광섬유 버스 시스템을 활용할 수 있다. MOST 네트워크에 대한 정보는 www.mostcooperation.com 에서 활용할 수 있다. 다른 실시예에 있어서, 네트워크(300)는 IDB1394, D2B 혹은 다른 것들과 같은 구리 전기 버스 시스템을 활용할 수 있다. 다양한 소스 노드들 및 목적지 노드들이 네트워크(300)에 접속된다. 도 4의 예에서, 차량 분배 시스템은 매체 소스 인코더 노드(310), 네비게이션 시스템 인코더 노드(312) 및 리어 뷰 비디오 획득 인코더 노드(314)를 포함할 수 있다. 매체 소스 인코더 노드(310)는 DVD 플레이어(320)와 네트워크(300) 사이의 인터페이스로서 기능할 수 있다. 리어 뷰 비디오 획득 인코더 노드(314)는 카메라(322) 와 네트워크(300) 사이의 인터페이스로서 기능할 수 있다. 차량 분배 시스템은 또한 드라이버 정보/비디오 디스플레이 디코더 노드(340), 리어 비디오 디스플레이 디코더 노드(342) 및 리어 비디오 디스플레이 디코더 노드(344)를 포함할 수 있다. 디코더 노드들 각각은 네트워크(300)와 비디오 디스플레이 스크린(350) 사이의 인터페이스 및 네트워크(300)와 스피커(352) 혹은 헤드세트(354) 사이의 인터페이스로서 기능할 수 있다.

동작에 있어서, 각 인코더 노드는 상술한 바와 같이 비디오 정보를 인코드하고 인코딩된 정보를 네트워크(300)를 통해 송신하여, 모든 디코더 노드에 활용할 수 있게 할 수 있다. 각 디코더 노드는 수신된 정보를 디코딩하여 비디오 디스플레이 스크린(350)용 비디오 신호 및 선택적으로는 스피커(352) 및/또는 헤드세트(354)용 음성 신호를 생성할 수 있다. 송신된 신호들은 하나 이상의 수신처에서 수신될 수 있다. 일 예에 있어서, 매체 소스 인코더 노드(310)는 DVD 플레이어(320)로부터의 인코딩된 비디오를 네트워크를 통해 송신할 수 있고 리어 비디오 디스플레이 디코더 노드(342 및 344)의 양쪽 또는 한쪽은 차량내의 승객이 보기 위한 정보를 디코딩할 수 있다. 다른 예에 있어서, 네비게이션 시스템 인코더 노드(312)는 인코딩된 네비게이션 비디오 정보를 송신할 수 있고, 드라이버 정보/비디오 디스플레이 디코더 노드(340)는 인코딩된 네비게이션 비디오 정보를 수신하고 디코딩하여 차량의 운전자가 볼 수 있게 할 수 있다. 또 다른 예에 있어서, 리어 뷰 비디오 획득 인코더 노드(314)는 카메라(322)로부터의 인코딩된 비디오 정보를 네트워크를 통해 드라이버 정보/비디오 디스플레이 디코더 노드(340)에게 송신할 수 있고, 드라이버 정보/비디오 디스플레이 디코더 노드(340)는 인코더 노드(312)로부터의 인코딩된 네비게이션 정보를 디코딩하는 것에 부가하여 이를 디코딩하여 "영상내의 영상" 을 디스플레이할 수 있다.

본 발명의 일 실시예에 따른 인코더 노드(400)의 블록도가 도 5에 도시되어 있다. 인코더 노드(400)는 도 4에 도시된 인코더 노드들(310, 312 및 314) 각각에 대응할 수 있다. 인코더 노드(400)는 카메라, DVD 플레이어 혹은 네비게이션 컴퓨터와 같은, 비디오 소스로부터의 비디오 신호를 수신하기 위한 비디오 아날로그-디지털 컨버터(410)를 포함할 수 있다. 비디오 아날로그-디지털 컨버터(410)는 비디오 소스가 디지털 인터페이스를 갖추고 있으면 생략될 수 있다. 디지털 비디오 신호가 상술된 바와 같이 비디오 신호를 인코딩하기 위한 소프트웨어를 포함하는 디지털 신호 프로세서(DSP; 420)에 공급된다. 일 예만으로서, DSP(420)는 Analog Devices,Inc에 의해 제조되고 판매되는 ADSP-21532 Blackfin DSP일 수 있다. 인코더 노드(400)는 또한 양쪽 모두 DSP(420)에 결합된 메모리(422) 및 플래시 메모리(424)를 포함할 수 있다. 인코딩된 비디오 정보가 DSP(420)에 의해, 네트워크 프로토콜에 따라 네트워크(300)를 통해 인코딩된 정보를 송신하기 위한 회로를 포함하고 있는 네트워크 드라이버 디바이스(430)에 공급된다. 네트워크 드라이버 디바이스(430)는 네트워크(300)를 통해 송신될 정보를 유지하기 위한 네트워크 버퍼들을 포함할 수 있다.

본 발명의 일 실시예에 따른 디코더 노드(500)의 블록도가 도 6에 도시되어 있다. 디코더 노드(500)는 도 4에 도시된 디코더 노드(340, 342 및 344) 각각에 대응할 수 있다. 인코딩된 정보가 네트워크(300)를 통해 네트워크 드라이버 디바이스(510)에 의해 수신된다. 네트워크 드라이버 디바이스(510)는, 네트워크(300)를 통해 정보를 수신하기 위한 네트워크 버퍼들을 포함하는 회로를 포함할 수 있다. 수신된 정보는 상술된 바와 같이 인코딩된 정보를 디코딩하기 위한 소프트웨어를 갖는 DSP(520)에 공급된다. DSP(520)는 예를 들어 ADSP-21532 Blackfin DSP일 수 있다. 디코더 노드(500)는 또한 양쪽 모두 DSP(520)에 결합된 메모리(522) 및 플레시 메모리(524)를 포함할 수 있다. 디코딩된 비디오 정보가 DSP(520)에 의해 비디오 디지털-아날로그 컨버터(530)를 통해 비디오 디스플레이 스크린(350)으로 공급된다. 비디오 디스플레이 스크린(350)이 디지털 인터페이스를 갖추고 있으면 비디오 디지털-아날로그 컨버터(530)는 생략될 수 있다. 디코딩된 음성 정보는 DSP(520)에 의해 음성 디지털-아날로그 컨버터(540)를 통해 헤드세트(354) 및/또는 스피커(352)로 공급된다.

동작에 있어서, 인코딩된 비디오 정보가 인코더 노드(500)에 의해 네트워크(300)를 통해 수신된다. 인코딩된 정보는 상술된 바와 같이 디코딩되고 적절한 터미널 디바이스로 공급된다. 인코딩된 정보는 네트워크에 대한 액세스를 갖는 임의의 인코더 노드에서 유래할 수 있다.

위에 나타낸 바와 같이, 이미지 프레임 시퀀스의 깊이로도 알려져 있는, 이미지 프레임 시퀀스에서의 이미지 프레임의 개수는 소정의 성능을 제공하도록 선택된다. 수신된 이미지 프레임 시퀀스의 품질 및 수신된 이미지 프레임 시퀀스를 생성할 때의 지연시간은 이미지 프레임 시퀀스의 선택된 깊이의 함수들이다. 상대적으로 작은 깊이는 상대적으로 낮은 지연시간을 제공할 수 있는 반면, 상대적으로 큰 깊이는 높은 이미지 품질을 제공할 수 있다. 이미지 프레임 시퀀스의 깊이는 수동으로 혹은 자동적으로 선택될 수 있고, 또는 미리 프로그래밍될 수 있다. 예를 들어, 1, 2, 4 혹은 8개의 이미지 프레임의 깊이가 선택될 수 있다. 그러나, 다른 깊이값들도 본 발명의 범위내에서 활용될 수 있다.

깊이 선택의 예들이 도 4를 참조하여 설명된다. 일 예에서, 매체 소스 인코더 노드(310) 및 리어 비디오 디스플레이 디코더 노드(342)는 DVD 플레이어(320)로부터의 고품질 비디오를 차량 승객들에게 분배하기 위해 상대적으로 큰 깊이로 프로그래밍될 수 있다. 다른 예에서, 리어 뷰 비디오 획득 인코더 노드(314) 및 드라이버 정보/비디오 디스플레이 디코더 노드(340)는 카메라(322)로부터의 비디오를 낮은 지연시간으로 차량 드라이버에게 분배하기 위해 상대적으로 작은 깊이로 프로그래밍될 수 있다. 게다가, 인코더 노드(314) 및 디코더 노드(340)에 의해 처리되는 이미지 프레임 시퀀스의 깊이는 차량이 전방으로 혹은 후방으로 이동하고 있는가에 응답하여 자동적으로 변화될 수 있는데, 그 이유는 이미지들의 변화율이 차량의 후방 이동에 대해서 보다 전방 이동에 대해 보다 커지기 쉽기 때문이다. 또 다른 예에서, 드라이버 정보/비디오 디스플레이 디코더 노드(340)는 이미지 데이터가 네비게이션 시스템 인코더 노드(312)로부터 혹은 리어 뷰 비디오 획득 인코더 노드(314)로부터 수신되는가에 응답하여 이미지 프레임 시퀀스의 가변 깊이를 가질 수 있다. 디코더 노드(340)에 의해 활용되는 깊이는 인코딩된 비디오 정보에 앞서 인코더 노드로부터 송신된 헤더에 포함된 깊이 정보에 응답하여 설정될 수 있다. 또 다른 예에서, 차량 분배 시스템은 차량 점유자가 이미지 품질 및/또는 지연시간을 제어할 수 있게 하는 제어 입력부를 가질 수 있다. 제어 입력부는 적절한 깊이의 이미지 프레임 시퀀스를 선택한다.

위의 예들에 기초하여, 차량 분배 시스템이 제1 깊이의 이미지 프레임 시퀀스에서 동작하는 제1 인코더 노드와 제1 디코더 노드 및 제2 깊이의 이미지 프레임 시퀀스에서 동시에 동작하는 제2 인코더 노드와 제2 디코더 노드를 가질 수 있음은 명백하다. 제1 및 제2 깊이는 동일하거나 또는 상이할 수 있다. 각 깊이는 특정한 애플리케이션에 대해 소정의 성능을 제공하도록 선택된다.

여기에 설명된 코딩 및 디코딩 방법은 런-타임, 재설정가능, 차별화된 시간적 압축 깊이를 사용할 수 있고, 따라서 낮은 지연시간 동작을 가능하게 한다. 상기 방법은 DCT를 시간적인 정보, 즉 프레임 당을 기초로(on a per-frame basis) 픽셀값에서의 차이들에 적용할 때 영상 프레임의 설정 가능량을 활용한다. 현재의 선택은 1, 2, 4 혹은 8 프레임이고 따라서 3D-DCT가 런-타임에서 재설정되어 변환이 계산된다. 이것이 지연시간/비트 레이트 대 비디오 품질 사이의 자연스런 트레이드-오프에 대한 다양한 요구조건을 충족할 수 있는 융통성 있는 솔루션을 제공한다.

상기 방법은 비트 레이트의 감소에 대한 DC-컴포넌트의 예측을 사용할 수 있다. 연속적인 이미지 프레임 시퀀스에서의 동일한 서브-블록들에 대한, 변환된 행렬에서의 요소 F[0,0,0], DC-컴포넌트는 영상 품질을 유지하는 채로 비트 레이트를 감소시키는데 추가로 활용될 수 있는 몇몇 중복되는 정보를 지닌다. 이 방법은 동일한 서브-블록들에 대한 연속적인 DC-컴포넌트간의 시간에 걸친 차이를 계산하고 실제의 DC-컴포넌트 대신 "델타 정보"를 전송한다. 이 방식은 또한 전송 에러가 발생한 경우에 디코더를 재동기화하기 위해 어떤 레이트에서 리프레쉬된다. 이 방법은 보다 낮은 개수의 연속적인 프레임이 사용되는 경우, 즉 DC-컴포넌트가 보다 큰 비율의 비트스트림을 점유하는 프로파일에서 가장 적합하다.

이 방법은 압축 방법에 의해 생성된 인공물의 결정론적 거동에 밀접하게 결합된, 가시적인 데이터의 사전-프로세싱 및 사후-프로세싱을 사용할 수 있다. 보다 낮은 깊이-프로파일에 나타나는 통상적인 인공물은 보다 많은 프레임이 시간적인 도메인에서 사용되는 (통상적으로 4 또는 8) 깊이들에 대해 "블록킹" 타입 및 "링잉(ringing)" 타입이기 때문에 활용되는 방법은 변환된 프레임들의 개수에 기초하여 선택된다. 블록킹은 서브-블록 경계들 사이에서 가시적인 불연속성으로 자체를 나타내고, 체크된 외관을 발생시킨다. 링잉 인공물은 공간 도메인에서 가시적인 고립된 주파수들로 자체를 나타내고, 서브-블록 경계 내부에 보다 작은 사이즈의 체크된 패턴을 디스플레이한다.

양자화 스텝은 런-타임 재설정가능일 수 있다. 양자화 하쉬니스(harshness)는 예를 들어 비트 레이트 제어를 용이하게 하기 위해 런-타임 동안 제어될 수 있다.

상기 방법은 비트 레이트 제어 메카니즘을 사용할 수 있다. 네트워크 전달 및 지연시간 고려사항의 예측성을 보장하기 위해, 비트 레이트 제어 메카니즘이 사용될 수 있다.

상기 방법은 RLE 및 VLC 방식에 대한 접근법을 정의한다. 실험적인 데이터에 기초하여 RLE 및 VLC 테이블을 생성하는 방법이 근접 최적화 룩업 테이블에 도달하는데 사용될 수 있다.

상기 방법은 지그-재그 스캔 순서 디자인에 대한 접근법을 정의한다. 실험적인 데이터에 기초하여 지그-재그 스캔 순서 테이블을 생성하는 방법이 근접 최적화 룩업 테이블에 도달하는데 사용될 수 있다.

상기 방법은, 오늘날 인포테인먼트 및 드라이버 정보 애플리케이션을 지지하기 위해 차량들에서 사용되는 것들과 같은, 동기 디지털 네트워크를 적응시키기 위해 코덱의 대칭적인 접근법을 조사할 수 있다. 사전-프로세싱 및 사후-프로세싱 필터들과 커스텀 비트 레이트 제어 메카니즘이 밀접하게 결합된 채로 조합된 고도로 결정론적, 컴퓨팅 파워-와이즈, 도구가 시스템으로부터 매우 근접한 콘스탄트 비트 레이트 출력을 생성한다. 이것은 동기 디지털 네트워크의 자원을 최적으로 활용하기 위해 사용될 수 있다.

상기 방법은 또한 네크워크 프로토콜들 및 서비스들이 비디오 코덱으로서 동일한 컴퓨팅 디바이스(DSP,μP)에 공존하게 할 수 있고, MPEG 및 ITU-T 표준과 비교하여, 낮고 고도로 예측가능한 컴퓨팅 파워량을 요구할 수 있다. 이것이 메모리와 인터-아이씨(inter-ic) 접속성과 같은 외부 인터페이스에 대한 요구사항을 완화하여 보다 값싸고 보다 효율적인 시스템을 제공한다.

상기 방법은 런-타임 재설정 및 식별(reconfiguration identification)을 용이하게 하는 비트 스트림 포맷을 정의할 수 있다. 상기 방법은 인코딩된 비트스트림의 중요한 정보를 디코더로 통신하는 기능을 하는 헤더 포맷을 사용할 수 있고, 그럼으로써 디코더가 자신을 재설정할 수 있게 한다. 시간적인 깊이, 양자화 인자 및 에러 탄력성에 대한 동기화 비트 시퀀스 뿐만 아니라 입력 비디오의 포맷, 프레임 레이트, 칼라 공간과 같은 비디오 데이터가 전송될 수 있다.

상기 방법은 오늘날 차량들에서 사용되는 로우 비트 에러 레이트 옵티컬 디지털 네트워크와 같은 물리층에서의 사용을 위해 스트림라인된, 라이트웨이트 포스트-에러 재동기화 방식을 사용할 수 있다. 상기 방법은 비디오 시퀀스의 시작을 나타내는 시퀀스 스타트 코드를 사용할 수 있다. 이러한 특별한 시퀀스는 자연스럽게 인코딩된 비디오를 발생시키도록 가장 있음직하지 않은 비트 조합으로서 선택된다. 상기 방법은 또한 디코더가 가정하는 인코딩된 프레임의 단부가 프레임의 깊이로 전송된 비트들의 최종 시퀀스로서 부착되어 있음을 나타내는 깊이 엔드 코드를 사용할 수 있다. 만일 디코더가 특정한 비트스트림 위치에서 이러한 시퀀스를 검출하지 않으면, 비트 전송 에러가 발생했다라고 가정할 것이고 수신된 비트스트림에서 시퀀스 개시 코드를 검색하는 것을 시작하고 그 자체를 재동기화할 것이다.

본 발명의 적어도 일 실시예의 여러가지 양태를 설명했지만, 다양한 변경, 변형 및 향상이 당업계의 당업자에게 용이함을 이해할 것이다. 그러한 변경, 변형, 및 향상은 본 설명의 일부분일 것으로 의도되어 있고, 본 발명의 정신 및 범위내에 있을 것으로 의도되어 있다. 따라서, 상술한 설명 및 도면은 예시적일 뿐이다.

Claims

이미지 데이터를 인코딩하는 방법으로서,

소정의 인코딩 성능을 달성하기 위해 이미지 프레임 시퀀스에서의 다수의 순차적인 이미지 프레임들을 선택하는 단계;

계수들의 3차원 행렬을 제공하기 위해 상기 이미지 프레임 시퀀스에서의 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하는 단계; 및

인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하는 단계

를 구비하는 이미지 데이터의 인코딩 방법.
제1항에 있어서,

상기 선택 단계는, 높은 이미지 품질을 달성하기 위해 상기 이미지 프레임 시퀀스에서의 상대적으로 큰 개수의 순차적인 이미지 프레임들을 선택하는 단계를 구비하는 이미지 데이터의 인코딩 방법.
제1항에 있어서,

상기 선택 단계는, 낮은 인코딩 지연시간을 달성하기 위해 상기 이미지 프레임 시퀀스에서의 상대적으로 작은 개수의 순차적인 이미지 프레임들을 선택하는 단계를 구비하는 이미지 데이터의 인코딩 방법.
제1항에 있어서,

상기 선택 단계는, 상기 이미지 프레임 시퀀스에서의 2개, 4개, 또는 8개의 순차적인 이미지 프레임들을 선택하는 단계를 구비하는 이미지 데이터의 인코딩 방법.
제1항에 있어서,

3차원 이산 코사인 변환을 수행하는 상기 단계는,

상기 이미지 프레임 시퀀스의 대표적인 이미지 데이터를 서브-블록들로 분할하는 단계로서, 상기 서브-블록들 각각이 상기 이미지 프레임 시퀀스에서의 이미지 프레임들의 개수와 일치하는 깊이(depth)를 갖는, 상기 분할 단계; 및

상기 서브-블록들 각각에 대하여, 서브-블록 계수들의 3차원 행렬을 제공하기 위해 상기 서브-블록들 각각에서의 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하는 단계

를 구비하는 이미지 데이터의 인코딩 방법.
제5항에 있어서,

상기 계수들을 처리하는 상기 단계는, 양자화된 계수들의 행렬을 제공하기 위해 서브-블록 계수들의 행렬을 양자화하는 단계를 구비하는 이미지 데이터의 인코딩 방법.
제5항에 있어서,

상기 이미지 데이터를 처리하는 상기 단계는, 양자화된 계수들의 행렬을 제공하기 위해 3차원 양자화 행렬 및 양자화 인수에 기초하여 서브-블록 계수들의 행렬을 양자화하는 단계를 구비하는 이미지 데이터의 인코딩 방법.
제6항에 있어서,

상기 계수들을 처리하는 상기 단계는, 순서화된 계수들을 제공하기 위해 스캔 테이블에 따라 상기 양자화된 계수들을 배열하는 단계를 더 구비하는 이미지 데이터의 인코딩 방법.
제8항에 있어서,

상기 계수들을 처리하는 상기 단계는, 인코딩된 비트 시퀀스를 제공하기 위해 상기 순서화된 계수들을 가변 길이 인코딩하는 단계를 더 구비하는 이미지 데이터의 인코딩 방법.
제8항에 있어서,

상기 계수들을 처리하는 상기 단계는, 인코딩된 비트 시퀀스를 제공하기 위해 가변 길이 인코딩 테이블을 사용하여 상기 순서화된 계수들을 가변 길이 인코딩하는 단계를 구비하는 이미지 데이터의 인코딩 방법.
제10항에 있어서,

가변 길이 인코딩하는 상기 단계는, 상기 인코딩된 비트 시퀀스를 정의하기 위해 이스케이프(escape) 코드를 사용하는 단계를 더 구비하는 이미지 데이터의 인코딩 방법.
이미지 데이터를 인코딩하는 장치로서,

소정의 인코딩 성능을 달성하기 위해 이미지 프레임 시퀀스에서의 다수의 순차적인 이미지 프레임들을 선택하기 위한 수단;

계수들의 3차원 행렬을 제공하기 위해 상기 이미지 프레임 시퀀스에서의 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하기 위한 수단; 및

인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하기 위한 수단

을 구비하는 이미지 데이터의 인코딩 장치.
이미지 데이터를 인코딩하는 방법으로서,

소정의 인코딩 성능을 달성하기 위해 이미지 프레임 시퀀스에서의 다수의 순차적인 이미지 프레임들을 선택하는 단계;

상기 이미지 프레임 시퀀스의 대표적인 이미지 데이터를 서브-블록들로 분할하는 단계로서, 상기 서브-블록들 각각이 상기 이미지 프레임 시퀀스에서의 이미지 프레임들의 개수와 일치하는 깊이를 갖는, 상기 분할 단계;

상기 서브-블록들 각각에 대해, 서브-블록 계수들의 3차원 행렬을 제공하기 위해 상기 서브-블록들 각각에서의 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하는 단계; 및

인코딩된 비트 시퀀스를 제공하기 위해 상기 서브-블록 계수들을 처리하는 단계

를 구비하는 이미지 데이터의 인코딩 방법.
제13항에 있어서,

상기 서브-블록 계수들을 처리하는 상기 단계는, 양자화된 계수들을 제공하기 위해 상기 서브-블록 계수들을 양자화하는 단계; 순서화된 계수들을 제공하기 위해 스캔 테이블에 따라 상기 양자화된 계수들을 배열하는 단계; 및 인코딩된 비트 시퀀스를 제공하기 위해 상기 순서화된 계수들을 가변 길이 인코딩하는 단계를 구비하는 이미지 데이터의 인코딩 방법.
차량 내의 제1 위치로부터 제2 위치로 이미지 데이터를 전송하는 방법으로서,

소정의 성능을 달성하기 위해 이미지 프레임 시퀀스에서의 다수의 순차적인 이미지 프레임들을 선택하는 단계;

계수들의 3차원 행렬을 제공하기 위해 상기 이미지 프레임 시퀀스의 대표적인 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하는 단계;

인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하는 단계;

상기 인코딩된 비트 시퀀스를 상기 차량 내에서의 제1 위치로부터 제2 위치로 전송하는 단계; 및

전송된 이미지 프레임 시퀀스를 제공하기 위해 상기 제2 위치에서 상기 인코딩된 비트 시퀀스를 디코딩하는 단계

를 구비하는 이미지 데이터의 전송 방법.
제15항에 있어서,

상기 선택 단계는, 다수의 DVD 이미지 프레임들을 선택하는 단계를 구비하는 이미지 데이터의 전송 방법.
제15항에 있어서,

상기 선택 단계는, 다수의 카메라 이미지 프레임들을 선택하는 단계를 구비하는 이미지 데이터의 전송 방법.
제15항에 있어서,

상기 선택 단계는, 다수의 네비게이션 시스템 이미지 프레임들을 선택하는 단계를 구비하는 이미지 데이터의 전송 방법.
제15항에 있어서,

상기 선택 단계는, 다수의 텔레비전 이미지 프레임들을 선택하는 단계를 구비하는 이미지 데이터의 전송 방법.
제15항에 있어서,

상기 선택 단계는, 다수의 비디오 컨퍼런스 이미지 프레임들을 선택하는 단계를 구비하는 이미지 데이터의 전송 방법.
제15항에 있어서,

3차원 이산 코사인 변환을 수행하는 상기 단계는,

상기 이미지 프레임 시퀀스의 대표적인 이미지 데이터를 서브-블록들로 분할하는 단계로서, 상기 서브-블록들 각각이 상기 이미지 프레임 시퀀스에서의 이미지 프레임들의 개수와 일치하는 깊이를 갖는, 상기 분할 단계; 및

상기 서브-블록들 각각에 대해, 서브-블록 계수들의 3차원 행렬을 제공하기 위해 상기 서브-블록들 각각에서의 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하는 단계

를 구비하는 이미지 데이터의 전송 방법.
제15항에 있어서,

상기 디코딩 단계는,

양자화된 계수들을 제공하기 위해 상기 인코딩된 비트 시퀀스를 가변 길이 디코딩하는 단계;

탈양자화된(dequantized) 계수들을 제공하기 위해 상기 양자화된 계수들을 역양자화하는 단계; 및

상기 이미지 프레임 시퀀스의 대표적인 이미지 데이터를 제공하기 위해 상기 탈양자화된 계수들에 대해 3차원 이산 코사인 역변환을 수행하는 단계

를 구비하는 이미지 데이터의 전송 방법.
차량 내의 제1 위치로부터 제2 위치로 전송될 이미지 데이터를 처리하는 방법으로서,

계수들의 3차원 행렬을 제공하기 위해 이미지 프레임 시퀀스의 대표적인 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하는 단계; 및

상기 차량 내에서의 제1 위치로부터 제2 위치로의 전송을 위한 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하는 단계

를 구비하는 이미지 데이터의 처리 방법.
비트 시퀀스를 디코딩하는 방법으로서,

양자화된 계수들을 제공하기 위해 이미지 데이터의 대표적인 인코딩된 비트 시퀀스를 가변 길이 디코딩하는 단계;

탈양자화된 계수들을 제공하기 위해 상기 양자화된 계수들을 역양자화하는 단계; 및

이미지 프레임 시퀀스의 대표적인 이미지 데이터를 제공하기 위해 상기 탈양자화된 계수들에 대해 3차원 이산 코사인 역변환을 수행하는 단계

를 구비하는 비트 시퀀스의 디코딩 방법.
차량 내에서의 비디오 신호를 분배하는 장치로서,

상기 차량 내의 데이터를 분배하기 위한 네트워크;

상기 네트워크에 결합되고, 비디오 소스로부터 비디오 신호를 수신하고, 계수들의 3차원 행렬을 제공하기 위해 상기 비디오 신호로부터 유도되는 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하고, 또한 상기 네트워크를 통한 분배용 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하기 위한 인코더 노드; 및

상기 네트워크에 결합되고, 수신된 비디오 신호를 제공하기 위해 상기 인코딩된 비트 시퀀스를 디코딩하기 위한 디코더 노드

를 구비하는 분배 장치.
제25항에 있어서,

상기 인코더 노드에 결합되고, 분배용 비디오 신호를 제공하기 위한 DVD 플레이어를 더 구비하는 분배 장치.
제25항에 있어서,

상기 인코더 노드에 결합되고, 분배용 비디오 신호를 제공하기 위한 카메라를 더 구비하는 분배 장치.
제25항에 있어서,

상기 인코더 노드에 결합되고, 분배용 비디오 신호를 제공하기 위한 차량 네비게이션 시스템을 더 구비하는 분배 장치.
제25항에 있어서,

상기 인코더 노드는, 상기 비디오 신호를 이미지 데이터로 컨버팅하기 위한 비디오 아날로그-디지털 컨버터; 상기 3차원 이산 코사인 변환을 수행하고 상기 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하기 위한 디지털 신호 프로세서; 및 상기 네트워크를 통해 상기 인코딩된 비트 시퀀스를 전송하기 위한 네트워크 드라이버 디바이스를 구비하는 분배 장치.
제25항에 있어서,

상기 디코더 노드에 결합되고, 수신된 비디오 신호를 디스플레이하기 위한 비디오 디스플레이 스크린을 더 구비하는 분배 장치.
제30항에 있어서,

상기 디코더 노드에 결합된 음성 디바이스를 더 구비하는 분배 장치.
제25항에 있어서,

상기 디코더 노드는, 상기 인코딩된 비트 시퀀스를 수신하기 위한 네트워크 드라이버 디바이스; 디지털값들을 제공하기 위해 상기 인코딩된 비트 시퀀스를 디코딩하기 위한 디지털 신호 프로세서; 및 상기 디지털값들을 수신된 비디오 신호로 컨버팅하기 위한 비디오 디지털-아날로그 컨버터를 구비하는 분배 장치.
제25항에 있어서,

상기 네트워크는 광섬유 버스 시스템을 구비하는 분배 장치.
제25항에 있어서,

상기 네트워크는 전기 버스 시스템을 구비하는 분배 장치.
비디오 소스를 네트워크에 대해 인터페이싱하기 위한 인코더 노드로서,

비디오 신호를 이미지 데이터로 컨버팅하기 위한 비디오 아날로그-디지털 컨버터;

계수들의 3차원 행렬을 제공하기 위해 상기 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하기 위한 수단 및 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하기 위한 수단을 포함하는 디지털 신호 프로세서; 및

상기 네트워크를 통해 상기 인코딩된 비트 시퀀스를 전송하기 위한 네트워크 드라이버 디바이스

를 구비하는 인코더 노드.
제35항에 있어서,

3차원 이산 코사인 변환을 수행하기 위한 상기 수단은, 상기 이미지 데이터를 서브-블록들로 분할하기 위한 수단; 및 상기 서브-블록들 각각에 대해, 서브-블록 계수들의 3차원 행렬을 제공하기 위해 상기 서브-블록들 각각에서의 상기 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하기 위한 수단을 포함하는 인코더 노드.
제36항에 있어서,

상기 계수들을 처리하기 위한 상기 수단은, 양자화된 계수들을 제공하기 위해 상기 서브-블록 계수들을 양자화하기 위한 수단; 순서화된 계수들을 제공하기 위해 스캔 테이블에 따라 상기 양자화된 계수들을 배열하기 위한 수단; 및 상기 인코딩된 비트 시퀀스를 제공하기 위해 상기 순서화된 계수들을 가변 길이 인코딩하기 위한 수단을 구비하는 인코더 노드.
차량 내에서의 비디오 신호들을 분배하는 장치로서,

상기 차량 내의 데이터를 분배하기 위한 네트워크;

상기 네트워크에 결합되고, 제1 비디오 소스로부터 제1 비디오 신호를 수신하고, 계수들의 3차원 행렬을 제공하기 위해 상기 제1 비디오 신호로부터 유도되는 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하고, 또한 제1 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하기 위한 제1 인코더 노드로서, 상기 제1 비디오 신호로부터 유도되는 이미지 데이터가 제1 깊이를 갖는 제1 이미지 프레임 시퀀스를 구비하는, 상기 제1 인코더 노드;

상기 네트워크에 결합되고, 제1 수신된 비디오 신호를 제공하기 위해 상기 제1 인코딩된 비트 시퀀스를 디코딩하기 위한 제1 디코더 노드;

상기 네트워크에 결합되고, 제2 비디오 소스로부터 제2 비디오 신호를 수신하고, 계수들의 3차원 행렬을 제공하기 위해 상기 제2 비디오 신호로부터 유도되는 이미지 데이터에 대해 3차원 이산 코사인 변환을 수행하고, 또한 제2 인코딩된 비트 시퀀스를 제공하기 위해 상기 계수들을 처리하기 위한 제2 인코더 노드로서, 상기 제2 비디오 신호로부터 유도되는 이미지 데이터가 제2 깊이를 갖는 이미지 프레임 시퀀스를 구비하는, 상기 제2 인코더 노드; 및

상기 네트워크에 결합되고, 제2 수신된 비디오 신호를 제공하기 위해 상기 제2 인코딩된 비트 시퀀스를 디코딩하기 위한 제2 디코더 노드

를 구비하는 분배 장치.
제38항에 있어서,

상기 제2 깊이는 상기 제1 깊이와 상이한 분배 장치.