KR20070046812A

KR20070046812A - 비디오 데이터 압축을 포함하는 데이터 압축방법

Info

Publication number: KR20070046812A
Application number: KR1020077000055A
Authority: KR
Inventors: 안드레이 브이. 주로프; 서지 노비코프; 알렉산더 피. 탄첸코
Original assignee: 코메트 비디오 테크놀러지
Priority date: 2004-06-30
Filing date: 2005-06-30
Publication date: 2007-05-03
Also published as: WO2006004847B1; CA2572102A1; JP2008505589A; WO2006004847A3; CN101014966A; WO2006004847A2; WO2006004847A9; EP1831824A2; US20060002613A1; IL180390A0; US7315655B2

Abstract

데이터 처리 시스템은 유효한 피라미드형 서브대역 표현의 엔코딩에 의해 소스신호의 서브대역 분해를 포함한다. 엔코딩 프로세스 동안에 출력 데이터 스트림들을 생성하는 순서를 정하는 한 세트의 어레이들 S_i(솔루션 비트들의 어레이들)의 초기화에 M-어레이가 사용된다. 출력 데이터 스트림들은 연속 양자화 및 엔트로피 엔코딩에 적합하게 한 (유효한) 제로가 아닌 서브대역 분해 계수들의 엔코딩된 유효성 맵 및 값들을 내포한다.

비디오 데이터 압축, 키 프레임, 계층적 트리 구조, 비디오 코덱, 오디오 코덱, 네트워크 커널

Description

비디오 데이터 압축을 포함하는 데이터 압축방법{METHOD OF DATA COMPRESSION INCLUDING COMPRESSION OF VIDEO DATA}

발명은 데이터 압축기술 분야에 관한 것으로, 특히 이미지 및 비디오 데이터 압축에 사용될 수 있다.

데이터 압축을 위해 현재 상이한 수단 및 방법들이 사용된다. 사진 혹은 비디오 포맷들 및 비디오 데이터로 이미지 데이터 전송의 문제들을 해결할 때, 이러한 압축방법의 선택은 전송되는 이미지의 품질에 대한 한 세트의 요건들에 의해서 그리고 데이터 전송 레이트 한계에 의해 결정된다. 이미지가 저 용량의 채널을 사용하여 전송된다면, 최적 데이터 압축 데이터의 선택을 위한 주 요인은 일반적인 데이터 흐름에서 유효 데이터를 판정하고 전송채널을 사용하여 보내질 때 유효 이미지 데이터가 우선권을 얻도록 전송 정보를 재조직하는 능력이다. 일반적으로, 어떤 데이터 압축 방법들이든 데이터 흐름 형성, 전송 및 차후 기록에 필요한 최소의 가능한 수의 비트를 사용하여 최고의 확실도로 데이터를 전송하기 위해, 전송되는 정보의 여분(abundance)을 크게 감소시킬 것이다.

최근에 실제 사용될 가장 넓은 가망성은 공간-스케일 서브대역들로 초기 이미지 분해 계수들의 피라미드식 표현에 기초한 이미지 데이터 압축 방법들을 가진 다. 이러한 피라미드식 표현은 복수 분해능 분석에 의해 달성될 수 있다. 언급된 분석의 결과는 하나의 루트와 자손들이라고 하는 노드들에 연결된 최종의 수를 갖는 계층적 트리(hierarchical tree)의 생성이다. 분해의 근거로서, 웨이브렛 함수 패밀리가 사용된다("An Embedded Wavelet Hierarchical Image Coder" Jerome M. Shapiro, International Conference of Acoustic, Speech and Signal Processing, Mar. 1992 참조). 웨이브렛 변환 적용의 결과로서 수신된 이미지 스펙트럼은 적용된 근거의 특유성들에 기인해서, 일반적으로 초기 데이터의 어레이에 관한 정보만이 아니라 그의 개별적 부분들에 관한 정보도 얻을 수 있게 한다. 이미지에 적용된 이러한 특징은 이미지의 개별적 부분들에 대해 제어된 데이터 압축의 방법들을 사용할 수 있게 한다.

이미지 데이터 분해의 스펙트럼 계수들의 특유성들은 통계적으로, 공간 주파수의 증가에 따라 계수들이 감소하는 경향이다. 여기에서 가장 단순하나 명백히 최적은 아닌 압축방법은 설정된 임계값과 계수들 값들이 임계값 미만으로서 다음 엔코딩에서 "무효한" 이들 계수들의 선언(declaration)에 따라 이미지 스펙트럼 계수들을 서로 비교함에 대한 이들 계수들의 어레이의 필터링이다. 스펙트럼 계수들의 "유효성"의 심층적 분석에 의한 방법들이 있다. 특히, 트리 노드들의 일관된 조사와, 이 노드에서 분해 계수가 유효한 경우, 즉 계수가 임계 레벨을 초과하여 양인 소위 "양의 심볼"; 노드에 스펙트럼 계수가 유효하고 음임을 나타내는 "음의 심볼"; 스펙트럼 계수가 무효한, 즉 임계레벨을 초과하지 않으나 스펙트럼 계수가 임계레벨을 초과하는 적어도 한 자손을 갖는 노드에 대한 분리된 제로 심볼; 및 스펙트 럼 계수가 무효하고 임계레벨에 대해 스펙트럼 계수들이 유효한 단일의 자손을 전혀 갖지 않는 노드에 대한 제로 트리 심볼의 검출에 기초한 데이터 압축방법(1994년 6월 14일 공고된 USA 특허#5321776)이 있다.

압축도 및 데이터 처리 레이트를 증가시키기 위해서, 계층적 트리를 소팅하는 다수의 그룹으로 계층적 트리 분할의 방법이 도입되었다(1998년 6월 9일 공고된 USA 특허 #5764807 참조): 이 특허에서 데이터 엔코딩 방법이 기술되어 있고, 이 방법에 따라, 루트에서 자손들로 트리를 일관되게 조사할 때, 각 노드에서 분해 스펙트럼 계수들은 현재 임계값과 비교되고; 이후에 이들은 3개의 그룹들로서, 유효 그룹, 즉 임계 계수들을 초과하는 그룹과, 무효 계수들의 그룹, 즉 임계값 미만인 값들의 계수들의 그룹; 무효 자손들 다수의 그룹 중 하나에 추가된다. 언급한 무효 계수 다수의 그룹은 이의 자신의 루트 노드와 스펙트럼 서브대역 내에서 생성되는 내부 계층적 트리로 특징지워진다. 이 방법은 루트 노드 자손들의 유효 자손의 스펙트럼 계수가 설정된 임계값과 적어도 같은 경우들에서, 다수의 무효 계수들의 각각에서 루트 노드 자손들의 유효성에 대한 체크 동작을 포함한다. 여기에서 적어도 하나의 유효한 자손을 갖는 무효한 계수 다수의 각 루트 노드에 대해서, 루트 노드 자손들의 유효한 자손의 스펙트럼 계수가 설정된 임계값과 적어도 같은 경우들에 있어서 루트 노드 자손의 자손들이 유효성에 대해 체크된다.

상기 방법들의 중심이 되는 개념은 "제로 트리"의 표기이다. 트리는 루트를 포함한 모든 트리 노드들에 관계된 스펙트럼 계수들이 무효하다면 임계값에 대해 제로로 간주된다. 두 방법들은 한 세트의 임계값들을 고려하고 각 세트에 대해 전 체 트리형상 구조를 엔코딩한다. 여기에서, 데이터 압축은 제로 트리의 엔코딩에 있어서 이의 정점(apex)만의 좌표들을 엔코딩하는 것이 필요하다는 사실에 기인하여 달성되며 이것은 데이터 분해의 스펙트럼 계수들의 계층적 구조가 포함하는 제로 트리들이 많을수록 이 구조는 보다 콤팩트하고 효과적으로 엔코딩되기 때문이다.

공지의 방법들의 도움으로 데이터 흐름의 엔코딩은 저용량 채널들, 예를 들면 무선 통신채널들을 사용하여 정보를 전송할 때 가장 선명하게 드러나는 결점을 갖는다. 이러한 결점의 정수(essence)는 전송후 복구되는 이미지의 낮은 품질이다. 결점에 대한 이유는 위에 기술된 방법들을 실현할 때, 전송되는 흐름은 어떤 예비적 재조직없이도 스펙트럼 분해 계수들의 초기 분포로부터 형성된다. 또한, 서로 다른 스케일들로 그리고 언급된 방법들에서 서로 다른 주파수 서브대역들에서 스펙트럼 계수들은 동등하다. 마지막 이유는 데이터 흐름을 형성할 때 가장 큰 계수들은 이들이 속하는 서브대역에 관계없이 우선으로 전송됨을 의미한다. 이러한 방식에서, 많은 수의 큰 계수들이 고 주파수 서브대역들에 집중되면(이미지가 많은 작은 콘트라스트 상세(small contrast detail)들을 내포한다면 발생한다), 이들은 우선적으로 외부 흐름에 들어갈 것이다. 결국, 흐름의 시작에서 일반적으로 거의 중요하지 않은 작은 콘트라스트 상세들의 데이터가 전송될 것이며 주 저 주파수(main low frequency) 및 보다 중요한 변화들의 데이터는 나중에 흐름에 들어갈 것이며 유실되거나 낮은 정확도로 전송될 수도 있다. 발명의 목적은 전송되는 이미지의 질적 개선이다.

<발명의 요약>

청구된 방법은 웨이브렛 서브대역 필터의 도움으로 초기 이미지 스펙트럼 분해 계수들의 계층적 시스템의 엔코딩 절차이다. 결과적으로 이미지의 라인들 및 컬럼들에 적용된 웨이브렛 변환의 결과로서 스펙트럼 계수 서브대역들 D가 형성된다. 각 분해 레벨에서 저 주파수 서브대역으로의 이러한 변환의 연이은 적용은 계수들의 계층적 구조를 형성한다. 계층적 구조에서 각 계수에는 고 정밀도로 계수들이 대응한다. 여기에서 이전 분해 레벨에 대응하는 계수는 "선조(ancestor)"라고 하고, 다음 분해 레벨에 대응하고 "선조"에 관계된 계수들은 "자손들(descendants)"이라고 한다. 스펙트럼 분해의 계수들은 실수들이고 모듈러스(modulus) 및 부호로 특징지워진다. 청구된 방법 내에서 데이터를 엔코딩할 때, 초기 이미지 분해 스펙트럼 계수들의 부호들의 비트 어레이 Z가 형성되고; 어레이의 성분들은 분해 D의 대응 스펙트럼 계수가 음이 아니면 0의 값들을 갖는다. 동일 부호들의 어레이의 성분들은 분해의 대응 스펙트럼 계수들이 음인 경우엔 1과 같다.

이어서, 분해 계수들은 유효성 기준 및 이 목적을 위해 인덱스된 한 세트의 임계 어레이들 T_i에 의해 평가된다, i는 어레이 인덱스. 어레이 T_i는 기본 임계 어레이이다. 어레이 인덱스가 1만큼 증가하였을 때, 세트 내 어레이들 성분들의 값들은 T_i=T₀/2ⁱ로 2배 감소한다. 청구된 방법의 근본적 속성은 스펙트럼 계수 어레이의 재조직(reorganization)의 절차이다. 이의 실현을 위해서 계수들의 소위 "라이벌 어레이" M이 형성된다. 어레이의 형성은 자손들을 갖지 않는 마지막 분해 레벨에 대응하는 트리 노드들에서 이들의 선조로 연속된 이행(transition)에 의해 수행된다. 이 이행에서 선조에는 분해의 모든 스펙트럼 서브대역들에서 노드의 계수들-자손들로부터, 대응 임계값 T₀에 의해 배급된 최대 계수값이 주어진다.

이어서 청구된 방법은 인덱스된 비트 어레이들 S_i 세트 형성의 절차를 포함하고, 세트의 성분들은 흐름에 데이터를 보낼 우선도의 순서를 조절한다. 어레이들의 성분들은 트리 노드에서 라이벌 어레이 M의 스펙트럼 계수의 값이 임계값 T_i 미만일 때 제로로 선언된다. 라이벌 어레이의 스펙트럼 계수의 값이 임계값을 초과하거나 같은 경우에, 어레이의 성분은 1인 것으로 선언된다. 이어서, 초기 이미지 분해의 스펙트럼 계수들의 어레이 D는 어레이 세트 B_i으로 표현된 비트 코드로 변환(transform)되고, 그후에 결과적인 데이터 흐름은 위에 언급된 어레이들의 한 세트의 계수들로서 형성된다.

언급된 계수들간의 상관들의 이유로 추가적 데이터 압축의 목적을 위해서 인덱스된 한 세트의 벡터 어레이들 V_i가 형성되고, 그 성분은 임의의 선택된 트리 노드에 대해서, 주어진 노드의 자손들에 있어서의 S_i 및 B_i 어레이들의 성분들 및 B_i=1인 주어진 노드의 그 자손들에 있어서의 Z 어레이의 성분들의 성분들이다. 이어서, 언급된 어레이들의 데이터 흐름들이 형성되고 과도를 제거할 목적으로 엔트로피 코딩이 적용된다. Bi

또한, 청구된 발명에서 전송되는 이미지의 품질을 개선하기 위해서 상위 레 벨의 스펙트럼 서브대역으로의 각 이행시 계수들의 값들을 2배로 증가시킴으로써 기본 임계 어레이를 형성하는 것이 제안된다.

청구된 방법의 동작들의 연속은 데이터 재조직 및 증가된 제로 트리들의 수의 대가로, 또한 흐름의 시작부분에 이미지 스펙트럼 저 주파수 구성성분(constituent)들을 속하게 하는 대가로 이미지 데이터 전송의 질적 향상을 확보한다.

도 1에 본 발명의 원리에 따른 서브대역들로의 복수 레벨 스펙트럼 계수들의 도표가 도시된다.

도 2에 스펙트럼 서브대역들로의 초기 이미지 분해 동작들의 연속이 도시된다.

도 3-6에 청구된 발명에 따른 동작들의 서로 다른 면들의 블록 도표가 도시된다.

도 7에 기본 임계 어레이 T₀의 성분들의 구조가 도시된다.

도 8-21은 본원의 대안적 및/또는 상세 개념들을 도시한 것이다.

2^Nx2^N 화소들의 이미지가 있다고 가정한다. 초기 이미지는 최대 고 공간 용량을 갖고 있고 최소의 상세를 묘사하고 있다. 웨이브렛 함수 베이시스를 사용하여 이미지의 라인들 및 컬럼들의 스펙트럼 분해를 적용하고 각 스펙트럼을 저 주파수 및 고 주파수 구성성분들로 분할함으로써 2^N-1x2^N-1 크기를 가진 4개 어레이들의 스펙트럼 계수들을 얻는다. 이들 어레이들은 LL1 어레이에 포함되는 것으로 라인 및 컬럼 분해의 저 주파 계수들; LH1 어레이에 포함되는 것으로 라인 분해의 저 주파 계수들 및 컬럼 분해의 고 주파 계수들; HL1 어레이에 포함되는 것으로 라인 분해의 고 주파 계수들 및 컬럼 분해의 저 주파 계수들; HH1 어레이에 포함되는 것으로 라인 및 컬럼 분해의 고 주파 계수들을 포함한다. LL1 어레이는 저-고 주파수 스펙트럼 서브-대역으로 더욱 분해될 수 있고, 결국, 4개 어레이들 LL2, LH2, HL2, HH2가 형성될 것이며, 이들의 크기는 그 전의 것보다 2배미만, 즉 2^N-2x2^N-2 일 것이다. 스펙트럼 서브대역 형성의 프로세스는 초기 이미지 스펙트럼의 더 낮은 주파수 스펙트럼 성분들의 더 낮은 조사로의 연속적 이행을 반영한다. 이 프로세스는 LLN 어레이의 크기가 1x1과 같게 될 때 N-스텝에서 종료된다. 위에 기술된 스펙트럼 변환의 도표가 도 1에 도시되었고, 연이은 서브대역 형성이 도 2에 도시되었다.

도 2에서, 필터(2)에 의해 라인들의 저 공간 주파수들의 필터링과 필터(8)를 사용하여 라인들의 고 공간 주파수들의 필터링에 의해서, 초기 데이터 2차원 어레이 1의 후속 변환이 제시되었다. 이어서 필터(2)의 출력으로부터의 신호는 필터(4)를 사용한 컬럼들의 저 공간 주파수들의 필터링과 필터(6)을 사용한 고 공간 주파수 I 컬럼들의 필터링에 의해 변환되고, 필터(8)의 출력으로부터의 신호는 필터(10)를 사용한 컬럼들의 저 공간 주파수들의 필터링과 필터(12)를 사용한 고 공간 주파수들의 필터링에 의해 변환된다. 필터들(4, 6, 10, 12)의 출력들에서 데이 터 어레이들 LL, HL, LH, HH가 형성되고, 각 어레이의 크기는 초기 데이터 어레이 크기보다 2배미만인 것에 유의한다. 또한, 위에 기술된 절차는 저 주파수 서브대역의 크기가 가능한 최소가 될 때까지 LL 어레이에 적용된다. 후속되는 스펙트럼 분해의 결과로서 수신된 객체는 계층적 트리처럼 보이며, 이의 노드들의 성분들은 선조-자손 관계들로 서로간에 연결된다. 이러한 분해에서 선조에 관계된 계수는 자손에 관계된, 계수보다 스펙트럼의 낮은 주파수 성분에 항상 대응한다.

초기 이미지의 스펙트럼 분해에 사용되는 함수들의 특징에서, 이 발명에서는 웨이브렛 서브대역 필터를 사용하는 것을 제안한다. 한 세트의 압축 계수를 갖고 전송되는 이미지의 질적인 면에서 최적인 웨이브렛 함수 베이시스의 선택은 어려운 작업이다. 베이시스를 선택할 때 뒤따르는 다수의 기준들이 공지되어 있다. 이러한 함수들에는 함수들의 평활성, 근사화의 정확성, 필터의 주파수 선택도, 에너지 분포가 참조된다.

초기 이미지의 D 스펙트럼 분해의 계수값들을 엔코딩할 때, 절대 계수값 및 이의 부호를 고려하는 것이 필요하다. 스펙트럼 계수들의 부호에 관한 정보를 데이터 흐름에 전송하기 위해서, 청구된 방법 내에서 별도의 비트 어레이 Z가 형성되며, 이들의 성분들은 D 계수들이 음이 아닌, 이들 노드들에서 0과 같으며, 대응하여, D 계수들은 0미만인 이들 노드들에서는 1과 같다.

효과적인 데이터 압축을 수행하고 전송되는 이미지의 높은 품질을 보존하기 위해서, D 계수 어레이를 재조직하여 이들을 비트 표현으로 옮기는 것이 필요하다. 이들 목적을 위해서 다수 세트들의 인덱스된 임계 어레이들 T_i가 형성되고, 이들 중 하나는 베이시스 임계 어레이 T₀이다. 각각의 개별적 트리 노드에 있어서 T_i 및 T₀ 어레이들의 성분값들은 T_i=T_i/2ⁱ 관계에 의해 연결된다. LLN 스펙트럼 서브대역의 노드들에 있어서의 T₀ 어레이의 성분값들은 엔코딩 알고리즘에서 결정된다. 이전 분해 레벨들에 대응하는 스펙트럼 서브대역들의 노드들에 있어서, T₀ 어레이의 성분값들은 2로 곱해진다. 이에 따라, 유효성 기준에 따라 스펙트럼 계수 어레이를 재조직할 때 이미지 스펙트럼의 고 주파수 구성성분들의 판별을 위한 조건들이 확보된다.

청구된 발명에 따른 언급한 재조직 절차를 실현하기 위해서, 소위 계수의 "라이벌 어레이 M"가 형성된다. 어레이의 형성은 자손들을 갖지 않고 분해의 마지막 레벨에 대응하는 트리 노드들에서 그들의 선조들로의 연속적 이행에 의해 수행된다. 이 이행에서 선조에는 대응하는 임계값들 T₀의 값들에서 모든 스펙트럼 분해 서브대역들에 대해서 트리 노드에서의 비 M/T₀가 노드 D의 자손의 계수들을 분할하여 수신된 최대수와 같게 하는 M값이 주어진다. 라이벌 어레이의 형성은 전송되는 이미지의 질적 향상을 위한 데이터 압축의 청구된 방법에서 중요한 역할을 한다.

주어진 노드의 자손들 중에서 임계값 T_i가 유효한 것을 갖는지를 확정하기 위해서, 인덱스된 한 세트의 비트 어레이 S_i가 형성된다. 어레이들의 성분들은 주어 진 트리 노드에서 라이벌 어레이 M의 스펙트럼 계수의 값이 임계 값 T_i미만이라면 제로인 것으로 선언된다. 트리 노드에서 라이벌 어레이의 스펙트럼 계수의 값이 임계값 이상이면, 주어진 어레이의 성분은 1인 것으로 선언된다.

또한, 초기 이미지 분해 D의 스펙트럼 계수들은 비트 코드로 변환되고, 이는 한 세트의 어레이들 B_i로 표현된다. 주어진 노드에 대응하는, D 수에 대한 이들 어레이들의 성분값들은 식 B_i=[2{|D|/T_i-1}]를 사용하여 계산되고, 중괄호는 수의 분수 부분을 취하는 연산을 의미하며, 대괄호는 수의 정수부분을 취하는 연산을 의미한다.

본 발명의 원리에 따른 데이터 엔코딩을 수행하기 위해서, 트리 조사 순서를 정하는 것이 필요하다. 낮은 분해 레벨부터 시작하여 높은 레벨로 트리 노드들을 조사할 것이 제안되고, 각 트리 레벨 내에서 이러한 조사의 레벨 순서에 대해 세트에 따라 노드들을 조사할 것이 제안된다. 트리의 구조 및 이의 노드들의 조사 순서는 엔코딩 및 디코딩 프로세스들 동안 고정된 것으로 간주된다.

도 3에서, 트리 조사 동안 다음 레벨로 이행할 때 동작들의 연속이 도시되었다. 제1 단계(31)에서 현재의 노드 및 임계 인덱스 값 i가 설정된다. 이어서 32에서 선택된 임계 레벨에서 트리 조사 방향에 따라 현 노드에 이어지는 다음 노드가 있는지 판정된다. 있는 경우, 다음 단계 33에서 다음 레벨이 현재 레벨로 간주된다. 이 후에 34에서 현재 노드에 대응함과 아울러 현재 및 이전 임계 레벨들에서 그의 선조에 대응하는 비트 어레이 S 값들이 체크된다. 즉, 현재 노드 후의 다음은 트리 조사 방향에 따라 현 노드 후에 첫 번째인 것으로 간주되고, 이에 대해서 그의 선조에 대해서는 값 S_i _-1=0 및 값 S_i _-1=1이거나 그의 선조에 대해서 값 S_i=1 및 값 S_i-1= 0이다. 조건 34가 충족되면, 다음 노드로의 이행이 충족된 것으로 간주된다. 조건 34가 충족되지 않는다면, 다시 32는 선택된 임계 레벨에서 트리 조사 방향에 따라 현 노드 다음에 오는 다음 노드가 있는지가 결정된다.

도 4-6에서 본 발명의 원리에 따른 데이터 어레이 엔코딩의 프로세스가 기술된다. 엔코딩을 시작하기 전에 세트에서 L 개의 임계 어레이들이 선택되고, 이는 스펙트럼 분해 D의 최대 계수에 비트들의 수와 같다. 제1 단계(41)에서 임계 인덱스의 값은 I=0인 것으로 간주되고, 현재 노드는 트리 루트인 것으로 간주되고, 임계값 T₀는 S₀=1 및 S_-1=0이 되도록 선택된다. 이어서 42에서 트리 루트에서 계산되었던 것인 벡터 어레이의 값 V₀은 흐름에 전송된다. 이 후에 위에 기술되고 도 3에 도시한 원리에 따라 다음 트리 노드(43)로의 탐색 및 이행이 수행된다. 다음 노드 유무에 대한 체크후에(44), 노드가 존재하는 경우, 다음 노드는 현재 노드(45)인 것으로 선언되고 엔코딩 프로세스는 동작(42)의 입력부터 시작한다. 다음 노드가 검출되지 않은 경우, 예를 들면 트리 에지들에서 가능한 것으로서 다음 임계 레벨(46)로의 이행이 수행되고 트리 루트(51)가 현재 노드인 것으로 선언된다. 단계들(52, 54)에서 다음 노드가 검출된 후에 다음 트리 노드로의 탐색과 이행이 수행된다. 이이서, 다음 노드는 현재 노드(54)인 것으로 선언된다. 이어서, 현재 노 드(55)의 선조에 대한 S_i _-1 값들의 체크 및 현재 노드(55a) 자체의 체크가 잇따라 실현된다. 현재 노드의 선조에 대한 S_i-1 값이 1과 같고, 현재 노드에 대한 S_i-1값이 0과 같은 경우, S_i 어레이의 값은 주어진 노드에 대한 데이터 흐름에 전송된다. 이어서 이 값의 체크가 57에서 실현된다. 현재 노드에 대한 값 S_i가 1과 같은 경우에, V_i 어레이의 값이 주어진 노드(58)에 대한 데이터 흐름에 또한 전송된다. 그후에 다음 트리 노드(52, 53)에의 탐색 및 이행은 위에 기술되고 도 3에 도시한 바와 같은 원리에 따라 실현된다.

동작(53)을 수행한 결과로서 다음 트리 노드가 결정되지 않은 경우, 트리 루트(61)가 현재 노드로서 선언된다. 이어서, 트리 노드들은 계속하여 조사의 설정된 순서에 따라 조사되고 조사(62) 방향에 따라 현재의 노드 후의 다음 노드가 있는지 확정된다. 이러한 노드가 존재하는 경우, 다음 단계(63)에서, 다음 노드가 현재로서 결정된다. 그후에 64에서 현재 노드의 선조에 대응하는 S_i-1 비트 어레이 값의 체크가 행해진다. 현재 노드의 선조에 대한 S_i-1 값이 1과 같은 경우에, B_i 어레이의 값이 현재 노드(65)에 대한 데이터 흐름에 전송된다. 이어서 주어진 노드에 대해서 1≤|D|/T_i<2 조건의 체크가 행해진다. 주어진 조건이 충족되면, 이어서 주어진 노드에 대한 Z 어레이의 값이 데이터 흐름에 전송된다. 반대의 경우에는 엔코딩 프로세스는 동작(62)의 입력으로 다시 보내진다.

트리 조사 방향에 따른 현재 노드 후의 다음 노드가 없거나 현재 노드의 선 조에 대한 S_i-1이 0과 같은 경우에, 다음 임계 레벨(68)로의 이행이 수행된다. 이어서, 다음 임계 레벨 i의 인덱스가 값 L을 초과하지 않는 조건에 근거하여, 엔코딩 프로세스는 동작(51)의 입력으로 다시 보내진다.

도 7에서 임계 어레이 T₀ 베이시스 성분들의 구조가 도시되었다. 전송되는 이미지 품질의 향상을 위해서 더 높은 레벨의 스펙트럼 서브대역으로의 매 이행시(at each transition) 계수값들을 2배로 함으로써 베이시스 임계 어레이를 형성하는 것이 제안된다.

본원에 계속 주목하여, 이하 도 8에 도시한 바와 같은 코메트 코덱 동작 플랜(Comet Codec Operation Plan)을 개시하며, 이 코메트 코덱은 3개의 블록들로 구성된다.

비디오 코덱(Video Codec)

오디오 코덱(Audio Codec)

네트워크 커널(Network Kernel)

모든 3개의 블록들은 동기화된 오디오 및 비디오 엔코딩을 보장하기 위해서 아울러 통신채널을 변경할 때 혹은 접속이 종료될 때 코덱들을 자동으로 조정하기 위해서 상호작용한다.

비디오 코덱

비디오 코덱은 비디오 흐름들의 웨이브렛들을 사용하여 엔코딩 및 디코딩을 수행한다. 주어진 프로세서는 다음의 작업 사이클을 갖는다:

전처리

키 프레임들의 엔코딩

보상모델들

키 및 보상된 프레임들의 디코딩

후처리

전처리 - 다음의 엔코딩을 위해 필요한 비디오 이미지 준비, 즉 품질의 향상(이전의 프레임들 통계들로부터 가용한 것에 기초하여)

키 프레임의 엔코딩은 웨이브렛 기술을 사용한 개발된 비디오 압축 방법들에 기초하여 수행된다.

보상방법들은 프레임들간의 차이만이 전송된다는 사실에 기인하여 보다 많은 수의 프레임들을 전송할 수 있게 한다. 이 방법은 전처리와 밀접히 관계가 있을 것이다. 보상방법들은 대부분 네트워크 교란에 좌우되기 때문에, 네트워크 커널과도 밀접히 관계가 있다. 보상된 프레임들의 엔코딩은 웨이브렛 기술에 기초하여 수행된다.

키 및 보상된 프레임들의 디코딩은 웨이브렛 기술을 사용한 백-엔코딩(back- encoding)을 사용하여 실현된다.

후처리는 선명도(sharpness) 및 색 스펙트럼 개선을 위해 비디오 이미지에 필터들을 적용함으로써 비디오 품질 향상을 목적으로 한다.

1. 키 프레임 패키징이 도 9에 도시되었다.

패키징 프로세스는 도 9에 도시된 바와 같이 7단계들로 구성된다.

도 10와 같은 단계 1.1의 설명: RGB 포맷으로 정적 프레임이 입력된다. 프레임은 함께 이미지를 구성하는 적색, 녹색 및 청색의 3개의 플레인(plane)들로 구성된다. 표준으로서 1대1 함수들을 사용하여, 정적 프레임은 YUV라 하는 또 다른 포맷으로 변환(convert)되고 이번에 이것은 밝기 구성성분 Y와, 색 신호들 U 및 V에 의해 변조된 2개의 색 서브 캐리어들인 한 단일체(unity)로서의 3개의 플레인들이다. YUV 변환을 위해 가장 많이 사용되는 공식들은 다음과 같다.

Y = 0.299*R + 0.587*G + 0.114*B

U = 0.564*(B - Y)

V = 0.649*(R - Y)

이미지의 이러한 표현(presentation)은 차후 분석에 더 유익하다.

도 11와 같은 단계 1.2의 설명: YUV 포맷의 정적 프레임이 입력된다. 웨이브 렛들에 기초한 2개의 필터들의 도움으로 이미지는 고주파수 및 저주파수인 2개 구성성분들로 분해된다(resolved). 변환은 1대1이고 출력에는 그래프로서 제공되고 분해결과로서 이 그래프의 접점들에 계수들이 놓여진다. 호(arc)들은 계수들간에 연결들이다. 프레임을 그래프로 분해하기 위해서 웨이브렛 필터들이 사용된다. 웨이브렛 필터들은 실험적으로 선택되었으며 비디오 패키징에 최적이다(그러나, 웨이브렛 필터들은 필요하다면 쉽게 수정될 수 있다). 웨이브렛 필터들은 수신측에서뿐만 아니라 전송측에서도 프로그램으로 하드 코딩된다(이들은 양측에서 유사할 것이다).

도 12와 같은 단계 1.3의 설명: 단계들 4 및 5에서 데이터를 패키지하기 위해서 단계 3에서의 그래프는 명확한 요건을 충족해야 한다.

맨 위쪽을 제외하고 각 그래프 접점은 "부모(parent)"를 갖는다. 단계 3에서 단계 2로부터의 그래프를 체크하고 이를 완성한다. 필요하다면 즉 어떤 것도 갖지 않는 접점에 대해 "부모"로 표시한다.

도 13와 같은 단계1.4의 설명: 이 단계부터 시작하여 패키징 프로세스가 시작된다. 단계 5에서 분석을 행하기 위해서, 단계 3으로부터의 그래프는 고유한 처리가 행해지고 고유 머신 표현인 비트 플레인들로 변환된다.

도 14와 같은 단계 1.5의 설명: 단계 4로부터 비트 플레인들 및 그에 포함된 데이터가 분석된다. 이 분석에 기초하여, 비트 플레인들 내의 데이터를 이들의 유효성에 따라 조직한다. 이어서 이 단계에서 사용되는 압축 비 값에 따라서, 이 단계에서 의미없는 모든 데이터를 폐기한다. (압축 비 값이 클수록, 보다 많은 데이터가 폐기된다). 남은 데이터는 4개의 서로 다른 데이터 흐름들로 분류된다.

도 15와 같은 단계 1.6의 설명: 보다 큰 데이터 압축을 달성하기 위해서, 흐름들 내 데이터는 특별한 방법으로 조직되고 추가의 통계적 분석이 행해진다.

도 16와 같은 단계 1.7의 설명: 조직된 흐름들은 일체화된 구조, 즉 패키지된 프레임으로 단일화된다. 이 구조는 네트워크를 통해 보내기 위해 전송된다.

2. 프레임 구축(보상방법)(도 17에 도시됨).

단계 1. 이전 프레임과 비교하여 차이( difference )를 정함.

설명: 정적 프레임이 입력된다. 이전 프레임과의 차가 정해진다. 2가지 변형예가 있을 수 있는데, 이전 프레임과의 차를 정하거나 이전 기본 프레임과의 차이를 정하는 것이다. 제1 변형예는 작은 차를 전제(presuppose)로 하나 통신시 이 차가 없을 때는 다음 프레임이 구축되지 못할 것이다. 제2 변형예는 보다 큰 차를 전제로 하는데 프레임들이 없어도 중요하지 않을 것이다.

단계 2. 차의 처리

설명: 차는 불필요한 데이터를 없애고 보다 콤팩트하게 하기 위해서(압축) 처리된다.

단계 3. 차의 패키징

설명: 패키징하기 위해서 키 프레임 패키징 방법의 변형이 사용된다.

오디오 코덱

오디오 코덱은 비디오 흐름과 동기를 맞추어 오디오 흐름을 엔코딩한다. 사운드 엔코딩은 사운드 엔코딩의 사이코-어쿠스틱 모델(psycho-acousitc model)의 원래의 실현을 의미한다. 이 실현은 1400 BPS 채널을 사용하여 사람의 음성을 전송할 수 있게 하였다.

네트워크 커널(도 18에 도시한 바와 같은) 데이터의 때에 맞는(well-timed) 배송을 확보해야 하고 네트워크 교란 검출을 목적으로 네트워크를 모니터해야 하며 축적된 통계에 기초하여 비디오 및 오디오 압축기들의 조정을 수행한다. 도면은 일방향 데이터 전송 채널(이 채널에 대한 요건은 이하 열거한다)의 구조를 표시한다. 이 채널은 3개의 흐름들로 구성된다.

-비디오 채널

-오디오 채널

-제어 채널

비디오 채널은 비디오 압축기로부터 비디오 프레임 배송을 행한다.

오디오 채널은 오디오 압축기로부터 오디오 흐름 배송을 행한다.

제어 채널은 광범위한 서비스 기능들을 행한다:

통신세션이 시작되기 전에 클라이언트 프로그램들의 2이상의 사용자들의 접속을 수행.

비디오 및 오디오 흐름들을 동기화.

네트워크.

네트워크 교란들 및 데이터 유실 통지.

사용자들간의 짧은 메시지 교환(채팅)을 수행.

도 19는 인터넷을 통한 화상 회의용 프로그램 시스템의 개발을 위한 요건 및 기능상의 명세를 도시한 것이다.

모든 시스템 사용자들은 이름, 이메일 및 시스템 로그인을 위한 패스워드를 입력하여 웹사이트에 등록해야 한다. 사용자가 등록된 후에, 시스템은 각 사용자에게 고유번호(UID)를 할당한다.

사용자가 시스템에 등록된 후에 사용자는 PS를 자신의 컴퓨터에 업로드하고 이를 설치할 수 있다.

클라이언트는 시스템에서 추가의 서비스들(옵션들)에 대해 신용카드로 지불할 수도 있다. 지불은 사이버캐시 시스템을 통해 수행되고 과금 서버에 등록된다.

클라이언트 애플리케이션

클라이언트 애플리케이션은 다음의 기능들을 갖는다:

1. 데이터베이스에서 사용자들을 조사(view)하고 탐색(search)한다. 이 옵션은 PS의 모든 버전들에서 가능하다.

2. 콘택 리스트에 사용자들을 추가하기 위해 인증을 요청한다. 사용자는 인증후에 콘택 리스트에 추가된다. 이 옵션은 PS의 모든 버전들에서 가능하다.

3. 콘택 리스트로부터 사용자에게 짧은 메시지들을 발송한다. 이 옵션은 PS의 모든 버전들에서 가능하다.

4. 콘택 리스트로부터 사용자와 채팅한다. 이 옵션은 PS의 모든 버전들에서 가능하다.

5. 비디오 및 오디오 흐름들을 변환할 수 있고 비디오 및 오디오 흐름들을 조사하는 것이 인증된 사용자들로부터의 오디오 및 비디오 흐름들을 조사한다. 이 옵션은 PS의 모든 버전들에서 가능하다.

6. 화상 회의를 수행할 것을 인증받은 시스템의 또 다른 사용자와 1대1(point-to-point) 화상 회의를 한다. 화상 회의는 이 옵션을 위해 지불한 사용자들이 사용할 수 있다.

7. 복수의 사용자들을 위한 비디오 번역(translation). 이 옵션은 비디오 번역의 인증에 대해 지불한 사용자들이 사용할 수 있다.

클라이언트의 하드웨어 요건:

- PⅡ 셀러론 600MHz 프로세서를 갖춘 인텔 PC 및

- 64Mb 이상의 메모리

- 사운드 카드

- 비디오 카메라

- 다이얼-업 접속을 위한 56BPS 표준 모뎀이거나

- 10/100MB 네트워크에 접속을 위한 네트워크 카드

클라이언트의 소프트웨어 요건:

- OS Windows 98 OSR1, Windows Me, Windows 2000

- 한 세트의 다이렉트 쇼 드라이버들(카메라들 및 사운드 카드들은 드라이버들에 호환되어야 한다)

- TCP/IP 프로토콜 드라이버

서버 애플리케이션들

1. 접속 서버.

접속서버는 시스템의 모든 사용자들을 위한 진입점이다. 다음의 기능들을 수행한다.

- 시스템에 등록을 위해 UID 및 패스워드 요청

- 세션동안 사용자와의 영속적 접속을 확보

- 사용자의 상태 테스트

- 현 순간에 온라인에 있는 사용자 리스트 유지

- 클라이언트와 보다 상위의 서비스들(이에 대해선 후술함)간 데이터 통신

- 사용자에게 짧은 메시지들의 발송 및 실패를 대비해서 메시지 DB에 저장

2. 리다이렉터(Redirector)

리다이렉터는 접속서버와 상위 서비스들 사이의 얇은 층이다. 상위 서비스들의 부하의 균형을 맞춘다.

3. 디렉토리 서버들

디렉토리 서버들은 사용자들의 분산된 데이터베이스 및 이들의 콘택 리스트들을 저장한다. 리다이렉터 서버는 이들 서버들의 부하에 책임이 있다.

4. 메시지 DB

메시지 DB는 미발송 메시지들의 서버이다. 어떤 이유에 기인하여 접속서버에 의해 수신인에 배송될 수 없었던 모든 메시지들은 메시지 DB에 보내진다. 사용자가 시스템에 로그인할 때, 접속서버는 이 사용자 앞으로 된 미발송된 메시지들의 입수성을 체크하고 어떤 메시지가 있다면 이들을 사용자에게 발송한다.

5. 과금 시스템

사용자의 시스템은 저장을 계정한다. 각 등록된 시스템 사용자마다 개인 계정이 있다. 디폴트로서 이것이 비어있다면, 즉 사용자가 시스템에 등록된 후에 사용자는 무료 시스템 서비스들에만 액세스할 수 있다. 사용자가 추가의 서비스들에 대해 지불하기를 원한다면, 사용자는 신용카드(사이버캐시 시스템을 통해)를 사용하여 이를 할 수 있다. 사용자가 시스템에 로그인 할 때, 접속서버는 과금 시스템에 그의 상태를 요청하고 사용자의 상태에 기초하여 추가 서비스들에의 액세스를 할당한다.

일 실시예에서 서버 하드웨어 요건:

- PⅢ 600MHz 및 그 이상의 프로세서를 구비한 서버

- 128Mb 이상의 메모리

일 실시예에서 서버 소프트웨어 요건:

- OS Windows 2000 서버

- MSSQL 서버 2000

도 20은 비디오 이미지들의 압축 및 전송용 프로그램 시스템의 개발을 위한 기능 명세들을 도시한 것이다.

이 프로젝트의 목적은 모든 현존 표준들의 무선통신의 낮은 대역폭의 채널들을 사용하여 비디오 이미지들의 압축 및 전송을 위한 프로그램 시스템(PS라고도 함)의 개발이다. 주어진 PS는 화상 회의 및 비디오 전송을 무선통신을 사용하여 실시간 모드로 수행하기 위한 것이고 하드웨어 구현을 위한 프로토타입(prototype)으로서 사용될 것이다. PS에 기본적 기술인 개발된 기술은 넓은 채널들(56 BSP 이상)에 적응 및 스케일러블(scalable)해야 한다. 이러한 사실은 PS를 비디오 영화 방송 시스템에 확장할 수 있게 할 것이다.

프로그램 시스템의 구조적 방책

클라이언트측

클라이언트측은 사용자의 PC에 설치되어 있고 자신의 PC에 설치된 동일 프로그램을 가진 다른 사용자에게 사용자가 실시간 비디오 이미지들을 전송할 수 있게 하거나 이 다른 사용자와의 실시간 화상 회의를 수행할 수 있게 하는 독립적 프로그램이다. 또 다른 사용자에의 접속은 무선 통신채널(다이렉트 접속)을 사용하거나 인터넷(혹은 이외 TCP/IP네트워크들)을 사용하여 실현된다. 인터넷(혹은 다른 TCP/IP 네트워크들)을 사용한 접속의 경우에, 클라이언트측은 서버 프로그램과 접촉하여 현재 네트워크에 접속한 사용자들에 관하여 요청할 수 있을 것이다.

클라이언트측은,

- 비디오 압축기

비디오 카메라로부터 비디오 흐름을 엔코딩하여 이를 네트워크 커널에 전송

네트워크 커널로부터 비디오 흐름을 디코딩하여 이를 사용자의 디스플레이에 전송

네트워크 커널로부터 네트워크 교란 통계들을 수신하여 비디오 흐름 파라미터들을 정정.

- 오디오 압축기

사운드맵으로부터 오디오 흐름을 엔코딩하여 이를 네트워크에 전송

네트워크 커널로부터 오디오 흐름을 디코딩하여 이를 사운드맵에 전송

네트워크 커널로부터 네트워크 교란 통계들을 수신하여 오디오 흐름 파라미터들을 정정

- 네트워크 커널

두 사용자들간에 접속을 실현

네트워크 데이터 수신 및 전송을 실현

전송된 데이터의 무결성(integrity)의 제어를 실현

네트워크 모니터링을 실현하고 네트워크 교란 통계들을 오디오 및 비디오 압축기들에 전송

데이터 전송 원리에 대한 설명은 네트워크 커널 설명에 있다.

클라이언트 하드웨어 요건:

- PⅡ 셀러론 600MHz 프로세스를 갖춘 휴대 PC

- 64Mb 이상의 메모리와 사운드 카드

- 사운드 카드

- 비디오 카메라

- 무선 통신채널에의 접속을 위한 접속 디바이스

- 다이얼-업 접속을 위한 표준 모뎀 56BPS이거나

프로젝트에 관한 작업들의 계획-스케쥴

프로젝트에 관한 작업들은 6단계로 실현된다.

제1 단계 회유(conciliatory) 및 준비(preparatory). 프로그램의 현재 버전의 프리젠테이션.

이 단계에서 다음의 작업이 달성되어야 한다:

- 개발자는 프리젠테이션을 위해 비디오 압축용의 프로그램의 현재 버전의 프로그램 모듈들 및 기술문서를 준비한다.

- 개발자는 사원에게 임무를 설정하고 사원이 프로젝트 요건을 적합하게 이해할 수 있게 한다.

- 개발자는 프로그램의 현재 버전을 제시한다. 프리젠테이션 동안에 개발자는 다음을 시범을 보인다.

1. 이동전화 사용 및 인터넷을 통한 접속에 의한 다이렉트 접속의 가능성을 가진 클라이언트측.

2. 주어진 요건 명세에 기술된 하드웨어 및 소프트웨어를 준수하여 동작하는 비디오 압축기의 실현.

3. 보상 메커니즘을 구비하고 있으며 9500BPS 이상의 대역폭을 가진 전이중 무선 통신채널(full duplex wireless communication channel)을 사용하여 초당 3프레임 속도(rate)로 만족스러운 품질을 성취하는 비디오 및 오디오 흐름들을 회의모드로 전송하는 비디오 및 오디오 압축기들의 실현.

4. 사용자 인터페이스의 현재 버전의 실현.

5. 채팅 기능들의 실현.

6. 9600 K5 채널을 사용하여 비디오 흐름 전송을 확보할 수 있는 프로그램의 현재 버전의 테스트 기록 시트들을 작성.

제2 단계 << 새로운 버전의 개발>>

- 서버측의 완전한 실현.

- 사용자의 새로운 버전의 개발, 조정 및 도입.

- 관심있는 방법들의 영역의 실현

- 보상모델들의 두 버전들의 실현. 네트워크 교란 통계들에 따라 방법들의 설정들의 자동으로 변경할, 이들 방법들과 네트워크 커널간의 상호작용의 확보.

- 오디오 압축기(예상 오디오 흐름 대역폭 1500BPS)의 실현

- 다른 OS, 통신 네트워크 표준들 및 하드웨어로 시스템의 테스트.

- 새로운 버전의 프리젠테이션.

- 프로그램의 현재 버전의 테스트 기록 시트를 작성.

- 지면으로(on the paper media) 고객에게 소스코드를 전달

제3 단계 <<코덱의 하드웨어 버전의 실현을 위한 예비작업>>

- 사용자는 자신의 임의로 다른 채널 대역폭에 맞게 조정하는 메커니즘과, 비디오 및 오디오 흐름들의 품질 조정을 위한 알기 쉬운 기능들을 가져야 한다. 비 디오 및 오디오 압축기들의 모든 특정한 설정들은 사용자 없이 자동으로 실현될 수 있다.

- 사용자는 볼륨 설정 패널 및 비디오 카메라 파라미터 설정들을 사용자 임의로 할 수 있다.

- 사용자는 인커밍 호(incomming call)에 관해 프로그램에 의해 통보받아야 하며 원하지 않는 호들을 차단할 수 있다.

- 사용자는 채팅 기능을 사용자 임의로 할 수 있다.

서버측.

서버 프로그램은 인터넷 접속을 사용하여(혹은 이외 어떤 TCP/IP 네트워크) 클라이언트측 사용자의 탐색 및 접속을 용이하게 할 목적으로 설계된다. 서버측은 네트워크의 클라이언트측에의 모든 사용자들의 접속들을 등록 및 추적(trace)할 수 있는 프로그램 사용자들의 스케일러블 데이터베이스이다. 네트워크에 접속될 때 각 프로그램 사용자는 서버에 등록할 수 있고, 자신의 어드레스 북에 다른 사용자들을 추가할 수 있고 어드레스 북에 나열된 임의의 사용자의 현재 상태를 볼 수 있다. 요구된 사용자가 현재 온라인에 있다면 서버측은 별도의 조정없이도 이 사용자에게 빠른 접속의 가능성을 확보할 수 있다.

과금 시스템의 주 작업은 채널 사용시간에 대해 사용자들의 계정들을 정산하는 것이다. 채널 사용에 대한 지불들은 매 분(each minute) 수집된다. 예를 들면, 휴가시 특별요금을 도입할 가능성을 갖고 각 채널에 1분의 비용이 결정된다. 각 클 라이언트는 개인계정을 갖는다. 돈이 이 계정으로 클라이언트의 신용카드로부터 이체된다. 계정 충전은 실제 돈 이체에 의해서 혹은 광고 캠페인의 프레임들 내에서 무료 시간을 얻음으로써 수행된다. 비디오 방송 서버들은 http 프로토콜을 사용하여 과금서버에 요청들을 보낸다. 한 과금서버는 몇 개의 비디오 방송 서버들에 서비스할 수 있다.

일 실시예에서 서버 하드웨어 요건:

- PE 6D0 MHz 이상의 프로세서를 가진 서버

- 128Mb 이상의 메모리

일 실시예에서 서버 소프트웨어 요건:

- OS Windows 2000 서버

일 실시예에서 서버측 요건:

- 서버는 무한 수의 를 지원하는 표준 스케일러블 데이터베이스를 구비해야 한다.

- 서버는 클라이언트 프로그램들로부터 초당 10D 정도의 요청을 처리해야 한다.

네트워크 커널(도 18 혹은 21과 같은)은 데이터의 때에 맞는 배송을 확보해 야 하고 네트워크 교란 검출 목적으로 네트워크를 모니터해야 하며 축적된 통계들에 기초하여 비디오 및 오디오 압축기들의 조정을 수행한다. 도 3은 일방향 데이터 전송 채널의 구조를 나타낸다(이 채널에 대한 요건은 이하 열거한다). 이 채널은 3개의 흐름들로 구성된다:

- 비디오 채널

- 오디오 채널

- 제어 채널

제어 채널은 광범위한 서비스 기능들을 행한다:

- 통신세션이 시작되기 전에 클라이언트 프로그램들의 2이상의 사용자들의 접속을 수행.

- 비디오 및 오디오 흐름들을 동기화.

- 네트워크.

- 네트워크 교란 및 데이터 유실 통지.

- 사용자들간의 짧은 메시지 교환(채팅)을 수행.

일 실시예에서 네트워크 커널 요건:

- 데이터 적절성의 제어

- 연속된 네트워크 모니터링

- 네트워크 교란 통계의 축적과 비디오 및 오디오 압축기 설정에 의한 동작의 능력.

- 보상과 함께 작동하기 위한 지능형 알고리즘들의 사용가능성.

- 채팅 기능의 실현.

- 스케일러빌리티.

- 한 비디오 흐름을 다수에 보낼 가능성.

인터페이스

사용자 인터페이스(GUI)는 클라이언트 프로그램을 관리하는 편리하고 직관적으로 이해가능한 형태를 제공해야 한다. GUI는 프로그램 설정에 의한 동작의 용이한 방법 및 다른 사용자에의 간단하고 편리한 접속을 확보해야 한다.

일 실시예에서 사용자 인터페이스(GUI)의 요건:

- 사용자 인터페이스는 간단하고 직관적이어야 한다.

- 인터페이스는 미려한 현대식 설계를 가져야 한다.

- 사용자 인터페이스는 인커밍 및 아웃고잉 비디오 흐름들을 보기 위한 2개의 다이얼로그들로 구성되어야 한다.

- 사용자는 스크린의 크기까지 다이얼로그들의 크기를 크게 하고 리셋 상태 로 다이얼로그들을 되돌릴 수 있는 가능성을 가져야 한다.

비디오 압축기는 엔코딩 프로세스 동안에 추적된 통계들 및 네트워크 커널에 축적되고 이로부터 수신된 통계들에 기초하여 비디오 흐름 엔코딩 프로세스 동안에 유연하게 조정가능해야 한다.

일 실시예에서 비디오 압축기 요건:

- 비디오 압축기는 위에 언급된 소프트웨어 및 하드웨어 요건에 따르는 전처리 및 후처리를 포함하여 회의모드에서 비디오 흐름의 동시적 엔코딩 및 디코딩을 실현해야 한다.

- 비디오 압축기는 엔코딩 및 디코딩의 대칭적 방식을 제공해야 한다.

- 초당 처리된 프레임 수는 5 이상 이어서 9600 BPS의 대역폭의 채널을 사용하여 만족할 만한 품질을 성취해야 한다.

- 보상모델은 정적 이미지의 점차적 질적 증가를 확보해야 한다.

- 보상모델은 가능한 네트워크 교란들을 처리할 수 있어야 한다.

- 보상모델은 두가지 변형예로서, 데이터 배송을 보증하는 네트워크들(이러한 네트워크들을 사용한 하드웨어 구현을 위해) 및 데이터 배송을 보증하지 못하는 네트워크들(인터넷 유형의 네트워크들)에 대해 실현되어야 한다.

오디오 압축기

오디오 압축기는 오디오 흐름들의 웨이브렛들을 사용하여 엔코딩 및 디코딩 을 수행한다. 주어진 모듈의 실현은 시장에서 입수될 수 있는 표준화된 오디오 흐름 압축 알고리즘의 사용과, 웨이브렛 기술에 기초하여 자신의 오디오 코덱을 개발할 가능성들의 분석인, 두 방향에서 앞서 있어야 한다.

일 실시예에서 오디오 압축기 요건:

- 오디오 압축기는 위에 언급된 소프트웨어 및 하드웨어 요건들에 따라 회의모드에서 비디오와 함께 오디오 흐름의 동시적 엔코딩 및 디코딩을 실현해야 한다.

- 오디오 압축기는 엔코딩 및 디코딩의 대칭적 방법을 제공해야 한다.

- 오디오 압축기 작동은 일 때 비디오와 동기되어야 한다.

- 사운드 품질은 사람의 음성을 이해하기에 충분해야 한다.

- 오디오 데이터 볼륨은 9600 BPS의 대역폭의 채널을 사용하여 240D BPS를 초과하지 말아야 한다. 이상적 볼륨은 1000 BPS이다.

- 오디오 압축기는 가능한 네트워크 교란을 처리할 수 있어야 한다.

- 10/100MB 네트워크에의 접속을 위한 네트워크 카드

일 실시예에서 클라이언트의 소프트웨어 요건:

- OS Windows 98 OSR 1, Windows Me, Windows 2000

- 무선통신채널을 통한 TCP/IP 프로토콜 드라이버

일 실시예에서 데이터 통신채널들에 대한 요건:

- 디지털 무선통신 채널

- 주어진 무선통신 채널들은 9600 BPS 이상의 대역폭의 전이중 통신을 제공해야 한다.

- 두 컴퓨터간의 다이렉트 다이얼-업 접속(혹은 ASP를 사용한 인터넷을 통한 접속)이거나,

- 두 컴퓨터들간의 다이렉트 접속을 위한 로컬 10/100 MB 네트워크

비디오 압축기

비디오 압축기는 비디오 흐름들의 웨이브렛들을 사용하여 엔코딩 및 디코딩을 수행한다. 주어진 프로세서는 다음의 작업 사이클을 갖는다.

- 전처리

- 키 프레임들의 엔코딩

- 보상모델들

- 키 및 보상된 프레임들의 디코딩

- 후처리

전처리- 다음의 엔코딩, 즉 질의 향상(이전의 프레임들들 통계들로부터 가용 한 것에 기초하여)을 위해 필요한 비디오 이미지 준비.

보상방법들은 프레임들간의 차이만이 전송된다는 사실에 기인하여 보다 많은 수의 프레임들을 전송할 수 있게 한다. 이 방법은 전처리와 밀접히 관계가 있을 것이다. 보상방법들은 대부분 네트워크 교란에 좌우되기 때문에, 네트워크 커널과도 밀접히 관계가 있다. 보상된 프레임들의 엔코딩은 웨이브렛 기술에 기초하여 또한 수행된다.

키 및 보상 프레임들의 디코딩은 웨이브렛 기술을 사용한 백-엔코딩을 사용하여 실현된다.

후처리는 선명도 및 색 스펙트럼 개선을 위해 비디오 이미지에 필터들을 적용함으로써 비디오 품질 향상을 목적으로 한다.

발명의 상세한 설명에서 방법의 구체적이고 가장 바람직한 실현이 제시되었다. 방법 단계들 및 이들의 구체적 파라미터들의 상세한 설명은 발명이 제시된 설명 자체임을 의미하지 않는다. 청구된 방법 및 이의 변형들의 추가적 잇점들은 출원인의 일반적 발명적 생각들에 따른 실현에서 발견될 수 있다.

Claims

데이터의 압축 방법에 있어서:

상기 데이터를 웨이브렛 분해 계수(wavelet decomposition coefficient)들의 어레이 D로 표현하는 단계;

루트 노드와 결과로서 접속된 노드들로 형성된 상기 계수들의 트리 맵을 생성하는 것으로 상기 루트 노드를 제외한 각 노드는 대응 선조의 자손인, 트리 맵 생성단계;

상기 노드들에 대응하는 성분들이 대응 계수 D가 양 혹은 제로 값을 가지면 성분들이 0이고 계수 D가 음의 값이면 1인, 어레이 Z 생성단계;

한 세트의 임계 어레이들 T_i=T₀/2ⁱ을 생성하는 것으로, T₀는 기본 임계 어레이이고 i는 임계 인덱스인, 임계 어레이 생성단계;

각 노드에 대한 M/T₀비의 값이 주어진 노드의 모든 자손들 중에서 D/T₀의 최대값과 같은 어레이 M을 생성하고, 어레이 M 성분의 주어진 노드값에 대응하는 것이 임계 어레이 T_i 성분의 값 미만이면 0이고 어레이 M 성분의 대응하는 값이 임계 어레이 T_i 성분의 값 이상이면 1인 성분들을 갖는 한 세트의 어레이들 Si를 생성하는 단계;

성분들이 |D|/T₀비에서 2배의 분수부분의 정수부분과 같은 것인 한 세트의 어레이 B_i를 생성하는 단계를 포함하고,

청구항 1의 방법은 상기 어레이들의 상기 성분들을 포함하는 벡터-어레이들 V_i의 V세트를 생성하는 단계들을 더 포함하는, 방법.
S_i, B_i는 주어진 노드의 자손들에 대응하고, 어레이 Z_i의 성분들은 B_i 성분이 1인 주어진 노드의 자손들에 대응하며,

상기 V, S, B, Z 데이터 스트림들의 엔트로피 코딩 절차들을 위해 상기 V, S, B, Z 성분들의 데이터 스트림들을 생성하는 단계.
제1항에 있어서, 기본 임계 어레이 T₀의 상기 성분들의 값들은 각각의 후속되는 서브대역에 대해 2배로 증가되는, 방법.