KR20040068231A

KR20040068231A - 스케일링 가능한 선택적 향상된 ｆｇｃ 부호화된이미지들의 동적 할당 방법 및 장치

Info

Publication number: KR20040068231A
Application number: KR10-2004-7009141A
Authority: KR
Inventors: 반더쉬해르미해라
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2001-12-13
Filing date: 2002-12-06
Publication date: 2004-07-30
Also published as: EP1459546A1; US20020181580A1; CN1270539C; US7068717B2; JP2005512470A; AU2002348773A1; WO2003051060A1; CN1602633A

Abstract

FGS 부호화된 비디오 이미지의 원하는 영역 혹은 영역들을 동적으로 선택적으로 향상시키는 방법 및 시스템. 방법은 비디오 이미지의 원하는 부분에 연관된 비트-평면들 각각에서 FGS 부호화된 매크로블록들 중 적어도 한 매크로블록을 결정하는 단계, 전송 시퀀스 내에, 상기 결정된 FGS 부호화된 매크로블록들 각각의 전송순서를 결정하는 단계, 및 상기 결정된 FGS 부호화된 매크로블록들 각각을 기지의 레벨의 향상에 대응하는 전송 시퀀스 순서로 앞당기는 단계를 포함하고, 상기 앞당겨진 FGS 부호화된 매크로블록들은 높은 전송 우선도를 갖는 비트-평면에 포함되어 있다. 본 발명의 일 면에서, 원하는 영역은 사용자에 의해 대화식으로 선택될 수도 있다. 또 다른 면에서, 원하는 영역 혹은 영역들은 자동적으로 선택될 수도 있다.

Description

스케일링 가능한 선택적 향상된 ＦＧＣ 부호화된 이미지들의 동적 할당 방법 및 장치{Method and apparatus for dynamic allocation of scalable selective enhanced fine granular encoded images}

MPEG-4 FGS(Fine-Granular Scalability) 프레임워크는 비디오 이미지의 서로 다른 부분들을, 선택적 향상이라 하는 적응형 양자화 기술을 사용하여 서로 다른 레벨들로 압축할 수 있게 하여준다. FGS 부호화된 비디오 이미지들의 선택적 향상은 2000년 7월 12에 출원된 "System And Method For Fine Granular Scalable Video With Selective Quality 향상" 명칭의 미국특허 출원번호 60/217,827에 개시되어 있다. 선택적으로 향상된 FGS 비디오 신호들의 전송 효율의 향상은 2001년 12월 13일에 출원된 "Method And Apparatus For Dynamic Allocation Of Scalable Selective Enhanced Fine Granular Encoded IMAGES" 명칭의 미국특허 출원번호 10/015,508에 더 완전하게 개시되어 있다.]

본 발명은 일반적으로 비디오 부호화에 관한 것으로 특히 선택적 향상 FGS 부호화된 비디오 데이터를 동적으로 할당하는 것에 관한 것이다.

도 1a는 선택적 향상 기술을 채용하는 종래의 FGS 시스템을 도시한 것이다.

도 1b는 종래의 선택적으로 향상된 FGS 부호화된 비디오 이미지를 도시한 것이다.

도 2는 본 발명의 원리에 따라, FGS 부호화된 이미지를 동적으로 선택적으로 향상시키는 FGS 부호화 시스템을 도시한 것이다.

도 3a는 종래의 비-선택적으로 향상된 FGS 부호화된 비디오 이미지를 도시한 것이다.

도 3b는 본 발명의 원리에 따라 도 3a에 도시된 부호화된 비디오 이미지에 연관된 전송 시퀀스 순서를 도시한 것이다.

도 4a는 도 3b에 도시된 전송 시퀀스 순서의 순응을 도시한 것이다.

도 4b는 본 발명의 원리에 따라 도 3a에 도시된 부호화된 비디오 이미지에 연관된 제2 전송 시퀀스 순서를 도시한 것이다.

도 4c는 도 4b에 도시된 전송 시퀀스 순서의 순응을 도시한 것이다.

도 5는 본 발명의 원리에 따라 FGS 부호화된 이미지들의 전송을 위한 시스템을 도시한 것이다.

도 6은 본 발명의 원리에 따라 FGS 부호화된 이미지들의 프레임 전송 시퀀스를 동적으로 변경하는 프로세스의 흐름도를 도시한 것이다.

도 7은 본 발명의 원리에 따라 FGS 부호화된 이미지들의 프레임 전송 시퀀스를 변경하는 프로세스의 흐름도를 도시한 것이다.

도 8은 본 발명의 원리의 일 면에 따라 사용자 요청들을 처리하는 시스템을 도시한 것이다.

FGS 부호화된 비디오 이미지에서 선택된 향상에 지정된 영역들을 이용하는것이, 이미지의 지정되지 않은 영역들보다 높은 질의 레벨을 달성하기 위해 전송될 수도 있다. 앞에 언급된 특허출원들에 개시된 바와 같이, 전송되는 이미지의 더 높은 질의 레벨 혹은 더 높은 해상도는, FGS 부호화된 이미지 요소들의 특정의 혹은 지정된 영역 혹은 지역(region)들을 보다 높은 전송 우선도 레벨에 "시프트(shift)"함으로써 달성될 수 있다. 이에 따라, 선택적으로 향상된 이미지들은 이들의 정규 시퀀스에서 벗어나 전송된다. 특정의 혹은 지정된 영역들 혹은 지역들은 여기서는 매크로블록들이라 칭하는, 특정의 화소, 화소 어레이들 혹은 다수 세트들의 화소 어레이들에 연관될 수 있다. 향상 인자 혹은 시프트 인자의 표시는 각각의 시프트된 FGS 부호화된 이미지 요소들, 즉 매크로블록들에 또한 연관된다.

현 선택적 향상 방법의 한 결점은, 시프팅 인자들과 선택적 향상을 위해 선택된 영역 혹은 영역들이 근본적으로 미리 결정되고 FGS 부호화 처리 중에 할당된다는 것이다. 향상된 영역들의 이러한 선택은 어떤 소정의 규칙들에 근거하여 자동 시스템에 의해 수행될 수도 있다. 예를 들면, 이미지 내 가장 느린 움직임에 연관된 데이터 블록들이 향상을 위해 선택될 수 있다. 또는, 이미지 내 얼굴들이 배경보다 더 향상될 수도 있다. 그러나, 이들 규칙에 기반을 둔 자동 시스템들은 빈번히 사용자 혹은 시청자가 관심을 갖고 있는 것을 정밀하게 향상시키지 못한다. 그러므로, 자동 시스템에 의해 선택된 관심 영역 혹은 지역이 사용자 혹은 시청자가 관심을 갖는 영역 혹은 지역과 일치하지 않을 수 있다.

그러므로, 사용자 혹은 시청자가 관심을 갖는 영역 혹은 영역들을 향상된FGS 부호화된 데이터로서 전송을 위해 선택 혹은 할당하게 하는 시스템을 제공할 필요성이 있다.

FGS 부호화된 비디오 이미지들 내 영역 혹은 지역을 동적으로 선택 혹은 할당하는 방법 및 시스템이 제공된다. 방법은 비디오 이미지의 원하는 부분에 연관된 비트-평면들 각각에서 FGS 부호화된 매크로블록들 중 적어도 한 매크로블록을 결정하는 단계, 전송 시퀀스 내에, 상기 결정된 FGS 부호화된 매크로블록들 각각의 전송순서를 결정하는 단계, 및 상기 결정된 FGS 부호화된 매크로블록들 각각을 기지의 레벨의 향상에 대응하는 전송 시퀀스 순서로 앞당기는 단계를 포함하고, 상기 앞당겨진 FGS 부호화된 매크로블록들은 높은 전송 우선도를 갖는 비트-평면에 포함되어 있다. 본 발명의 일 면에서, 원하는 영역은 사용자에 의해 대화식으로 선택될 수도 있다. 또 다른 면에서, 원하는 영역 혹은 영역들은 자동적으로 선택될 수도 있다.

이들 도면들은 단지 본 발명의 개념의 예시 목적을 위한 것이고 본 발명 범위의 수준으로서 의도된 것이 아님을 알아야 한다. 적절한 곳에 참조 문자가 추가되기도 한 동일 참조부호는 전체를 통해 동일 구성부분들을 확인하는데 사용되었다는 것을 알 것이다.

도 1은 소정의 선택적 향상 기술을 채용한 종래의 FGS 비디오 부호화시스템(100)을 도시한 것이다. 도시된 바와 같이, 이 시스템은 기본층(base layer) 부호화기(102) 및 향상층 부호화기(104)로 구성된다. 원 비디오 신호(orignal video signal)(105)는 디지털로 부호화되고, 기본층(BL)(110)을 생성하는 기본층 부호화기(102)에 의해 양자화된다. 기본층(110)은 최소한으로 수락될 수 있는 비디오 신호를 나타내는 충분한 정보를 갖고 있다. 기본층 신호(110)는 움직임 보상 정보를 포함할 수도 있다. 움직임 보상은 이 기술에 공지되어 있으므로 여기서 논할 필요는 없다. 이어서, 기본층 신호(110)는 네트워크, 예를 들면 인터넷(180)을 통해 전송하기 위해 버퍼/레이트 전송기(170)에 제공된다.

원 비디오 신호(106)는 기본층(110)의 원 비디오 신호가 디지털화되어 양자화된 것과 함께 향상층 부호화기(104)에도 제공된다. 향상층 부호화기(104)는 원 비디오 신호와 양자화된 기본층(110) 간 잔류 에러(residual error)를 결정한다. 향상층 부호화기(104)는, 전송된 기본층(110)에 인가되었을 때 양자화 에러들을 제거하여 전송된 이미지의 질을 향상시키는 정보 아이템들이 포함된 질 개선 (SNR) 향상층(150)을 생성한다. 이어서, SNR 향상층 신호(150)는 네트워크, 예를 들면 인터넷(180)을 통해 전송하기 위해 버퍼(170)에 제공된다.

기본층(110) 및 향상층(150)에 관한 움직임 보상 정보를 포함한 시간(temporal) FGS 부호화된 향상층(FGST)(155)이 또한 도시되어 있다. 시간 향상층 신호(155)는 네트워크(180)로 레이트 제어기(175)를 통해 전송하기 위해 버퍼(170)에도 제공된다.

FGS 부호화된 비디오 이미지들의 전송에서 알 수 있는 바와 같이, 전송되는향상층들(150, 155) 내의 정보 아이템들의 양은 사용될 수 있는 대역폭에 달려있다. 그러므로, 향상층들(150, 155) 내 각각의 정보 아이템은 프레임 기간에 전송되지 않을 수도 있다. 결국, 우선적으로, 혹은 고 우선도(higher priority)로 전송되는 전송 이미지의 영역들은 나중에 전송되는 것들보다 높은 질 혹은 더 큰 해상도를 갖게 된다.

FGS 부호화기(104) 내 선택 향상 장치(108)는 이미지 내 지정된 영역들이 이미지의 이외 다른 지정되지 않은 영역들 혹은 지역들보다 높은 전송 우선도로 전송되는 것을 제공한다. 선택적 향상은 여기 참조로 포함시키는 앞서 언급된 특허출원들에 더 완전하게 개시되어 있다.

도 1b는 도 1a에 도시한 부호화기에 따라 발생된 소정의 선택적 향상이 행해진 종래의 FGS로 부호화된 이미지(200)를 도시한 것이다. 도시된 바와 같이, 이미지(200)는 기본층(110), 향상층(150) 및 시프트 인자 층(160)으로 구성된다. 앞서 언급된 특허출원들에 상세히 다루어져 있는 바와 같이, FGS 부호화된 비디오 이미지들은, 통상 매크로블록들이라 칭하는, 6개의 8x8 데이터 블록들 내 포함된 이미지 정보를 통상 나타내는 블록들로 형식화된다. 부호화된 이미지는 비트 평면들이라 칭하는 정보 레벨로 저장된다. 각각의 비트-평면은 각각의 매크로블록의 비디오 정보에 관한 순차적으로(progressively) 보다 상세해진 정보(예를 들면 논-제로 DCT 잔류 계수들)를 포함한다. 예를 들면, 비디오 이미지의 일부는 기본층 블록(112)에 저장될 수 있고 순차적으로 더 미세한 이미지 해상도의 데이터는 향상층 블록(132, 142, 등)에 저장된다. 그러므로, FGS 부호화 원리들에 따라, 최소해상도의 비디오 이미지는 정보 블록들, 매크로블록들 혹은 데이터 블록들(112, 114, 116, 118, 등)로 구성된 기본층(110)에 저장되는 한편, 비디오 이미지의 대응하는 부분들에 관한 순차적으로 미세한 해상도의 정보는 비트-평면들(120, 130, 140, 등)로 구성된 향상층(150)에 저장된다. 이에 따라, 이 예의 경우에, 비트-평면(130)은 대응하는 매크로블록들의 최상위 비트 혹은 바이트에 관한 정보를 포함하는 한편, 비트-평면(140)은 대응하는 매크로블록들의 최하위 비트 혹은 바이트에 관한 정보를 포함한다.

비트-평면(120)은 고 전송 우선도를 달성하기 위해 스케일링된 선택적으로 향상된 매크로블록들에 관한 정보를 포함한다. 이 예에서, 이미지에 관한 정보는 E'e로 나타낸, 대응하는 매크로블록(134)의 최상위 비트 혹은 바이트가, E'o로 나타낸, 제1 매크로블록(132)에 대응하는 최상위 비트 혹은 바이트보다 먼저 전송되도록 스케일링된다. 유사하게, E''e로 나타낸, 매크로블록(144)에 대응하는 다음 최상위 비트 혹은 바이트에 관한 정보는, 이 정보가, E''o로 나타낸 제1 매크로블록(142)의 다음 최상위 비트 혹은 바이트보다 먼저 전송되게 "시프트" 또는 스케일링된다. 대응하는 매크로블록들의 시프트 혹은 스케일링에 관한 정보는, 이 예에선 블록들(162, 164, 166, 168)로 구성되고 각각의 대응하는 매크로블록에 대한 정보를 제공하는 시프트 인자 층(160)에 위치된다. 공지된 바와 같이, 160 내 시프트 인자들은 그 전부가 동시에 전송되는 것이 아니라 향상층(160)에 앞서 전송된다. 이들은 매크로블록(MB)이 유효(significant)(즉, 논-제로 DCT 잔류 계수들)하게 되는 즉시, 각각의 MB마다 독립적으로 전송된다. 그러므로, 어느 한 MB가 유효하게 될 때 전송될 것이며, 혹은, 이와 다르게는, 이 MB가 아직 유효하지 않다는 것을 표시하기 위해 논-제로-매크로블록 심볼(NULL)이 전송될 것이다. 처음으로 MB가 유효하게 되었을 때, 대응하는 선택적 향상 (SE) 시프트 인자(160)가 또한 전송될 것이다.

이어서, 비디오 소스의 연관된 프레임들에 대응하는 비트-평면들에 저장된 각각의 FGS 부호화된 매크로블록 정보가 장치(170)에 저장된다. 장치(170)는 나중에 인터넷과 같은 통신 네트워크로 전송하기 위해, 독출전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 혹은 광학 디스크, 등과 같은 영구 혹은 반-영구 매체일 수 있다. 예시적인 선택적으로 향상된 복합 이미지(200)를 보였지만, 다른 대역폭 혹은 비트 레이트 상태에 따른 전송을 위해 적어도 한 영구 혹은 반-영구 매체에 복수개의 동일 비디오 소스(106)가 동시에 저장될 수도 있음을 알 것이다. 도시되진 않았으나, FGST 향상층(155)은 유사하게 매크로블록들로 구성되고 이에 따라 시프트될 것임을 알 것이다.

도 2는 본 발명의 원리에 따른 부호화 시스템을 도시한 것이다. 이 예의 시스템에서, 기본층(110), FGS 향상층(150) 및 FGST 향상층(155)은 통상의 비-선택적으로 향상된 구성으로 버퍼(170)에 저장된다. 이어서, 선택적 향상이 요청되었을 때 전송 시퀀스를 동적으로 결정하기 위해 매크로블록 데이터가 동적인 선택적 향상 모듈(210)에 제공된다. 매크로블록 데이터 혹은 정보가 선택적으로 향상되건 그렇지 않건 간에, 매크로블록 데이터 혹은 정보는 네트워크(180)로 나중에 전송하기 위해 레이트 제어기(175)에 제공된다.

도 3a는 간단히 4개의 매크로블록들로 구성된 것으로 표현한, 종래의 FGS 부호화된 비디오 이미지의 비트-평면 구조를 도시한 것이다. 또한, 비디오 이미지들은 6개의 비트-평면들에 대해 FGS 부호화되고, 매크로블록들(311, 312, 313, 314)로 구성된 비트 평면(310)은 기본층(110)을 나타내며, 이에 이은 비트 평면들(320-360)은 각각 향상층(150)을 나타낸다. 이에 따라, 매크로블록들(321, 331, 341, 등)은 매크로블록(311)에 포함된 비디오 정보에 대해 순차적으로 미세한 해상도에 관한 정보를 포함한다.

이 예에서, 비디오 이미지는, 이 예에선 기수 행들의 매크로블록 데이터를 좌측에서 우측으로 우수 행은 우측에서 좌측으로 전송하는 통상의 행 라스터형 주사(370)를 사용하여 전송된다. 그러므로, 매크로블록(311) 내 데이터가 먼저 전송된 후 매크로블록(312) 내 데이터, 이에 이어 매크로블록(314, 313) 내 데이터가 각각 전송된다. 이때 충분한 대역폭을 사용할 수 있다면, 제1 레벨의 향상층 데이터를 나타내는 매크로블록들(321, 322, 324, 323)이 다음에 전송된다. 비트-평면들(330-360) 내 데이터도 충분한 대역폭이 사용될 수 있다면 전송될 수 있다. 행 라스터형 주사가 예시되었지만, 수평 및/또는 수직 순차/비월 주사들 또한 발명의 범위 내에서 고찰됨을 알 것이다.

도 3b는 도 3a에 도시된 FGS 부호화된 비트-평면 구조에 대응하는 전송 시퀀스 순서(380)를 도시한 것이다. 도시된 전송 시퀀스 순서에서, 각각의 비트-평면 내 각각의 매크로블록을 가리키는 포인터들 혹은 각 매크로블록에 연관된 벡터들은 전송 순서로 저장된다. 이에 따라, 도 3a에 도시한 수평 라스터 주사의 경우, 매크로블록(311)을 가리키는 포인터 혹은 이 매크로블록에 연관된 벡터는 전송 시퀀스 순서(380)에서 제1 엔트리로서 저장되고, 이에 이어 매크로블록들(312, 314, 313)를 가리키는 대응하는 포인터들, 혹은 이들 매크로블록들에 연관된 벡터들은 전송 시퀀스 순서 테이블에 순차적으로 저장된다. 유사하게, 각 비트-평면 내 각 매크로블록을 가리키는 대응하는 포인터들, 혹은 이 매크로블록에 연관된 벡터들은 이들의 전송 순서로 저장된다. 알게 되겠지만, 도 1a 또는 도 2에 도시한 레이트 제어기(175)는, 후술하는 바와 같이, 전송할 첫 번째/다음 매크로블록을 판정하기 위해 전송 시퀀스 순서(380)의 각 요소를 순차적으로 검토하는 프로세스를 포함한다. 알게 되겠지만, 매크로블록 전송의 순서가 교호로 되어있어 연관된 매크로블록 포인터들 혹은 벡터들의 저장 순서가 교호로 될 것이다. 그러므로, 본 발명의 원리에 따라서, 매크로블록의 전송 시퀀스는 고정되거나, 혹은 "결선(hard-wired)"되어 있는 것이 아니라 전송 시퀀스 순서(380)에서 선택된 순서에 의해 결정된다.

도 4a는 매크로블록(313)에 보인 것에 대응하는 이미지의 원하는 부분을 선택적으로 향상시키라는 요청에 응한 전송 시퀀스 순서(380)의 순응을 도시한 것이다. 이 경우, 후속의 비트-평면들, 즉 매크로블록들(323, 333, 343, 353, 363) 내 매크로블록(313) 및 매크로블록들을 가리키는 대응하는 포인터들, 혹은 이들 매크로블록들에 연관된 벡터들은 요청된 향상을 수용하기 위해서 전송 테이블 순서(380)에서 시프트 혹은 재배치된다. 전송 순서의 이러한 시프트 혹은 재배치는 요청된 이미지 부분에 높은 전송 우선도를 제공한다. 이에 따라, 포인터 혹은 벡터(394)로서 나타낸 매크로블록(313)에 관한 정보는 포인터 혹은 벡터(395)로서나타낸 매크로블록(311)에 관한 정보에 앞서 위치된다. 유사하게, 포인터 혹은 벡터(397)로서 나타낸 매크로블록(363)에 관한 정보는 포인터 혹은 벡터(398)로서 나타낸 매크로블록(361)에 관한 정보보다 앞에 위치된다.

많은 현존의 수신 시스템들과의 호환성을 제공하고 특정의 수신 혹은 전송 장비의 필요성을 제한하기 위해서, 통상의 라스터형 전송 시퀀스가 유지됨을 알 것이다. 이 경우, 요청된 매크로블록(311)의 선택적 향상 혹은 높은 전송 우선도를 보정하기 위해서 전송 시퀀스 순서(380)에 포인터들 혹은 벡터들(391, 392, 393)을 도입한다. 이 예에서, 포인터들 혹은 벡터들은 "유효하지 않은" 매크로블록 혹은 블록으로 설정된다. 알게되겠지만, 포인터 혹은 벡터는, 유사하게, "유효하지 않은" 문자 혹은 블록을 표시할 "0"과 같은 사용되지 않은 값으로 설정될 수도 있다. "유효하지 않은" 매크로블록들은 수신된 매크로블록을 제로로 채울 것을 대응하는 수신 시스템에 지시하기 위해 전송된다. 유사하게, 모든 선택적으로 향상된 매크로블록들이 전송된 후에 전송 순서를 유지하기 위해서, 선택적으로 향상된 매크로블록들의 비트-평면들에 "0" 포인터들이 도입된다. 그러므로, "0" 포인터들은 전송 제어 테이블 내에 넣어져, 시프트된 매크로블록 정보에 대응하는 위치들에서 시퀀스 순서(380)을 제공한다. 이 경우, "0" 포인터는 한 세트의 제로 블록들이 전송될 것임을 표시하기 위해 위치(399)에 놓여진다.

도 4b 및 도 4c는 전송 시퀀스 순서의 다른 실시예 및 링크-리스트 구조를 사용한 변형예를 함께 도시한 것이다. 도 4b는 도 3b에 도시한 것과 유사한 전송 시퀀스 순서를 도시한 것이다. 그러나, 이 경우, 제1 포인터 혹은 벡터는 도 3b에도시된 바와 유사하게, 전송할 매크로블록을 결정하는데 사용된다. 제2 포인터 혹은 벡터(415, 420,...,440 등)는 전송할 후속 매크로블록을 결정하는데 사용된다. 이에 따라, 도 3b에서 행해진 바와 같은 다음 매크로블록을 순차적으로 액세스하여 결정하는 것이 아니라, 제2 포인터 혹은 벡터를 사용하여, 전송할 다음 매크로블록을 결정한다. 포인터 혹은 벡터를 포함하는 별도의 값(410)을 전송하기 위해 제1 엔트리를 결정하는 것은 유지된다.

도 4c는 도 3a의 매크로블록(313)의 선택적 향상 혹은 전송 우선도를 앞당기기 위한 전송 시퀀스 순서의 순응을 도시한 것이다. 이 경우, 초기 값 포인터(410')는 "유효하지 않은" 값들의 데이터 블록(455)을 액세스하도록 변경된다. 이 경우, 데이터 블록(455)이 기지의 전송 순서를 유지하기 위해 사용된다. 데이터 블록(455)의 마지막 엔트리는 매크로블록(313)에 대응하는 전송 시퀀스에서 그 엔트리를 선택하는 포인터 혹은 벡터(460)를 포함한다. 이어서, 매크로블록(313)에 연관된 다음 매크로블록 포인터(465)는 다음 전송할 매크로블록(311)을 선택하기 위해 변경된다. 다음에, 매크로블록(312)은 매크로블록(311)에 연관된 다음 매크로블록이 변경되지 않았으므로 전송할 다음 매크로블록으로서 선택된다. 유사하게, 매크로블록(312)에 연관된 다음 매크로블록 포인터(470)가 변경되지 않았으므로 전송할 다음 매크로블록으로서 매크로블록(314)이 다음으로 선택된다. 그러나, 매크로블록(314)에 연관된 다음 매크로블록 포인터(475)는 전송할 매크로블록(324)을 선택하기 위해 변경된다. 전송 시퀀스 순서를 완료하고 유지하기 위해서, "유효하지 않은" 블록을 포함하는 마지막 혹은 최종의 블록(480)이, 마지막 전송된 매크로블록(364)에 연관된 포인터(485)에 의해 액세스될 수 있다.

알게 되겠지만, 데이터 블록(455, 480)은 각 비트-평면마다 매크로블록들의 균일한 수를 유지하기 위해 사용된다. 그러나, 데이터 블록(455) 혹은 데이터 블록(480)의 사용은 비트-평면 당 매크로블록들의 비-균일한 수가 유지되고 전송될 수도 있으므로 선택적인 것임을 알 것이다.

도 3b, 도 4a, 도 4b, 및 도 4c는 전송의 선형 혹은 순차적인 순서를 도시한 것이다. 이 기술에 숙련된 자들은 전송 시퀀스를 유지하고 동적으로 변경하기 위해 초기 포인터 및 링크된-리스트 및/또는 이중-리스트를 사용하는 것을 알 것이다. 또한, 교호의 비-순차적인 전송 시퀀스들은 링크된-리스트 혹은 이중-링크된 리스트들을 사용하여 유지될 수도 있다.

단지 한 매크로블록이 한 고 레벨의 전송 우선도로 선택적으로 향상시킬지라도, 임의의 수의 매크로블록들이 어떤 보다 높은 레벨의 전송 우선도로 시프트될 수도 있음이 이해될 것이다. 예를 들면, 복수의 매크로블록들은 시프트된 매크로블록들이, 향상되지 않은 이미지의 최상위 비트 혹은 바이트의 전송에 앞서 완전히 전송될 수도 있게 시프트 혹은 재배치될 수 있다.

동적 선택적 향상 프로세스를, 다음 예에 의해 더 예시한다. 원 FGS 잔류 이미지가 6개의 비트-평면들에 대해 부호화되고 각각의 비트-평면이 4개의 매크로블록들을 포함하며, 또한, 제1 매크로블록의 최상위 바이트가 6이고, 제2 매크로블록의 최상위 비트가 3이고, 제3 매크로블록의 최상위 바이트가 4이고 제4 매크로블록의 최상위 바이트가 5라고 하면, 원 FGS 부호화된 비트-평면들은 다음과 같이 나타내어질 수 있다.

여기서 "Coded-bpx"는 매크로블록에 대응하는 부호화된 비트-평면을 지칭하며, "0"은 '유효하지 않은' 값을 나타낸다.

매크로블록 3이 예를 들면 3 인자만큼 선택적으로 향상된다고 하면, 비트-평면의 수가 7로 증가되고 선택적으로 FGS 부호화된 매크로블록들은 다음과 같이 나타내어진다.

도 5는 본 발명의 원리를 이용한 전송 시스템(500)을 도시한 것이다. 이 예의 시스템에서, 전송 유닛(510)은, 비디오 프레임 이미지 정보를 수신하는 비디오 프레임 소스(106), 선택적 향상 유닛들(108)은 없이 도 1a에 도시된 것과 유사한 비디오 부호화 유닛(100), 및 FGS 부호화된 비디오 이미지를 저장하는 부호화기 버퍼(170)로 구성된다. 전송 레이트 제어기(175)는 부호화기 버퍼(170) 내에 포함된 저장된 FGS 부호화된 비디오 이미지들을 액세스하여 이 저장된 이미지 데이터를 데이터 네트워크(180)로, 연관된 전송 시퀀스 테이블에 저장된 순서로 전송한다. 수신 시스템(517)에서, 수신된 데이터 프레임들은 복호기 버퍼(518)에 저장되고 비디오 복호기(520)에 제공된다. 이어서, 복호된 정보는 비디오 디스플레이(522)에 보내진다.

도 2에 도시된 동적 선택적 향상 장치(210)에 비견되는 프로세서(577)를 더 예시한다. 이 예의 실시예에서, 동적 선택적 향상은 전송 레이트 제어기(175) 내에 일체화된다. 이 예의 경우에, 제어기(175)는 선택적으로 향상될 이미지의 원하는 부분을 포괄하는 매크로블록들을 결정하고, 다음/이어 프레임 전송할 전송 시퀀스 순서를 순응시키고 사용가능한 대역폭에 적합한 레이트로 네트워크(180)로 이미지 데이터를 전송한다. 프로세서(577)는 사용자가 지시 혹은 요청한 선택적 향상에 관한 정보를 네트워크(180)를 통해 또한 수신할 수 있다. 이 경우, I/O 프로세서(525)에 의해 제공될 수 있는, 사용자의 선택적 향상 요청에 응하여 프로세서(577)는 요청된 이미지 부분을 포괄하는 매크로블록들을 동적으로 결정하고 다음/이어 전송할 전송 시퀀스 순서를 순응시킨다.

알게 되겠지만, 프로세서(577) 혹은 I/O 프로세서(525)는 범용 혹은 전용 계산 시스템과 같은 어떤 수단일 수도 있고, 혹은 기지의 입력들, 즉 전송 시퀀스 순서에 응하여 기지의 출력들, 즉 매크로블록 데이터를 제공하는, 전용 로직 회로, 집적회로, 프로그래머블 어레이 로직(PAL), ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성일 수도 있다.

본 발명의 다른 면에서, 전송 제어기(175)는 사용가능한 대역폭에 근거하여 수신 시스템들에 보다 나은 질을 제공하기 위해서 전송 이미지의 지정된 영역들을 자동으로(사용자 요청 없이) 선택적으로 향상시킬 수도 있다. 예를 들면, 얼굴을 기초로 한 향상 규칙, 움직임을 기초로 한 구획화 규칙, 중요 마스크를 기초로 한 향상 규칙, 중심을 기초로 한 향상 규칙, 등이 향상 의 영역 혹은 영역들을 자동으로 결정할 수 있다.

도 6은 전송 제어기(175)에 대한 프로세스의 흐름도(600)를 도시한 것이다. 이 프로세스에서, 제1 포인터가 블록(610)에서 선택된다. 블록(615)에서, 선택된 포인터가, 유효하지 않은 매크로블록에 상응하는지 여부가 판정된다. 응답이 긍정이면, 데이터 블록은 블록(620)에서, 전송을 위해 "0" 포인터가 선택된다.

그러나, 응답이 부정이면, 블록(630)에서, 선택된 데이터 블록 내 정보 아이템들이 전송을 위해 선택된다.

블록(640)에서 다음 포인터가 선택된다. 블록(650)에서, 선택된 다음 포인터가 프레임 끝 마커인지 판정이 행해진다. 응답이 부정이면, 처리는 선택된 다음 포인터가 "눌" 블록에 연관되어 있는지 여부를 판정하기 블록(615)의 판정으로 돌아간다.

그러나, 응답이 긍정이면, 선택된 프레임 전송 시퀀스 테이블에 대한 처리가 완료된다.

도 7은 본 발명의 원리에 따라 프레임 전송 시퀀스 테이블을 동적으로 순응시키기 위한 프로세스의 흐름도(700)를 도시한 것이다. 이 경우, 프로세서(577)는 이미지의 지정된 영역이 선택적으로 향상될 수 있음을 판정한다. 예를 들면, 프로세서(577)는 도시된 바와 같이, 블록(710)에서, 사용자의 이미지의 일부의 선택적 향상 요청을 수신할 수 있다. 다른 실시예에서, 프로세서(577)는 선택적 향상이 적합함을, 사용 가능한 대역폭에 근거하여, 판정할 수도 있다.

블록(720)에서, 선택적으로 향상될 것으로 요청된 선택된 이미지 부분에 연관된 혹은 이를 포괄하는 매크로블록들이 결정된다. 유사하게, 향상 레벨이 블록(730)에서 결정된다. 블록(740)에서, 각각의 다음 프레임 전송 시퀀스 테이블이 선택된다. 각각의 선택된 다음 프레임의 전송 테이블 내에, 요청된 선택된 향상에 연관된 결정된 매크로블록들은, 이 결정된 매크로블록들에, 블록(750)에서, 높은 전송 우선도가 할당될 수 있게 하기 위해서 조정, 즉, 시프트되거나 재배치된다. 블록(760)에서, 포인터 데이터를 포함하지 않는 선택된 각각의 시퀀스 테이블들 내에 위치들은 "0" 데이터를 나타내는 데이터 블록 전송이 되게 채워진다.

도 8은 본 발명의 원리를 구현하는데 사용될 수 있는 프로세서(577)의 실시예를 도시한 것이다. 프로세서(577)는 데스크탑, 랩탑 혹은 팜 컴퓨터, 개인 정보단말(PDA), 비디오 카세트 레코더(VCR), 디지털 비디오 레코더(DVR), TIVO 장치 등과 같은 비디오/이미지 저장 장치, 및 이들 및 이외 다른 장치들의 일부 혹은 조합을 나타낼 수 있다. 프로세서(577)는 하나 이상의 입력/출력장치들(802), 프로세서(803) 및 메모리(804)를 포함한다. 메모리(804)는 RAM, ROM, 플래시, 캐시와 같은 반도체 매체, 자기 디스크와 같은 자기 매체, CD-ROM과 같은 광학 매체일 수 있다.

프로세서(577)는 네트워크(도시생략)로 수신될 수 있는 하나 이상의 데이터 소스들(801), 예를 들면 버퍼(170)에 I/O 장치(802)를 통해 액세스할 수 있다. 소스(들)(801)는, 예를 들면, 인터넷과 같은 전역 컴퓨터 통신 네트워크, 광역 네트워크, 대도시 지역 네트워크, 근거리 네트워크, 육상 방송 시스템, 유선 네트워크, 위성 네트워크, 무선 네트워크, 혹은 전화 네트워크, 및 이들 및 이외 다른 유형들의 네트워크들의 부분들 혹은 조합들을 통해 서버 혹은 서버들로부터 정보를 수신하는 하나 이상의 네트워크 접속들을 택일적으로 나타낼 수도 있다.

입력/출력 장치들(802), 프로세서(803) 및 메모리(804)는 통신매체(805)로 통신할 수 있다. 통신매체(805)는, 예를 들면, 버스, 통신 네트워크, 회로의 하나 이상의 접속들, 회로 카드 혹은 이외 다른 장치, 및 이들 및 이외 다른 통신매체의 부분들 및 조합들을 나타낼 수 있다. 소스(들)(801)로부터의 데이터는 메모리(804)에 저장된 하나 이상의 소프트웨어 프로그램들에 따라 처리되고, 전송 시퀀스 순서를 변경하고 네트워크(도시생략)를 통해 공급될 수 있는 혹은 디스플레이 장치(806)에 공급될 수 있는 출력을 발생하도록 프로세서(803)에 의해 실행된다.

바람직한 실시예에서, 본 발명의 원리들을 채용하는 부호화 및 복호화는 시스템에 의해 실행되는 컴퓨터가 판독할 수 있는 코드에 의해 구현될 수 있다. 코드는 메모리(804)에 저장될 수도 있고 혹은 CD-ROM이나 플로피 디스크와 같은 메모리 매체로부터 읽거나/다운로드될 수도 있다. 다른 실시예에들에서, 본 발명을 구현하기 위해 소프트웨어 명령들 대신 혹은 이와 협력하는 하드웨어 회로가 사용될 수도 있다. 예를 들면, 여기 도시된 요소들은 개별적인 하드웨어 요소들로서 구현될 수도 있다.

본 발명을 바람직한 형태로 기술 및 도시하였으나, 이 기술된 바는 단지 예에 의해 기술된 것이고 다음에 청구된 바와 같은 본 발명의 정신 및 범위 내에서 상세에 많은 변경이 행해질 수도 있음을 알 것이다. 예를 들면, 기술된 표시자들은 전송 프레임에 채용된 특정의 방법을 기술하는 개별적인 설정에 의해 지정될 수도 있다. 혹은 표시자들은 전송 프레임 내 전송 비트들의 고정된 수로 부호화된 값들일 수도 있다. 혹은 표시자들은 전송 프레임 내 채용된 특정의 방법이 사용됨을 명시하는 단일 설정일 수도 있다. 특허는 첨부한 청구항들에 적합한 표현에 의해, 개시된 발명에 존재하는 특허될 수 있는 신규한 특징들을 포괄하게 의도된 것이다.

Claims

복수의 비트-평면들(310, 320) 간에 분포된 복수의 매크로블록들(311, 312)로 구성된 FGS 부호화된 비디오 이미지들에서 상기 비디오 이미지의 원하는 부분들의 선택적으로 향상이 될 수 있게 이들 비디오 이미지들의 전송 시퀀스를 동적으로 결정하는 방법에 있어서, 상기 전송 시퀀스는 사전에 결정된 것(380)으로, 상기 방법은,

상기 비디오 이미지의 상기 원하는 부분에 연관된 상기 비트-평면들(310, 320, 330) 각각에서 상기 FGS 부호화된 매크로블록들(311, 312) 중 적어도 한 매크로블록(313)을 결정하는 단계와,

상기 전송 시퀀스 내에, 상기 FGS 부호화된 매크로블록들(313) 중 상기 결정된 적어도 한 매크로블록 각각의 전송순서(380)를 결정하는 단계; 및

상기 결정된 FGS 부호화된 매크로블록들 중 상기 적어도 한 매크로블록(313) 각각을 기지의 레벨(known level)의 향상에 대응하는 상기 전송 시퀀스 순서(380)로 앞당기는 단계를 포함하고, 상기 앞당겨진 FGS 부호화된 매크로블록들은 높은 전송 우선도를 갖는 비트-평면에 포함된, 비디오 이미지 전송 시퀀스의 동적 결정방법.
제1항에 있어서, 상기 전송 시퀀스 순서를 유지하기 위해 기지의 값(391, 399)로 상기 전송 시퀀스를 채우는 단계를 더 포함하는, 비디오 이미지 전송 시퀀스의 동적 결정방법.
제2항에 있어서, 상기 기지의 값(391, 399)는 유효하지 않은(not significant) 값을 나타내는 , 비디오 이미지 전송 시퀀스의 동적 결정방법.
제1항에 있어서, 사용자 요청으로부터 상기 원하는 부분을 결정하는 단계를 더 포함하는, 비디오 이미지 전송 시퀀스의 동적 결정방법.
제1항에 있어서, 사용자 요청으로부터 상기 기지의 향상 레벨을 결정하는 단계를 더 포함하는, 비디오 이미지 전송 시퀀스의 동적 결정방법.
제1항에 있어서, 기지의 인자들에 따라 상기 원하는 부분을 결정하는 단계를 더 포함하는, 비디오 이미지 전송 시퀀스의 동적 결정방법.
제6항에 있어서, 상기 기지의 인자들은 이미지의 중심, 얼굴들, 움직이는 이미지들 등을 포함하는 그룹에서 선택되는, 비디오 이미지 전송 시퀀스의 동적 결정방법.
제1항에 있어서, 사용할 수 있는 네트워크 대역폭에 따라 상기 향상 인자를 결정하는 단계를 더 포함하는, 비디오 이미지 전송 시퀀스의 동적 결정방법.
제1항에 있어서, 상기 소정의 전송 시퀀스는 수평, 수직, 대각, 라스터, 순차, 비월 주사들을 포함하는 그룹에서 선택되는, 비디오 이미지 전송 시퀀스의 동적 결정방법.
제1항에 있어서, 상기 전송 시퀀스(38)로부터 상기 전송 시퀀스 순서를 결정하는 단계를 더 포함하는, 비디오 이미지 전송 시퀀스의 동적 결정방법.
복수의 비트-평면들(310, 320) 간에 분포된 복수의 매크로블록들(311, 312)로 구성된 FGS 부호화된 비디오 이미지들에서 상기 비디오 이미지의 원하는 부분들의 선택적으로 향상이 될 수 있게 이들 비디오 이미지들의 전송 시퀀스를 동적으로 결정하는 장치(175)에 있어서, 상기 전송 시퀀스는 사전에 결정되는 것으로, 상기 장치는,

상기 비디오 이미지의 상기 원하는 부분에 연관된 상기 비트-평면들(310, 320) 각각에서 상기 FGS 부호화된 매크로블록들(311, 312) 중 적어도 하나를 결정하는 수단과,

상기 전송 시퀀스 내에, 상기 FGS 부호화된 매크로블록들 중 상기 결정된 적어도 한 매크로블록 각각의 전송순서(380)를 결정하는 수단과,

상기 결정된 FGS 부호화된 매크로블록들(311) 중 상기 적어도 한 매크로블록 각각을 기지의 레벨의 향상에 대응하는 상기 전송 시퀀스 순서로 앞당기는 수단을포함하고, 상기 앞당겨진 FGS 부호화된 매크로블록들(311)은 높은 전송 우선도를 갖는 비트-평면(310, 320)에 포함된, 비디오 이미지 전송 시퀀스의 동적 결정장치.
제11항에 있어서, 상기 전송 시퀀스 순서를 유지하기 위해 기지의 값(391)으로 상기 전송 시퀀스를 채우는 수단을 더 포함하는, 비디오 이미지 전송 시퀀스의 동적 결정장치.
제12항에 있어서, 상기 기지의 값은 유효하지 않은 값을 나타내는, 비디오 이미지 전송 시퀀스의 동적 결정장치.
제11항에 있어서, 사용자 요청으로부터 상기 원하는 부분을 결정하는 수단을 더 포함하는, 비디오 이미지 전송 시퀀스의 동적 결정장치.
제11항에 있어서, 사용자 요청으로부터 상기 기지의 향상 레벨을 결정하는 수단을 더 포함하는, 비디오 이미지 전송 시퀀스의 동적 결정장치.
제11항에 있어서, 기지의 인자들에 따라 상기 원하는 부분을 결정하는 수단을 더 포함하는, 비디오 이미지 전송 시퀀스의 동적 결정장치.
제16항에 있어서, 상기 기지의 인자들은 이미지의 중심, 얼굴들, 움직이는이미지들 등을 포함하는 그룹에서 선택되는 것인, 비디오 이미지 전송 시퀀스의 동적 결정장치.
제11항에 있어서, 사용할 수 있는 네트워크 대역폭에 따라 상기 향상 인자를 결정하는 수단을 더 포함하는, 비디오 이미지 전송 시퀀스의 동적 결정장치.
제11항에 있어서, 상기 소정의 전송 시퀀스는 수평, 수직, 대각, 라스터, 순차, 비월 주사들을 포함하는 그룹에서 선택되는, 비디오 이미지 전송 시퀀스의 동적 결정장치.
제19항에 있어서, 상기 전송 시퀀스로부터 상기 전송 시퀀스 순서를 결정하는 수단을 더 포함하는, 비디오 이미지 전송 시퀀스의 동적 결정장치.