KR20020025958A - Ｍｐｅｇ-4 이진형 송신 - Google Patents

Abstract

본 발명은 이진형 데이터를 디지털 비디오 데이터 신호에 삽입하기 위해 디지털 비디오 데이터 신호(DVS)를 처리하는 방법에 관한 것이다. 이와 같은 방법은 직사각형 화상들에 관한 데이터를 포함하는 디지털 비디오 데이터 신호와, 디지털 비디오 데이터 신호의 분할 단계(SEG)에 의해 제공된 분할된 비디오 데이터 신호들(SVS)을 처리하는데 사용되며, 분할된 비디오 데이터 신호는 직사각형 화상의 영역인 비디오 오브젝트(VO)를 포함한다. 상기 처리 방법은, 직사각형 화상의 픽셀이 분할된 비디오 데이터 신호들(SVS)의 어느 비디오 오브젝트에 속하는지를 식별자로 식별하는 단계(ID), 수정된 디지털 비디오 데이터 신호(DVSm)를 형성하도록 디지털 비디오 데이터 신호에 식별자들을 삽입하는 단계(INS), 및 인코딩된 데이터 신호(ES)를 얻도록 비디오-오브젝트-기반 인코딩 프레임워크를 사용하여 수정된 디지털 비디오 데이터 신호를 인코딩하는 단계(ENC)를 포함한다.

Description

ＭＰＥＧ-4 이진형 송신{MPEG-4 binary shape transmission}

MPEG-4 비주얼 버전 1, ISO/IEC 14496-2로서 언급되는 MPEG-4 인코딩 표준과 같은 비디오-오브젝트-기반 인코딩 프레임워크는, 전체 직사각형 화상 대신 인코딩될 다양한 형태를 갖는 비디오 오브젝트들을 허용한다. 직사각형 화상들은 휘도와 색차 값들을 갖는 픽셀들에 의해 표시된다. 이 값들에 부가하여, 비디오 오브젝트의 픽셀은 이진형 값(binary shape value)을 갖는다. 이 값은 분할 처리에 의해 직사각형 화상으로부터 얻어지고, 픽셀이 오브젝트에 있는지 또는 없는지를 나타내는 한 비트에 의해 표시된다. 비디오 오브젝트들의 개별 인코딩은, 디지털 비디오데이터 신호에 대한 유연한 액세스와 비디오 정보의 용이한 조작으로 인해, 여러 멀티미디어 서비스들에서 사용자 대화(user interaction)를 풍부하게 할 수도 있다. 이 프레임워크에서, 인코더는 화상들의 시퀀스에 나타나는 오브젝트들의 자동 식별에 목적을 둔 국부적으로 정의된 선처리를 수행할 수도 있다.

분할 동작은 직사각형 화상이나 화상들의 비디오 시퀀스를 소정의 기준에 따라 추출된 영역들로 분할하고자 하는 것이다. 도 1은 직사각형 화상(RP)이 여러 개의 비디오 오브젝트들(VO1 내지 VO4)로 분할되는 분할 처리의 예를 도시한다. 비디오 시퀀스의 경우에, 이 분할은 비디오 오브젝트를 나타내는 오브젝트 마스크들의 결과 시퀀스의 시간적 일관성(temporal coherence)이 이루어져야 한다. 공간적 동질성(spatial homogeneity), 움직임 일관성 기준 또는 시공간적 처리(spatiotemporal processing) 중 하나에 기초하여, 비디오 시퀀스들의 분할에 대한 상이한 방법들이 제안되어 있다. 이러한 방법들은 휘도 동질성과 움직임 일관성 기준에 따라 움직이는 오브젝트들의 클래스들을 식별하는 것이 기대됐다.

본 발명은 직사각형 화상들에 관한 데이터를 포함하는 디지털 비디오 데이터 신호를 처리하는 방법에 관한 것으로, 상기 처리 방법은, 분할된 비디오 데이터 신호들을 제공하도록 디지털 비디오 데이터 신호를 분할하는 분할 단계를 포함하며, 분할된 비디오 데이터 신호는 직사각형 화상의 영역인 비디오 오브젝트를 포함한다. 본 발명은 또한 상기 처리 방법에 대응하는 장치에 관한 것이다.

이와 같은 처리 방법은, 예를 들어, MPEG-4 인코딩 표준과 같은 비디오-오브젝트-기반 인코딩 프레임워크를 사용하여 디지털 비디오 데이터 신호를 인코딩하는데 사용될 수도 있다.

도 1은 여러 개의 비디오 오브젝트들을 포함하는 분할된 화상의 예를 도시하는 도면.

도 2는 본 발명에 따른 처리 방법의 블록도.

도 3은 권고 ITU-R BT.601-5에 의해 정의된 바와 같은 디지털 비디오 데이터 신호를 나타내는 도면.

도 4는 권고 ITU-R BT.1364에 정의된 바와 같은 보조 데이터 패킷을 나타내는 도면.

본 발명의 목적은 이진형 데이터를 포함하는 수정된 디지털 비디오 데이터 신호를 얻도록 디지털 비디오 데이터 신호를 처리하는 방법을 제공하는 것이다.

지금까지는 권고 ITU-R BT.601-5에 의해 픽셀 데이터 송신만이 표준화되어 있다. 이 권고는 비디오 신호를 디지털적으로 인코딩하기 위한 방법들을 기술하지만, 이진형 데이터의 송신을 위한 어떠한 방법도 제안하거나 암시하고 있지 않다.

본 발명에 따른 처리 방법은, 직사각형 화상의 픽셀이 분할된 비디오 데이터신호들의 어느 비디오 오브젝트에 속하는지를 식별자로 식별하기 위한 식별 단계, 및 비디오-오브젝트-기반 인코딩 프레임워크에 의해 인코딩될 수정된 디지털 비디오 데이터 신호를 형성하도록 식별자들을 디지털 비디오 데이터 신호에 삽입하는 단계를 포함하는 것을 특징으로 한다.

이와 같은 처리 방법은 비디오 오브젝트들의 식별자들에 의해 디지털 비디오 데이터 신호에 삽입된 이진형 데이터에 관한 정보를 허용한다. 결과적으로, 이와 같은 처리 방법에 의해 얻어진 수정된 디지털 비디오 데이터 신호는 비디오-오브젝트-기반 인코더 및 더 상세하게는 하드웨어 인코더에 의해 직접 인코딩될 수 있다.

본 발명의 바람직한 실시예에 있어서, 디지털 비디오 데이터 신호는 권고 ITU-R BT.601-5에 의해 정의되며, 식별자들은 권고 ITU-R BT.1364에 정의된 바와 같은 보조 데이터 패킷에 먼저 삽입된 다음, 로우 레벨(row level)에서 디지털 비디오 데이터 신호의 수직 블랭킹 공간(vertical blanking space)에 삽입된다.

본 발명은 또한 이와 같은 처리 방법을 구현하기 위한 처리 장치에 적용된다.

본 발명의 상기 및 다른 특징들은 이하 설명되는 실시예들을 참조하여 설명되고 그로부터 명백해질 것이다.

본 발명은 참부 도면을 참조하여 예시적으로 설명될 것이다.

본 발명은 이진형 데이터를 디지털 비디오 데이터 신호에 삽입하고자 하는 것으로, 그에 따라 얻어진 수정된 디지털 비디오 데이터 신호가 비디오-오브젝트-기반 인코더에 의해 직접 인코딩된다. 도 2는 본 발명에 따른 처리 방법의 원리를 도시하는 블록도이다.

이와 같은 처리 방법은, 직사각형 화상들에 관한 데이터를 포함하는 디지털 비디오 데이터 신호(DVS)와, 디지털 비디오 데이터 신호의 분할 단계(SEG)에 의해 제공된 분할된 비디오 데이터 신호들(SVS)을 처리하며, 분할된 비디오 데이터 신호는 직사각형 화상의 영역인 비디오 오브젝트(VO)를 포함한다.

상기 처리 방법은,

- 직사각형 화상의 픽셀이 분할된 비디오 데이터 신호들(SVS)의 어느 비디오 오브젝트에 속하는지를 식별자로 식별하는 단계(ID),

- 수정된 디지털 비디오 데이터 신호(DVSm)를 형성하도록 디지털 비디오 데이터 신호에 식별자들을 삽입하는 단계(INS), 및

- 인코딩된 데이터 신호(ES)를 제공하도록 MPEG-4 인코딩 표준을 사용하여수정된 디지털 비디오 데이터 신호를 인코딩하는 단계(ENC)를 포함한다.

본 발명의 바람직한 실시예에서, 디지털 비디오 데이터 신호(DVS)는 권고 ITU-R BT.601-5에 의해 정의된 것이다. 도 3은 상기 권고에 의해 정의된 바와 같은 디지털 비디오 데이터 신호의 구조를 도시한다. 이와 같은 디지털 비디오 데이터 신호는,

- 휘도 샘플들(Y)과 2개의 동시의 색-차이(simultaneous color-difference) 신호들(C_R, C_B)을 포함하는 비디오 데이터(YC_RC_B[1], YC_RC_B[2]),

- 수평 블랭킹 공간들(HBSu1, HBSd1, HBSu2, HBSd2),

- 수직 블랭킹 공간들(VBS1, VBS2)을 포함한다.

예를 들어, 초당 50 필드의 시스템에서, 전체 화상이 625 라인들을 포함하는 경우에, 비디오 데이터는 각각 288 라인들을 포함하는 2개의 필드들로 분할된다. 나머지 라인들은 여러 개의 수평 블랭킹 공간들에 대응한다.

샘플링 주파수가 휘도 신호에 대해 13.5㎒이면, 4:2:2 인코딩 포맷에서 각 색 차이 신호에 대해 샘플링 주파수는 6.75㎒이다. 총 라인 당 샘플들의 수는, 휘도 신호에 대해서는 864개이고 각 색 차이 신호에 대해서는 432개이다. 이 샘플들은 8비트(선택적으로는 10비트)로 인코딩된다. 디지털 액티브 라인 당 샘플들의 수가 휘도 신호에 대해서는 720개이고 각 색 차이 신호에 대해서는 360개이기 때문에, 최대로 288개의 샘플들이 수직 블랭킹 공간들에 대해 이용 가능하다.

본 발명은, 예를 들어, 525-라인 시스템에 대응하는 초당 60 필드의 레이트, 4:4:4 인코딩 포맷, 또는 휘도 신호에 대해 18㎒의 샘플링 주파수와 같은 권고ITU-R BT.601-5에 의해 정의된 바와 같은 디지털 비디오 데이터 신호의 다른 포맷들에 적용할 수 있다.

본 발명은 또한, 예를 들어, HDTV 신호들에 대응하는, 권고 ITU-R BT.656, ITU-R BT.799 또는 ITU-R BT.1120에 의해 정의된 바와 같은 다른 디지털 비디오 데이터 신호들에 적용할 수 있다.

상기 처리 방법으로 처리하기 전에, 디지털 비디오 데이터 신호(DVS)는 여러 개의 분할된 비디오 데이터 신호들(SVS)을 발생시키는 분할 처리(SEG)를 이용하여 분할되어야 한다. 분할 처리는 두 방법으로 수행될 수 있다. 첫 번째 방법은 본 발명의 배경기술에 설명된 바와 같은 통상의 소프트웨어 방법에 기초하는 것이지만, 이는 많은 시간이 걸린다. 두 번째 방법은, 크로마 키 처리(Chroma Key process)라고 하는 훨씬 빠른 방법이다. 이와 같은 처리는 배경 비디오의 적어도 2개의 비디오 오브젝트들의 추출에 전용된다. 이 배경은 청색이나 녹색인 것이 바람직하며, 이와 같은 분할 처리는 하드웨어 어플리케이션으로 구현될 수 있다.

비디오 오브젝트들의 식별자들이 권고 ITU-R BT.1364에 정의된 바와 같은 보조 데이터를 사용하여 디지털 비디오 데이터 신호에 삽입된다. 보조 데이터는 패킷들로 운송되고, 각 패킷은 그 자신의 식별을 운송한다. 도 4는 권고 ITU-R BT.1364에 정의된 바와 같은 보조 데이터 패킷을 도시한다. 상기 보조 데이터는,

- 검출될 보조 데이터 패킷을 허용하는 고정 프리앰블(fixed preamble)인 보조 데이터 플래그(ADF),

- 식별될 보조 데이터의 특정 유형을 운송하는 패킷들을 허용하는 데이터 식별 워드(DID),

- 공통 데이터 식별 워드와 필요 연속성 표시(requiring continuity indication)를 공유하는 각 연속 데이터 패킷에 대해 1만큼 증가되는 데이터 블록 번호(DBN),

- 패킷 길이를 나타내는 데이터 카운트 워드(DC),

- 각 패킷에 255 워드까지 보조 데이터를 포함하는 사용자 데이터 워드(UDW),

- 데이터 식별 워드로부터 사용자 데이터 워드까지 보조 데이터 패킷의 유효성(validity)을 결정하기 위해 사용되는 체크섬(checksum) 워드(CD)를 포함한다.

권고 ITU-R BT.1364는 디지털 비디오 데이터 신호의 디지털 블랭킹 부분에서 디지털 비디오 요소 인터페이스들을 통해 보조 데이터 신호들의 전송을 위한 메카니즘을 제공한다. 본 발명의 바람직한 실시예에서, 보조 데이터 패킷들은 로우 레벨에서 디지털 비디오 데이터 신호(DVS)의 수직 블랭킹 공간들(VBS1, VBS2)에 삽입된다. 동일한 수직 블랭킹 공간 내에 수용될 전체 패킷에 대해 충분한 공간이 이용 가능하다.

모든 픽셀 로우 또는 라인은 720 픽셀들을 표시하고, 사용자 데이터 워드의 크기는 255워드 또는 바이트를 초과해서는 안된다. 결과적으로, 4개까지의 비디오 오브젝트들(VO)이 디지털 비디오 데이터 신호(DVS)에 삽입될 수 있다. 이를 위해, 본 발명에 따른 처리 방법은 직사각형 화상의 픽셀이 분할된 비디오 데이터 신호들의 어느 비디오 오브젝트에 속하는지를 식별자로 식별하기 위한 식별 단계(ID)를포함한다. 비디오 오브젝트들은 2비트를 갖는 식별자로 인코딩된다. 따라서, 180바이트에 대응하는 1440비트가 픽셀 로우를 완전히 기술하기 위해 필요하다.

상기 식별자는 다음과 같은 방식으로 대응하는 픽셀이 어느 비디오 오브젝트에 속하는지를 결정할 수 있도록 한다.

- 00 : 픽셀이 제 1 비디오 오브젝트(VO1)에 속한다,

- 01 : 픽셀이 제 2 비디오 오브젝트(VO2)에 속한다,

- 10 : 픽셀이 제 3 비디오 오브젝트(VO3)에 속한다,

- 11 : 픽셀이 제 4 비디오 오브젝트(VO4)에 속한다.

사용자 데이터 워드의 바이트들은 0 내지 179로 번호가 부여된다. 번호가 부여된 n 바이트의 8비트들은 다음 정보를 포함한다.

- 비트 0과 1은 픽셀 4n의 식별자를 포함한다,

- 비트 2와 3은 픽셀 4n+1의 식별자를 포함한다,

- 비트 4와 5는 픽셀 4n+2의 식별자를 포함한다,

- 비트 6과 7은 픽셀 4n+3의 식별자를 포함한다.

마지막으로, 보조 데이터 패킷을 수직 블랭킹 공간에 삽입하는 서브-단계(VBS)와 결합된 보조 데이터 패킷에 식별자들을 삽입하는 서브-단계(ADP)가, 비디오-오브젝트-기반 인코더에 의해 직접 인코딩될 수정된 디지털 비디오 데이터 신호(DVSm)를 형성할 수 있도록 한다.

동사 "포함하다"의 사용 및 그 활용은 청구범위에 한정된 것 이외의 단계들이나 요소들의 존재를 배제하는 것이 아니라는 것을 유념해야 한다.

Claims (7)

1. 직사각형 화상들에 관한 데이터를 포함하는 디지털 비디오 데이터 신호(DVS)를 처리하는 방법으로서, 분할된 비디오 데이터 신호들(SVS)을 제공하도록 상기 디지털 비디오 데이터 신호를 분할하는 분할 단계(SEG)를 포함하고, 분할된 비디오 데이터 신호는 상기 직사각형 화상의 영역인 비디오 오브젝트(VO)를 포함하는, 상기 디지털 비디오 데이터 신호(DVS) 처리 방법에 있어서:

   - 상기 직사각형 화상의 픽셀이 상기 분할된 비디오 데이터 신호들의 어느 비디오 오브젝트에 속하는지를 식별자로 식별하기 위한 식별 단계(ID), 및

   - 비디오-오브젝트-기반 인코딩 프레임워크에 의해 인코딩될 수정된 디지털 비디오 데이터 신호(DVSm)를 형성하도록 상기 디지털 비디오 데이터 신호에 상기 식별자들을 삽입하기 위한 삽입 단계(INS)를 포함하는 것을 특징으로 하는, 디지털 비디오 데이터 신호(DVS) 처리 방법.
2. 제 1 항에 있어서,

   상기 디지털 비디오 데이터 신호는 권고 ITU-R BT.601-5에 의해 정의되고, 상기 삽입 단계(INS)는 권고ITU-R BT.1364에 정의된 바와 같은 보조 데이터 패킷에 상기 식별자들을 삽입하는 제 1 서브-단계(ADP)와 로우 레벨(row level)에서 상기 디지털 비디오 데이터 신호의 수직 블랭킹 공간(vertical blanking space)에 상기 보조 데이터 패킷을 삽입하는 제 2 서브-단계(VBS)를 포함하는 것을 특징으로 하는, 디지털 비디오 데이터 신호(DVS) 처리 방법.
3. 제 1 항에 있어서,

   상기 식별 단계(ID)는 직사각형 화상의 소정의 픽셀에 2비트로 코딩된 식별자를 할당하도록 적응되는 것을 특징으로 하는, 디지털 비디오 데이터 신호(DVS) 처리 방법.
4. 직사각형 화상들에 관한 데이터를 포함하는 디지털 비디오 데이터 신호(DVS)를 처리하기 위한 장치로서, 분할된 비디오 데이터 신호들(SVS)을 제공하도록 상기 디지털 비디오 데이터 신호를 분할하기 위한 수단(SEG)을 포함하며, 분할된 비디오 데이터 신호는 상기 직사각형 화상의 영역인 비디오 오브젝트(VO)를 포함하는, 상기 디지털 비디오 데이터 신호(DVS) 처리 장치에 있어서:

   - 상기 직사각형 화상의 픽셀이 상기 분할된 비디오 데이터 신호들의 어느 비디오 오브젝트에 속하는지를 식별자로 식별하기 위한 수단(ID), 및

   - 비디오-오브젝트-기반 인코딩 프레임워크에 의해 인코딩될 수정된 디지털 비디오 데이터 신호(DVSm)를 형성하도록 상기 디지털 비디오 데이터 신호에 상기 식별자들을 삽입하기 위한 수단(INS)을 포함하는 것을 특징으로 하는, 디지털 비디오 데이터 신호(DVS) 처리 장치.
5. 제 4 항에 있어서,

   상기 디지털 비디오 데이터 신호는 권고 ITU-R BT.601-5에 의해 정의되고, 상기 삽입 수단(INS)은 먼저 권고 ITU-R BT.1364에 정의된 바와 같은 보조 데이터 패킷(ADP)에 상기 식별자들을 삽입하고, 이어서 로우 레벨에서 상기 디지털 비디오 데이터 신호의 수직 블랭킹 공간(VBS)에 삽입되도록 적응되는 것을 특징으로 하는, 디지털 비디오 데이터 신호(DVS) 처리 장치.
6. 제 4 항에 있어서,

   상기 식별 수단(ID)은 상기 직사각형 화상의 소정의 픽셀에 2비트로 코딩된 식별자를 할당하도록 적응되는 것을 특징으로 하는, 디지털 비디오 데이터 신호(DVS) 처리 장치.
7. 권고 ITU-R BT.1364에 정의된 바와 같은 보조 데이터 패킷들을 포함하는 권고 ITU-R BT.601-5에 의해 정의된 바와 같은 디지털 비디오 데이터 신호로서, 보조 데이터 패킷은 로우 레벨에서 상기 디지털 비디오 데이터 신호의 수직 블랭킹 공간에 수용되는, 상기 디지털 비디오 데이터 신호에 있어서,

   상기 보조 데이터 패킷은 비디오 오브젝트들에 대응하는 식별자들을 포함하고, 상기 비디오 오브젝트들은 상기 디지털 비디오 데이터 신호에 포함된 직사각형 화상들의 분할 처리로부터 발생되는 것을 특징으로 하는, 디지털 비디오 데이터 신호.