KR20050079865A - 비트맵 서브 타이틀 데이터 및 텍스트 서브 타이틀데이터를 이용하여 자막을 표시하는 재생 장치 및 그 재생방법 - Google Patents

Abstract

비트맵 서브 타이틀 데이터 및 텍스트 서브 타이틀 데이터를 이용하여 자막을 표시하는 재생 장치 및 그 재생 방법이 개시된다.

본 발명에 따르면, 비트맵 서브 타이틀 데이터 및 텍스트 서브 타이틀 데이터를 이용하여 자막을 표시하는 재생 장치는, 비트맵 기반의 자막 데이터를 입력받아 하나의 화면을 출력하기 위한 제어 정보를 포함하는 디스플레이 세트(display set) 단위로 화면에 출력하는 제1 자막 처리기; 및 텍스트 기반의 자막 데이터를 입력받아 비트맵 기반의 상기 디스플레이 세트를 생성하고, 생성된 상기 디스플레이 세트에 기초하여 텍스트를 그래픽으로 변환하여 화면에 출력하는 제2 자막 처리기를 포함하는 것을 특징으로 한다.

이에 따라, 동일한 디코더 모델을 통하여 비트맵 서브 타이틀 데이터 뿐 아니라 텍스트 서브 타이틀 데이터의 재생도 가능하게 된다.

Description

비트맵 서브 타이틀 데이터 및 텍스트 서브 타이틀 데이터를 이용하여 자막을 표시하는 재생 장치 및 그 재생 방법{Reproducing apparatus and reproducing method for displaying subtitle using bitmap subtitle data and text subtitle data}

본 발명은 영상에 대한 자막 표시에 관한 것으로, 보다 상세하게는 비트맵 서브 타이틀 데이터 또는 텍스트 서브 타이틀 데이터를 이용하여 자막을 표시하는 재생 장치 및 그 재생 방법에 관한 것이다.

종래의 비트맵 서브 타이틀 데이터를 이용한 자막 구조는, 비트맵(bitmap)으로 구성된 서브픽처(subpicture)의 형태로 동영상 데이터에 다중화되어(multiplexing) 동영상과 함께 동영상 디코더에 의해 재생되는 구조이다.

이에 비해, 종래의 텍스트 서브 타이틀 데이터를 이용한 자막 구조는, 비디오 스트림 데이터가 기록된 파일 또는 네트웍 상에서 제공되는 비디오 스트림 데이터를 기반으로 비디오 동기 시간 정보를 이용하여 비디오 스트림 데이터에 동기화하여 자막을 출력시키는 구조이다. 마이크로소프트사의 SAMI(Synchronized Accessible Media Interchange) 기술이나 리얼네트워크(RealNetworks)사의 리얼 텍스트(Real-text) 등이 대표적이었다.

그러나, 종래의 텍스트 서브 타이틀 데이터는 비트맵 이미지 기반의 다중화된 서브 타이틀 데이터와 호환되는 구조를 가지지 않았다. 따라서 종래의 비트맵 서브 타이틀 데이터를 표시하는 재생 장치에서는 종래의 텍스트 서브 타이틀 데이터를 재생할 수 없는 문제점이 있었다.

따라서, 본 발명의 목적은 비트맵 서브 타이틀 데이터 또는 텍스트 서브 타이틀 데이터를 이용하여 자막을 표시하는 재생 장치 및 그 재생 방법을 제공하는 것이다.

즉, 비트맵 서브 타이틀 데이터를 처리하여 재생하는 프리젠테이션 그래픽 디코더를 포함하는 재생장치를 응용하여, 비트맵 서브 타이틀 데이터뿐만 아니라 텍스트 서브 타이틀 데이터에 기초한 자막 데이터를 생성하고 표시하는 재생 장치 및 재생 방법을 제공하는 것이다.

상기 목적은, 비트맵 기반의 자막 데이터를 입력받아, 하나의 화면을 출력하기 위한 제어 정보가 포함된 디스플레이 세트(display set) 단위로 화면에 출력하는 제1 자막 처리기; 및 텍스트 기반의 자막 데이터를 입력받아, 비트맵 기반의 디스플레이 세트를 생성하고, 생성된 디스플레이 세트에 기초하여 텍스트를 그래픽으로 변환하여 화면에 출력하는 제2 자막 처리기를 포함하는 것을 특징으로 하는 재생 장치에 의해 달성된다.

텍스트 기반의 자막 데이터는, 출력될 자막 내용을 지시하는 대사 정보 및 대사 정보의 출력을 제어하는 프리젠테이션 정보를 포함하며, 제2 자막 처리기는, 대사 정보 및 프리젠테이션 정보로부터 비트맵 기반의 디스플레이 세트를 생성하는 것이 바람직하다.

디스플레이 세트는, 화면상의 그래픽 오브젝트의 출력을 제어하기 위한 프리젠테이션 구성 정보, 그래픽 오브젝트가 출력될 영역을 지시하는 윈도우 정의 정보, 그래픽 오브젝트의 색상을 지시하는 팔레트 정의 정보 및 화면상에 실제로 출력될 그래픽 오브젝트 데이터인 오브젝트 정의 정보를 포함하며, 제2 자막 처리기는, 프리젠테이션 정보에 포함된 영역 정보 및 위치 정보와, 대사 정보에 포함된 시작 시간 정보 및 종료 시간 정보를 이용하여 프리젠테이션 구성 정보를 처리하고, 프리젠테이션 정보에 포함된 영역 정보를 이용하여 윈도우 정의 정보를 처리하며, 프리젠테이션 정보에 포함된 색상 정보를 이용하여 팔레트 정의 정보를 처리하고, 프리젠테이션 정보에 포함된 폰트 정보와, 대사 정보에 포함된 텍스트 정보를 이용하여 오브젝트 정의 정보를 처리하여, 비트맵 기반의 디스플레이 세트를 생성하는 것이 바람직하다.

제2 자막처리기는, 출력되는 화면의 그래픽 평면 전체 또는 소정의 이등분 영역을 윈도우 정의 정보로 처리하는 것이 바람직하다.

또한, 그래픽 오브젝트의 출력을 제어하는 프리젠테이션 구성 정보, 윈도우 정의 정보 및 팔레트 정의 정보를 저장하는 제1 버퍼부; 화면에 실제로 출력될 그래픽 이미지인 오브젝트 정의 정보를 저장하는 제2 버퍼부; 및 제1 버퍼부에 저장된 정보를 적용하여 제2 버퍼부에 저장된 실제로 출력될 그래픽 이미지를 전달받아 출력 준비를 완료하는 제3 버퍼부를 더 포함하는 것이 특히 바람직하다.

제2 자막 처리기는, 대사 정보에 포함된 시작 시간 정보 및 종료 시간 정보에 지정된 시점에 디스플레이 세트를 생성하는 것이 바람직하다.

본 발명의 일 실시예로서, 제2 자막 처리기는, 현재의 대사 정보의 시작 시간 정보가 이전의 대사 정보의 종료 시간 정보보다 큰 값을 가지는 경우, 즉 대사 정보 간에 오버랩이 발생하지 않는 경우, 현재의 대사 정보의 시작 시간 정보에 지정된 시점에, 제1 버퍼부, 제2 버퍼부 및 제3 버퍼부를 모두 리셋하고 새로운 에폭 주기에 대한 디스플레이 세트를 생성하는 것이 바람직하다.

제2 자막 처리기는, 현재의 대사 정보의 시작 시간 정보가 지정하는 시점에, 디스플레이 세트를 디코딩하여 재생하는 것이 바람직하다.

제2 자막 처리기는, 제2 버퍼부에서 제3 버퍼부로 실제로 출력될 그래픽 이미지를 전달하여 출력 준비를 완료하는데 걸리는 시간을 고려하여, 미리 해당 그래픽 이미지에 대한 프리젠테이션할 시점(PTS)을 조정하는 것이 바람직하다.

제2 자막 처리기는, 화면상에 이전에 표시된 자막을 지우기 위하여, 현재의 대사 정보의 종료 시간 정보가 지정하는 시점에, 제1 버퍼부, 제2 버퍼부 및 제3 버퍼부를 모두 리셋하고 새로운 에폭 주기에 대한 출력될 그래픽 오브젝트를 포함하지 않는 디스플레이 세트를 생성하는 것이 바람직하며,

제2 자막 처리기는, 화면상에 이전에 표시된 자막을 지우기 위하여, 현재의 대사 정보의 종료 시간 정보가 지정하는 시점에, 제1 버퍼부, 제2 버퍼부 및 제3 버퍼부를 모두 유지하며 색상 정보만을 변경한 디스플레이 세트를 생성하며, 색상 정보로 투명한 색상 값을 지정하는 것이 바람직하다.

본 발명의 다른 실시예로서, 제2 자막 처리기는, 현재의 대사 정보의 시작 시간 정보가 이전의 대사 정보의 종료 시간 정보보다 작거나 같은 값을 가지는 경우, 즉, 대사 정보간에 오버랩이 발생하는 경우, 현재의 대사 정보의 시작 시간 정보에 지정된 시점에, 제1 버퍼부, 제2 버퍼부 및 제3 버퍼부를 그대로 유지하며, 동일한 에폭 주기에 대한 디스플레이 세트를 생성하는 것이 바람직하다.

제2 자막 처리기는, 이전의 대사 정보의 시작 시간 정보가 지정하는 시점에, 디스플레이 세트를 미리 디코딩하는 것이 바람직하며,

제2 자막 처리기는, 제2 버퍼부에서 제3 버퍼부로 실제로 출력될 그래픽 이미지를 전달하여 출력 준비를 완료하는데 걸리는 시간을 고려하여, 미리 해당 그래픽 이미지에 대한 프리젠테이션할 시점(PTS)을 조정하는 것이 바람직하다.

제2 버퍼부는, 텍스트 기반의 자막 데이터의 재생 시 오버랩 가능한 오브젝트의 수만큼 영역을 분할하여 관리하며, 분할된 영역마다 일정한 오브젝트 식별자를 할당하여 관리하며, 오버랩되는 텍스트 기반의 자막 데이터의 대사 정보에 포함된 텍스트 정보는 제2 버퍼부의 빈 영역에 우선 저장되며, 빈 영역이 없는 경우에는 순차적으로 제2 버퍼부의 분할된 영역을 업데이트하는 것이 바람직하다.

본 발명의 또 다른 실시예로서, 제2 자막 처리기는, 현재의 대사 정보의 시작 시간 정보가 이전의 대사 정보의 종료 시간 정보보다 큰 값을 가지는 경우, 즉 대사 정보 간에 오버랩이 발생하지 않는 경우, 재생이 시작되는 시점이나 또는 이전의 대사 정보의 종료 시간 정보에 지정된 시점에, 제1 버퍼부, 제2 버퍼부 및 제3 버퍼부를 모두 리셋하고 새로운 에폭 주기에 대한 디스플레이 세트를 생성하는 것이 바람직하다.

제2 자막 처리기는, 재생이 시작되는 시점이나 또는 이전의 대사 정보의 종료 시간 정보가 지정하는 시점에, 디스플레이 세트를 디코딩하며, 현재의 대사 정보의 시작 시간 정보가 지정하는 시점에 재생하는 것이 바람직하다.

본 발명의 또 다른 실시예로서, 제2 자막 처리기는, 현재의 대사 정보의 시작 시간 정보가 이전의 대사 정보의 종료 시간 정보보다 작거나 같은 값을 가지는 경우, 즉, 대사 정보 간에 오버랩이 발생하는 경우, 재생이 시작되는 시점이나 또는 바로 이전의 다른 에폭 주기가 시작되는 디스플레이 세트(Epoch Start display set)에 포함된 대사 정보의 종료 시간 정보에 지정된 시점에, 제1 버퍼부, 제2 버퍼부 및 제3 버퍼부를 모두 리셋하며, 새로운 에폭 주기에 대한 디스플레이 세트를 생성하는 것이 바람직하다.

또한, 텍스트 기반의 자막 데이터의 랜덤 서치(random search)를 위하여, 대사 정보 간에 오버 랩이 발생하지 않는 경우에는, 랜덤 액세스 된 시점을 기준으로 이후에 가장 가까운 새로운 에폭 주기의 디스플레이 세트로부터 자막 재생을 계속하는 것이 바람직하며, 대사 정보간에 오버랩이 발생하는 경우에는, 랜덤 액세스 된 시점을 기준으로 이후에 가장 가까운 대사 정보의 시작 시간 정보에 발생하는 디스플레이 세트의 내용을 랜덤 액세스 된 시점부터 디코딩하여 해당 디스플레이 세트의 프리젠테이션될 시점(PTS)에 자막의 재생을 계속하는 것이 바람직하다.

한편, 본 발명의 다른 분야에 따르면, 상기 목적은, 비트맵 기반의 자막 데이터를 입력받은 경우, 하나의 화면을 출력하기 위한 제어 정보를 포함하는 디스플레이 세트(display set) 단위로 화면에 출력하는 단계; 및 텍스트 기반의 자막 데이터를 입력받은 경우, 비트맵 기반의 디스플레이 세트를 생성하고, 생성된 디스플레이 세트에 기초하여 텍스트를 그래픽으로 변환하여 화면에 출력하는 단계를 포함하는 것을 특징으로 하는 재생 방법에 의해 달성된다.

이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

도 1은 비트맵 서브 타이틀 데이터를 처리하여 화면상에 자막을 출력하는 프리젠테이션 그래픽 디코더를 포함하는 재생 장치의 블록도이다.

도 1을 참조하면, 비트맵 서브 타이틀 데이터를 처리하는 재생 장치는, PID 필터(112), 전송 버퍼(114), 프리젠테이션 그래픽 디코더(120), 그래픽 평면(132), 및 CLUT(134)를 구비한다.

재생 장치의 입력은, 비트맵 서브 타이틀 데이터의 연속으로 이루어진 프리젠테이션 그래픽 스트림(presentation graphics stream)으로서 MPEG-2 트랜스포트 스트림(transport stream)의 형태로 압축 부호화되어 있다.

PID 필터(112)는, 다중화되어 있는 MPEG-2 트랜스포트 스트림으로부터 동일한 PID(Packet IDentifier)를 갖는 트랜스포트 패킷을 선택하여 전송 버퍼(114)로 전달한다.

전송 버퍼(114)는, 동일한 PID를 갖는 트랜스포트 패킷을 이용하여 PES(Packetized Elementary Stream: 이하 PES라 약칭함) 패킷을 조합한 후, PES 패킷의 헤더에 있는 디코딩할 시간(Decoding Time Stamp: 이하 DTS라 약칭함)이나 프리젠테이션할 시간(Presentation Time Stamp: 이하 PTS라 약칭함)이 되면, 트랜스포트 패킷의 헤더와 PES 패킷의 헤더를 제거한 후, 프리젠테이션 그래픽 디코더(120)로 전송한다.

프리젠테이션 그래픽 디코더(120)는, 영상 및 자막 등을 출력하기 위하여 전달받은 프리젠테이션 그래픽 스트림을 디코딩한다. 프리젠테이션 그래픽 디코더(120)는, 코딩 데이터 버퍼(122), 스트림 그래픽 처리기(124), 오브젝트 버퍼(126), 컴포지션 버퍼(128), 및 그래픽 제어기(129)를 구비한다.

코딩 데이터 버퍼(122)는, 전술한 전송 버퍼(114)로부터 PES 단위의 패킷을 받아, PES 패킷의 헤더에서 지시하는 DTS 혹은 PTS 시간이 되면 PES 단위의 패킷을 스트림 그래픽 처리기(124)로 전달하여 디코딩이 시작되도록 한다.

스트림 그래픽 처리기(124)는, 후술하는 디스플레이 세트(display set)의 구성에 따라, 화면에 출력될 비트맵 그래픽에 대한 정보는 오브젝트 버퍼(126)로 전달하고, 비트맵 그래픽의 출력을 제어하기 위한 프리젠테이션 정보는 컴포지션 버퍼(128)로 전달한다.

한편, 그래픽 제어기(129)는, 프리젠테이션 정보에 포함된 출력 제어 정보에 따라 프리젠테이션할 시간(PTS)이 되면, 오브젝트 버퍼(126)에 저장된 비트맵 이미지를 그래픽 평면(132)에 구성하여, 색상 참조 데이블인 CLUT(Color LookUp Table)(134)에서 색상 정보를 더하여 화면에 출력하도록 제어한다. 이와 같이 프리젠테이션 그래픽 디코더(120)로 전달된 프리젠테이션 그래픽 스트림은 이하 설명할 디스플레이 세트를 이루는 각각의 세그먼트(segment)에 따라서 처리된다.

도 2는 비트맵 서브 타이틀 데이터인 프리젠테이션 그래픽 스트림의 기본 구조인 디스플레이 세트(display set)를 설명하기 위한 도면이다.

프리젠테이션 그래픽 스트림은 이하 설명할 디스플레이 세트의 연속으로 구성된다. 각 디스플레이 세트는 화면상에 하나의 완전한 그래픽 이미지를 제공하기 위한 출력 단위이다.

보다 구체적으로 도 2를 참조하면, 디스플레이 세트는, 반드시 하나의 구성 세그먼트(composition segment)(210)와 종료 세그먼트(end segment)(230)를 포함한다. 후술하는 구성 세그먼트의 상태에 따라, 정의 세그먼트(definition segment)(222, 224, 및 226)를 포함할 수도, 포함하지 않을 수도 있다.

각 세그먼트의 구성을 구체적으로 살펴보면 다음과 같다.

먼저, 구성 세그먼트(Presentation Composition Segment: 이하 PCS라 약칭한다)(210)는, 화면상에 그래픽 오브젝트가 표시될 공간 좌표, 그래픽 오브젝트 중 불필요한 부분을 잘라내기 위한 영역 정보(cropping 정보라고 함)와, 표시될 그래픽 오브젝트들의 목록 정보를 포함한다.

윈도우 정의 세그먼트(Window Definition Segment: 이하 WDS라 약칭한다)(222)는, 전술한 그래픽 평면(Graphics Plane)(132) 상에 표시될 그래픽 이미지 영역을 정의하기 위한 정보를 포함하고 있다. 이와 같은 WDS는 후술하는 에폭(epoch)의 시작부분에서만 정의할 수 있으며, WDS의 크기 및 위치는 에폭(epoch) 기간 내에 동일하게 유지된다.

팔레트 정의 세그먼트(Palette Definition Segment: 이하 PDS라 약칭한다)(224)는, 전술한 그래픽 평면(Graphics Plane)(132) 상에 구성된 그래픽 이미지의 각 픽셀마다 적용될 출력 색상 및 투명도를 제공하기 위한 색상 정보를 포함한다.

오브젝트 정의 세그먼트(Object Definition Segment: 이하 ODS라 약칭한다)(226)는, 전술한 그래픽 평면(Graphics Plane)(132) 상에 실제로 표시될 그래픽 이미지 오브젝트의 일부 혹은 전체 데이터를 포함한다.

한편, 디스플레이 세트 종료 세그먼트(End of Display Set Segment: 이하 EDS라 약칭한다)(230)는, 하나의 디스플레이 세트가 종료되었음을 명시적으로 알리기 위한 세그먼트이다.

이와 같은 세그먼트들은 기본적으로 하나의 PES 패킷으로 이루어지며, 오브젝트 정의 세그먼트(ODS)(226)의 경우에만 복수의 PES 패킷으로 이루어 질 수 있다. 각 세그먼트를 구성하는 PES 패킷들이, 도 1에서 설명한 바와 같이 코딩 데이터 버퍼(122)에 전달된다. 이 때, 코딩 데이터 버퍼(122)는 종류가 다른 세그먼트 데이터를 함께 처리하지 않는다.

한편, 코딩 데이터 버퍼(122)에 전달된 세그먼트 데이터는, 해당 세그먼트를 구성하는 PES 패킷의 헤더에서 지시하는 디코딩될 시간(DTS) 또는 프리젠테이션될 시간(PTS)이 되면, 스트림 그래픽 처리기(124)로 전달되어 디코딩되기 시작한다.

스트림 그래픽 처리기(124)에서 디코딩된 각 세그먼트들은 해당 세그먼트의 종류에 따라 프리젠테이션 구성 세그먼트(PCS)(210), 윈도우 구성 세그먼트(WDS)(222) 또는 팔레트 정의 세그먼트(PDS)(224)는 컴포지션 버퍼(128)로 전달된다. 또한, 오브젝트 정의 세그먼트(ODS)(226)는 오브젝트 버퍼(126)로 전달된다. 각 버퍼에 저장된 세그먼트들은 PCS(210)에서 정의한 프리젠테이션될 시간(PTS)에 그래픽 평면(132)에 비트맵 그래픽 이미지를 구성하여, 색상 참조 테이블(CLUT)(134)로부터 색상 정보를 더하여 화면에 출력된다.

전술한 바와 같이 하나의 디스플레이 세트를 사용하여 하나의 화면을 구성하고, 또 다른 디스플레이 세트를 사용하여 다시 화면을 갱신하는 것을 디스플레이 업데이트(Display Update)라고 한다.

도 3은 프리젠테이션 그래픽 스트림의 개괄적 구조를 설명하기 위한 도면이다.

도 3을 참조하면, 프리젠테이션 그래픽 스트림은 프리젠테이션 그래픽 디코더(120)의 동작 모델을 고려하여 에폭(epoch)(310)이라는 단위로 구성되며, 각 에폭(epoch)은 복수의 디스플레이 세트(display set)를 포함한다. 에폭(310) 기간 내의 모든 프리젠테이션 그래픽 오브젝트들은 디코딩되어 오브젝트 버퍼(266)에 계속 저장된다. 즉, 하나의 에폭 내에서는 디코딩된 프리젠테이션 그래픽 오브젝트들을 재사용할 수 있다. 따라서, 디코더 내의 이와 같은 프리젠테이션 그래픽 오브젝트들은 다음 에폭의 데이터가 들어오지 않는 한, 계속 동일하게 유지됨으로써, 동일한 에폭 내에 존재하는 복수의 디스플레이 세트들 사이에는 끊김없는 재생이 보장된다. 그러나, 서로 다른 에폭 간에는 끊김없는 재생이 보장되지 않는다. 이는 하나의 에폭이 끝나고 다음 에폭이 시작되는 순간에 디코더 내의 모든 버퍼들(126 및 128)이 리셋되며, 그래픽 평면(132)의 내용이 지워지기 때문이다.

또한, 프리젠테이션 그래픽 스트림의 출력 단위로서 디스플레이 세트(display set)가 정의된다. 그림과 같이 하나의 에폭 내에는 하나 이상의 디스플레이 세트가 포함된다. 각 디스플레이 세트는 다음과 같이 세 가지 상태(state)를 가질 수 있다.

1) Epoch Start(이하 ES라 약칭한다) 디스플레이 세트: 새로운 에폭의 시작을 나타내며, 프리젠테이션 그래픽을 구성하기 위해 필요한 프리젠테이션 그래픽 구성 정보와 색상 정보, 화면상에서 이미지를 출력하기 위한 윈도우 영역 정보, 화면에 출력될 그래픽 이미지 오브젝트 정보 등을 포함한다. 즉, ES 디스플레이 세트는 에폭 내의 첫 화면을 제공한다.

2) Acquisition Point(이하 AP라 약칭한다) 디스플레이 세트: ES 디스플레이 세트 이후에만 존재할 수 있으며, 프리젠테이션 그래픽을 구성하기 위한 필요한 모든 정보를 포함한다.

3) Normal Case(이하 NC라 약칭한다) 디스플레이 세트: 이전의 디스플레이 세트에서 구성한 프리젠테이션 그래픽 데이터 중 변경이 필요한 데이터만을 포함한다.

그림과 같이 하나의 에폭(310)에는 복수의 디스플레이 세트(312 내지 316)가 포함될 수 있으며, 에폭의 시작에는 반드시 ES 상태의 디스플레이 세트가 존재하여야 한다. 이후에는 AP 상태 또는 NC 상태의 디스플레이 세트들이 선택적으로 존재할 수 있다.

도 4는 텍스트 서브 타이틀 데이터의 구조를 설명하기 위한 도면이다.

텍스트 형식의 서브 타이틀 데이터가 비트맵 프리젠테이션 그래픽으로 변환되어 출력되기 위해서는 랜더링(rendering)이란 과정이 필요하다. 랜더링이란, 텍스트 기반의 자막 데이터를 디스플레이 장치에 표현하기 위한 그래픽 데이터로 변환시키는 것에 관련된 모든 필요한 행위를 말한다. 즉 텍스트 데이터에서 한 문자마다의 문자코드와 매칭되는 폰트 정보를 찾아서 그래픽으로 바꾸는 과정을 반복하여 자막 영상을 구성하기 위한 그래픽 데이터를 만들어내고 색상을 지정하거나 변환시키고, 글자의 크기를 지정하거나 변환시키고, 가로 쓰기 혹은 세로 쓰기에 따라 적절하게 그래픽 데이터를 만들어 내는 것 등이 포함된다.

도 4를 참조하면, 텍스트 기반의 자막 데이터(400)는 크게 프리젠테이션 정보(410)와 대사 정보(420)로 나눌 수 있다.

프리젠테이션 정보(410)는, 화면에 표시할 텍스트 정보의 출력 영역을 나타내는 영역 정보와 출력 영역 내에서 텍스트의 위치 정보 및 텍스트 및 배경에 적용될 색상 정보, 텍스트를 랜더링하기 위한 폰트 정보 등을 포함하고 있다.

대사 정보(420)는, 실제 화면에 랜더링되어 표시될 텍스트 정보 및 해당 텍스트 정보에 적용하기 위한 프리젠테이션 정보의 참조 정보, 랜더링된 텍스트가 화면에 표시되어야 할 시간을 지정하는 대사 시작 시간 정보 및 화면상에서 사라져야 할 시간을 나타내는 대사 종료 시간 정보 등을 포함하고 있다.

텍스트 기반의 자막 데이터를 전술한 도 1과 같은 비트맵 서브 타이틀용 프리젠테이션 그래픽 디코더(120)를 이용하여 화면상에 표시하기 위해서는, 도 4에 도시된 텍스트 기반의 자막 데이터들로부터 도 2에 도시된 각 세그먼트들로 이루어진 디스플레이 세트(display set)에 관한 정보를 추출해낼 필요가 있다.

이와 같이 텍스트 서브 타이틀 데이터로부터 비트맵 서브 타이틀용 프리젠테이션 그래픽의 디스플레이 세트를 추출하는 방법에는 다음과 같은 두 가지 방법이 있을 수 있다.

1) 방법 1 : 프리젠테이션 정보(410) 내의 영역 정보와 위치 정보, 대사 정보(420) 내의 시작 시간 및 종료 시간 정보를 도 2의 프리젠테이션 구성 세그먼트(PCS)와 같이 처리하고, 그래픽 평면(132)의 전체 또는 임의로 결정된 이등분된 영역을 윈도우 정의 세그먼트(WDS)로 처리하며, 프리젠테이션 정보(410) 내의 색상 정보를 팔레트 정의 세그먼트(PDS)로 처리하며, 프리젠테이션 정보(410) 내의 폰트 정보와 대사 정보(420) 내의 텍스트 정보를 오브젝트 정의 세그먼트(ODS)로 처리하여 디스플레이 세트를 생성한다.

2) 방법 2: 프리젠테이션 정보(410) 내의 영역 정보를 윈도우 정의 세그먼트(WDS)로 처리하는 부분을 제외하고는 방법 1과 동일하다. 단, 영역 정보를 WDS로 처리할 경우, 비트맵 서브 타이틀의 디스플레이 세트에서 정의한 것과는 다르게 WDS는 ES 디스플레이 세트 이외에 AP 나 NC 디스플레이 세트에도 포함될 수 있어야 한다. 즉, 방법 2의 경우에는 WDS는 어떠한 디스플레이 세트에도 모두 포함될 수 있으며, 모든 대사 정보에 적용될 영역 정보를 동일한 크기로 적용하는 것이 바람직하다.

이상과 같은 방법들을 통해 하나의 대사 정보(420)와 참조된 프리젠테이션 정보(410)를 이용하여 디스플레이 세트를 생성할 수 있다.

한편, 텍스트 서브 타이틀을 이용하여 자막을 구현하는 경우에도, 끊김없는 재생을 위하여 에폭(Epoch)의 개념이 적용된다. 이하에서는, 텍스트 서브 타이틀을 이용하여 자막을 구현하는 경우의 에폭(epoch) 개념이 적용된 네 가지 실시예를 살펴본다.

설명의 편의를 위해, 먼저 네 가지 실시예에서 공통적으로 사용될 텍스트 서브 타이틀 데이터의 일 예를 살펴본다.

도 5는 텍스트 서브 타이틀 데이터의 일 예를 나타낸 도면이다.

도 5를 참조하면, 텍스트 서브 타이틀 데이터(500)의 일 예로서, 프리젠테이션 정보 X(510)와 대상 정보 1(522), 대사 정보 2(524) 및 대사 정보 3(526)이 도시되어 있다. 예를 들어 대사 정보 1(522)의 경우, 자막이 출력될 시작 시간 정보는 T1, 종료 시간 정보는 T2 이며, 프리젠테이션 정보 X를 참조한다. 대사 정보 2의 경우, 자막이 출력될 시작 시간 정보는 T3, 종료 시간 정보는 T4 이며, 역시 프리젠테이션 정보 X를 참조한다. 이와 같은 텍스트 서브 타이틀 데이터를 이용하여 도 4에서 상술한 방법에 따라 디스플레이 세트들을 생성하는 경우 다음과 같은 전제 조건이 필요하다.

1) 대사 정보(520)의 시작 시간 정보 및 종료 시간 정보에서 디스플레이 세트가 시작된다.

2) T2 < T3인 경우, 즉 이전 대사 정보(522)의 종료시간(T2)이 현재 대사 정보(524)의 시작시간(T3)보다 작아 서로 다른 대사 정보가 겹치지 않는 경우에는, 대사 정보 1과 대사 정보 2는 서로 다른 에폭에 속하게 되고, T3 시점에 새로운 에폭이 시작되는 ES 디스플레이 세트가 시작된다.

3) T2 < T3인 경우, 대사 정보(520)의 시작 시간 정보(T1 및 T3)는 해당 디스플레이 세트의 디코딩할 시간(DTS) 및 프리젠테이션될 시간(PTS)이 된다.

4) T2 >= T3 인 경우, 즉 이전 대사 정보(522)의 종료시간(T2)이 현재 대사 정보(524)의 시작시간(T3)보다 작아 서로 다른 대사 정보가 겹치는 경우에는, 대사 정보 1과 대사 정보 2는 동일한 에폭 내에 존재한다.

5) T2 >= T3인 경우, 대사 정보(520)의 시작 시간 정보(T1 및 T3)는 다음 디스플레이 세트가 디코딩될 시간(DTS)이 된다.

한편, 비트맵 기반의 프리젠테이션 그래픽 스트림에서 화면에 표시될 그래픽 오브젝트를 나타내는 ODS의 경우, ODS를 화면상에 재생하는 시간(PTS)은 전술한 도 1의 디코더 모델에서 ODS가 스트림 그래픽 처리기(124)에서 디코딩되어 오브젝트 버퍼(126)에 저장이 완료되는 시점이다.

마찬가지로, 텍스트 기반의 자막 데이터의 경우에도, 자막이 원활하게 재생되기 위해서는 전술한 다섯 가지 전제 조건에서 설명한 프리젠테이션될 시점(PTS) 이전에, 자막 텍스트 정보가 비트맵 형태로 변환되어 오브젝트 버퍼(126) 내에 저장이 완료되어 있는 것이 바람직하다. 따라서, 텍스트 기반의 자막 데이터의 경우, 프리젠테이션될 시점(PTS)이전에 그래픽 오브젝트 데이터(ODS)의 재생 준비가 완료되도록 보장하기 위하여, 그래픽 오브젝트 데이터(ODS)를 재생할 시간(PTS)은 다음과 같이 조정할 수 있다.

먼저, 필요한 변수는,

1) 앞서 전제 조건에서 언급한 PTS, 즉, 그래픽 평면(132)에 화면에 표시될 프리젠테이션 그래픽 데이터의 구성이 완료되는 시점

2) 오브젝트 버퍼(126)에서 그래픽 평면(132)으로 오브젝트 데이터(ODS)가 전송되는 속도, 즉, 픽셀 구성을 위한 전송율(Pixel Composition Rate)

3) 현재 에폭 내에서 일정한 크기를 갖는 오브젝트의 크기 등이다.

상기 변수들 중 3) 오브젝트 데이터의 크기를 2) 전송률로 나누면, 오브젝트 버퍼(126)에서 그래픽 평면(132)으로 오브젝트 데이터(ODS)를 전송하는데 걸리는 시간이 계산된다. 따라서, 1)의 PTS시점에 자막이 원활하게 재생되기 위해서는, 위에서 계산한 오브젝트 버퍼(126)에서 그래픽 평면(132)으로 오브젝트 데이터(ODS)를 전송하는데 걸리는 시간을 감안하여, 미리 오브젝트 데이터가 오브젝트 버퍼(126)에 저장이 완료되어 있어야 한다. 결국, 텍스트 기반 자막 데이터의 경우에는, 이와 같은 방법으로 상기 전제조건에서 설명한 프리젠테이션될 시간(PTS)으로부터, 오브젝트 버퍼(126)에서 그래픽 평면(132)으로 오브젝트 데이터(ODS)를 전송하는데 걸리는 시간을 뺀 시간과 같거나 또는 그 이전 시간을 오브젝트 데이터(ODS)에 대한 PTS 범위로 적용하는 것이 바람직하다.

이하에서는 비트맵 서브 타이틀 데이터뿐만 아니라, 텍스트 서브 타이틀 데이터를 이용하여 디스플레이 세트를 생성함으로써, 자막을 표시할 수 재생 장치의 구조를 살펴본다.

도 6은 본 발명에 따른 비트맵 서브 타이틀 데이터 또는 텍스트 서브 타이틀 데이터를 이용하여 자막을 표시하는 재생 장치의 블록도이다.

도 6을 참조하면, 전술한 도 1의 비트맵 서브 타이틀 데이터를 이용하여 자막을 표시하는 재생 장치를 응용하여 비트맵 서브 타이틀 데이터뿐만 아니라 텍스트 서브 타이틀 데이터를 처리하기 위한 재생 장치를 도시한다. 본 발명에 따른 재생 장치는, 폰트 데이터를 저장하기 위한 폰트 버퍼(621)와, 참조 프리젠테이션 정보를 이용하여 텍스트 서브 타이틀데이터의 대사 정보를 랜더링하기 위한 텍스트 자막 처리기(Text Subtitle Processor)(624)를 더 포함한다.

한편, 텍스트 서브 타이틀 데이터(612 및 614)는, 전술한 도 4와 같이 프리젠테이션 정보(410)와 대사 정보(420)가 분리되어 있다. 따라서, 텍스트 자막 처리기(624)는, 프리젠테이션 정보를 미리 저장하고 있는 별도의 저장 공간을 더 포함하는 것이 바람직하다. 이에 따라, 대사 정보들이 정해진 시점에 텍스트 자막 처리기(624)에서 처리될 때, 참조 프리젠테이션 정보를 바로 적용할 수 있다.

또한, 대사 정보에는 시작 시간 정보 및 종료 시간 정보가 포함되어 있으므로, 현재 대사 정보의 시작 시간 정보(T3)와 이전 대사 정보의 종료 시간 정보(T2)를 비교하여 서로 다른 대사 정보가 시간적으로 서로 겹치는지 여부에 따라 전술한 전제조건에 따라 처리되도록 한다.

보다 구체적으로, 도 7a는 도 5에 도시한 텍스트 서브 타이틀 데이터의 시간 정보에 따라, T2 < T3인 경우, 즉 두 개의 대사 정보가 겹치지 않는 경우(independent dialogs)를 나타낸 도면이다.

도 7b는 도 5에 도시한 텍스트 서브 타이틀 데이터의 시간 정보에 따라, T2 >= T3인 경우, 즉 두 개의 대사 정보가 겹치는 경우(overlapped dialog)를 나타낸 도면이다.

서로 다른 대사 정보가 서로 겹치는지 여부에 따라, 도 5에서 전술한 전제조건에 따라 각 대사 정보를 다른 방법으로 처리해야 한다. 이하에서는, 서로 다른 대사 정보가 겹치는지 여부에 따라 각 대사 정보가 다르게 처리되는 네 가지의 서로 다른 실시예를 상세히 살펴본다.

도 8은 본 발명에 따른 실시예 1로서, 도 7a에 도시한 두 개의 대사 정보가 겹치지 않는 경우(T2 < T3), 화면상에서 자막이 갱신되는 디스플레이 업데이트(Display Update)를 설명하기 위한 도면이다.

도 8을 참조하면, 현재화면 상에 대사 정보 1의 텍스트 정보 1이 표시되고 있는 상태에서, 전송 버퍼(도 1 참조)에 입력된 대사 정보 2의 시작 시간 정보(T3)가 대사 정보 1의 종료 시간 정보(T2)보다 큰 값을 가지는 경우의 자막 처리 방법이 도시되어 있다. 그림과 같이, 대사 정보 1 및 대사 정보 2는 시간적인 오버랩(overlap)이 발생하지 아니함으로 끊김없는 재생을 보장할 필요가 없다. 따라서, 도 5에서 전술한 전제 조건 2) 및 3)에 의하여, T3 시점에 새로운 ES 디스플레이 세트가 시작된다. 또한, 대사 정보 2의 시작 시간 정보(T3)가 해당 대사 정보 2의 디스플레이 세트를 디코딩하는 시간(DTS) 및 프리젠테이션 하는 시간(PTS)이 된다.

즉, ①과 ③은 서로 다른 에폭을 가지며, 각 대사 정보의 시작 시간(T1 및 T3)에 해당 대사 정보를 디코딩하여 프리젠테이션하기 시작한다.

한편, 그림의 ②에 해당하는 디스플레이 세트는, 대사 정보 1의 종료 시간 정보(T2)에 의해 발생한 디스플레이 세트로서, 화면상에 출력되던 텍스트 정보 1을 지우기 위해 제공된다. 이와 같이 기존에 출력되던 내용을 지우기 위해서는, 첫째, 정의 세그먼트(Definition Segment)들을 포함하지 않는 ES 디스플레이 세트를 사용하는 방법이 있다. 즉, 출력할 그래픽 이미지에 대한 정의 없이 새로운 에폭을 시작함으로써, 프리젠테이션 그래픽 디코더의 모든 버퍼를 리셋하고 그래픽 평면을 지움으로써, 화면상에 출력되던 텍스트 정보 1을 제거할 수 있다.

둘째, 오브젝트에 투명한 색상 정보를 적용하는 NC 디스플레이 세트를 이용하는 방법이 있다. 즉, ①과 ②는 동일한 Epoch에 포함되며, 동일한 오브젝트가 화면에 표시되지만, ①과 ②에 적용되는 색상을 달리 함으로써, 화면상에 출력되던 텍스트 정보 1을 제거할 수 있다. 이 방법을 위해서는 텍스트 서브 타이틀용 색상 테이블은 항상 일정한 엔트리에 투명한 색상 값을 포함하고 있는 것이 바람직하다.

도 9는 본 발명에 따른 실시예 2로서, 도 7b에 도시한 두 개의 대사 정보가 겹치는 경우(T2 >= T3), 화면상에서 자막이 갱신되는 디스플레이 업데이트(Display Update)를 설명하기 위한 도면이다.

도 9를 참조하면, 현재화면 상에 대사 정보 1의 텍스트 정보 1이 표시되고 있는 상태에서 전송 버퍼에 입력된 대사 정보 2의 시작 시간 정보(T3)가 대사 정보 1의 종료 시간 정보(T2)보다 작거나 같은 값을 가지고 있는 경우의 자막 처리 방법이 도시되어 있다. 즉, 대사 정보 1에 의한 텍스트 정보 1과 대사 정보 2에 의한 텍스트 정보 2는 시간적인 오버랩이 발생하므로 끊김이 없이 재생되어야 한다.

따라서, 전술한 도 5의 전제 조건 4) 및 5)에 의하여 대사 정보 2는 대사 정보 1의 텍스트 정보 1이 화면에 표시되는 순간에 디코딩을 시작하게 된다. 즉, T1에 시작하는 디스플레이 세트(①)와 T3에 시작하는 디스플레이 세트(② 및 ③)는 서로 동일한 에폭에 포함되는 것이 바람직하다. ①, ② 및 ③은 서로 동일한 에폭에 포함된다. 이에 따라, 대사 정보 1의 종료 시간(T2)이 되기 전에 대사 정보 2의 시작 시간(T3)이 되면, 텍스트 자막 처리기(624)가 두 개의 대사 정보를 동일한 에폭으로 간주하여, T3에 새로운 오브젝트인 텍스트 정보 1에 텍스트 정보 2가 추가된 AP 또는 NC 디스플레이 세트를 생성한다. 또한, T2에서는 텍스트 정보 2만 지시하는 구성 세그먼트를 포함하는 AP 또는 NC 디스플레이 세트를 생성한다. 이에 따라, 동일한 에폭 내에서 오브젝트 버퍼에 저장된 텍스트 정보 1 및 텍스트 정보 2를 이용하여 겹치는 영역(②)에서는 텍스트 정보 1과 텍스트 정보 2를 합친 오브젝트를 끊김 없이 재생할 수 있게 된다.

도 10a 및 도 10b는 도 9의 응용 예로서, 서로 다른 대사 정보가 서로 겹치는 경우, 보다 구현이 간단한 재생 장치를 위한 제약 조건을 설명하기 위한 도면이다.

도 10a 및 도 10b를 참조하면, 서로 다른 세 개 이상의 대사 정보 사이에 오버랩이 발생되는 경우가 도시되어 있다. 이러한 경우, T2, T3 및 T5를 각각 비교하여 각 경우에 대해 처리 방법을 정의해야 함으로써, 재생장치가 복잡해질 수 있다. 따라서, 보다 재생장치의 구조를 보다 간단히 하기 위하여 다음과 같은 제한 사항을 둘 수 있다.

1) 프리젠테이션 그래픽 디코더의 특성상 하나의 디스플레이 업데이트 내에는 최대 두 개의 오브젝트만 존재하므로, 도 10a와 같이 세 개 이상의 텍스트 정보가 한번에 표시되어야 하는 경우를 피하기 위하여, 대사 정보 3의 시작 시간 정보(T5)는 대사 정보 1의 종료 시간 정보보다 큰 것, 즉, T2 < T5를 만족하는 것이 바람직하다.

2) 도 10b와 같이 특정 대사 정보의 재생 시간이 이후에 등장하는 대사 정보의 재생 시간보다 길면서, 그 다음 대사 정보와 오버랩이 발생하는 경우, 즉, T2 > T4 & T2 > T5인 경우, 사용자에 의한 랜덤 액세스 시에 올바른 재생을 위하여 프리젠테이션 그래픽 디코더가 기억해야 할 이전 대사 정보의 양이 많아지게 되므로 바람직하지 않다. 따라서, 대사 정보 사이에 최대 두 개의 오브젝트가 오버랩되는 것이 바람직하다.

한편, 도 11a 내지 11c는 도 9의 응용 예로서, 서로 다른 대상 정보가 계속 겹치는 경우의 버퍼의 공간 부족 문제를 해결하기 위한 오브젝트 버퍼의 사용 방법을 도시한 도면이다.

도 11a를 참조하면, 제 10 도와 같이 텍스트 서브 타이틀 데이터의 오버랩이 계속 발생하여 동일한 에폭의 길이가 점점 증가하는 경우, 각 대사 정보에 포함된 텍스트 정보들은 도 6에 도시된 오브젝트 버퍼(624)에 계속적으로 저장될 것이다. 이러한 경우 오브젝트 버퍼의 크기가 한정되어 있으므로 버퍼 공간이 부족하게 되는 현상이 발생하여 올바른 재생을 보장할 수 없게 되는 경우도 있다.

이러한 문제점을 해결하기 위하여 텍스트 서브 타이틀 데이터의 경우 전술한 바와 같이 최대 두 개의 오브젝트만 오버랩되는 것이 바람직하므로, 도 11b와 같이 오브젝트 버퍼를 크게 이등분하여 관리한다. 즉, 도 11c와 같이 연속적으로 오브젝트의 오버랩이 발생하는 경우, 동일한 메모리 영역에 새로운 텍스트 정보의 오브젝트를 업데이트 함으로써, 오브젝트 버퍼의 공간 부족 문제를 해결하는 것이다. 물론 오버랩 가능한 오브젝트의 개수가 두 개 이상이라면 오버랩 가능한 오브젝트의 수에 맞게 오브젝트 버퍼의 영역을 나눔으로써, 공간 부족 문제를 해결할 수 있다.

한편, 도 12는 본 발명에 따른 실시예 3으로서, 도 7a에 도시한 두 개의 대사 정보가 겹치지 않는 경우(T2 < T3), 화면상에서 자막이 갱신되는 디스플레이 업데이트(Display Update)의 또 다른 예를 설명하기 위한 도면이다.

전술한 도 8에 도시되 실시예 1을 참조하면, 두 개의 대사 정보가 겹치지 않는 경우(T2 < T3)에서는, 시작 시간 정보(T1 및 T3) 및 종료 시간 정보(T2 및 T4)에 각각 디스플레이 세트가 생성되었다.

그러나, 도 12의 실시예 3은, 도 5에서 전술한 전제 조건과는 다른 방법으로 디스플레이 세트가 생성된다. 즉, 대사 정보 사이에 오버랩이 발생하지 않는 경우에는, 비디오 재생이 시작되는 순간이나 혹은 이전 대사 정보의 종료 시간 정보에서 디스플레이 세트가 생성되며, 생성된 디스플레이 세트는 모두 ES 디스플레이 세트가 된다.

도 12를 참조하면, T2에 해당하는 시점에 텍스트 정보 2를 위한 새로운 에폭의 디스플레이 세트가 생성된다. 다만, 텍스트 서브 타이틀 데이터의 가장 첫 대사 정보, 즉 상기 도면의 텍스트 정보 1의 경우에는 비디오의 재생이 시작되는 순간(상기 도면에서는 0으로 표시되어 있음, T1=0인 경우도 포함)에 디스플레이 세트가 생성된다.

따라서, 도 12에 도시된 바와 같이 ①과 ②, 두 개의 디스플레이 세트가 생성되며, 대사 정보 사이에 오버랩이 발생하지 않으므로 이전 대사 정보를 저장할 필요가 없어, ES 상태의 디스플레이 세트가 생성된다. 이 경우, 디코딩될 시간(DTS)은 기본적으로 ES 디스플레이 세트가 생성되는 시점, 즉, 첫 디스플레이 세트일 경우에는 0, 이후의 디스플레이 세트일 경우에는 이전 디스플레이 세트의 종료 시간이 된다. 또한, 프리젠테이션될 시간(PTS)은 해당 디스플레이 세트에 포함된 대사 정보의 시작 시간 정보(T1 및 T3)에 지정된 시간이 된다.

이를 정리하면, 오버랩이 없는 텍스트 서브 타이틀 데이터의 경우에는,

1) ES 디스플레이 세트만 생성된다.

2) ES 디스플레이 세트는 재생이 시작되는 재생 시간 축의 "0" 시점이나 또는 이전 ES 디스플레이 세트에 포함된 대사 정보의 종료 시간(T2)에 생성된다. 한편, 제일 마지막 대사 정보의 종료 시간 정보에도 마지막 대사 정보의 텍스트 정보를 화면 상에서 지우기 위하여 ES 디스플레이 세트가 발생하는 것이 바람직하다. 표시된 자막을 화면상에서 지우는 구체적인 방법은 도 8에서 상술한 설명을 참조한다.

3) 생성된 ES 디스플레이 세트가 디코딩될 시간(DTS)은 재생이 시작되는 재생 시간 축의 "0" 시점이나 또는 이전 ES 디스플레이 세트에 포함되는 대사 정보의 종료 시간(T2)이 된다.

4) 생성된 ES 디스플레이 세트가 프리젠테이션될 시간(PTS)은 해당 디스플레이 세트에 포함된 대사 정보의 시작 시간(T1 및 T3)이 된다.

도 13은 본 발명에 따른 실시예 4로서, 도 7b에 도시한 두 개의 대사 정보가 겹치는 경우(T2 >= T3), 화면상에서 자막이 갱신되는 디스플레이 업데이트(Display Update)의 또 다른 두 가지 구현 예를 설명하기 위한 도면이다.

도 13을 참조하면, 두 개의 대사 정보가 시간적으로 오버랩되는 경우, 좌측의 CASE 1은 그래픽 평면상에서 동일한 시간에 텍스트 정보 1 및 텍스트 정보 2라는 두 개의 텍스트 정보가 각각 겹치게 표시되는 것이고, 우측의 CASE 2는 동일한 시간에는 텍스트 정보 1과 텍스트 정보 2가 결합된 하나의 텍스트 정보가 표시되는 것이다.

각 사례에 대한 텍스트 서브 타이틀의 일 예는 다음과 같다.

먼저, CASE 1의 경우, 대사 정보는 다음과 같이 두 개의 오브젝트를 포함한다.

<시작시간정보="b1" 종료시간정보="e1">텍스트 정보 1</>

<시작시간정보="b2" 종료시간정보="e2">텍스트 정보 2</>

단, e1 >= b2 즉, 이전 대사 정보의 종료 시간 정보가 현 대사 정보의 시작 시간 정보와의 관계에서 T2 >= T3을 만족하므로 대사 정보 1과 대사 정보 2는 동일한 에폭 내에 포함된다.

한편, CASE 2의 경우, 대사 정보는 다음과 같이 세 개의 오브젝트를 포함한다.

<시작시간정보="b1" 종료시간정보="e1">텍스트 정보 1</>

<시작시간정보="b2" 종료시간정보="e2">텍스트 정보 2</>

<시작시간정보="b3" 종료시간정보="e3">텍스트 정보 3</>

단, e1 =b2, e2 = b3 즉, 이전 대사 정보의 종료 시간 정보가 현 대사 정보의 시작 시간 정보와의 관계에서 T2 >= T3을 만족하므로 대사 정보 1과 대사 정보 2는 동일한 에폭 내에 포함된다.

즉, 에폭 기간은 동일하게 적용되며, 다만, 프리젠테이션 그래픽 디코더에서 하나의 디스플레이 세트가 처리할 수 있는 오브젝트이 수만 달라진다. 따라서, CASE 2의 경우, 본 발명에서 하나의 오브젝트 버퍼 전체를 하나의 오브젝트를 위한 용도로 사용하면 된다. 텍스트 정보1, 텍스트 정보 1과 텍스트 정보 2가 합성된 오브젝트, 텍스트 정보 3 등이 각각 하나의 오브젝트로 취급되기 때문이다.

도 14a 및 도 14b는 도 13에서 설명한 방법에 따라, 화면상에서 자막이 갱신되는 디스플레이 업데이트(Display Update)의 또 다른 두 가지 예를 설명하기 위한 도면이다.

도 14a 및 도 14b를 참조하면, 두 가지 경우 모두 ES 디스플레이 세트가 생성되는 시점은 오버랩이 없는 대사 정보의 경우와 동일하다(도 12 참조). 즉, T0은 이전 대사 정보의 종료 시간 시점을 나타낸다. 따라서, 0 혹은 T0 시점이 ES 디스플레이 세트가 생성되는 시점이며, 동시에 텍스트 정보 1을 담고 있는 대사 정보 1을 디코딩하는 시점(DTS)이 된다. 또한, T1 시점이 해당 ES 디스플레이 세트를 프리젠테이션 하는 시점(PTS)이 되어 텍스트 정보 1을 화면에 출력하게 된다.

한편, 프리젠테이션 그래픽 디코더는 다음 대사 정보의 시작 시간 정보(T3)와 현재 재생되고 있는 대사 정보의 종료 시간 정보(T2)와의 관계를 파악하여 오버랩이 발생함을 알 수 있으므로, T1 시점에 대사 정보 1을 화면에 출력하면서, 동시에 대사 정보 1과 대사 정보 2를 함께 표시하도록 하는 AP 또는 NC 디스플레이 세트의 디코딩을 시작하게 된다. 즉, 오버랩이 발생하는 동일한 에폭 내에서는 오버랩이 발생하는 시점(T3) 이후의 모든 시간 정보에서 디스플레이 세트가 생성되며, 이전 디스플레이 세트의 프리젠테이션 되는 시점(PTS)이 현재 디스플레이 세트의 디코딩되는 시점(DTS)이 된다.

이를 정리하면, 오버랩이 발생하는 텍스트 서브 타이틀 데이터의 경우는 다음과 같다.

1) ES 디스플레이 세트 및 AP 또는 NC 디스플레이 세트 모두가 존재한다.

2) ES 디스플레이 세트는 재생 시간 축의 "0" 시점이나 또는 이전 ES 디스플레이 세트에 포함된 대사 정보의 종료 시간에 생성된다.

3) 생성된 ES 디스플레이 세트가 디코딩될 시점(DTS)은 재생 시간 축의 "0" 시점이나 또는 이전 ES 디스플레이 세트에 포함된 대사 정보의 종료 시간이 된다.

4) 생성된 ES 디스플레이 세트가 프리젠테이션될 시점(PTS)은 해당 디스플레이 세트에 포함된 대사 정보의 시작 시간이 된다.

5) 생성된 AP 또는 NC 디스플레이 세트가 디코딩될 시점(DTS)은 이전 디스플레이 세트가 프리젠테이션될 시점(PTS)이 된다.

6) 생성된 AP 또는 NC 디스플레이 세트가 프리젠테이션될 시점(PTS)은 도 14a의 경우, 해당 디스플레이 세트가 생성되는 대사 정보의 시작 시간 또는 종료 시간이 되며, 도 14b의 경우, 해당 디스플레이 세트가 생성되는 대사 정보의 시작 시간이 된다.

한편, 전술한 텍스트 기반의 자막 데이터의 경우, 랜덤 서치(random search)시에는 다음과 같이 처리하는 것이 바람직하다.

1) 오버 랩이 발생하지 않는 경우에는, 랜덤 액세스 된 시점을 기준으로 이후에 가장 가까운 ES 디스플레이 세트로부터 자막 재생을 계속한다.

2) 오버랩이 발생하는 경우에는, 랜덤 액세스 된 시점을 기준으로 이후에 가장 가까운 대사 정보의 시작 시간 정보에 발생하는 디스플레이 세트의 내용을 랜덤 액세스 된 시점부터 디코딩하여 해당 디스플레이 세트의 PTS 시점에 표시한다. 이때 발생하는 디스플레이 세트는 이전에 표시되던 자막 데이터와 연속되는 것이 아니므로 ES 디스플레이 세트가 된다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이

전술한 바와 같이 에폭과 디스플레이 세트를 정의하여 텍스트 기반의 자막 데이터를 처리함으로써, 동일한 디코더 모델을 통하여 비트맵 서브 타이틀 데이터 뿐 아니라 텍스트 기반의 자막 데이터의 재생도 가능하게 된다.

도 1은 비트맵 서브 타이틀 데이터를 처리하여 화면상에 자막을 출력하는 프리젠테이션 그래픽 디코더를 포함하는 재생 장치의 블록도,

도 2는 비트맵 서브 타이틀 데이터인 프리젠테이션 그래픽 스트림의 기본 구조인 디스플레이 세트(display set)를 설명하기 위한 도면,

도 3은 프리젠테이션 그래픽 스트림의 개괄적 구조를 설명하기 위한 도면,

도 4는 텍스트 서브 타이틀 데이터의 구조를 설명하기 위한 도면,

도 5는 텍스트 서브 타이틀 데이터의 일 예를 나타낸 도면,

도 6은 본 발명에 따른 비트맵 서브 타이틀 데이터 및 텍스트 서브 타이틀 데이터를 이용하여 자막을 표시하는 재생 장치의 블록도,

도 7a는 도 5에 도시한 텍스트 서브 타이틀 데이터의 시간 정보에 따라, T2 < T3인 경우, 즉 두 개의 대사 정보가 겹치지 않는 경우(independent dialogs)를 나타낸 도면,

도 7b는 도 5에 도시한 텍스트 서브 타이틀 데이터의 시간 정보에 따라, T2 >= T3인 경우, 즉 두 개의 대사 정보가 겹치는 경우(overlapped dialog)를 나타낸 도면,

도 8은 본 발명에 따른 실시예 1로서, 도 7a에 도시한 두 개의 대사 정보가 겹치지 않는 경우(T2 < T3), 화면상에서 자막이 갱신되는 디스플레이 업데이트(Display Update)를 설명하기 위한 도면,

도 9는 본 발명에 따른 실시예 2로서, 도 7b에 도시한 두 개의 대사 정보가 겹치는 경우(T2 >= T3), 화면상에서 자막이 갱신되는 디스플레이 업데이트(Display Update)를 설명하기 위한 도면,

도 10a 및 도 10b는 도 9의 응용 예로서, 서로 다른 대사 정보가 서로 겹치는 경우, 보다 구현이 간단한 재생 장치를 위한 제약 조건을 설명하기 위한 도면,

도 11a 내지 11c는 도 9의 응용 예로서, 서로 다른 대사 정보가 계속 겹치는 경우의 버퍼의 공간 부족 문제를 해결하기 위한 오브젝트 버퍼의 사용 방법을 도시한 도면,

도 12는 본 발명에 따른 실시예 3으로서, 도 7a에 도시한 두 개의 대사 정보가 겹치지 않는 경우(T2 < T3), 화면상에서 자막이 갱신되는 디스플레이 업데이트(Display Update)의 또 다른 예를 설명하기 위한 도면,

도 13은 본 발명에 따른 실시예 4로서, 도 7b에 도시한 두 개의 대사 정보가 겹치는 경우(T2 >= T3), 화면상에서 자막이 갱신되는 디스플레이 업데이트(Display Update)의 또 다른 두 가지 구현 예를 설명하기 위한 도면,

도 14a 및 도 14b는 도 13에서 설명한 방법에 따라, 화면상에서 자막이 갱신되는 디스플레이 업데이트(Display Update)의 또 다른 두 가지 예를 설명하기 위한 도면이다.

Claims (24)

1. 비트맵 기반의 자막 데이터를 입력받아, 하나의 화면을 출력하기 위한 제어 정보가 포함된 디스플레이 세트(display set) 단위로 화면에 출력하는 제1 자막 처리기; 및

   텍스트 기반의 자막 데이터를 입력받아, 비트맵 기반의 상기 디스플레이 세트를 생성하고, 생성된 상기 디스플레이 세트에 기초하여 텍스트를 그래픽으로 변환하여 화면에 출력하는 제2 자막 처리기를 포함하는 것을 특징으로 하는 재생 장치.
2. 제1항에 있어서,

   상기 텍스트 기반의 자막 데이터는, 출력될 자막 내용을 지시하는 대사 정보 및 상기 대사 정보의 출력을 제어하는 프리젠테이션 정보를 포함하며,

   상기 제2 자막 처리기는, 상기 대사 정보 및 프리젠테이션 정보로부터 비트맵 기반의 상기 디스플레이 세트를 생성하는 것을 특징으로 하는 재생 장치.
3. 제2항에 있어서,

   상기 디스플레이 세트는, 화면상의 그래픽 오브젝트의 출력을 제어하기 위한 프리젠테이션 구성 정보, 상기 그래픽 오브젝트가 출력될 영역을 지시하는 윈도우 정의 정보, 상기 그래픽 오브젝트의 색상을 지시하는 팔레트 정의 정보 및 화면상에 실제로 출력될 상기 그래픽 오브젝트 데이터인 오브젝트 정의 정보를 포함하며,

   상기 제2 자막 처리기는,

   상기 프리젠테이션 정보에 포함된 영역 정보 및 위치 정보와, 상기 대사 정보에 포함된 시작 시간 정보 및 종료 시간 정보를 이용하여 상기 프리젠테이션 구성 정보를 처리하고, 상기 프리젠테이션 정보에 포함된 영역 정보를 이용하여 상기 윈도우 정의 정보를 처리하며, 상기 프리젠테이션 정보에 포함된 색상 정보를 이용하여 상기 팔레트 정의 정보를 처리하고, 상기 프리젠테이션 정보에 포함된 폰트 정보와, 상기 대사 정보에 포함된 텍스트 정보를 이용하여 상기 오브젝트 정의 정보를 처리하여, 비트맵 기반의 상기 디스플레이 세트를 생성하는 것을 특징으로 하는 재생 장치.
4. 제3항에 있어서,

   상기 제2 자막처리기는, 출력되는 화면의 그래픽 평면 전체 또는 소정의 이등분 영역을 상기 윈도우 정의 정보로 처리하는 것을 특징으로 하는 재생 장치.
5. 제3항에 있어서,

   상기 그래픽 오브젝트의 출력을 제어하는 상기 프리젠테이션 구성 정보, 상기 윈도우 정의 정보 및 상기 팔레트 정의 정보를 저장하는 제1 버퍼부;

   화면에 실제로 출력될 그래픽 이미지인 상기 오브젝트 정의 정보를 저장하는 제2 버퍼부; 및

   상기 제1 버퍼부에 저장된 정보를 적용하여 상기 제2 버퍼부에 저장된 실제로 출력될 그래픽 이미지를 전달받아 출력 준비를 완료하는 제3 버퍼부를 더 포함하는 것을 특징으로 하는 재생 장치.
6. 제3항에 있어서,

   상기 제2 자막 처리기는, 상기 대사 정보에 포함된 시작 시간 정보 및 종료 시간 정보에 지정된 시점에 상기 디스플레이 세트를 생성하는 것을 특징으로 하는 재생 장치.
7. 제5항에 있어서,

   상기 제2 자막 처리기는, 현재의 대사 정보의 시작 시간 정보가 이전의 대사 정보의 종료 시간 정보보다 큰 값을 가지는 경우, 즉 상기 대사 정보 간에 오버랩이 발생하지 않는 경우, 상기 현재의 대사 정보의 시작 시간 정보에 지정된 시점에, 상기 제1 버퍼부, 상기 제2 버퍼부 및 상기 제3 버퍼부를 모두 리셋하고 새로운 에폭 주기에 대한 상기 디스플레이 세트를 생성하는 것을 특징으로 하는 재생 장치.
8. 제7항에 있어서,

   상기 제2 자막 처리기는, 현재의 대사 정보의 시작 시간 정보가 지정하는 시점에, 상기 디스플레이 세트를 디코딩하여 재생하는 것을 특징으로 하는 재생 장치.
9. 제7항에 있어서,

   상기 제2 자막 처리기는, 상기 제2 버퍼부에서 상기 제3 버퍼부로 실제로 출력될 그래픽 이미지를 전달하여 출력 준비를 완료하는데 걸리는 시간을 고려하여, 미리 해당 그래픽 이미지에 대한 프리젠테이션할 시점(PTS)을 조정하는 것을 특징으로 하는 재생 장치.
10. 제7항에 있어서,

    상기 제2 자막 처리기는, 화면상에 이전에 표시된 자막을 지우기 위하여, 현재의 대사 정보의 종료 시간 정보가 지정하는 시점에, 상기 제1 버퍼부, 상기 제2 버퍼부 및 상기 제3 버퍼부를 모두 리셋하고 새로운 에폭 주기에 대한 출력될 그래픽 오브젝트를 포함하지 않는 디스플레이 세트를 생성하는 것을 특징으로 하는 재생 장치.
11. 제7항에 있어서,

    상기 제2 자막 처리기는, 화면상에 이전에 표시된 자막을 지우기 위하여, 현재의 대사 정보의 종료 시간 정보가 지정하는 시점에, 상기 제1 버퍼부, 상기 제2 버퍼부 및 상기 제3 버퍼부를 모두 유지하며 색상 정보만을 변경한 디스플레이 세트를 생성하는 것을 특징으로 하는 재생 장치.
12. 제11항에 있어서,

    상기 제2 자막 처리기는, 상기 색상 정보로 투명한 색상 값을 지정하는 것을 특징으로 하는 재생 장치.
13. 제5항에 있어서,

    상기 제2 자막 처리기는, 현재의 대사 정보의 시작 시간 정보가 이전의 대사 정보의 종료 시간 정보보다 작거나 같은 값을 가지는 경우, 즉, 상기 대사 정보간에 오버랩이 발생하는 경우, 상기 현재의 대사 정보의 시작 시간 정보에 지정된 시점에, 상기 제1 버퍼부, 상기 제2 버퍼부 및 상기 제3 버퍼부를 그대로 유지하며, 동일한 에폭 주기에 대한 상기 디스플레이 세트를 생성하는 것을 특징으로 하는 재생 장치.
14. 제13항에 있어서,

    상기 제2 자막 처리기는, 이전의 대사 정보의 시작 시간 정보가 지정하는 시점에, 상기 디스플레이 세트를 미리 디코딩하는 것을 특징으로 하는 재생 장치.
15. 제13항에 있어서,

    상기 제2 자막 처리기는, 상기 제2 버퍼부에서 상기 제3 버퍼부로 실제로 출력될 그래픽 이미지를 전달하여 출력 준비를 완료하는데 걸리는 시간을 고려하여, 미리 해당 그래픽 이미지에 대한 프리젠테이션할 시점(PTS)을 조정하는 것을 특징으로 하는 재생 장치.
16. 제5항에 있어서,

    상기 제2 버퍼부는, 상기 텍스트 기반의 자막 데이터의 재생 시 오버랩 가능한 오브젝트의 수만큼 영역을 분할하여 관리하는 것을 특징으로 하는 재생 장치.
17. 제16항에 있어서,

    상기 제2 버퍼부는, 분할된 영역마다 일정한 오브젝트 식별자를 할당하여 관리하는 것을 특징으로 하는 재생 장치.
18. 제17항에 있어서,

    상기 제2 버퍼부는, 오버랩되는 상기 텍스트 기반의 자막 데이터의 상기 대사 정보에 포함된 상기 텍스트 정보는 상기 제2 버퍼부의 빈 영역에 우선 저장되며, 빈 영역이 없는 경우에는 순차적으로 상기 제2 버퍼부의 분할된 영역을 업데이트하는 것을 특징으로 하는 재생 장치.
19. 제5항에 있어서,

    상기 제2 자막 처리기는, 현재의 대사 정보의 시작 시간 정보가 이전의 대사 정보의 종료 시간 정보보다 큰 값을 가지는 경우, 즉 상기 대사 정보 간에 오버랩이 발생하지 않는 경우, 재생이 시작되는 시점이나 또는 상기 이전의 대사 정보의 종료 시간 정보에 지정된 시점에, 상기 제1 버퍼부, 상기 제2 버퍼부 및 상기 제3 버퍼부를 모두 리셋하고 새로운 에폭 주기에 대한 상기 디스플레이 세트를 생성하는 것을 특징으로 하는 재생 장치.
20. 제19항에 있어서,

    상기 제2 자막 처리기는, 재생이 시작되는 시점이나 또는 이전의 대사 정보의 종료 시간 정보가 지정하는 시점에, 상기 디스플레이 세트를 디코딩하며, 현재의 대사 정보의 시작 시간 정보가 지정하는 시점에 재생하는 것을 특징으로 하는 재생 장치.
21. 제5항에 있어서,

    상기 제2 자막 처리기는, 현재의 대사 정보의 시작 시간 정보가 이전의 대사 정보의 종료 시간 정보보다 작거나 같은 값을 가지는 경우, 즉, 상기 대사 정보 간에 오버랩이 발생하는 경우, 재생이 시작되는 시점이나 또는 바로 이전의 다른 에폭 주기가 시작되는 디스플레이 세트(Epoch Start display set)에 포함된 대사 정보의 종료 시간 정보에 지정된 시점에, 상기 제1 버퍼부, 상기 제2 버퍼부 및 상기 제3 버퍼부를 모두 리셋하며, 새로운 에폭 주기에 대한 상기 디스플레이 세트를 생성하는 것을 특징으로 하는 재생 장치.
22. 제5항에 있어서,

    상기 텍스트 기반의 자막 데이터의 랜덤 서치(random search)를 위하여, 상기 대사 정보 간에 오버 랩이 발생하지 않는 경우에는, 랜덤 액세스 된 시점을 기준으로 이후에 가장 가까운 새로운 에폭 주기의 디스플레이 세트로부터 자막 재생을 계속하는 것을 특징으로 하는 재생 장치.
23. 제5항에 있어서,

    상기 텍스트 기반의 자막 데이터의 랜덤 서치(random search)를 위하여, 상기 대사 정보간에 오버랩이 발생하는 경우에는, 랜덤 액세스 된 시점을 기준으로 이후에 가장 가까운 대사 정보의 시작 시간 정보에 발생하는 디스플레이 세트의 내용을 랜덤 액세스 된 시점부터 디코딩하여 해당 디스플레이 세트의 프리젠테이션될 시점(PTS)에 자막의 재생을 계속하는 것을 특징으로 하는 재생 장치.
24. 비트맵 기반의 자막 데이터를 입력받은 경우, 하나의 화면을 출력하기 위한 제어 정보를 포함하는 디스플레이 세트(display set) 단위로 화면에 출력하는 단계; 및

    텍스트 기반의 자막 데이터를 입력받은 경우, 비트맵 기반의 상기 디스플레이 세트를 생성하고, 생성된 상기 디스플레이 세트에 기초하여 텍스트를 그래픽으로 변환하여 화면에 출력하는 단계를 포함하는 것을 특징으로 하는 재생 방법.