KR20130132241A - 영상 데이터 송신 장치, 영상 데이터 송신 방법, 영상 데이터 수신 장치 및 영상 데이터 수신 방법 - Google Patents

Abstract

본 발명은 중첩 정보가 표시될 소정 수의 프레임의 기간 내에 순차적으로 갱신되는 시차 정보를 송신할 때에 시차 정보의 데이터량을 저감하는 것이다. 서브타이틀 표시 기간 중에 순차적으로 갱신되는 시차 정보를 포함하는 세그먼트가 송신된다. 수신측에서는 좌안 서브타이틀과 우안 서브타이틀 간에 제공될 시차가 영상의 콘텐츠의 변화와 함께 동적으로 변경될 수 있다. 이 시차 정보는 제1 프레임의 시차 정보값과 인터벌 기간에 다치가 곱해진 소정 타이밍에서의 시차 정보값에 기초하여 갱신된다. 송신 데이터량이 저감될 수 있으며, 수신측에서는 시차 정보를 유지하는 메모리량을 많이 아낄 수 있다.

Description

영상 데이터 송신 장치, 영상 데이터 송신 방법, 영상 데이터 수신 장치 및 영상 데이터 수신 방법{IMAGE DATA TRANSMISSION DEVICE, IMAGE DATA TRANSMISSION METHOD, IMAGE DATA RECEPTION DEVICE, AND IMAGE DATA RECEPTION METHOD}

본 발명은 영상 데이터 송신 장치, 영상 데이터 송신 방법, 영상 데이터 수신 장치 및 영상 데이터 수신 방법에 관한 것으로, 특히 캡션과 같은 중첩된 정보 데이터를 좌안 영상 데이터 및 우안 영상 데이터와 함께 송신하는 영상 데이터 송신 장치 등에 관한 것이다.

예컨대 특허 문헌 1에는 텔레비전 방송파를 이용한 입체 영상 데이터 송신 방법이 개시되어 있다. 이 송신 방법에 따르면, 좌안용 영상 데이터와 우안용 영상 데이터를 가진 입체 영상 데이터가 송신되고, 양안 시차(binocular disparity)를 이용한 입체 영상 표시가 실시된다.

도 95는 스크린 상의 물체의 좌안 및 우안 영상의 표시 위치와 그 입체 영상의 재생 위치 간의 관계를 보여준다. 예컨대 이 도면에 도시된 바와 같이 스크린 상에서 좌영상(La)이 우측으로 시프트되고 우영상(Ra)이 좌측으로 시프트되어 표시된 물체(A)에 대해서, 그 입체 영상의 재생 위치가 스크린면 앞에 있도록 좌시선과 우시선이 스크린면 앞에서 교차한다. DPa는 물체(A)에 관련된 수평 방향으로의 시차 벡터를 나타낸다.

또한, 예컨대, 스크린 상에 나타낸 바와 같이, 좌영상(Lb)과 우영상(Rb)이 동일 위치에서 표시된 물체(B)에 대해서, 그 입체 영상의 재생 위치가 스크린면 상에 있도록 좌시선과 우시선이 스크린면 상에서 교차한다. 더욱이, 예컨대 이 도면에 도시된 바와 같이 스크린 상에서 좌영상(Lc)이 좌측으로 시프트되고 우영상(Ra)이 우측으로 시프트된 물체(C)에 대해서, 입체 영상의 재생 위치가 스크린면 뒤에 있도록 좌시선과 우시선이 스크린면 뒤에서 교차한다. DPc는 물체(C)에 관련된 수평 방향으로의 시차 벡터를 나타낸다.

일본 특허 출원 공개 번호 제2005-6114호

전술한 바와 같은 입체 영상 표시에 따라서 시청자는 양안 시차를 이용하여 정상적으로 입체 영상의 원근을 감지할 것이다. 캡션 등과 같이 영상에 중첩된 중첩 정보는 예컨대 2차원 공간에서뿐만 아니라 3차원 심도를 가진 입체 영상 표시와 함께 렌더링될 것이다. 예컨대 영상 상의 캡션의 중첩된 표시(중첩 표시)를 수행하는 경우에 시청자는 이 표시가 원근에 있어 영상 내의 가장 가까운 물체(object)보다 시청자에 더 가까이 있지 않은 이상 원근 불일치를 느낄 것이다.

따라서, 좌안 영상과 우안 영상 간의 시차 정보를 중첩 정보 데이터와 함께 송신하고, 수신측에서 좌안 영상과 우안 영상 간에 시차를 적용하는 것을 고려할 수 있다. 이때, 좌안 영상과 우안 영상 간에 적용될 시차를 중첩 영상의 변화에 따라 동적으로 변경하기 위해서는, 중첩 정보가 표시될 소정 수의 프레임의 기간 내에 순차적으로 갱신되는 시차를 전송할 필요가 있다.

본 발명은 중첩 정보가 표시될 소정 수의 프레임의 기간 내에 순차적으로 갱신되는 시차 정보를 송신할 때에 시차 정보의 데이터량을 저감하는 것이다.

본 발명의 개념은,

좌안 영상 데이터와 우안 영상 데이터를 출력하도록 구성된 영상 데이터 출력부;

상기 좌안 영상 데이터와 상기 우안 영상 데이터에 중첩될 중첩 정보의 데이터를 출력하도록 구성된 중첩 정보 데이터 출력부;

상기 중첩 정보에 부가될 시차 정보를 출력하도록 구성된 시차 정보 출력부; 및

상기 좌안 영상 데이터, 상기 우안 영상 데이터, 상기 중첩 정보 데이터 및 상기 시차 정보를 송신하도록 구성된 데이터 송신부를 포함하고,

상기 중첩 정보가 표시되는 제1 프레임의 시차 정보 초기값과 인터벌 기간에 다치(multiple value)가 곱해진 소정 타이밍에서의 시차 정보값에 기초하여 상기 시차 정보를 갱신하도록 구성된 시차 정보 갱신부를 더 포함하는 영상 데이터 송신 장치이다.

본 발명에서 좌안 영상 데이터와 우안 영상 데이터는 영상 데이터 출력부로부터 출력된다. 좌안 영상 데이터와 우안 영상 데이터에 대한 송신 형식은 사이드 바이 사이드(Side by side) 형식과, 톱 앤 보텀(Top&Bottom) 형식 등을 포함한다.

좌안 영상 데이터와 우안 영상 데이터에 중첩될 중첩 정보 데이터는 중첩 정보 데이터 출력부로부터 출력된다. 여기서, 중첩 정보는 영상에 중첩될 캡션, 그래픽, 텍스트 등의 정보이다. 중첩 정보 데이터 출력부는 중첩 정보에 부가될 시차 정보를 출력한다. 예컨대 이 시차 정보는 동일 스크린에 표시된 특정 중첩 정보에 대응하는 시차 정보 및/또는 동일 스크린에 표시된 복수의 중첩 정보에 공통으로 대응하는 시차 정보이다. 또, 예컨대 시차 정보는 부화소 정밀도를 가질 수 있다. 또, 예컨대 영상 데이터 송신 장치는 공간적으로 독립된 복수의 영역을 포함할 수 있다.

시차 정보 출력부는 좌안 영상 데이터, 우안 영상 데이터, 중첩 영상 데이터 및 시차 정보를 출력한다. 이어서, 시차 정보 갱신부는 중첩 정보가 표시되는 제1 프레임의 시차 정보 초기값과 인터벌 기간에 다치(multiple value)가 곱해진 소정 타이밍에서의 시차 정보값에 기초하여 시차 정보를 갱신한다. 이 경우에, 중첩 정보의 표시 기간 중에 중첩 정보에 부가될 시차 정보는 표시 기간 개시 전에 송신된다. 이에 의해, 표시 기간에 따라 적당한 시차가 중첩 정보에 부가될 수 있다.

예컨대 중첩 정보 데이터는 DVB 형식 서브타이틀 데이터이고, 데이터 송신부에서는 서브타이틀 데이터가 포함된 서브타이틀 데이터 스트림에 포함된 시차 정보가 송신된다. 예컨대 시차 정보는 영역의 증분 또는 상기 영역에 포함된 하위 영역의 증분에서의 시차 정보이다. 또, 예컨대 시차 정보는 모든 영역을 포함하는 페이지의 증분에서의 시차 정보이다.

또, 예컨대 중첩 정보 데이터는 ARIB 형식 캡션 데이터이고, 데이터 송신부에서는 캡션 데이터가 포함된 캡션 데이터 스트림에 포함된 시차 정보가 송신된다. 또, 예컨대 중첩 정보 데이터는 CEA 형식 클로우즈드 캡션 데이터이고, 데이터 송신부에서는 클로우즈드 캡션 데이터가 포함된 비디오 데이터 스트림의 사용자 데이터 영역에 포함된 상기 시차 정보가 송신된다.

이런 식으로, 본 발명에서는 중첩 정보에 부가될 시차 정보는 좌안 영상 데이터, 우안 영상 데이터 및 중첩 정보 데이터와 함께 송신된다. 이 시차 정보는 중첩 정보가 표시되는 제1 프레임의 시차 정보 초기값과 인터벌 기간에 다치가 곱해진 소정 타이밍에서의 시차 정보값에 기초하여 갱신된다. 이에 의해, 좌안 중첩 정보와 우안 중첩 정보 간에 적용될 시차는 입체 영상의 콘텐츠 변화와 함께 동적으로 변경될 수 있다. 이 경우에, 각 프레임의 시차 정보 전부가 송신되는 것은 아니므로 시차 정보의 데이터량을 줄일 수 있다.

본 발명에서는 예컨대 인터벌 기간에 다치가 곱해진 소정 타이밍을 변경하는조정부가 구비될 수 있음에 유의한다. 따라서, 소정 타이밍은 더 짧거나 더 길게 선택적으로 조정될 수 있고, 수신측에는 시차 정보의 시간 방향으로의 변경이 정확하게 통지될 수 있다.

또, 본 발명에서는 시차 정보에 인터벌 기간에 다치가 곱해진 소정 타이밍을 계산하기 위한 단위 기간의 정보와 단위 기간의 수의 정보가 부가될 수 있다. 소정 타이밍 간격은 고정된 것이 아니라 시차 정보 곡선에 따른 간격으로 설정될 수 있다. 또, 소정 타이밍은 수신측에서 "증분 기간 * 수"를 계산하여 구해질 수 있다.

예컨대 이들 증분 기간의 정보는 90KHz 클록으로 증분 기간을 측정함으로써 구해진 값이 24비트 길이로 표현되는 정보이다. PES 헤더부에 삽입된 PTS는 33비트이지만 이것이 24비트인 이유는 다음과 같다. 즉, 24 시간을 초과하는 시간은 33비트 길이로 표현될 수 있으나, 이는 캡션과 같은 중첩 정보의 표시 기간에 대해서는 불필요한 길이이다. 또, 24비트를 이용하면 데이터 크기를 더 작게 하여 컴팩트한 송신이 가능해진다. 더욱이, 24비트는 8*3 비트로서 바이트 정렬이 용이해진다. 또, 증분 기간 정보는 증분 기간을 예컨대 프레임 카운트 수로 표현하는 정보일 수 있다.

또, 본 발명에서는 시차 정보에 인터벌 기간에 다치가 곱해진 소정 타이밍에 대응하는 각 프레임에 대하여, 상기 시차 정보의 갱신 여부를 나타내는 플래그 정보가 부가될 수 있다. 이 경우에, 시간 방향으로의 시차 정보의 변화가 동일한 기간이 장시간 지속되는 경우에는, 이 플래그 정보를 이용함으로써 이 기간 내에서의 시차 정보 송신은 생략될 수 있으며, 따라서 시차 정보의 데이터량을 억제할 수 있다.

또, 본 발명에서는 예컨대 시차 정보에 프레임 사이클을 특정하기 위한 정보가 삽입될 수 있다. 따라서, 송신측이 의도하는 갱신 프레임 간격이 수신측에 정확히 전달될 수 있다. 이 정보가 부가되지 않은 경우에는 예컨대 비디오 프레임 사이클이 참조된다.

또, 본 발명에서는 예컨대 시차 정보에 시차 정보에 관한 대응도를 나타내며 중첩 정보 표시 시에 필수적인 정보가 부가될 수 있다. 이 경우에, 이 정보에 의해, 수신측에서 시차 정보에 대응하는 제어가 가능하다.

본 발명의 다른 개념은, 좌안 영상 데이터 및 우안 영상 데이터, 상기 좌안 영상 데이터와 상기 우안 영상 데이터에 중첩될 중첩 정보 데이터, 및 상기 중첩 정보에 부가될 시차 정보를 수신하도록 구성된 데이터 수신부를 포함하고,

상기 시차 정보는, 상기 중첩 정보가 표시되는 제1 프레임의 시차 정보 초기값과 인터벌 기간에 다치가 곱해진 소정 타이밍에서의 시차 정보값에 기초하여, 갱신되고,

상기 좌안 영상 데이터, 상기 우안 영상 데이터, 상기 중첩 정보 데이터 및 상기 시차 정보에 기초하여, 상기 중첩 정보가 중첩된 좌안 영상 데이터와 상기 중첩 정보가 중첩된 우안 영상 데이터를 얻도록 구성된 영상 데이터 처리부를 더 포함하는 영상 데이터 수신 장치이다.

이 발명에서는 좌안 영상 데이터 및 우안 영상 데이터, 상기 좌안 영상 데이터와 상기 우안 영상 데이터에 중첩될 중첩 정보 데이터, 및 상기 중첩 정보에 부가될 시차 정보가 수신된다. 여기서, 중첩 정보는 영상에 중첩될 캡션, 그래픽, 텍스트 등의 정보이다. 이 시차 정보는 중첩 정보가 표시되는 제1 프레임의 시차 정보 초기값과 인터벌 기간에 다치가 곱해진 소정 타이밍에서의 시차 정보값에 기초하여 갱신된다.

영상 데이터 처리부는 좌안 영상 데이터, 우안 영상 데이터, 중첩 정보 데이터 및 시차 정보에 기초하여, 중첩 정보가 중첩된 좌안 영상 데이터와 중첩 정보가 중첩된 우안 영상 데이터를 얻는다.

이런 식으로, 본 발명에서는 중첩 정보에 부가될 시차 정보는 좌안 영상 데이터, 우안 영상 데이터 및 중첩 정보 데이터와 함께 송신된다. 이 시차 정보는 중첩 정보가 표시되는 제1 프레임의 시차 정보 초기값과 인터벌 기간에 다치가 곱해진 소정 타이밍에서의 시차 정보값에 기초하여 갱신된다. 따라서, 좌안 중첩 정보와 우안 중첩 정보 간에 적용될 시차는 입체 영상의 콘텐츠 변화와 함께 동적으로 변경될 수 있다. 이 경우에, 각 프레임의 시차 정보 전부가 송신되는 것은 아니므로 시차 정보를 유지하는 메모리량을 많이 아낄 수 있다.

본 발명에서는 예컨대 영상 데이터 처리부는 시차 정보에 보간 처리를 실시하고, 임의의 프레임 간격의 시차 정보를 생성하여 이용할 수 있다. 이 경우에, 갱신 프레임 간격마다 송신측으로부터 시차 정보가 송신되는 경우, 중첩 정보에 제공되는 시차는 미세 간격으로, 예컨대 프레임마다 제어될 수 있다.

이 경우에, 보간 처리는 선형 보간이거나 시간 방향(프레임 방향)으로의 로우 패스 필터 처리와 관련될 수 있다. 따라서, 각 갱신 프레임 간격에서 송신측으로부터 시차 정보가 송신되는 경우에도 시간 방향으로의 보간 처리에 따른 시차 정보의 변화가 완만해질 수 있으며, 각 소정 타이밍에서 불연속적으로 되는, 중첩 정보에 적용된 시차의 전이의 부자연스러운 느낌이 억제될 수 있다.

또, 본 발명에서는 예컨대 시차 정보에 인터벌 기간에 다치가 곱해진 소정 타이밍을 계산하기 위한 증분 기간의 정보와 증분 기간의 수의 정보가 부가될 수 있고, 영상 데이터 처리부는 중첩 정보의 표시 개시 시점을 기준으로 하여, 증분 기간 정보와 수 정보에 기초하여 소정 타이밍을 구할 수 있다.

이 경우에, 영상 데이터 처리부는 중첩 정보의 표시 개시 시점으로부터 소정 타이밍을 순차적으로 구할 수 있다. 예컨대 특정 소정 타이밍으로부터, 다음 소정 타이밍의 정보인 증분 기간의 정보와 수 정보를 이용하여, 이 특정 소정 타이밍에 증분 시간 * 수의 시간을 더함으로써 다음 소정 타이밍이 쉽게 구해질 수 있다. 중첩 정보의 표시 개시 시점은 시차 정보를 포함하는 PES 스트림의 헤더부에 삽입된 PTS로서 제공됨에 유의한다.

본 발명에 따라서, 송신측에서는 각 프레임의 시차 정보 전부가 송신되는 것이 아니므로 데이터 송신량을 줄일 수 있고, 수신측에서는 시차 정보를 유지하는 메모리량을 많이 아낄 수 있다.

도 1은 본 발명의 실시예로서 영상 송/수신 시스템의 구성예를 도시한 블록도.
도 2는 방송국의 송신 데이터 생성부의 구성예를 도시한 블록도.
도 3은 1920*1080 화소 형식의 영상 데이터를 보여주는 도.
도 4는 입체 영상 데이터(3D 영상 데이터)의 송신 형식인 "톱&보텀" 형식, "사이드 바이 사이드" 형식 및 "프레임 시퀀셜" 형식을 설명하는 도.
도 5는 좌안 영상에 대한 우안 영상에서의 시차 벡터를 검출하는 예를 설명하는 도.
도 6은 블록 매칭으로 시차 벡터를 구하는 것을 설명하는 도.
도 7은 각 화소(pixel)에 대한 시차 벡터의 값을 각 화소(each pixel)의 휘도값으로 이용하는 경우에서의 영상의 예를 보여주는 도.
도 8은 각 블록(Block)에 대한 시차 벡터의 예를 보여주는 도.
도 9는 송신 데이터 생성부의 시차 정보 작성부에서 실시된 다운사이징 처리를 설명하는 도.
도 10은 비디오 기본 스트림, 서브타이틀 기본 스트림 및 오디오 기본 스트림을 포함하는 전송 스트림(비트 스트림 데이터)의 구성예를 보여주는 도.
도 11은 서브타이틀 데이터를 구성하는 PCS(page_composition_segment)의 구조를 보여주는 도.
도 12는 "segment_type"의 값과 세그먼트 타입 간의 상관을 보여주는 도.
도 13은 3D(Component_type=0x15, 0x25)에 대한 새로 정의된 서브타이틀의 형식을 표시하는 정보를 설명하는 도.
도 14는 입체 영상 데이터 송신 형식이 사이드 바이 사이드 형식인 경우에 입체 영상에 대한 서브타이틀 데이터를 작성하는 방법을 개념적으로 보여주는 도.
도 15는 입체 영상 데이터 송신 형식이 톱&보텀 형식인 경우에 입체 영상에 대한 서브타이틀 데이터를 작성하는 방법을 개념적으로 보여주는 도.
도 16은 입체 영상 데이터 송신 형식이 프레임 시퀀셜 형식인 경우에 입체 영상에 대한 서브타이틀 데이터를 작성하는 방법을 개념적으로 보여주는 도.
도 17은 SCS(Subregion composition segment)의 구조예(신택스(syntax))를 보여주는 도.
도 18은 SCS에 포함된 "Subregion_payload()"의 구조예(신택스)를 보여주는 도.
도 19는 SCS의 주요 데이터 규정(시맨틱스(semantics))을 보여주는 도.
도 20은 베이스 세그먼트 기간(BSP)마다 시차 정보를 갱신하는 예를 보여주는 도.
도 21은 "disparity_temporal_extension()"의 구조예(신택스)를 보여주는 도.
도 22는 "disparity_temporal_extension()"의 구조예에서 주요 데이터 규정(시맨틱스)을 보여주는 도.
도 23은 베이스 세그먼트 기간(BSP)마다 시차 정보를 갱신하는 예를 보여주는 도.
도 24는 방송국으로부터 셋톱 박스를 통해 또는 직접적으로 텔레비전 수상기로 수신되는 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터의 흐름을 개략적으로 보여주는 도.
도 25는 방송국으로부터 셋톱 박스를 통해 또는 직접적으로 텔레비전 수상기로 수신되는 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터의 흐름을 개략적으로 보여주는 도.
도 26은 방송국으로부터 셋톱 박스를 통해 또는 직접적으로 텔레비전 수상기로 수신되는 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터의 흐름을 개략적으로 보여주는 도.
도 27은 영상 상의 캡션(그래픽 정보)의 표시예와, 배경, 클로우즈업 뷰 오브젝트 및 캡션의 원근을 보여주는 도.
도 28은 스크린 상의 캡션의 표시예와, 캡션 표시를 위한 좌안 캡션 LGI 및 우안 캡션 RGI의 표시예를 보여주는 도.
도 29는 입체 영상 표시 시스템을 구성하는 셋톱 박스의 구성예를 도시한 블록도.
도 30은 셋톱 박스를 구성하는 비트 스트림 처리부의 구성예를 도시한 블록도.
도 31은 캡션 표시 기간 내에 순차적으로 갱신되는 시차 정보를 구성하는 복수의 시차 정보 프레임에 대해 로우 패스 필터 처리와 관련된 보간 처리를 수행함으로써 임의의 프레임들 간의 시차 정보(보간된 시차 정보)를 생성하는 예를 도시한 도.
도 32는 입체 영상 표시 시스템을 구성하는 텔레비전 수상기의 구성예를 도시한 블록도.
도 33은 방송국측의 송신 데이터 생성부의 구성예를 도시한 블록도.
도 34는 캡션 데이터 스트림의 구성예와 캡션 유닛(caption)의 표시예를 도시한 도.
도 35는 캡션 인코더에서 생성된 캡션 데이터 스트림의 구성예와 이 경우의 시차 벡터의 작성예를 도시한 도.
도 36은 캡션 인코더에서 생성된 캡션 데이터 스트림의 다른 구성예와 이 경우의 시차 벡터의 작성예를 도시한 도.
도 37은 캡션 인코더에서 생성된 캡션 데이터 스트림의 구성예와 이 경우의 시차 벡터의 작성예를 도시한 도.
도 38은 캡션 인코더에서 생성된 캡션 데이터 스트림의 다른 구성예와 이 경우의 시차 벡터의 작성예를 도시한 도.
도 39는 제1 및 제2 뷰에 중첩된 각 캡션 유닛의 위치를 시프트하는 경우를 설명하는 도.
도 40은 캡션 텍스트 데이터 그룹의 PES 스트림에 포함된 제어 코드의 패킷 구조를 도시한 도.
도 41은 캡션 관리 데이터 그룹의 PES 스트림에 포함된 캡션 코드의 패킷 구조를 도시한 도.
도 42는 캡션 데이터 스트림(PES 스트림) 내의 데이터 그룹의 구조를 도시한 도.
도 43은 캡션 관리 데이터 그룹의 PES 스트림 내에 삽입되는 시차 벡터(시차 정보)의 경우에 캡션 관리 데이터의 구조를 개략적으로 도시한 도.
도 44는 캡션 관리 데이터 그룹의 PES 스트림 내에 삽입되는 시차 벡터(시차 정보)의 경우에 캡션 데이터의 구조를 개략적으로 도시한 도.
도 45는 캡션 텍스트 데이터 그룹의 PES 스트림 내에 삽입되는 시차 벡터(시차 정보)의 경우에 캡션 데이터의 구조를 개략적으로 도시한 도.
도 46은 캡션 텍스트 데이터 그룹의 PES 스트림 내에 삽입되는 시차 벡터(시차 정보)의 경우에 캡션 관리 데이터의 구조를 개략적으로 도시한 도.
도 47은 캡션 데이터 스트림에 포함된 데이터 유닛(data_unit)의 구조(신택스)를 도시한 도.
도 48은 데이터 유닛의 유형 및 그 데이터 유닛 파라미터 및 기능을 설명하는 도.
도 49는 확장된 표시 제어를 위한 데이터 유닛(data_unit)의 구조(신택스)를 도시한 도.
도 50은 캡션 관리 데이터 그룹의 PES 스트림이 갖는 확장된 표시 제어의 데이터 유닛에서의 "Advanced_Rendering_Control"의 구조(신택스)를 도시한 도.
도 51은 캡션 텍스트 데이터 그룹의 PES 스트림이 갖는 확장된 표시 제어의 데이터 유닛에서의 "Advanced_Rendering_Control"의 구조(신택스)를 도시한 도.
도 52는 "Advanced_Rendering_Control"와 "disparity_information"의 구조에서 주요 데이터 규정을 설명하는 도.
도 53은 캡션 텍스트 데이터 그룹 내의 확장된 표시 제어 데이터 유닛(data_unit) 내의 "Advanced_Rendering_Control"의 "disparity_information"의 구조(신택스)를 도시한 도.
도 54는 "disparity_information"의 구조를 도시한 도.
도 55는 비디오 기본 스트림, 오디오 기본 스트림 및 캡션 기본 스트림을 포함하는 일반적 전송 스트림(멀티플렉싱된 데이터 스트림)의 구성예를 도시한 도.
도 56은 데이터 내용 서술자의 구조예(신택스)를 도시한 도.
도 57은 "arib_caption_info"의 구조예(신택스)를 도시한 도.
도 58은 PMT 아래에 플래그 정보를 삽입하는 경우에 전송 스트림(멀티플렉싱된 데이터 스트림)의 구성예를 도시한 도.
도 59는 데이터 인코딩 형식 서술자의 구조예(신택스)를 도시한 도.
도 60은 "additional_arib_caption_info"의 구조예(신택스)를 도시한 도
도 61은 셋톱 박스의 비트 스트림 처리부의 구성예를 도시한 블록도.
도 62는 방송국에서의 송신 데이터 생성부의 구성예를 도시한 블록도.
도 63은 시퀀스 증분에서 파라미터를 포함하는 시퀀스 헤더부가 비디오 기본 스트림의 앞부분에 위치해 있는 것으로 보여주는 도.
도 64는 CEA 테이블을 개략적으로 보여주는 도.
도 65는 확장 명령을 구성하는 3바이트 필드 "Byte1", "Byte2" 및 "Byte3"의 구성예를 보여주는 도.
도 66은 각 베이스 세그먼트 기간(BSP)에 대한 시차 정보 갱신의 예를 보여주는 도.
도 67은 CEA 테이블을 개략적으로 보여주는 도.
도 68은 4바이트 필드 "Header(Byte1)", "Byte2", "Byte3" 및 "Byte4"의 구성예를 보여주는 도.
도 69는 종래의 클로우즈드 캡션 데이터(CC 데이터)의 구조예(신택스)를 도시한 도.
도 70은 시차 정보(disparity)와 호환되도록 수정된 종래의 클로우즈드 캡션 데이터(CC 데이터)의 구조예(신택스)를 도시한 도.
도 71은 2개의 필드 "cc_data_1"과 "cc_data_2"를 제어하는 2비트 필드 "extended_control"을 설명하는 도.
도 72는 "caption_disparity_data()"의 구조예(신택스)를 도시한 도.
도 73은 "disparity_temporal_extension()"의 구조예(신택스)를 도시한 도.
도 74는 "caption_disparity_data()"의 구조예에서 주요 데이터 규정(신택스)을 보여주는 도.
도 75는 비디오 기본 스트림, 오디오 기본 스트림 및 캡션 기본 스트림을 포함하는 일반적 전송 스트림(멀티플렉싱된 데이터 스트림)의 구성예를 보여주는 도.
도 76은 셋톱 박스를 구성하는 비트 스트림 처리부의 구성예를 도시한 블록도.
도 77은 "disparity_temporal_extension()"의 다른 구조예(신택스)를 도시한 도.
도 78은 "disparity_temporal_extension()"의 구조예에서 주요 데이터 규정(신택스)을 보여주는 도.
도 79는 "disparity_temporal_extension()"의 다른 구조예를 이용하는 경우에 갱신 시차 정보의 예를 보여주는 도.
도 80은 "disparity_temporal_extension()"의 다른 구조예를 이용하는 경우에 갱신 시차 정보의 예를 보여주는 도.
도 81은 서브타이틀 데이터 스트림의 구성예를 보여주는 도.
도 82는 SCS 세그먼트를 순차적으로 송신하는 경우에 시차 정보의 갱신예를 보여주는 도.
도 83은 증분 기간으로서 제공되는 갱신 프레임 간격을 가진 인터벌 기간(ID: Interval Duration)의 배수로서 나타낸 시차 정보의 갱신예를 보여주는 도.
도 84는 DDS, PCS, RCS, CDS, ODS, DSS 및 EOS 세그먼트를 PES 페이로드 데이터로서 포함하는 서브타이틀 데이터 스트림의 구성예를 보여주는 도.
도 85는 캡션 표시 영역으로서 제공되는 2개의 영역(Region)이 페이지 영역(Page_default 영역)에 포함되는 서브타이틀의 표시예를 보여주는 도.
도 86은 영역 증분에서의 시차 정보와 모든 영역을 포함하는 페이지 증분에서의 시차 정보 모두가 DSS 세그먼트에 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보(Disparity)로서 포함되어 있는 경우에 영역과 페이지의 시차 정보 곡선의 예를 도시한 도.
도 87은 페이지와 영역의 표시 정보가 함께 전송되는 구조의 예를 보여주는 도.
도 88은 DSS의 구조예(신택스)를 도시한 도(1/4).
도 89는 DSS의 구조예(신택스)를 도시한 도(2/4).
도 90은 DSS의 구조예(신택스)를 도시한 도(3/4).
도 91은 DSS의 구조예(신택스)를 도시한 도(4/4).
도 92는 DSS의 주요 데이터 규정(시맨틱스)을 도시한 도(1/2).
도 93은 DSS의 주요 데이터 규정(시맨틱스)을 도시한 도(2/2).
도 94는 영상 송/수신 시스템의 다른 구성예를 도시한 블록도.
도 95는 양안 시차를 이용하는 영상 표시에서 스크린 상의 물체의 좌안 및 우안 영상의 표시 위치와 그 입체 영상의 재생 위치 간의 관계를 설명하기 위한 도.

이하, 본 발명의 구현 방식(이하, "실시예"라 함)에 대해 설명한다. 하기 순서에 따라서 설명한다.

1. 실시예

2. 변형예

<1. 실시예>

"영상 송/수신 시스템의 구성예"

도 1은 실시예로서 영상 송/수신 시스템(10)의 구성예를 도시한 것이다. 이 영상 송/수신 시스템(10)은 방송국(100), 셋톱 박스(STB)(200) 및 텔레비전 수상기(TV)(300)를 포함한다.

셋톱 박스(200)와 텔레비전 수상기(300)는 HDMI(High Definition Multimedia Interface) 디지털 인터페이스를 통해 연결되어 있다. 셋톱 박스(200)와 텔레비전 수상기(300)는 HDMI 케이블(400)을 이용하여 연결된다. 셋톱 박스(200)에는 HDMI 단자(202)가 구비되어 있다. 텔레비전 수상기(300)에는 HDMI 단자(302)가 구비되어 있다. HDMI 케이블(400)의 일단은 셋톱 박스(200)의 HDMI 단자(302)에 연결되고, HDMI 케이블(400)의 타단은 텔레비전 수상기(300)의 HDMI 단자(302)에 연결된다.

"방송국에 대한 설명"

방송국(100)은 비트 스트림 데이터(BSD)를 방송파에 실어 송신한다. 방송국(100)은 비트 스트림 데이터(BSD)를 생성하는 송신 데이터 생성부(110)를 갖고 있다. 이 비트 스트림 데이터(BSD)는 영상 데이터, 오디오 데이터, 중첩 정보 데이터, 시차(disparity) 정보 등을 포함한다. 영상 데이터(이후 적절히 "입체 영상 데이터"라고 함)는 입체 영상을 구성하는 좌안 영상 데이터와 우안 영상 데이터를 포함한다. 입체 영상 데이터는 소정의 송신 형식을 갖고 있다. 중첩 정보는 일반적으로 캡션, 그래픽 정보, 텍스트 정보 등을 포함하며, 본 실시예에서는 캡션이다.

"송신 데이터 생성부의 구성예"

도 2는 방송국(100)의 송신 데이터 생성부(110)의 구성예를 도시한 것이다. 이 송신 데이터 생성부(110)는 기존 방송 표준인 DVB(Digital Video Broadcasting) 형식과 쉽게 호환가능한 데이터 구조를 가진 시차 정보(시차 벡터)를 송신한다. 송신 데이터 생성부(110)는 데이터 추출부(아카이빙부(111), 비디오 인코더(112) 및 오디오 인코더(113)를 포함한다. 송신 데이터 생성부(110)는 서브타이틀 생성부(114), 시차 정보 작성부(115), 서브타이틀 처리부(116), 서브타이틀 인코더(118) 및 멀티플렉서(119)도 갖고 있다.

데이터 기록 매체(111a)는 예컨대 데이터 추출부(111)에 착탈식으로 장착되어 있다. 이 데이터 기록 매체(111a)는 오디오 데이터 및 시차 정보를 좌안 영상과 우안 영상 데이터를 포함하는 입체 영상 데이터와 함께 상관적으로 기록하고 있다. 데이터 추출부(111)는 데이터 기록 매체(111a)로부터 입체 영상 데이터, 오디오 데이터, 시차 정보 등을 추출하여 이를 출력한다. 데이터 기록 매체(111a)는 디스크형 기록 매체, 반도체 메모리 등이다.

데이터 기록 매체(111a)에 기록된 입체 영상 데이터는 소정의 송신 형식을 가진 입체 영상 데이터이다. 이 입체 영상 데이터(3D 영상 데이터)의 송신 형식의 예에 대해서 설명한다. 송신 방법으로서 다음의 제1 내지 제3 방법이 제공되지만 다른 송신 방법이 이용될 수도 있다. 여기서, 도 3에 도시된 바와 같이, 일례로서 좌안(L) 및 우안(R)의 영상 데이터 각각이 소정의 해상도, 예컨대 1920*1080의 화소 형식을 가진 영상 데이터인 경우에 대해 설명한다.

제1 송신 방법은 톱&보텀(Top&Bottom) 형식이며, 도 4의 (a)에 도시된 바와 같이, 수직 방향의 전반부에서 좌안 영상 데이터의 각 라인의 데이터를 송신하고 수직 방향의 후반부에서 우안 영상 데이터의 각 라인의 데이터를 송신하는 형식이다. 이 경우에 좌안 영상 데이터와 우안 영상 데이터의 라인들은 1/2로 솎아지고(thin out), 따라서 수직 해상도는 원 신호의 반으로 줄어든다.

제2 송신 방법은 사이드 바이 사이드(Side By Side) 형식이며, 도 4의 (b)에 도시된 바와 같이, 수평 방향의 전반부에서 좌안 영상 데이터의 화소 데이터를 송신하고 수평 방향의 후반부에서 우안 영상 데이터의 화소 데이터를 송신하는 형식이다. 이 경우에 좌안 영상 데이터와 우안 영상 데이터 각각의 수평 방향으로의 화소 데이터는 1/2로 솎아지고, 따라서 수평 해상도는 원 신호의 반으로 줄어든다.

제3 송신 방법은 프레임 시퀀셜(Frame Sequential) 형식이며, 도 4의 (c)에 도시된 바와 같이, 프레임마다 좌안 영상 데이터와 우안 영상 데이터를 순차적으로 절환하여 이들 데이터를 송신하는 형식이다. 이 프레임 시퀀셜 형식은 때로는 풀 프레임(Full Frame) 또는 하위 호환성(Backward Compatible) 형식이라고도 한다.

데이터 기록 매체(111a)에 기록된 시차 정보는 예컨대 영상을 구성하는 화소들(pixels) 각각에 대한 시차 벡터이다. 시차 벡터의 검출예에 대해서 설명한다. 여기서는 좌안 영상에 대한 우안 영상의 시차 벡터를 검출하는 예에 대해서 설명한다. 도 5에 도시된 바와 같이, 좌안 영상은 검출 영상으로서 취해지고 우안 영상은 기준 영상으로서 취해질 것이다. 이 예에서 (xi,yi) 및 (xj,yj)의 위치에 있는 시차 벡터가 검출될 것이다.

일례로서 (xi,yi)의 위치에 있는 시차 벡터가 검출되는 경우에 대해 설명할 것이다. 이 경우에 예컨대 (xi,yi)의 화소 위치를 상좌(upper left)로서 가진 4*4, 8*8 또는 16*16의 화소 블록(시차 검출 블록)(Bi)이 좌안 영상으로 설정된다. 이어서 우안 영상을 가지고 화소 블록(Bi)과 일치되는 화소 블록이 검색된다.

이 경우에, (xj,yi) 위치를 중심으로 한 검색 범위가 우안 영상에 설정되고, 상기 화소 블록(Bi)처럼 4*4, 8*8 또는 16*16의 비교 블록이 목적하는 화소로서 순차적으로 취해지는 검색 범위 내의 각 화소에 대해 순차적으로 설정된다.

순차적으로 설정된 화소 블록(Bi)과 비교 블록 간의 해당 화소들 각각에 대한 차(difference)의 절대치의 합이 구해진다. 여기서, 도 6에 도시된 바와 같이, 화소 블록(Bi)의 화소값이 L(x,y)이고 비교 블록의 화소값이 R(x,y)라면, 화소 블록(Bi)과 그 특정 비교 블록 간의 차 절대치의 합은 S│L(x,y)-R(x,y)│로 표현된다.

우안 영상에 설정된 검색 범위에 n개의 화소가 포함되어 있는 경우에는, 최종적으로 n개의 합(S1 내지 Sn)이 구해지고, 그 중에서 최소합(Smin)이 선택된다. 이어서, 이 합(Smin)이 구해졌던 비교 블록으로부터 상좌 화소의 위치(xi',yi')가 구해진다. 이에 따라서, 위치(xi,yi)에서의 시차 벡터가 위치(xi,yi)에서의 (xi'-xi,yi'-yi)로서 검출된다. 비록 상세한 설명은 생략하지만, 위치(xj,yj)에 대해서도 마찬가지로, 예컨대 화소 위치(xj,yj)를 상좌로서 가진 4*4, 8*8 또는 16*16의 화소 블록(Bj)이 좌안 영상으로 설정되고, 동일한 프로세스로 검출이 행해진다.

비디오 인코더(112)는 데이터 추출부(111)에 의해 추출된 입체 영상 데이터에 대해 MPEG4-AVC, MPEG2, VC-1 등의 인코딩을 실시하여 비디오 데이터 스트림(비디오 기본 스트림)을 생성한다. 오디오 인코더(113)는 데이터 추출부(111)에 의해 추출된 오디오 데이터에 대해 AC-3, AAC 등의 인코딩을 실시하여 오디오 데이터 스트림(오디오 기본 스트림)을 생성한다.

서브타이틀 생성부(114)는 DVB(Digital Video Broadcasting) 형식 캡션 데이터인 서브타이틀 데이터를 생성한다. 이 서브타이틀 데이터는 2차원 영상에 대한 서브타이틀 데이터이다. 서브타이틀 생성부(114)는 중첩 정보 데이터 출력부를 구성한다.

시차 정보 작성부(115)는 데이터 추출부(111)에 의해 추출된 각 화소(pixel)에 대한 시차 벡터(수평 방향 시차 벡터)에 대해 다운사이징 처리를 실시하여 서브타이틀에 적용될 시차 정보(수평 방향 시차 벡터)를 작성한다. 이 시차 정보 작성부(115)는 시차 정보 출력부를 구성한다. 서브타이틀에 적용될 시차 정보는 페이지 증분, 영역 증분 또는 물체 증분에도 적용될 수 있음에 유의한다. 또, 시차 정보는 반드시 시차 정보 작성부(115)에서 생성될 필요는 없고, 외부로부터 제공되는 구성일 수도 있다.

도 7은 각 화소(pixel)의 휘도값과 같이 주어질 상대 깊이 방향으로의 데이터의 예를 보여준다. 여기서, 상대 깊이 방향으로의 데이터는 소정의 변환에 의해 각 화소에 대한 시차 벡터로서 취급될 수 있다. 이 예에서 인물 부분의 휘도값은 높다. 이는 인물 부분의 시차 벡터의 값이 크다는 것을 의미하며, 따라서 입체 영상 표시에서는 이는 이 인물 부분이 더 가까운 상태에 있는 것으로 인식된다는 것을 의미한다. 또한, 이 예에서 배경 부분의 휘도값은 낮다. 이는 배경 부분의 시차 벡터의 값이 작다는 것을 의미하며, 따라서 입체 영상 표시에서, 이는 이 배경 부분이 더 먼 상태에 있는 것으로 인식된다는 것을 의미한다.

도 8은 각 블록(Block)에 대한 시차 벡터의 예를 보여준다. 블록은 최하층에 위치한 화소들(pixels)의 상부층과 등가이다. 이 블록은 수평 방향과 수직 방향으로 소정 크기로 분할되는 영상(화상) 구역으로 구성된다. 각 블록의 시차 벡터는 예컨대 그 블록 내에 존재하는 모든 화소(pixels)의 시차 벡터들 중에서 선택되는 가장 큰 값을 가진 시차 벡터에 의해 구해진다. 이 예에서 각 블록의 시차 벡터는 화살표로 나타내며, 이 화살표의 길이는 시차 벡터의 크기에 대응한다.

도 9는 시차 정보 작성부(115)에서 실시된 다운사이징 처리의 예를 보여준다. 먼저, 시차 정보 작성부(115)는, 도 9의 (a)에 도시된 바와 같이, 각 화소(pixel)에 대한 시차 벡터를 이용하여 각 블록에 대한 시차 벡터를 구한다. 전술한 바와 같이, 블록은 최하층에 위치한 화소들(pixels)의 상부층과 등가이며, 수평 방향과 수직 방향으로 소정 크기로 분할되는 영상(화상) 구역으로 구성된다. 각 블록의 시차 벡터는 예컨대 그 블록 내에 존재하는 모든 화소(pixels)의 시차 벡터들 중에서 선택되는 가장 큰 값을 가진 시차 벡터에 의해 구해진다.

다음, 시차 정보 작성부(115)는, 도 9의 (b)에 도시된 바와 같이, 각 블록에 대한 시차 벡터를 이용하여 각 그룹(Group Of Block)에 대한 시차 벡터를 구한다. 그룹은 블록의 상부층과 등가이며, 복수의 인접 블록을 함께 묶어서 구해진다. 도 9의 (b)의 예에서 각 그룹은 점선 프레임으로 묶인 4개의 블록으로 구성된다. 이어서, 각 그룹의 시차 벡터는 예컨대 그 그룹 내에 존재하는 모든 블록의 시차 벡터들 중에서 선택되는 가장 큰 값을 가진 시차 벡터에 의해 구해진다.

다음, 시차 정보 작성부(115)는, 도 9의 (c)에 도시된 바와 같이, 각 그룹에 대한 시차 벡터를 이용하여 각 구획(Partition)에 대한 시차 벡터를 구한다. 구획은 그룹의 상부층과 등가이며, 복수의 인접 그룹을 함께 묶어서 구해진다. 도 9의 (c)의 예에서 각 구획은 점선 프레임으로 묶인 2개의 그룹으로 구성된다. 이어서, 각 구획의 시차 벡터는 예컨대 그 구획 내에 존재하는 모든 그룹의 시차 벡터들 중에서 선택되는 가장 큰 값을 가진 시차 벡터에 의해 구해진다.

다음, 시차 정보 작성부(115)는, 도 9의 (d)에 도시된 바와 같이, 각 구획에 대한 시차 벡터를 이용하여 최상층에 위치된 전체 화상(entire image)의 시차 벡터를 구한다. 도 9의 (d)의 예에서 전체 화상은 점선 프레임으로 묶인 4개의 구획으로 구성된다. 이어서, 전체 화상의 시차 벡터는 예컨대 그 전체 화상 내에 포함된 모든 구획의 시차 벡터들 중에서 선택되는 가장 큰 값을 가진 시차 벡터에 의해 구해진다.

이런 식으로 시차 정보 작성부(115)는 최하층에 위치된 각 화소(pixel)에 대한 시차 벡터에 대해 다운사이징 처리를 실시함으로써 블록, 그룹, 구획 및 전체 화상의 각 계층의 각 구역의 시차 벡터를 구할 수 있다. 도 9에 도시된 다운사이징 처리예에서는 궁극적으로, 화소들(pixels)의 계층에 더하여, 블록, 그룹, 구획 및 전체 화상의 4개 계층의 시차 벡터가 구해지지만, 계층 수, 각 계층의 구역을 분할하는 방법, 및 구역 수는 이 예에 한정되는 것은 아님에 유의한다.

도 2를 참조로 설명하면, 서브타이틀 처리부(116)는 서브타이틀 생성부(114)에서 생성된 서브타이틀 데이터를 데이터 추출부(111)에 의해 추출된 입체 영상 데이터의 송신 형식에 대응하는 입체 영상(3차원 영상)에 대한 서브타이틀 데이터로 변환한다. 서브타이틀 처리부(116)는 중첩 정보 데이터 처리부를 구성하며, 변환 후의 입체 영상에 대한 서브타이틀 데이터는 송신을 위한 중첩 정보 데이터를 구성한다.

입체 영상에 대한 이 서브타이틀 데이터는 좌안 서브타이틀 데이터와 우안 서브타이틀 데이터를 갖고 있다. 그러면, 좌안 서브타이틀 데이터는 전술한 입체 영상 데이터에 포함된 좌안 데이터에 대응하는 데이터이며, 입체 영상 데이터가 수신측에서 갖는 좌안 영상 데이터에 중첩될 좌안 서브타이틀의 표시 데이터를 생성하기 위한 데이터이다. 또한, 우안 서브타이틀 데이터는 전술한 입체 영상 데이터에 포함된 우안 영상 데이터에 대응하는 데이터이며, 입체 영상 데이터가 수신측에서 갖는 우안 영상 데이터에 중첩될 우안 서브타이틀의 표시 데이터를 생성하기 위한 데이터이다.

이 서브타이틀 처리부(116)는 시차 정보 작성부(115)로부터의 시차 정보(수평 방향 시차 벡터)에 기초한 적어도 좌안 서브타이틀이나 우안 서브타이틀을 시프트시켜 그 서브타이틀에 적용시킬 수 있다. 좌안 서브타이틀과 우안 서브타이틀 간의 시차를 적용함으로써 수신측은 영상 내의 물체들 간에 원근 일관성을 유지하여, 시차를 제공하는 처리를 수행하지 않더라도, 최적 상태에서 서브타이틀(캡션)을 표시할 수 있다.

서브타이틀 처리부(116)는 표시 제어 정보 생성부(117)를 갖고 있다. 이 표시 제어 정보 생성부(117)는 하위 영역(Subregion)에 관련된 표시 제어 정보를 생성한다. 그러면, 하위 영역은 어떤 영역 내에 정의된 구역이다. 하위 영역은 좌안 하위 영역(좌안 SR)과 우안 하위 영역(우안 SR)을 포함한다. 이하, 좌안 하위 영역은 적절하게 좌안 SR이라 하고 우안 하위 영역은 우안 SR이라 한다.

좌안 하위 영역은 송신될 정보 데이터를 중첩하기 위한 표시 구역인 영역 내에서 좌안 서브타이틀의 표시 위치에 대응하여 설정된 영역이다. 또한, 우안 하위 영역은 송신될 정보 데이터를 중첩하기 위한 표시 구역인 영역 내에서 우안 서브타이틀의 표시 위치에 대응하여 설정된 영역이다. 예컨대 좌안 하위 영역은 제1 표시 구역을 구성하고, 우안 하위 영역은 제2 표시 구역을 구성한다. 좌안 SR 구역과 우안 SR 구역은, 예컨대 사용자 작업에 따라 또는 자동적으로, 서브타이틀 처리부(116)에서 생성된 각 서브타이틀 데이터에 대해 설정된다. 이 경우에는 좌안 SR 구역과 우안 SR 구역은 좌안 SR 내의 좌안 서브타이틀과 우안 SR 내의 우안 서브타이틀이 대응하도록 설정됨에 유의한다.

표시 제어 정보는 좌안 SR 구역 정보와 우안 SR 구역 정보를 포함한다. 또한, 표시 제어 정보는 좌안 SR에 포함된 좌안 서브타이틀이 표시될 목표 프레임 정보와 우안 SR에 포함된 우안 서브타이틀이 표시될 목표 프레임 정보를 포함한다. 그러면, 좌안 SR에 포함된 좌안 서브타이틀이 표시될 목표 프레임 정보는 좌안 영상의 프레임을 나타내며, 우안 SR에 포함된 우안 서브타이틀이 표시될 목표 프레임 정보는 우안 영상의 프레임을 나타낸다.

또한, 이 표시 제어 정보는 좌안 SR에 포함된 좌안 서브타이틀의 표시 위치의 시프트 조정을 수행하기 위한 시차 정보(disparity)와, 우안 SR에 포함된 우안 서브타이틀의 표시 위치의 시프트 조정을 수행하기 위한 시차 정보를 포함한다. 이들 시차 정보는 좌안 SR에 포함된 좌안 서브타이틀과 우안 SR에 포함된 우안 서브타이틀 간에 시차를 제공하기 위한 것이다.

이 경우에, 예컨대 시차 정보 작성부(115)에서 작성된 서브타이틀에 적용될 시차 정보(수평 방향 시차 벡터)에 기초하여, 표시 제어 정보 생성부(117)는 전술한 표시 제어 정보에 포함될 시프트 조정을 위한 시차 정보를 구한다. 그러면, 좌안 SR에 대한 시차 정보("Disparity1")와 우안 SR에 대한 시차 정보("Disparity2")는 동일한 절대치를 가지나 그 차는 서브타이틀에 적용될 시차 정보(Disparity)에 대응하는 값이 된다. 예컨대 입체 영상 데이터의 송신 형식이 사이드 바이 사이드 형식인 경우에는 시차 정보(Disparity)에 대응하는 값은 "Disparity/2"이다. 또한, 입체 영상 데이터의 송신 형식이 톱&보텀(Top&Bottom) 형식인 경우에는 시차 정보(Disparity)에 대응하는 값은 "Disparity"이다.

서브타이틀 데이터는 DDS, PCS, RCS, CDS 및 ODS와 같은 세그먼트(segment)를 갖고 있음에 유의한다. DDS(display definition segment)는 HDTV용 표시(display) 크기를 지시한다. PCS(page composition segment)는 페이지(page) 내의 영역(region)의 위치를 지시한다. RCS(region composition segment)는 그 영역(Region)의 크기와 물체(object)의 인코딩 모드를 지시하고 또 그 물체(object)의 개시 위치를 지시한다. CDS(CLUT definition segment)는 CLUT의 내용을 지시한다. ODS(object data segment)는 인코딩된 화소 데이터(Pixeldata)를 포함한다.

이 실시예에서는 SCS(Subregion composition segment)의 세그먼트가 새로이 정의된다. 전술한 바와 같이 표시 제어 정보 생성부(117)에서 생성된 표시 제어 정보는 이 SCS 세그먼트에 삽입된다. 서브타이틀 처리부(116)에서의 처리는 뒤에 자세히 설명될 것이다.

다시 도 2를 참조로 설명하면, 서브타이틀 인코더(118)는 서브타이틀 처리부(116)로부터 출력된, 입체 영상 표시를 위한 서브타이틀 데이터와 표시 제어 정보를 포함하는 서브타이틀 데이터 스트림(서브타이틀 기본 스트림)을 생성한다. 멀티플렉서(119)는 비디오 인코더(112), 오디오 인코더(113) 및 서브타이틀 인코더(118)로부터의 데이터 스트림을 멀티플렉싱하여, 멀티플렉싱된 데이터 스트림을 비트 스트림 데이터(전송 스트림(BSD))로서 얻는다.

이 실시예에서, 멀티플렉서(119)는 입체 영상 표시를 위한 서브타이틀 데이터가 포함되는 것을 식별하는 식별 정보를 서브타이틀 데이터 스트림에 삽입함에 유의한다. 구체적으로 EIT(Event Information Table) 아래에 삽입된 성분 서술자(Component_Descriptor)에 Stream_content('0x03'=DVBsubtitles)&(3D 타겟에 대한)Component_type이 서술된다. (3D 타겟에 대한)Component_type은 입체 영상에 대한 서브타이틀 데이터를 나타내기 위해 새로이 정의된다.

도 2에 도시된 송신 데이터 생성부(110)의 동작에 대해 간략하게 설명한다. 데이터 추출부(111)에 의해 추출된 입체 영상 데이터는 비디오 인코더(112)에 공급된다. 이 비디오 인코더(112)에서는 MPEG4-AVC, MPEG2, VC-1 등의 입체 영상 데이터에 대해 인코딩이 실시되고, 인코딩된 비디오 데이터를 포함하는 비디오 데이터 스트림이 생성된다. 이 비디오 데이터 스트림은 멀티플렉서(119)에 공급된다.

데이터 추출부(111)에서 추출된 오디오 데이터는 오디오 인코더(113)에 공급된다. 이 오디오 인코더(113)는 오디오 데이터에 MPEG-2 Audio AAC, MPEG-4 AAC 등의 인코딩을 실시하고, 인코딩된 오디오 데이터를 포함하는 오디오 데이터 스트림을 생성한다. 이 오디오 데이터 스트림은 멀티플렉서(119)에 공급된다.

서브타이틀 생성부(114)에서는 DVB 캡션인 (2차원 영상에 대한) 서브타이틀 데이터가 생성된다. 이 서브타이틀 데이터는 시차 정보 작성부(115)와 서브타이틀 처리부(116)에 공급된다.

데이터 추출부(111)에 의해 추출된 각 화소(pixel)에 대한 시차 벡터는 시차 정보 작성부(115)에 공급된다. 시차 정보 작성부(115)에서는 각 화소의 시차 벡터에 대해 다운사이징 처리가 실시되고, 서브타이틀에 적용될 시차 정보(수평 방향 시차 벡터=Disparity)가 작성된다. 이 시차 정보는 서브타이틀 처리부(116)에 공급된다.

서브타이틀 처리부(116)에서는 서브타이틀 생성부(114)에서 생성된 2차원 영상에 대한 서브타이틀 데이터가 전술한 바와 같이 데이터 추출부(111)에 의해 추출된 입체 영상 데이터의 송신 형식에 대응하는 입체 영상 표시를 위한 서브타이틀 데이터로 변환된다. 입체 영상 표시를 위한 이 서브타이틀 데이터는 좌안 서브타이틀에 대한 데이터와 우안 서브타이틀에 대한 데이터를 갖고 있다. 이 경우에, 서브타이틀 처리부(116)는 서브타이틀에 적용될 시차 정보 작성부(115)로부터의 시차 정보에 기초하여 적어도 좌안 서브타이틀이나 우안 서브타이틀을 시프트시켜 좌안 서브타이틀과 우안 서브타이틀 간에 시차를 제공할 수 있다.

서브타이틀 처리부(116)의 표시 제어 정보 생성부(117)에서는 하위 영역(Subregion)에 관련된 제어 정보(구역 정보, 목표 프레임 정보, 시차 정보)가 생성된다. 하위 영역은 전술한 바와 같이 좌안 하위 영역(좌안 SR)과 우안 하위 영역(우안 SR)을 포함한다. 따라서, 좌안 SR 및 우안 SR 각각에 대한 구역 정보, 목표 프레임 정보 및 시차 정보는 표시 제어 정보로서 생성된다.

전술한 바와 같이, 좌안 SR은 예컨대 사용자 작업에 따라서 또는 자동적으로, 송신될 중첩 정보 데이터의 표시 구역인 영역 내에 좌안 서브타이틀의 표시 위치에 대응하는 방식으로 설정된다. 마찬가지로 우안 SR은 예컨대 사용자 작업에 따라서 또는 자동적으로, 송신될 중첩 정보 데이터의 표시 구역인 영역 내에 우안 서브타이틀의 표시 위치에 대응하는 방식으로 설정된다.

서브타이틀 처리부(116)에서 얻은 입체 영상에 대한 서브타이틀 데이터와 표시 제어 정보는 서브타이틀 인코더(118)에 공급된다. 이 서브타이틀 인코더(118)는 입체 영상에 대한 서브타이틀 데이터와 표시 제어 정보를 포함하는 서브타이틀 데이터 스트림을 생성한다. 서브타이틀 데이터 스트림은, 입체 영상에 대한 서브타이틀 데이터가 삽입된 상태로, DDS, PCS, RCS, CDS, ODS 등의 세그먼트와 함께, 표시 제어 정보를 포함하는 새로 정의된 SCS 세그먼트를 포함한다.

전술한 바와 같이, 멀티플렉서(119)에는 전술한 비디오 인코더(112), 오디오 인코더(113) 및 서브타이틀 인코더(118)로부터 데이터 스트림이 공급된다. 이 멀티플렉서(119)에서는 데이터 스트림이 패킷화되어 멀티플렉싱되고, 이로서 멀티플렉싱된 데이터 스트림을 비트 스트림 데이터(전송 스트림(BSD))로서 얻는다.

도 10은 전송 스트림(비트 스트림 데이터)의 구성예를 보여준다. 이 전송 스트림은 기본 스트림을 패킷화하여 얻은 PES 패킷을 포함한다. 이 구성예에서는 비디오 기본 스트림 PES 패킷("Video PES"), 오디오 기본 스트림 PES 패킷("Audio PES") 및 서브타이틀 기본 스트림 PES 패킷("Subtitle PES")이 포함된다.

이 실시예에서는 서브타이틀 기본 스트림(서브타이틀 데이터 스트림)에 입체 영상에 대한 서브타이틀 데이터와 표시 제어 정보가 포함되고, 이 서브타이틀 기본 스트림은, DDS, PCS, RCS, CDS, ODS 등의 공지의 세그먼트와 함께, 표시 제어 정보를 포함하는 새로 정의된 SCS 세그먼트를 포함한다.

도 11은 PCS(page_composition_segment)의 구조를 보여준다. 도 12에 도시된 바와 같이, 이 PCS 세그먼트의 세그먼트 타입은 "0x10"이다. "region_horizontal_address"와 "region_vertical_address"는 영역(region)의 개시 위치를 나타낸다. 도면에서 DDS, RCS, ODS 등의 다른 세그먼트의 구조에 대한 도시는 생략한다. 도 12에 도시된 바와 같이, DDS의 세그먼트 타입은 "0x14"이고, RCS의 세그먼트 타입은 "0x11"이고, CDS의 세그먼트 타입은 "0x12"이고, ODS의 세그먼트 타입은 "0x13"이다. 예컨대, 도 12에 도시된 바와 같이, SCS의 세그먼트 타입은 "0x40"이다. 이 SCS 세그먼트의 상세 구조는 후술한다.

다시 도 10을 참조로 설명하면, 전송 스트림은 PSI(Program Specific Information)로서 PMT(Program Map Table)를 포함한다. 이 PSI는 전송 스트림에 포함된 프로그램 포함된 각 기본 스트림이 어느 프로그램에 속하는 지를 기술하는 정보이다. 또한, 전송 스트림은 이벤트 증분에서 어느 관리가 수행되는 가에 관한 SI(ServiceInformation)로서 EIT(Event Information Table)를 포함한다. 프로그램 증분에서 메타데이터는 EIT에 기술된다.

PMT에는 전체 프로그램에 관한 정보를 서술하는 프로그램 서술자(Program Descriptor)가 존재한다. 또한, 이 PMT에는 각 기본 스트림에 관한 정보를 가진 기본 루프도 존재한다. 이 구성예에서는 비디오 기본 루프, 오디오 기본 루프 및 서브타이틀 기본 루프가 존재한다. 각 기본 루프는 각 스트림에 대한 패킷 식별자(PID) 등의 정보가 배치되어 있고, 또, 도면에는 나타나 있지 않지만, 기본 스트림에 관한 정보를 서술하는 서술자(descriptor)도 배치되어 있다.

EIT 아래에는 성분 서술자(Component_Descriptor)가 삽입되어 있다. 이 실시예에서 이 성분 서술자에는 Stream_content('0x03'=DVBsubtitles)&(3D 타겟에 대한)Component_type이 서술된다. 따라서, 서브타이틀 데이터 스트림이 입체 영상에 대한 서브타이틀을 포함한다는 사실이 확인될 수 있다. 이 실시예에서는, 도 13에 도시된 바와 같이, 콘텐츠가 분포되어 있음을 나타내는 "component_descriptor"의 "stream_content"가 3D 서브타이틀의 형식을 나타내는 서브타이틀(subtitle) 정보를 나타내는 경우 (Component_type=0x15, 0x25)가 새로이 정의된다.

"서브타이틀 처리부에서의 처리"

도 2에 도시된 송신 데이터 생성부(110)의 서브타이틀 처리부(116)에서의 처리에 대해서 상세히 설명한다. 전술한 바와 같이, 서브타이틀 처리부(116)는 2차원 영상에 대한 서브타이틀 데이터를 입체 영상에 대한 서브타이틀 데이터로 변환한다. 또한, 전술한 바와 같이, 서브타이틀 처리부(116)는 표시 제어 정보 생성부(117)에서 (좌안 SR 및 우안 SR 구역 정보, 목표 프레임 정보 및 시차 정보를 포함하는) 표시 제어 정보를 생성한다.

도 14는 입체 영상 데이터 송신 형식이 사이드 바이 사이드 형식인 경우에 입체 영상에 대한 서브타이틀 데이터를 작성하는 방법을 개념적으로 보여준다. 도 14의 (a)는 2차원 영상에 대한 서브타이틀 데이터에 따른 영역(region)을 보여준다. 이 예에서는 영역에 3개의 물체(object)가 포함되어 있음에 유의한다.

먼저, 서브타이틀 처리부(116)는 전술한 2차원 영상에 대한 서브타이틀 데이터에 따른 영역(region)의 크기를 도 14의 (b)에 도시된 바와 같은 사이드 바이 사이드 형식에 적합한 크기로 변환하고, 그 크기에 맞는 비트맵 데이터를 생성한다.

다음, 도 14의 (c)에 도시된 바와 같이, 서브타이틀 처리부(116)는 크기 변환에 따른 비트맵 데이터를 입체 영상에 대한 서브타이틀 데이터의 영역(region) 성분으로서 취한다. 즉, 크기 변환에 따른 비트맵 데이터는 그 영역 내의 좌안 서브타이틀에 대응하는 물체이면서, 또한 그 영역 내의 우안 서브타이틀에 대응하는 물체이다.

전술한 바와 같이, 서브타이틀 처리부(116)는 2차원 영상에 대한 서브타이틀 데이터를 입체 영상에 대한 서브타이틀 데이터로 변환하고, 이 입체 영상에 대한 서브타이틀 데이터에 대응하는 DDS, PCS, RCS, CDS, OCS 등의 세그먼트를 작성한다.

다음, 서브타이틀 처리부(116)는, 사용자 작업에 기초하여 또는 자동적으로, 도 14의 (c)에 도시된 바와 같이, 입체 영상에 대한 서브타이틀 데이터의 영역(region)의 구역 상에 좌안 SR 및 우안 SR을 설정한다. 좌안 SR은 좌안 서브타이틀에 대응하는 물체를 포함하는 구역 내에 설정된다. 우안 SR은 우안 서브타이틀에 대응하는 물체를 포함하는 구역 내에 설정된다.

서브타이틀 처리부(116)는 전술한 바와 같이 설정된 좌안 SR 및 우안 SR의 영역 정보, 목표 프레임 정보 및 시차 정보를 포함하는 SCS 세그먼트를 작성한다. 예컨대 서브타이틀 처리부(116)는 좌안 SR 및 우안 SR의 영역 정보, 목표 프레임 정보 및 시차 정보를 공통적으로 포함하는 SCS 세그먼트를 작성하거나, 좌안 SR 및 우안 SR의 영역 정보, 목표 프레임 정보 및 시차 정보를 각각 포함하는 SCS 세그먼트를 작성한다.

도 15는 입체 영상 데이터 송신 형식이 톱&보텀 형식인 경우에 입체 영상에 대한 서브타이틀 데이터를 작성하는 방법을 개념적으로 보여준다. 도 15의 (a)는 2차원 영상에 대한 서브타이틀 데이터에 따른 영역(region)을 보여준다. 이 예에서는 영역에 3개의 물체(object)가 포함되어 있음에 유의한다.

먼저, 서브타이틀 처리부(116)는 전술한 2차원 영상에 대한 서브타이틀 데이터에 따른 영역(region)의 크기를 도 15의 (b)에 도시된 바와 같은 톱&보텀 형식에 적합한 크기로 변환하고, 그 크기에 맞는 비트맵 데이터를 생성한다.

다음, 도 15의 (c)에 도시된 바와 같이, 서브타이틀 처리부(116)는 크기 변환에 따른 비트맵 데이터를 입체 영상에 대한 서브타이틀 데이터의 영역(region) 성분으로서 취한다. 즉, 크기 변환에 따른 비트맵 데이터는 좌안 영상(좌측 뷰(view)) 측의 영역의 물체이면서, 또한 우안 영상(우측 뷰) 측의 영역의 물체이다.

전술한 바와 같이, 서브타이틀 처리부(116)는 2차원 영상에 대한 서브타이틀 데이터를 입체 영상에 대한 서브타이틀 데이터로 변환하고, 이 입체 영상에 대한 서브타이틀 데이터에 대응하는 PCS, RCS, CDS, OCS 등의 세그먼트를 작성한다.

다음, 서브타이틀 처리부(116)는, 사용자 작업에 기초하여 또는 자동적으로, 도 15의 (c)에 도시된 바와 같이, 입체 영상에 대한 서브타이틀 데이터의 영역(region)의 구역 상에 좌안 SR 및 우안 SR을 설정한다. 좌안 SR은 좌안 영상 측의 영역 내의 물체를 포함하는 구역 내에 설정된다. 우안 SR은 우안 영상 측의 영역 내의 물체를 포함하는 구역 내에 설정된다.

서브타이틀 처리부(116)는 전술한 바와 같이 설정된 좌안 SR 및 우안 SR의 영역 정보, 목표 프레임 정보 및 시차 정보를 포함하는 SCS 세그먼트를 작성한다. 예컨대 서브타이틀 처리부(116)는 좌안 SR 및 우안 SR의 영역 정보, 목표 프레임 정보 및 시차 정보를 공통적으로 포함하는 SCS 세그먼트를 작성하거나, 좌안 SR 및 우안 SR의 영역 정보, 목표 프레임 정보 및 시차 정보를 각각 포함하는 SCS 세그먼트를 작성한다.

도 16은 입체 영상 데이터 송신 형식이 프레임 시퀀셜 형식인 경우에 입체 영상에 대한 서브타이틀 데이터를 작성하는 방법을 개념적으로 보여준다. 도 16의 (a)는 2차원 영상에 대한 서브타이틀 데이터에 따른 영역(region)을 보여준다. 이 예에서는 영역에 한 개의 물체(object)가 포함되어 있음에 유의한다. 입체 영상 데이터 송신 형식이 프레임 시퀀셜 형식인 경우에는 2차원 영상에 대한 서브타이틀 데이터가 그대로 입체 영상에 대한 서브타이틀 데이터로서 이용된다. 이 경우에는, 2차원 영상에 대한 서브타이틀 데이터에 대응하는 DDS, PCS, RCS, ODS 등의 세그먼트는 그대로 입체 영상에 대한 서브타이틀 데이터에 대응하는 DDS, PCS, RCS, ODS 등의 세그먼트로서 이용된다.

다음, 서브타이틀 처리부(116)는, 사용자 작업에 기초하여 또는 자동적으로, 도 16의 (b)에 도시된 바와 같이, 입체 영상에 대한 서브타이틀 데이터의 영역(region)의 구역 상에 좌안 SR 및 우안 SR을 설정한다. 좌안 SR은 좌안 서브타이틀에 대응하는 물체를 포함하는 구역 내에 설정된다. 우안 SR은 우안 서브타이틀에 대응하는 물체를 포함하는 구역 내에 설정된다.

서브타이틀 처리부(116)는 전술한 바와 같이 설정된 좌안 SR 및 우안 SR의 영역 정보, 목표 프레임 정보 및 시차 정보를 포함하는 SCS 세그먼트를 작성한다. 예컨대 서브타이틀 처리부(116)는 좌안 SR 및 우안 SR의 영역 정보, 목표 프레임 정보 및 시차 정보를 공통적으로 포함하는 SCS 세그먼트를 작성하거나, 좌안 SR 및 우안 SR의 영역 정보, 목표 프레임 정보 및 시차 정보를 각각 포함하는 SCS 세그먼트를 작성한다.

도 17 및 도 18은 SCS(Subregion Composition segment)의 구조예(신택스(syntax))를 보여준다. 도 19는 SCS의 주요 데이터 규정(Semantics)을 보여준다. 이 구조는 "Sync_byte", "segment_type", "page_id" 및 "segment_length"의 정보를 포함한다. "segment_type"은 세그먼트 타입을 나타내는 8비트 데이터이며, SCS를 나타내는 "0x40"이다(도 12 참조). "segment_length"는 세그먼트 길이(크기)를 나타내는 8비트 데이터이다.

도 18은 SCS의 실체 정보를 포함하는 부분을 보여준다. 이 구성예에서 좌안 SR 및 우안 SR의 표시 제어 정보, 즉 좌안 SR 및 우안 SR의 영역 정보, 목표 프레임 정보, 시차 정보 및 표시 온/오프 명령 정보가 송신될 수 있다. 이 구조예에서는 임의 수의 하위 영역의 표시 제어 정보가 유지될 수 있음에 유의한다.

"region_id"는 영역(region)의 식별자를 나타내는 8비트 정보이다. "subregion_id"는 하위 영역(Subregion)의 식별자를 나타내는 8비트 정보이다. "subregion_visible_flag"는 해당 하위 영역의 표시 온/오프(중첩)를 제어하는 1비트 플래그 정보(명령 정보)이다. "subregion_visible_flag=1"은 해당 하위 영역의 표시가 온인 것을 나타내고, 그 전에 표시된 해당 하위 영역의 표시가 오프인 것을 나타낸다.

"subregion_extent_flag"는 하위 영역과 영역이 그 크기와 위치가 동일한지 여부를 나타내는 1비트 플래그 정보이다. "subregion_extent_flag=1"은 하위 영역과 영역이 그 크기와 위치가 동일한 것을 나타낸다. "subregion_extent_flag=0"은 하위 영역이 영역보다 작다는 것을 나타낸다.

"subregion_position_flag"는 후속 데이터가 하위 영역 구역(위치 및 크기) 정보를 포함하는지 여부를 나타내는 1비트 플래그 정보이다. "subregion_position_flag=1"은 후속 데이터가 하위 영역 구역(위치 및 크기) 정보를 포함하고 있는 것을 나타낸다. 반면에, "subregion_position_flag=0"은 후속 데이터가 하위 영역 구역(위치 및 크기) 정보를 포함하고 있지 않음을 나타낸다.

"target_stereo_frame"은 해당 하위 영역에 대한 목표 프레임(표시될 프레임)을 특정하는 1비트 정보이다. 이 "target_stereo_frame"은 목표 프레임 정보를 구성한다. "target_stereo_frame=0"은 해당 하위 영역이 프레임 0(예컨대 좌안 프레임, 또는 베이스 뷰 프레임 등)에 표시될 것임을 나타낸다. 반면에, "target_stereo_frame=1"은 해당 하위 영역이 프레임 1(예컨대 우 프레임, 또는 논베이스(non-base) 뷰 프레임 등)에 표시될 것임을 나타낸다.

"rendering_level"은 캡션 표시 시에 수신측(디코더측)에서의 필수 시차 정보(disparity)를 나타낸다. "00"은 시차 정보를 이용하는 캡션의 3차원 표시가 선택적인(optional) 것임을 나타낸다. "01"은 캡션 표시 기간 내에서 공유되는 시차 정보(default_disparity)를 이용하는 캡션의 3차원 표시가 필수적인 것임을 나타낸다. "10"은 캡션 표시 기간 내에서 순차적으로 갱신되는 시차 정보(disparity_update)를 이용하는 캡션의 3차원 표시가 필수적인 것임을 나타낸다.

"temporal_extension_flag"는 캡션 표시 기간 내에 순차적으로 갱신된 시차 정보(disparity_update)가 존재하는지 여부를 나타내는 1비트 플래그 정보이다. 이 경우에, "1"은 존재함을 나타내고 "0"은 존재하지 않음을 나타낸다. "shared_disparity"는 모든 영역(region)에 대한 공통의 시차 정보(disparity) 제어를 수행할지 여부를 나타낸다. "1"은 모든 후속 영역들에 하나의 공통된 시차 정보(disparity)가 적용되는 것을 나타낸다. "0"은 단 하나의 영역에 시차 정보(disparity)가 적용되는 것을 나타낸다.

8비트 필드 "subregion_disparity"는 디폴트 시차 정보를 나타낸다. 이 시차 정보는 갱신이 되지 않은 경우에 사용된, 즉 캡션 표시 기간 전체에 걸쳐 공통으로 사용된 시차 정보이다. "subregion_position_flag=1"이면, 후속 하위 영역 구역(위치 및 크기) 정보가 포함된다.

"subregion_horizontal_position"은 직사각형 구역인 하위 영역의 좌측 에지의 위치를 나타내는 16비트 정보이다. "subregion_vertical_position"은 직사각형 구역인 하위 영역의 상단 에지의 위치를 나타내는 16비트 정보이다. "subregion_width"는 직사각형 구역인 하위 영역의 수평 방향 크기(화소 수)를 나타내는 16비트 정보이다. "subregion_height"는 직사각형 구역인 하위 영역의 수직 방향 크기(화소 수)를 나타내는 16비트 정보이다. 이들 위치 및 크기 정보는 하위 영역의 영역 정보를 구성한다.

"temporal_extension_flag"가 1인 경우에, 이는 "disparity_temporal_extension()"이 존재함을 의미한다. 기본적으로, 베이스 세그먼트 기간(BSP: Base Segment Period)마다 갱신될 시차 정보는 여기에 저장된다. 도 20은 베이스 세그먼트 기간(BSP)마다 시차 정보를 갱신하는 예를 보여준다. 여기서, 베이스 세그먼트 기간은 프레임 간격을 갱신하는 것을 의미한다. 이 도면으로부터 명백히 알 수 있듯이, 캡션 표시 기간 내에 순차적으로 갱신되는 시차 정보는 캡션 표시 기간 내의 제1 프레임의 시차 정보와, 후속되는 각 베이스 세그먼트 기간(갱신 프레임 간격)의 시차 정보로 구성된다.

도 21은 "disparity_temporal_extension()"의 구조예(신택스)를 보여줌에 유의한다. 도 22는 그 주요 데이터 규정(시맨틱스)을 보여준다. 2비트 필드 "temporal_division_size"는 베이스 세그먼트 기간(갱신 프레임 간격)에 포함된 프레임 수를 나타낸다. "00"은 이것이 16 프레임임을 나타낸다. "01"은 이것이 25 프레임임을 나타낸다. "10"은 이것이 30 프레임임을 나타낸다. "11"은 이것이 32 프레임임을 나타낸다.

5비트 필드 "temporal_division_count"는 캡션 표시 기간에 포함된 베이스 세그먼트 수를 나타낸다. "disparity_curve_no_update_flag"는 시차 정보의 갱신이 있는지 여부를 나타내는 1비트 플래그 정보이다. "1"은 해당 베이스 세그먼트의 에지에서 시차 정보 갱신이 실시되지 않는다는 것, 즉 스킵된다는 것을 나타내며, "0"은 해당 베이스 세그먼트의 에지에서 시차 정보 갱신이 실시된다는 것을 나타낸다.

도 23은 베이스 세그먼트 주기(BSP)마다의 시차 정보의 구성예를 보여준다. 이 도면에서 "스킵(skip)"이 부기되어 있는 베이스 세그먼트의 에지에서 시차 정보의 갱신이 실시되지 않는다. 이 플래그 정보의 존재로 인해, 프레임 방향으로의 시차 정보의 변화가 동일한 기간이 장시간 지속되는 경우에는, 이 시차 정보를 갱신하지 않음으로써 이 기간 내에서의 시차 정보 송신은 생략될 수 있으며, 따라서 시차 정보의 데이터량을 억제할 수 있다.

"disparity_curve_no_update_flag"가 "0"이고 시차 정보 갱신이 실시되는 경우에는, 해당 세그먼트의 "shifting_interval_counts"가 포함된다. 반면에, "disparity_curve_no_update_flag"가 "1"이고 시차 정보 갱신이 실시되지 않는 경우에는, 해당 세그먼트의 "disparity_update"가 포함되지 않는다. 6비트 필드 "shifting_interval_counts"는 베이스 세그먼트 기간(갱신 프레임 간격)을 조정하기 위한 드로우 팩터(Draw Factor), 즉 감산된 프레임의 수를 나타낸다.

도 23에서 보여진 베이스 세그먼트 기간(BSP)마다의 시차 정보 갱신예에서, 베이스 세그먼트 기간은 드로우 팩터(Draw Factor)에 의해 시점들(C 내지 F)에서 시차 정보에 대한 갱신 타이밍에 대해 조정된다. 이 조정 정보의 존재로 인해, 베이스 세그먼트 기간(갱신 프레임 간격)이 조정될 수 있고, 시차 정보의 시간적 방향(프레임 방향)의 변화가 더욱 정확하게 수신측에 통지될 수 있다.

베이스 세그먼트 기간(갱신 프레임 간격)을 조정하는 데는, 전술한 바와 같이 감산 프레임의 수를 줄이는 방향으로 조정하는 것 이외에도, 프레임을 가산하여 늘이는 방향으로 조정하는 것도 있음에 유의한다. 예컨대 5비트 필드 "shifting_interval_counts"를 소정 부호를 가진 정수가 되도록 함으로써 양 방향 조정을 실시할 수 있다.

8비트 필드 "disparity_update"는 해당 베이스 세그먼트의 시차 정보를 나타낸다. "disparity_update"는 k=0이 캡션 표시 기간의 갱신 프레임 간격에서 순차적으로 갱신된 시차 정보, 즉 캡션 표시 기간에서 제1 프레임의 시차 정보의 초기값임에 유의한다.

도 24는 방송국(100)으로부터 셋톱 박스(200)를 통해 텔레비전 수상기(300) 또는 방송국(100)으로부터 텔레비전 수상기(300)로 직접 수신되는 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터의 흐름을 개략적으로 보여주는 도이다. 이 경우에 입체 영상에 대한 서브타이틀 데이터는 방송국(100)에서 사이드 바이 사이드(Side-by-Side) 형식으로 생성된다. 입체 영상 데이터는 비디오 데이터 스트림에 포함되어 송신되고, 입체 영상에 대한 서브타이틀 데이터는 서브타이틀 데이터 스트림에 포함되어 송신된다.

먼저, 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터가 방송국(100)으로부터 셋톱 박스(200)에 전송되고 이 셋톱 박스(200)가 레거시 2D 호환 장치(레거시 2D STB)인 경우에 대해 설명한다. 셋톱 박스(200)는 (하위 영역 표시 제어 정보를 제외한) 서브타이틀 데이터에 기초하여 좌안 서브타이틀 및 우안 서브타이틀을 표시하는 영역에 대한 표시 데이터를 생성하고, 이 표시 데이터를 입체 영상 데이터에 중첩시켜 출력 입체 영상 데이터를 얻는다. 이 경우에 중첩 위치는 이 영역의 위치에 있다.

셋톱 박스(200)는 이 출력 입체 영상 데이터를 예컨대 HDMI 디지털 인터페이스를 통해 텔레비전 수상기(300)에 송신한다. 이 경우에 셋톱 박스(200)로부터 텔레비전 수상기(300)로의 입체 영상 데이터의 송신 형식은 예컨대 사이드 바이 사이드(Side-by-Side) 형식이다.

텔레비전 수상기(300)가 3D 호환 장치(3D TV)인 경우에는 텔레비전 수상기(300)는 셋톱 박스(200)로부터 전송된 사이드 바이 사이드 형식 입체 영상 데이터에 대해 3D 신호 처리를 실시하고, 서브타이틀이 중첩된 좌안 영상 및 우안 영상 데이터를 생성한다. 그러면 텔레비전 수상기(300)는 사용자가 입체 영상을 인식할 수 있도록 LCD 등의 표시 패널 상에 양안 시차 영상(좌안 영상 및 우안 영상)을 표시한다.

다음, 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터가 방송국(100)으로부터 셋톱 박스(200)에 전송되고 이 셋톱 박스(200)가 3D 호환 장치(3D STB)인 경우에 대해 설명한다. 셋톱 박스(200)는 (하위 영역 표시 제어 정보를 제외한) 서브타이틀 데이터에 기초하여 좌안 서브타이틀 및 우안 서브타이틀을 표시하는 영역에 대한 표시 데이터를 생성한다. 그런 다음에 셋톱 박스(200)는 이 영역의 표시 데이터로부터 좌안 SR에 대응하는 표시 데이터와 우안 SR에 대응하는 표시 데이터를 추출한다.

그런 다음에, 셋톱 박스(200)는 좌안 SR 및 우안 SR에 대응하는 이 표시 데이터를 입체 영상 데이터에 중첩시켜 출력 입체 영상 데이터를 얻는다. 이 경우에 좌안 SR에 대응하는 표시 데이터는 좌안 SR의 목표 프레임 정보인 프레임0으로 나타낸 프레임부(좌안 영상 프레임부)에 중첩된다. 또한, 우안 SR에 대응하는 표시 데이터는 우안 SR의 목표 프레임 정보인 프레임1로 나타낸 프레임부(우안 영상 프레임부)에 중첩된다.

이 경우에 좌안 SR에 대응하는 표시 데이터는 좌안 SR의 영역 정보인 Position1로 나타낸 사이드 바이 사이드 형식 입체 영상 데이터의 위치를 좌안 SR의 시차 정보인 Disparity1의 절반만큼 시프트시킴으로써 구한 위치에서 중첩된다. 또한, 우안 SR에 대응하는 표시 데이터는 우안 SR의 영역 정보인 Position2로 나타낸 사이드 바이 사이드 형식 입체 영상 데이터의 위치를 우안 SR의 시차 정보인 Disparity2의 절반만큼 시프트시킴으로써 구한 위치에서 중첩된다.

그러면, 셋톱 박스(200)는 이렇게 얻은 출력 입체 영상 데이터를 예컨대 HDMI 디지털 인터페이스를 통해 텔레비전 수상기(300)에 송신한다. 이 경우에 셋톱 박스(200)로부터 텔레비전 수상기(300)로의 입체 영상 데이터의 송신 형식은 예컨대 사이드 바이 사이드(Side-by-Side) 형식이다.

텔레비전 수상기(300)가 3D 호환 장치(3D TV)인 경우에는 텔레비전 수상기(300)는 셋톱 박스(200)로부터 전송된 사이드 바이 사이드 형식 입체 영상 데이터에 대해 3D 신호 처리를 실시하고, 서브타이틀이 중첩된 좌안 영상 및 우안 영상 데이터를 생성한다. 그러면 텔레비전 수상기(300)는 사용자가 입체 영상을 인식할 수 있도록 LCD 등의 표시 패널 상에 양안 시차 영상(좌안 영상 및 우안 영상 데이터)을 표시한다.

다음, 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터가 방송국(100)으로부터 텔레비전 수상기(300)에 전송되고 이 텔레비전 수상기(300)가 3D 호환 장치(3D TV)인 경우에 대해 설명한다. 텔레비전 수상기(300)는 (하위 영역 표시 제어 정보를 제외한) 서브타이틀 데이터에 기초하여 좌안 서브타이틀 및 우안 서브타이틀을 표시하는 영역에 대한 표시 데이터를 생성한다. 그런 다음에 텔레비전 수상기(300)는 이 영역의 표시 데이터로부터 좌안 SR에 대응하는 표시 데이터와 우안 SR에 대응하는 표시 데이터(우안 표시 데이터)를 추출한다.

텔레비전 수상기(300)는 수평 방향으로 좌안 SR에 대응하는 표시 데이터의 이중 스케일링(double scaling)을 실시하여 완전 해상도(full resolution)에 대응하는 좌안 표시 데이터를 얻는다. 그러면 텔레비전 수상기(300)는 좌안 SR의 목표 프레임 정보인 프레임0에 완전 해상도 좌안 영상 데이터를 중첩시킨다. 즉, 텔레비전 수상기(300)는 수평 방향으로 사이드 바이 사이드 입체 영상 데이터의 좌안 영상부를 스케일링하여 배가시킴으로써 얻은 완전 해상도 좌안 영상 데이터에 좌안 표시 데이터를 중첩시킴으로써 서브타이틀이 중첩된 좌안 영상 데이터를 생성한다.

텔레비전 수상기(300)는 수평 방향으로 우안 SR에 대응하는 표시 데이터의 이중 스케일링을 실시하여 완전 해상도에 대응하는 우안 표시 데이터를 얻는다. 그러면 텔레비전 수상기(300)는 우안 SR의 목표 프레임 정보인 프레임1에 완전 해상도 우안 영상 데이터를 중첩시킨다. 즉, 텔레비전 수상기(300)는 수평 방향으로 사이드 바이 사이드 입체 영상 데이터의 우안 영상부를 스케일링하여 배가시킴으로써 얻은 완전 해상도 우안 영상 데이터에 우안 표시 데이터를 중첩시킴으로써 서브타이틀이 중첩된 우안 영상 데이터를 생성한다.

이 경우에 좌안 표시 데이터는 좌안 SR의 영역 정보인 Position1이 배가되는 완전 해상도 좌안 영상 데이터의 위치를 좌안 SR의 시차 정보인 Disparity1의 절반만큼 시프트시킴으로써 구한 위치에서 중첩된다. 또한, 이 경우에 우안 표시 데이터는 우안 SR의 영역 정보인 Position2가 H/2만큼 줄어들고 배가되는 완전 해상도 우안 영상 데이터의 위치를 우안 SR의 시차 정보인 Disparity2만큼 시프트시킴으로써 구한 위치에서 중첩된다.

텔레비전 수상기(300)는, 전술한 바와 같이, 생성된 서브타이틀이 중첩된 좌안 영상 데이터 및 우안 영상 데이터에 기초하여 사용자가 입체 영상을 인식할 수 있도록 LCD 등의 표시 패널 상에 양안 시차 영상(좌안 영상 및 우안 영상 데이터)을 표시한다.

도 25는 방송국(100)으로부터 셋톱 박스(200)를 통해 텔레비전 수상기(300)로 또는 방송국(100)으로부터 텔레비전 수상기(300)로 직접 수신되는 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터의 흐름을 개략적으로 보여주는 도이다. 이 경우에 입체 영상에 대한 서브타이틀 데이터는 방송국(100)에서 MVC(Multi-view Video) 형식으로 생성된다. 이 경우에 입체 영상 데이터는 베이스 뷰 영상 데이터(좌안 영상 데이터)와 논베이스(non-base) 뷰 영상 데이터(우안 영상 데이터)로 구성된다. 입체 영상 데이터는 비디오 데이터 스트림에 포함되어 송신되고, 입체 영상에 대한 서브타이틀 데이터는 서브타이틀 데이터 스트림에 포함되어 송신된다.

먼저, 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터가 방송국(100)으로부터 셋톱 박스(200)에 전송되고 이 셋톱 박스(200)가 레거시 2D 호환 장치(레거시 2D STB)인 경우에 대해 설명한다. 셋톱 박스(200)는 (하위 영역 표시 제어 정보를 제외한) 서브타이틀 데이터에 기초하여 좌안 서브타이틀 및 우안 서브타이틀을 표시하는 영역에 대한 표시 데이터를 생성하고, 이 표시 데이터를 베이스 뷰(좌안 영상 데이터)에 중첩시켜 출력 입체 영상 데이터를 얻는다. 이 경우에 중첩 위치는 이 영역의 위치에 있다.

셋톱 박스(200)는 이 출력 입체 영상 데이터를 예컨대 HDMI 디지털 인터페이스를 통해 텔레비전 수상기(300)에 송신한다. 텔레비전 수상기(300)는 2D 호환 장치(2D TV)든 3D 호환 장치(3D TV)든 간에 상관없이 표시 패널에 2D 영상을 표시한다.

다음, 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터가 방송국(100)으로부터 셋톱 박스(200)에 전송되고 이 셋톱 박스(200)가 3D 호환 장치(3D STB)인 경우에 대해 설명한다. 셋톱 박스(200)는 (하위 영역 표시 제어 정보를 제외한) 서브타이틀 데이터에 기초하여 좌안 서브타이틀 및 우안 서브타이틀을 표시하는 영역에 대한 표시 데이터를 생성한다. 그런 다음에 셋톱 박스(200)는 이 영역의 표시 데이터로부터 좌안 SR에 대응하는 표시 데이터와 우안 SR에 대응하는 표시 데이터를 추출한다.

그런 다음, 셋톱 박스(200)는 좌안 SR에 대응하는 이 표시 데이터를 좌안 SR의 목표 프레임 정보인 프레임0으로 나타낸 베이스 뷰(좌안 영상)의 영상 데이터에 중첩시켜 좌안 서브타이틀이 중첩된 베이스 뷰(좌안 영상)의 영상 데이터를 얻는다. 이 경우에 좌안 SR에 대응하는 표시 데이터는 좌안 SR의 영역 정보인 Position1로 나타낸 베이스 뷰(좌안 영상) 영상 데이터의 위치를 좌안 SR의 시차 정보인 Disparity1의 절반만큼 시프트시킴으로써 구한 위치에서 중첩된다.

그런 다음, 셋톱 박스(200)는 우안 SR에 대응하는 이 표시 데이터를 우안 SR의 목표 프레임 정보인 프레임1로 나타낸 논베이스 뷰(우안 영상)의 영상 데이터에 중첩시켜 우안 서브타이틀이 중첩된 논베이스 뷰(우안 영상)의 영상 데이터를 얻는다. 이 경우에 우안 SR에 대응하는 표시 데이터는 우안 SR의 영역 정보인 Position2로 나타낸 논베이스 뷰(우안 영상) 영상 데이터의 위치를 우안 SR의 시차 정보인 Disparity2만큼 시프트시킴으로써 구한 위치에서 중첩된다.

그런 다음, 셋톱 박스(200)는 이렇게 얻은 베이스 뷰(좌안 영상)와 논베이스 뷰(우안 영상)의 영상 데이터를 예컨대 HDMI 디지털 인터페이스를 통해 텔레비전 수상기(300)에 송신한다. 이 경우에 셋톱 박스(200)로부터 텔레비전 수상기(300)로의 입체 영상 데이터의 송신 형식은 예컨대 프레임 패킹(Frame Packing) 형식이다.

텔레비전 수상기(300)가 3D 호환 장치(3D TV)인 경우에는 텔레비전 수상기(300)는 셋톱 박스(200)로부터 전송된 사이드 바이 사이드 형식 입체 영상 데이터에 대해 3D 신호 처리를 실시하고, 서브타이틀이 중첩된 좌안 영상 및 우안 영상 데이터를 생성한다. 그러면 텔레비전 수상기(300)는 사용자가 입체 영상을 인식할 수 있도록 LCD 등의 표시 패널 상에 양안 시차 영상(좌안 영상 및 우안 영상 데이터)을 표시한다.

다음, 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터가 방송국(100)으로부터 텔레비전 수상기(300)에 전송되고 이 텔레비전 수상기(300)가 3D 호환 장치(3D TV)인 경우에 대해 설명한다. 텔레비전 수상기(300)는 (하위 영역 표시 제어 정보를 제외한) 서브타이틀 데이터에 기초하여 좌안 서브타이틀 및 우안 서브타이틀을 표시하는 영역에 대한 표시 데이터를 생성한다. 그런 다음에 텔레비전 수상기(300)는 이 영역의 표시 데이터로부터 좌안 SR에 대응하는 표시 데이터와 우안 SR에 대응하는 표시 데이터를 추출한다.

텔레비전 수상기(300)는 좌안 SR에 대응하는 표시 데이터를 좌안 SR의 목표 프레임 정보인 프레임0으로 나타낸 베이스 뷰(좌안 영상)의 영상 데이터에 중첩시켜 좌안 서브타이틀이 중첩된 베이스 뷰(좌안 영상) 출력 영상 데이터를 얻는다. 이 경우에 좌안 SR에 대응하는 표시 데이터는 좌안 SR 영역 정보인 Position1로 나타낸 베이스 뷰(좌안 영상) 영상 데이터의 위치를 좌안 SR의 시차 정보인 Disparity1만큼 시프트시킴으로써 구한 위치에서 중첩된다.

텔레비전 수상기(300)는 우안 SR에 대응하는 표시 데이터를 우안 SR의 목표 프레임 정보인 프레임1로 나타낸 논베이스 뷰(우안 영상) 영상 데이터에 중첩시켜 우안 서브타이틀이 중첩된 논베이스 뷰(우안 영상) 출력 영상 데이터를 얻는다. 이 경우에 우안 SR에 대응하는 표시 데이터는 우안 SR의 영역 정보인 Position2로 나타낸 논베이스 뷰(우안 영상) 영상 데이터의 위치를 우안 SR의 시차 정보인 Disparity2만큼 시프트시킴으로써 구한 위치에서 중첩된다.

텔레비전 수상기(300)는, 전술한 바와 같이, 생성된 서브타이틀이 중첩된 베이스 뷰(좌안 영상) 데이터 및 논베이스 뷰(우안 영상) 데이터에 기초하여 사용자가 입체 영상을 인식할 수 있도록 LCD 등의 표시 패널 상에 양안 시차 영상(좌안 영상 및 우안 영상 데이터)을 표시한다.

상기에서는 좌안 SR과 우안 SR의 표시 제어 정보(영역 정보, 목표 프레임 정보 및 시차 정보)가 개별적으로 작성되는 예에 대해서 설명하였음에 유의한다. 그런, 좌안 SR과 우안 SR 중 어느 하나, 예컨대 좌안 SR에 대한 표시 제어 정보를 작성하는 것도 고려할 수 있다. 이 경우에, 우안 SR 영역 정보의 영역 정보, 목표 프레임 정모 및 시차 정보 중에서, 좌안 SR에 대한 표시 제어 정보는 영역 정보는 포함하지 않고 목표 프레임 정보 및 시차 정보를 포함한다.

도 26은 방송국(100)으로부터 셋톱 박스(200)를 통해 텔레비전 수상기(300)로 또는 이 경우에는 방송국(100)으로부터 텔레비전 수상기(300)로 직접 수신되는 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터의 흐름을 개략적으로 보여주는 도이다. 이 경우에 입체 영상에 대한 서브타이틀 데이터는 방송국(100)에서 사이드 바이 사이드(Side-by-Side) 형식으로 생성된다. 입체 영상 데이터는 비디오 데이터 스트림에 포함되어 송신되고, 입체 영상에 대한 서브타이틀 데이터는 서브타이틀 데이터 스트림에 포함되어 송신된다.

먼저, 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터가 방송국(100)으로부터 셋톱 박스(200)에 전송되고 이 셋톱 박스(200)가 레거시 2D 호환 장치(레거시 2D STB)인 경우에 대해 설명한다. 셋톱 박스(200)는 (하위 영역 표시 제어 정보를 제외한) 서브타이틀 데이터에 기초하여 좌안 서브타이틀 및 우안 서브타이틀을 표시하는 영역에 대한 표시 데이터를 생성하고, 이 표시 데이터를 입체 영상 데이터에 중첩시켜 출력 입체 영상 데이터를 얻는다. 이 경우에 중첩 위치는 이 영역의 위치에 있다.

셋톱 박스(200)는 이 출력 입체 영상 데이터를 예컨대 HDMI 디지털 인터페이스를 통해 텔레비전 수상기(300)에 송신한다. 이 경우에, 셋톱 박스(200)로부터 텔레비전 수상기(300)로의 입체 영상 데이터의 송신 형식은 예컨대 사이드 바이 사이드(Side-by-Side) 형식이다.

텔레비전 수상기(300)가 3D 호환 장치(3D TV)인 경우에는 텔레비전 수상기(300)는 셋톱 박스(200)로부터 전송된 사이드 바이 사이드 형식 입체 영상 데이터에 대해 3D 신호 처리를 실시하고, 서브타이틀이 중첩된 좌안 영상 및 우안 영상 데이터를 생성한다. 그러면 텔레비전 수상기(300)는 사용자가 입체 영상을 인식할 수 있도록 LCD 등의 표시 패널 상에 양안 시차 영상(좌안 영상 및 우안 영상 데이터)을 표시한다.

다음, 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터가 방송국(100)으로부터 셋톱 박스(200)에 전송되고 이 셋톱 박스(200)가 3D 호환 장치(3D STB)인 경우에 대해 설명한다. 셋톱 박스(200)는 (하위 영역 표시 제어 정보를 제외한) 서브타이틀 데이터에 기초하여 좌안 서브타이틀 및 우안 서브타이틀을 표시하는 영역에 대한 표시 데이터를 생성한다. 그런 다음에 셋톱 박스(200)는 이 영역의 표시 데이터로부터 좌안 SR에 대응하는 표시 데이터를 추출한다.

그런 다음에, 셋톱 박스(200)는 좌안 SR에 대응하는 이 표시 데이터를 입체 영상 데이터에 중첩시켜 출력 입체 영상 데이터를 얻는다. 이 경우에 좌안 SR에 대응하는 표시 데이터는 좌안 SR의 목표 프레임 정보인 프레임0으로 나타낸 프레임부(좌안 영상 프레임부)에 중첩된다. 또한, 우안 SR에 대응하는 표시 데이터는 우안 SR의 목표 프레임 정보인 프레임1로 나타낸 프레임부(우안 영상 프레임부)에 중첩된다.

이 경우에 좌안 SR에 대응하는 표시 데이터는 좌안 SR의 영역 정보인 Position으로 나타낸 사이드 바이 사이드 형식 입체 영상 데이터의 위치를 좌안 SR의 시차 정보인 Disparity1의 절반만큼 시프트시킴으로써 구한 위치에서 중첩된다. 또한, 우안 SR에 대응하는 표시 데이터는 그 영역 정보인 Position+H/2로 나타낸 사이드 바이 사이드 형식 입체 영상 데이터의 위치를 우안 SR의 시차 정보인 Disparity2의 절반만큼 시프트시킴으로써 구한 위치에서 중첩된다.

그러면, 셋톱 박스(200)는 이렇게 얻은 출력 입체 영상 데이터를 예컨대 HDMI 디지털 인터페이스를 통해 텔레비전 수상기(300)에 송신한다. 이 경우에 셋톱 박스(200)로부터 텔레비전 수상기(300)로의 입체 영상 데이터의 송신 형식은 예컨대 사이드 바이 사이드(Side-by-Side) 형식이다.

텔레비전 수상기(300)가 3D 호환 장치(3D TV)인 경우에는 텔레비전 수상기(300)는 셋톱 박스(200)로부터 전송된 사이드 바이 사이드 형식 입체 영상 데이터에 대해 3D 신호 처리를 실시하고, 서브타이틀이 중첩된 좌안 영상 및 우안 영상 데이터를 생성한다. 그러면 텔레비전 수상기(300)는 사용자가 입체 영상을 인식할 수 있도록 LCD 등의 표시 패널 상에 양안 시차 영상(좌안 영상 및 우안 영상 데이터)을 표시한다.

다음, 입체 영상 데이터와 (표시 제어 정보를 포함하는) 서브타이틀 데이터가 방송국(100)으로부터 텔레비전 수상기(300)에 전송되고 이 텔레비전 수상기(300)가 3D 호환 장치(3D TV)인 경우에 대해 설명한다. 텔레비전 수상기(300)는 (하위 영역 표시 제어 정보를 제외한) 서브타이틀 데이터에 기초하여 좌안 서브타이틀 및 우안 서브타이틀을 표시하는 영역에 대한 표시 데이터를 생성한다. 그런 다음에 텔레비전 수상기(300)는 이 영역의 표시 데이터로부터 좌안 SR에 대응하는 표시 데이터를 추출한다.

텔레비전 수상기(300)는 수평 방향으로 좌안 SR에 대응하는 표시 데이터의 이중 스케일링을 실시하여 완전 해상도에 대응하는 좌안 표시 데이터를 얻는다. 그러면 텔레비전 수상기(300)는 좌안 SR의 목표 프레임 정보인 프레임0에 완전 해상도 좌안 영상 데이터를 중첩시킨다. 즉, 텔레비전 수상기(300)는 수평 방향으로 사이드 바이 사이드 입체 영상 데이터의 좌안 영상부를 스케일링하여 배가시킴으로써 얻은 완전 해상도 좌안 영상 데이터에 좌안 표시 데이터를 중첩시킴으로써 서브타이틀이 중첩된 좌안 영상 데이터를 생성한다.

텔레비전 수상기(300)는 수평 방향으로 우안 SR에 대응하는 표시 데이터의 이중 스케일링을 실시하여 완전 해상도에 대응하는 우안 표시 데이터를 얻는다. 그러면 텔레비전 수상기(300)는 우안 SR의 목표 프레임 정보인 프레임1에 완전 해상도 우안 영상 데이터를 중첩시킨다. 즉, 텔레비전 수상기(300)는 수평 방향으로 사이드 바이 사이드 입체 영상 데이터의 우안 영상부를 스케일링하여 배가시킴으로써 얻은 완전 해상도 우안 영상 데이터에 우안 표시 데이터를 중첩시킴으로써 서브타이틀이 중첩된 우안 영상 데이터를 생성한다.

이 경우에 좌안 표시 데이터는 영역 정보인 Position이 배가되는 완전 해상도 좌안 영상 데이터의 위치를 시차 정보인 Disparity1만큼 시프트시킴으로써 구한 위치에서 중첩된다. 또한, 이 경우에 우안 표시 데이터는 영역 정보인 Position가 배가되는 완전 해상도 우안 영상 데이터의 위치를 시차 정보인 Disparity2만큼 시프트시킴으로써 구한 위치에서 중첩된다.

텔레비전 수상기(300)는, 전술한 바와 같이, 생성된 서브타이틀이 중첩된 좌안 영상 데이터 및 우안 영상 데이터에 기초하여 사용자가 입체 영상을 인식할 수 있도록 LCD 등의 표시 패널 상에 양안 시차 영상(좌안 영상 및 우안 영상 데이터)을 표시한다.

도 2에 도시된 송신 데이터 생성부(110)에서, 멀티플렉서(119)로부터 출력된 비트스트림 데이터(BSD)는 비디오 데이터 스트림과 서브타이틀 데이터 스트림을 포함하는 멀티플렉싱된 데이터 스트림이다. 비디오 데이터 스트림은 입체 영상 데이터를 포함한다. 또한, 서브타이틀 데이터 스트림은 입체 영상 데이터의 송신 형식에 따른 입체 영상(3차원 영상) 서브타이틀 데이터를 포함한다.

이 입체 영상 서브타이틀 데이터는 좌안 서브타이틀 데이터와 우안 서브타이틀 데이터를 갖고 있다. 따라서, 입체 영상 데이터가 갖는 좌안 영상 데이터에 중첩될 좌안 서브타이틀 데이터에 대한 표시 데이터와 입체 영상 데이터가 갖는 우안 영상 데이터에 중첩될 우안 서브타이틀 데이터에 대한 표시 데이터는 수신측에서 쉽게 생성될 수 있다. 따라서 처리가 더 쉬워진다.

또, 도 2에 도시된 송신 데이터 생성부(110)에서, 멀티플렉서(119)로부터 출력된 비트 스트림 데이터(BSD)는 입체 영상 데이터와 입체 영상 서브타이틀 데이터 이외에 표시 제어 정보도 포함한다. 이 표시 제어 정보는 좌안 SR과 우안 SR에 관한 표시 제어 정보(영역 정보, 목표 프레임 정보, 시차 정보)를 포함한다.

따라서, 수신측에서는 목표 프레임 상의 좌안 SR 내의 좌안 서브타이틀과 우안 SR 내의 서브타이틀의 중첩 표시가 쉽다. 좌안 SR 내의 좌안 서브타이틀과 우안 SR 내의 서브타이틀의 표시 위치에는 시차가 제공될 수 있으며, 따라서, 어느 서브타이틀(캡션)이 표시되고 있는지에 관한 영상 내의 물체들 간의 원근 일관성이 최적 상태로 유지될 수 있다.

또, 도 2에 도시된 송신 데이터 생성부(110)에서, 서브타이틀 처리부(116)는 서브타이틀 표시 기간에서 순차적으로 갱신되는 시차 정보를 포함하는 SCS 세그먼트를 송신할 수 있으며, 따라서, 좌안 SR 내의 좌안 서브타이틀과 우안 SR 내의 우안 서브타이틀의 표시 위치는 동적으로 제어될 수 있다. 따라서, 수신측에서는 좌안 서브타이틀과 우안 서브타이틀 간에 제공된 시차가 영상의 콘텐츠의 변경과 함께 동적으로 변경될 수 있다.

또, 도 2에 도시된 송신 데이터 생성부(110)에서, 서브타이틀 처리부(116)에서 작성된 SCS 세그먼트에 포함된 시차 정보는 서브타이틀 표시 기간 내의 제1 프레임의 시차 정보와 그 후의 각 갱신 프레임 간격에서의 프레임의 시차 정보로 구성된다. 따라서, 송신 데이터량을 줄일 수 있고, 수신측에서 시차 정보를 유지하는 메모리 용량을 많이 아낄 수 있다.

또, 도 2에 도시된 송신 데이터 생성부(110)에서, 서브타이틀 처리부(116)에서 작성된 SCS 세그먼트에 포함된 각 갱신 프레임 간격에서의 프레임의 시차 정보는 이전 시차 정보로부터의 오프셋 값이 아니고 시차 정보 그 자체이다. 따라서, 수신측에서 보간 과정에서 에러가 발생해도 이 에러는 특정 지연 시간 내에 복구될 수 있다.

또, 도 2에 도시된 송신 데이터 생성부(110)에서, 서브타이틀 처리부(116)에서 작성된 SCS 세그먼트에 포함된 시차 정보는 정수 화소 정밀도를 갖고 있다. 따라서, 수신기들 간의 성능차가 쉽게 일어나지 않으며, 따라서, 서로 다른 수신기들 간의 시간에 따른 차이가 없다. 또, 수신기의 능력에 따른 갱신 프레임들 간의 보간이 자유롭고, 따라서, 수신기를 자유롭게 설계할 수 있다.

"셋톱 박스에 대한 설명"

다시 도 1을 참조로 설명하면, 셋톱 박스(200)는 방송국(100)으로부터 방송파를 통해 송신된 비트 스트림 데이터(전송 스트림)(BSD)를 수신한다. 이 비트 스트림 데이터(BSD)는 좌안 영상 데이터와 우안 영상 데이터를 포함하는 입체 영상 데이터와 오디오 데이터를 포함한다. 이 비트 스트림 데이터(BSD)도 서브타이틀(캡션)을 표시하는 입체 영상에 대한 서브타이틀 데이터(표시 제어 정보를 포함함)를 포함한다.

셋톱 박스(200)는 비트 스트림 처리부(201)를 포함한다. 이 비트 스트림 처리부(201)는 비트 스트림 데이터(BSD)로부터 입체 영상 데이터, 오디오 데이터 및 서브타이틀 데이터를 추출한다. 이 비트 스트림 처리부(201)는 입체 영상 데이터, 오디오 데이터 및 서브타이틀 데이터를 이용하여 서브타이틀이 중첩된 입체 영상 데이터를 생성한다.

이 경우에, 좌안 영상에 중첩될 좌안 서브타이틀과 우안 영상에 중첩될 우안 서브타이틀 간에 시차가 제공될 수 있다. 예컨대, 전술한 바와 같이, 방송국(100)으로부터 송신된 입체 영상 서브타이틀 데이터는 좌안 서브타이틀과 우안 서브타이틀 간에 시차가 제공된 상태로 생성될 수 있다. 또, 전술한 바와 같이, 방송국(100)으로부터 송신된 입체 영상 서브타이틀 데이터에 부가된 표시 제어 정보는 시차 정보를 포함하며, 이 시차 정보에 기초하여 좌안 서브타이틀과 우안 서브타이틀 간에 시차가 제공될 수 있다. 따라서, 좌안 서브타이틀과 우안 서브타이틀 간에 시차를 제공함으로써 사용자는 서브타이틀(캡션)을 영상보다 더 가까이 인식할 수 있다.

도 27의 (a)는 영상 상의 서브타이틀(캡션)의 표시예를 보여준다. 이 표시예는 캡션이 배경과 클로우즈업 물체로 구성된 영상에 중첩되는 예이다. 도 27의 (b)는 배경, 클로우즈업 물체, 및 가장 가깝게 인식되는 캡션의 원근을 보여준다.

도 28의 (a)는, 도 27의 (a)와 마찬가지로, 영상 상의 서브타이틀(캡션)의 표시예를 보여준다. 도 28의 (b)는 좌안 영상에 중첩될 좌안 캡션(LGI)과 우안 영상에 중첩될 우안 캡션(RGI)을 보여준다. 도 28의 (c)는 좌안 캡션(LGI)과 우안 캡션(RGI) 간에 시차가 주어져 캡션이 가장 가깝게 인식되는 것을 보여준다.

"셋톱 박스의 구성예"

셋톱 박스(200)의 구성예에 대해 설명한다. 도 29는 셋톱 박스(200)의 구성예를 보여준다. 이 셋톱 박스(200)는 비트 스트림 처리부(201), HDMI 단자(202), 안테나 단자(203), 디지털 튜너(204), 비디오 신호 처리 회로(205), HDMI 송신부(206) 및 오디오 신호 처리 회로(207)를 포함한다. 또, 이 셋톱 박스(200)는 CPU(211), 플래시 ROM(212), DRAM(213), 내부 버스(214), 원격 제어 수신부(215) 및 원격 제어 송신기(216)를 포함한다.

안테나 단자(203)는 수신 안테나(미도시)에 수신된 텔레비전 방송 신호를 입력하는 단자이다. 디지털 튜너(204)는 안테나 단자(203)에 입력된 텔레비전 방송 신호를 처리하고, 사용자가 선택한 채널에 대응하는 소정의 비트 스트림 데이터(전송 스트림)(BSD)를 출력한다.

비트 스트림 처리부(201)는 비트 스트림 데이터(BSD)로부터 입체 영상 데이터, 오디오 데이터, (표시 제어 정보를 포함하는) 입체 영상 서브타이틀 데이터 등을 추출한다. 비트 스트림 처리부(201)는 오디오 데이터를 출력한다. 이 비트 스트림 처리부(201)는 또한 표시 데이터와, 입체 영상에 관한 좌안 서브타이틀 및 우안 서브타이틀을 합성하여 서브타이틀이 중첩된 입체 영상을 출력한다. 표시 제어 정보는 좌안 SR 및 우안 SR에 대한 영역 정보, 목표 프레임 정보 및 시차 정보를 포함한다.

이 경우에, 비트 스트림 처리부(201)는 (하위 영역에 대한 표시 제어 정보를 제외한) 서브타이틀 데이터에 기초하여 좌안 서브타이틀 및 우안 서브타이틀을 표시하기 위해 그 영역에 대한 표시 데이터를 생성한다. 그러면, 비트 스트림 처리부(201)는 좌안 SR 및 우안 SR의 영역 정보에 기초하여, 이 영역의 표시 데이터로부터 좌안 SR에 대응하는 표시 데이터와 우안 SR에 대응하는 표시 데이터를 추출한다.

그러면, 비트 스트림 처리부(201)는 좌안 SR 및 우안 SR에 대응하는 표시 데이터를 입체 영상 데이터에 중첩시켜 출력 입체 영상 데이터(표시를 위한 입체 영상 데이터)를 얻는다. 이 경우에, 좌안 SR에 대응하는 표시 데이터는 좌안 SR의 목표 프레임 정보인 프레임0으로 나타낸 프레임부(좌안 영상 프레임부)에 중첩된다. 또한, 우안 SR에 대응하는 표시 데이터는 우안 SR의 목표 프레임 정보인 프레임1로 나타낸 프레임부(우안 영상 프레임부)에 중첩된다. 이때, 비트 스트림 처리부(201)는 좌안 SR 내의 좌안 서브타이틀과 우안 SR 내의 우안 서브타이틀의 서브타이틀 표시 위치(중첩 위치)의 시프트 조정을 수행한다.

비디오 신호 처리부(205)는 비트 스트림 처리부(201)에서 얻은 출력 입체 영상 데이터에 대해 필요에 따라 영상 품질 조정 처리를 실시하고, 이 처리 후에 출력 입체 영상 데이터를 HDMI 송신부(206)에 공급한다. 오디오 신호 처리 회로(207)는 비트 스트림 처리부(201)로부터 출력된 오디오 데이터에 대해 필요에 따라 오디오 품질 조정 처리를 실시하고, 이 처리 후에 오디오 데이터를 HDMI 송신부(206)에 공급한다.

HDMI 송신부(206)는 HDMI 단자(202)로부터 예컨대 미압축 영상 데이터 및 오디오 데이터를 HDMI에 맞는 통신을 통해 송신한다. 이 경우, 데이터는 HDMI TMDS 채널을 통해 송신되므로 영상 데이터와 오디오 데이터에 대해 패킹이 실시되고, HDMI 송신부(206)로부터 HDMI 단자(202)로 출력된다.

예컨대, 방송국(100)으로부터의 입체 영상 데이터의 송신 형식이 사이드 바이 사이드 형식인 경우에, TMDS 송신 형식은 사이드 바이 사이드 형식이다(도 24 참조). 또, 방송국(100)으로부터의 입체 영상 데이터의 송신 형식이 톱&보텀 형식인 경우에, TMDS 송신 형식은 톱&보텀 형식이다. 또, 방송국(100)으로부터의 입체 영상 데이터의 송신 형식이 MVC 형식인 경우에, TMDS 송신 형식은 프레임 패킹 형식이다(도 25 참조).

CPU(211)는 셋톱 박스(200)의 각 부의 동작을 제어한다. 플래시 ROM(212)은 제어 소프트웨어와 데이터를 저장한다. DRAM(213)은 CPU(211)의 작업 영역을 구성한다. CPU(211)는 플래시 ROM(212)로부터 읽어낸 소프트웨어와 데이터를 DRAM(213)으로 로드하고, 이 소프트웨어를 기동시켜 셋톱 박스(200)의 각 부를 제어한다.

원격 제어 수신부(215)는 원격 제어 송신기(216)로부터 송신된 원격 제어 신호(원격 제어 코드)를 수신하여 CPU(211)에 공급한다. CPU(211)는 이 원격 제어 코드에 기초하여 셋톱 박스(200)의 각 부를 제어한다. CPU(211), 플래시 ROM(212) 및 DRAM(213)은 내부 버스(214)에 연결되어 있다.

셋톱 박스(200)의 동작에 대해 간략히 설명한다. 안테나 단자(203)에 입력된 텔레비전 방송 신호는 디지털 튜너(204)에 공급된다. 이 디지털 튜너(204)에서는 텔레비전 방송 신호가 처리되고, 사용자가 선택한 채널에 대응하는 소정의 비트 스트림 데이터(전송 스트림)(BSD)가 출력된다.

디지털 튜너(204)로부터 출력된 비트 스트림 데이터(BSD)는 비트 스트림 처리부(201)에 공급된다. 이 비트 스트림 처리부(201)에서는 비트 스트림 데이터(BSD)로부터 입체 영상 데이터, 오디오 데이터, (표시 제어 정보를 포함하는) 입체 영상 서브타이틀 데이터 등이 추출된다. 비트 스트림 처리부(201)에서는 좌안 서브타이틀과 우안 서브타이틀의 표시 데이터(비트맵 데이터)가 입체 영상에 대해 합성되어, 서브타이틀이 중첩된 출력 입체 영상이 얻어진다.

비트 스트림 처리부(201)에서 생성된 출력 입체 영상은 비디오 신호 처리 회로(205)에 공급된다. 이 비디오 신호 처리 회로(205)에서는 출력 입체 영상 데이터에 대해 필요에 따라 영상 품질 조정 등이 실시된다. 이 처리 후에 비디오 신호 처리 회로(205)로부터 출력된 출력 입체 영상 데이터는 HDMI 송신부(206)에 공급된다.

또, 비트 스트림 처리부(201)에서 얻은 오디오 데이터는 오디오 신호 처리 회로(207)에 공급된다. 오디오 신호 처리 회로(207)에서는 오디오 데이터에 대해 필요에 따라 오디오 품질 조정 처리가 실시된다. 이 처리 후에 오디오 신호 처리 회로(207)로부터 출력된 오디오 데이터는 HDMI 송신부(206)에 공급된다. HDMI 송신부(206)에 공급된 입체 영상 데이터 및 오디오 데이터는 HDMI TMDS 채널을 통해 HDMI 단자(202)로부터 HDMI 케이블(400)로 송신된다.

"비트 스트림 처리부의 구성예"

도 30은 비트 스트림 처리부(201)의 구성예를 보여준다. 이 비트 스트림 처리부(201)는 도 2에 도시된 송신 데이터 생성부(110)에 대응하도록 구성된다. 이 비트 스트림 처리부(201)는 디멀티플렉서(221), 비디오 디코더(222) 및 오디오 디코더(229)를 포함한다. 또, 비트 스트림 처리부(201)는 서브타이틀 디코더(223), 입체 영상 서브타이틀 생성부(224), 표시 제어부(225), 표시 제어 정보 획득부(226), 시차 정보 처리부(227) 및 비디오 중첩부(228)를 포함한다.

디멀티플렉서(221)는 비트 스트림 데이터(BSD)로부터 비디오, 오디오 및 서브타이틀에 대한 패킷을 추출하여 디코더들에 전송한다. 디멀티플렉서(221)는 비트 스트림 데이터(BSD)에 삽입된 PMT, EIT 등의 정보를 추출하여 CPU(211)에 전송함에 유의한다. 전술한 바와 같이, EIT 아래에 있는 성분 서술자에는 Stream_content('0x03'=DVBsubtitles)&(3D 타겟에 대한)Component_type이 서술된다. 따라서, 서브타이틀 데이터 스트림에 입체 영상 서브타이틀이 포함된다는 사실이 인식될 수 있다. 따라서, CPU(211)는 이 서술에 따라서 서브타이틀 데이터 스트림에 입체 영상 서브타이틀이 포함된다는 것을 인식할 수 있다.

비디오 디코더(222)는 전술한 송신 데이터 생성부(110)의 비디오 인코더(112)의 것과 반대되는 처리를 수행한다. 즉, 디멀티플렉서(221)에서 추출된 비디오 패킷으로부터 비디오 데이터 스트림이 재구성되고, 디코딩 처리를 실시하여 좌안 영상 데이터와 우안 영상 데이터를 포함하는 입체 영상 데이터를 얻는다. 이 입체 영상 데이터에 대한 송신 형식은 예컨대 사이드 바이 사이드 형식, 톱&보텀 형식, 프레임 시퀀셜 형식, MVC 형식 등이다.

서브타이틀 디코더(223)는 전술한 송신 데이터 생성부(110)의 서브타이틀 인코더(118)의 것과 반대되는 처리를 수행한다. 즉, 이 서브타이틀 디코더(223)는 디멀티플렉서(221)에서 추출된 서브타이틀 패킷으로부터 서브타이틀 데이터 스트림을 재구성하고, 디코딩 처리를 실시하여 (표시 제어 정보를 포함하는) 입체 영상 서브타이틀 데이터를 얻는다. 입체 영상 서브타이틀 생성부(224)는 (표시 제어 정보를 제외한) 입체 영상 서브타이틀 데이터에 기초하여, 입체 영상 데이터에 중첩될 좌안 서브타이틀 및 우안 서브타이틀의 표시 데이터(비트맵 데이터)를 생성한다. 이 입체 영상 서브타이틀 생성부(224)는 표시 데이터 생성부를 구성한다.

표시 제어부(225)는 표시 제어 정보(좌안 SR 및 우안 SR 영역 정보, 목표 프레임 정보 및 시차 정보)에 기초하여, 입체 영상 데이터에 중첩될 표시 데이터를 제어한다. 즉, 표시 제어부(225)는 좌안 SR과 우안 SR의 영역 정보에 기초하여, 입체 영상 데이터에 중첩될 좌안 서브타이틀 및 우안 서브타이틀의 표시 데이터(비트맵 데이터)로부터 좌안 SR에 대응하는 표시 데이터와 우안 SR에 대응하는 표시 데이터를 추출한다.

또, 표시 제어부(225)는 좌안 SR 및 우안 SR에 대응하는 표시 데이터를 비디오 중첩부(228)에 공급하여 입체 영상 데이터에 중첩시킨다. 이 경우, 좌안 SR에 대응하는 표시 데이터는 좌안 SR의 목표 프레임 정보인 프레임0으로 나타낸 프레임부(좌안 영상 프레임부)에 중첩된다. 또한, 우안 SR에 대응하는 표시 데이터는 우안 SR의 목표 프레임 정보인 프레임1로 나타낸 프레임부(우안 영상 프레임부)에 중첩된다. 이때, 표시 제어부(225)는 시차 정보에 기초하여 좌안 SR 내의 좌안 서브타이틀과 우안 SR 내의 우안 서브타이틀의 표시 위치(중첩 위치)의 시프트 조정을 수행한다.

표시 제어 정보 획득부(226)는 서브타이틀 데이터 스트림으로부터 표시 제어 정보(영역 정보, 목표 프레임 정보 및 시차 정보)를 얻는다. 이 표시 제어 정보는 캡션 표시 기간 중에 공통으로 이용되는 시차 정보를 포함한다(도 18에서 "subregion_disparity" 참조). 또, 이 표시 제어 정보는 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보를 포함한다(도 21에서 "disparity_update" 참조). 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보는 서브타이틀 표시 기간 내의 제1 프레임의 시차 정보와 그 후의 각 갱신 프레임 간격(updating frame spacings)에서의 프레임의 시차 정보로 구성된다.

시차 정보 처리부(227)는 표시 제어 정보에 포함된 영역 정보와 목표 프레임 정보와, 추가로 캡션 표시 기간 중에 공통으로 이용된 시차 정보를 그대로 표시 제어부(225)에 송신한다. 반면에, 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보에 대해서는, 시차 정보 처리부(227)는 캡션 표시 기간 중에 임의의 프레임 간격으로, 예컨대 1 프레임 간격으로 시차 정보를 생성하고 이를 표시 제어부(225)에 송신한다.

시차 정보 처리부(227)는 보간 처리에 따른 소정 프레임 간격에서의 시차 정보 변화가 시간 방향(프레임 방향)으로 완만해지도록 선형 보간 처리가 아닌, 시간 방향(프레임 방향)으로 로우 패스 필터(LPF) 처리와 관련한 보간 처리를 수행한다. 도 31은 시차 정보 처리부(227)에서의 전술한 LPF 처리와 관련된 보간 처리의 예를 보여준다. 이 예는 전술한 도 23에서의 시차 정보의 갱신예에 대응한다.

그러면, 캡션 표시 기간 중에 공통으로 이용된 시차 정보(시차 벡터)만이 시차 정보 처리부(227)로부터 전송되는 경우에, 표시 제어부(225)는 이 시차 정보를 이용한다. 또, 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보가 시차 정보 처리부(227)로부터 더 전송되는 경우에, 시차 정보 처리부(227)는 이 2개의 시차 정보 중 어느 한쪽을 이용한다.

어느 쪽을 이용하는가는 수신측(디코더)에서 캡션 표시에 필수적인, 확장된 표시 제어 데이터 유닛에 포함된 정보(시차 정보(disparity)의 상관도를 나타내는 "rendering_level")에 의해 구속된다. 이 경우에, 예컨대 "00"의 경우, 사용자 설정이 그대로 적용된다. 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보를 이용하면 좌안 서브타이틀과 우안 서브타이틀에 적용될 시차가 영상의 콘텐츠의 변경과 함께 동적으로 변경될 수 있다.

비디오 중첩부(228)는 출력 입체 영상 데이터(Vout)를 얻는다. 이 경우, 비디오 중첩부(228)는 표시 제어부(225)에 의해 시프트 조정을 받은 좌안 SR 및 우안 SR의 표시 데이터(비트맵 데이터)를 대응하는 목표 프레임부에서 비디오 디코더(222)에서 얻은 입체 영상 데이터와 중첩시킨다. 그런 다음에 비디오 중첩부(228)는 비트 스트림 처리부(201)로부터 출력 입체 영상 데이터(Vout)를 외부로 출력한다.

또, 오디오 디코더(229)는 전술한 송신 데이터 생성부(110)의 오디오 인코더(113)의 것과 반대의 처리를 수행한다. 즉, 오디오 디코더(229)는 디멀티플렉서(221)에서 추출된 오디오 패킷으로부터 오디오 기본 스트림을 재구성하고, 디코딩 처리를 실시하여 오디오 데이터(Aout)를 얻는다. 그러면 오디오 디코더(229)는 비트 스트림 처리부(201)로부터 오디오 데이터(Aout)를 외부로 출력한다.

도 30에 도시된 비트 스트림 처리부(201)의 동작에 대해 간략히 설명한다. 디지털 튜너(도 29 참조)로부터 출력된 비트 스트림 데이터(BSD)는 디멀티플렉서(221)에 공급된다. 디멀티플렉서(221)에서는 비트 스트림 데이터(BSD)로부터 비디오, 오디오 및 서브타이틀의 패킷이 추출되어 디코더들에 공급된다.

디멀티플렉서(221)에서 추출된 비디오 패킷으로부터의 비디오 데이터 스트림이 비디오 디코더(222)에서 재구성되고, 디코딩 처리를 받아 좌안 영상 데이터와 우안 영상 데이터를 포함하는 입체 영상 데이터를 얻는다. 이 입체 영상 데이터는 표시 제어 정보 획득부(226)에 공급된다.

또, 서브타이틀 디코더(223)에서는 디멀티플렉서(221)에서 추출된 서브타이틀 패킷으로부터 서브타이틀 데이터 스트림이 재구성되고, 디코딩 처리가 실시되어 (표시 제어 정보를 포함하는) 입체 영상 서브타이틀 데이터를 얻는다. 이 서브타이틀 데이터는 입체 영상 서브타이틀 생성부(224)에 공급된다.

입체 영상 서브타이틀 생성부(224)에서는 (표시 제어 정보를 제외한) 입체 영상 서브타이틀 데이터에 기초하여, 입체 영상 데이터에 중첩될 좌안 서브타이틀과 우안 서브타이틀의 표시 데이터(비트맵 데이터)가 생성된다. 이 표시 데이터는 표시 제어부(225)에 공급된다.

또, 표시 제어 정보 획득부(226)에서는 서브타이틀 데이터 스트림으로부터 표시 제어 정보(영역 정보, 목표 프레임 정보 및 시차 정보)가 얻어진다. 이 표시 제어 정보는 시차 정보 처리부(227)를 통해 표시 제어부(225)에 공급된다. 이때, 시차 정보 처리부(227)는 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보에 대해 하기의 처리를 실시한다. 즉, 시차 정보 처리부(227)에서 시간 방향(프레임 방향)으로의 LPF 처리와 관련한 보간 처리가 실시되어, 캡션 표시 기간 중에 임의의 프레임 간격으로, 예컨대 1 프레임 간격으로 시차 정보를 생성하고 이를 표시 제어부(225)에 송신한다.

표시 제어부(225)에서는 표시 제어 정보(좌안 SR 및 우안 SR의 영역 정보, 목표 프레임 정보 및 시차 정보)에 기초하여 입체 영상 데이터에 관한 표시 데이터의 중첩이 제어된다. 즉, 입체 영상 서브타이틀 생성부(224)에서 생성된 표시 데이터로부터 좌안 SR 및 우안 SR의 표시 데이터가 추출되어 시프트 조정을 받는다. 이어서, 좌안 SR 및 우안 SR의 시프트 조정된 표시 데이터는 비디오 중첩부(228)에 공급되어 입체 영상 데이터의 목표 프레임에 중첩된다.

비디오 중첩부(228)에서는 표시 제어부(225)에서 시프트 조정된 표시 데이터가 비디오 디코더(222)에서 얻은 입체 영상 데이터에 중첩되어 출력 입체 영상 데이터(Vout)를 얻는다. 이 출력 입체 영상 데이터(Vout)는 비트 스트림 처리부(201)로부터 외부로 출력된다.

또, 오디오 디코더(229)에서는 디멀티플렉서(221)에서 추출된 오디오 패킷으로부터 오디오 기본 스트림이 재구성되고, 디코딩 처리가 실시되어 전술한 표시를 위한 입체 영상 데이터(Vout)에 대응하는 오디오 데이터(Aout)를 얻는다. 이 오디오 데이터(Aout)는 비트 스트림 처리부(201)로부터 외부로 출력된다.

도 29에 도시된 셋톱 박스(200)에서, 디지털 튜너(204)로부터 출력된 비트 스트림 데이터(BSD)는 비디오 데이터 스트림과 서브타이틀 데이터 스트림을 가진 멀티플렉싱된 데이터 스트림이다. 비디오 데이터 스트림은 입체 영상 데이터를 포함한다. 또, 서브타이틀 데이터 스트림은 입체 영상 데이터의 송신 형식에 대응하는 (3차원 영상에 대한) 입체 영상 데이터에 대한 서브타이틀 데이터를 포함한다.

이 입체 영상 서브타이틀 데이터는 좌안 서브타이틀 데이터와 우안 서브타이틀 데이터를 포함한다. 따라서, 비트 스트림 처리부(201)의 입체 영상 서브타이틀 생성부(224)는 입체 영상 데이터가 가진 좌안 영상 데이터에 중첩될 좌안 서브타이틀에 대한 표시 데이터를 쉽게 생성할 수 있다. 또, 비트 스트림 처리부(201)의 입체 영상 서브타이틀 생성부(224)는 입체 영상 데이터가 가진 우안 영상 데이터에 중첩될 우안 서브타이틀에 대한 표시 데이터를 쉽게 생성할 수 있다. 따라서, 처리가 더 쉬워질 수 있다.

또, 도 29에 도시된 셋톱 박스(200)에서, 디지털 튜너(204)로부터 출력된 비트 스트림 데이터(BSD)는 입체 영상 데이터와 입체 영상 서브타이틀 데이터 이외에도 표시 제어 정보를 포함한다. 이 표시 제어 정보는 좌안 SR 및 우안 SR에 관한 표시 제어 정보(영역 정보, 목표 프레임 정보 및 시차 정보)를 포함한다. 따라서, 좌안 SR 내의 좌안 서브타이틀과 우안 SR 내의 우안 서브타이틀만을 각자의 목표 프레임에 쉽게 중첩 표시할 수 있다. 또, 좌안 SR 내의 좌안 서브타이틀과 우안 SR 내의 서브타이틀의 표시 위치에는 시차가 제공될 수 있으며, 따라서, 어느 서브타이틀(캡션)이 표시되고 있는지에 관한 영상 내의 물체들 간의 원근 일관성이 최적 상태로 유지될 수 있다.

또, 도 29에 도시된 셋톱 박스(200)에서, 캡션 표시 기간 내에서 순차적으로 갱신된 시차 정보가 비트 스트림 처리부(201)의 표시 제어 정보 획득부(226)에서 얻은 표시 제어 정보에 포함된 경우에는 표시 제어부(225)는 좌안 SR 내의 좌안 서브타이틀과 우안 SR 내의 우안 서브타이틀의 표시 위치를 동적으로 제어할 수 있다. 따라서, 좌안 서브타이틀과 우안 서브타이틀에 적용된 시차가 영상의 콘텐츠의 변경과 함께 동적으로 변경될 수 있다.

또, 도 29에 도시된 셋톱 박스(200)에서, 캡션 표시 기간(소정 수의 프레임의 기간) 내에 순차적으로 갱신된 시차 정보를 구성하는 복수의 시차 정보 프레임에 대해 보간 처리가 실시된다. 이 경우에, 각 갱신 프레임 간격에서 송신측으로부터 시차 정보가 송신되는 경우, 좌안 서브타이틀과 우안 서브타이틀 간에 제공될 시차는 미세 간격으로, 예컨대 프레임마다 제어될 수 있다.

또, 도 29에 도시된 셋톱 박스(200)에서, 비트 스트림 처리부(201)의 시차 정보 처리부(227)에서의 보간 처리는 시간 방향(프레임 방향)으로의 로우 패스 필터 처리와 관련하여 실시된다. 따라서, 각 갱신 프레임 간격에서 송신측으로부터 시차 정보가 송신되는 경우에도 시간 방향으로의 보간 처리에 따른 시차 정보의 변화가 완만해질 수 있으며, 각 갱신 프레임 간격에서 불연속적으로 되는, 좌안 서브타이틀과 우안 서브타이틀 간에 적용된 시차의 전이의 부자연스러운 느낌이 억제될 수 있다.

"텔레비전 수상기에 대한 설명"

다시 도 1을 참조로 설명하면, 텔레비전 수상기(300)는 셋톱 박스(200)로부터 HDMI 케이블(400)을 통해 송신된 입체 영상 데이터를 수신한다. 이 텔레비전 수상기(300)는 3D 신호 처리부(301)를 포함한다. 이 3D 신호 처리부(301)는 입체 영상 데이터에 대해 좌안 영상 데이터와 우안 영상 데이터를 생성하는 송신 방법에 대응하는 처리(디코딩 처리)를 실시한다.

"텔레비전 수상기의 구성예"

텔레비전 수상기(300)의 구성예에 대해 설명한다. 도 32는 텔레비전 수상기(300)의 구성예를 보여준다. 이 텔레비전 수상기(300)는 3D 신호 처리부(301), HDMI 단자(302), HDMI 수신부(303), 안테나 단자(304), 디지털 튜너(305) 및 비트 스트림 처리부(306)를 포함한다.

또, 이 텔레비전 수상기(300)는 비디오 및 그래픽 처리 회로(307), 패널 구동 회로(308), 표시 패널(309), 오디오 신호 처리 회로(310), 오디오 증폭기 회로(311) 및 스피커(312)를 포함한다. 또, 이 텔레비전 수상기(300)는 CPU(321), 플래시 ROM(322), DRAM(323), 내부 버스(324), 원격 제어 수신부(325) 및 원격 제어 송신기(326)를 포함한다.

안테나 단자(304)는 수신 안테나(미도시)에 수신된 텔레비전 방송 신호를 입력하는 단자이다. 디지털 튜너(305)는 안테나 단자(304)에 입력된 텔레비전 방송 신호를 처리하고, 사용자가 선택한 채널에 대응하는 소정의 비트 스트림 데이터(전송 스트림)를 출력한다. 비트 스트림 처리부(306)는 비트 스트림 데이터(BSD)로부터 입체 영상 데이터, 오디오 데이터, (표시 제어 정보를 포함하는) 입체 영상 서브타이틀 데이터 등을 추출한다.

또, 비트 스트림 처리부(306)는 셋톱 박스(200)의 비트 스트림 처리부(201)와 동일하게 구성된다. 이 비트 스트림 처리부(306)는 좌안 서브타이틀 및 우안 서브타이틀의 표시 데이터를 입체 영상 데이터에 합성하여 서브타이틀이 중첩된 출력 입체 영상을 생성하여 출력한다. 입체 영상 데이터의 송신 형식이 예컨대 사이드 바이 사이드 형식이나 톱&보텀 형식인 경우에는 비트 스트림 처리부(306)는 스케일링 처리를 실시하여 완전 해상도의 좌안 영상 데이터 및 우안 영상 데이터를 출력함에 유의한다(도 24 내지 도 26에서 텔레비전 수상기(300) 부분을 참조). 또한, 비트 스트림 처리부(306)는 오디오 데이터를 출력한다.

HDMI 수신부(303)는 HDMI 단자(302)에 공급된 미압축 영상 데이터 및 오디오 데이터를 HDMI 케이블(400)을 통해 HDMI에 맞는 통신에 따라 수신한다. 이 HDMI 수신부(303)는 그 버전이 예컨대 HDMI 1.4a이며, 입체 영상 데이터가 처리될 수 있는 상태에 있다.

3D 신호 처리부(301)는 HDMI 수신부(303)에서 수신된 입체 영상 데이터에 대해 디코딩 처리를 실시하여 완전 해상도 좌안 영상 데이터 및 우안 영상 데이터를 생성한다. 3D 신호 처리부(301)는 TMDS 송신 데이터 형식에 대응하는 디코딩 처리를 실시한다. 3D 신호 처리부(301)는 비트 스트림 처리부(306)에서 얻은 완전 해상도 좌안 영상 데이터와 우안 영상 데이터에 대해서는 아무 것도 하지 않음에 유의한다.

비디오 및 그래픽 처리 회로(307)는 3D 신호 처리부(301)에서 생성된 좌안 영상 데이터 및 우안 영상 데이터에 기초하여 입체 영상을 표시하기 위한 영상 데이터를 생성한다. 또, 비디오 및 그래픽 처리 회로(307)는 영상 데이터에 대해 필요에 따라 영상 품질 조정 처리를 실시한다. 또, 비디오 및 그래픽 처리 회로(307)는 필요에 따라 영상 데이터에 관한 메뉴, 프로그램 리스팅 등의 중첩 정보 데이터를 합성한다. 패널 구동 회로(308)는 비디오 및 그래픽 처리 회로(307)로부터 출력된 영상 데이터에 기초하여 표시 패널(309)을 구동한다. 표시 패널(309)은 예컨대 LCD(Liquid Crystal Display), PDP(Plasma Display Panel) 등으로 구성된다.

오디오 신호 처리 회로(310)는 HDMI 수신부(303)에서 수신된 또는 비트 스트림 처리부(306)에서 얻은 오디오 데이터에 대해 D/A 변환 등의 필요한 처리를 실시한다. 오디오 증폭기 회로(311)는 오디오 신호 처리부(310)로부터 출력된 오디오 신호를 증폭하여 스피커(312)에 공급한다.

CPU(321)는 텔레비전 수상기(300)의 각 부의 동작을 제어한다. 플래시 ROM(322)은 제어 소프트웨어와 데이터를 저장한다. DRAM(323)은 CPU(321)의 작업 영역을 구성한다. CPU(321)는 플래시 ROM(322)로부터 읽어낸 소프트웨어와 데이터를 DRAM(323)으로 로드하고, 이 소프트웨어를 기동시켜 텔레비전 수상기(300)의 각 부를 제어한다. 원격 제어 수신부(325)는 원격 제어 송신기(326)로부터 송신된 원격 제어 신호(원격 제어 코드)를 수신하여 CPU(321)에 공급한다. CPU(321)는 이 원격 제어 코드에 기초하여 텔레비전 수상기(300)의 각 부를 제어한다. CPU(321), 플래시 ROM(322) 및 DRAM(323)은 내부 버스(324)에 연결되어 있다.

도 32에 도시된 텔레비전 수상기(300)의 동작에 대해 간략히 설명한다. HDMI 수신부(303)는 HDMI 케이블(400)을 통해 HDMI 단자(302)에 연결된 셋톱 박스(200)로부터 송신된 입체 영상 데이터와 오디오 데이터를 수신한다. 이 HDMI 수신부(303)에서 수신된 이 입체 영상 데이터는 3D 신호 처리부(301)에 공급된다. 또, 이 HDMI 수신부(303)에서 수신된 오디오 데이터는 오디오 신호 처리부(310)에 공급된다.

안테나 단자(304)에 입력된 텔레비전 방송 신호는 디지털 튜너(305)에 공급된다. 이 디지털 튜너(305)에서는 텔레비전 방송 신호가 처리되고, 사용자가 선택한 채널에 대응하는 소정의 비트 스트림 데이터(전송 스트림)(BSD)가 출력된다.

디지털 튜너(305)로부터 출력된 비트 스트림 데이터(BSD)는 비트 스트림 처리부(306)에 공급된다. 이 비트 스트림 처리부(306)에서는 비트 스트림 데이터(BSD)로부터 입체 영상 데이터, 오디오 데이터, (표시 제어 정보를 포함하는) 입체 영상 서브타이틀 데이터 등이 추출된다. 또, 이 비트 스트림 처리부(306)에서는 좌안 서브타이틀과 우안 서브타이틀의 표시 데이터가 합성되어, 서브타이틀이 중첩된 출력 입체 영상 데이터(완전 해상도 좌안 영상 데이터와 우안 영상 데이터)가 생성된다. 이 출력 입체 영상 데이터는 3D 신호 처리부(301)를 통해 비디오 및 그래픽 처리 회로(307)에 공급된다.

3D 신호 처리부(301)에서는 HDMI 수신부(303)에서 수신된 입체 영상 데이터에 대해 디코딩 처리가 실시되어 완전 해상도 좌안 영상 데이터와 우안 영상 데이터가 생성된다. 좌안 영상 데이터와 우안 영상 데이터는 비디오 및 그래픽 처리 회로(307)에 공급된다. 이 비디오 및 그래픽 처리 회로(307)에서는 좌안 영상 데이터와 우안 영상 데이터에 기초하여 입체 영상 표시를 위한 영상 데이터가 생성되고, 필요에 따라 영상 품질 조정과 OSD(on-screen display)와 같은 중첩 정보 데이터의 합성 처리도 실시된다.

비디오 및 그래픽 처리 회로(307)에서 얻은 영상 데이터는 패널 구동 회로(308)에 공급된다. 이에 따라서, 표시 채널(309) 상에 입체 영상이 표시된다. 예컨대 좌안 영상 데이터에 따른 좌안 영상과 우안 영상 데이터에 따른 우안 영상은 시분할 방식으로 교대로 표시된다. 시청자는 좌안에 의해서는 좌안 영상만을, 우안에 의해서는 우안 영상만을 볼 수 있고, 결과적으로, 좌안 셔터와 우안 셔터가 표시 패널(309)의 표시와 동기하여 교대로 열리는 셔터 안경을 착용하여 입체 영상을 느낄 수 있다.

또, 비트 스트림 처리부(306)에서 얻은 오디오 데이터는 오디오 신호 처리 회로(310)에 공급된다. 오디오 신호 처리 회로(310)에서는 HDMI 수신부(303)에서 수신된 또는 비트 스트림 처리부(306)에서 얻은 오디오 데이터에 대해 D/A 변환 등의 필요한 처리를 실시한다. 이 오디오 데이터는 오디오 증폭기 회로(311)에서 증폭된 다음에 스피커(312)에 공급된다. 이에 따라서, 표시 패널(309)의 표시 영상에 대응하는 오디오가 스피커(312)로부터 출력된다.

"송신 데이터 생성부와 비트 스트림 처리부의 다른 구성(1)"

"송신 데이터 생성부의 구성예"

도 33은 방송국(100)(도 1 참조)측의 송신 데이터 생성부(110A)의 구성예를 보여준다. 이 송신 데이터 생성부(110A)는 기존 방송 표준인 ARIB(Association of Radio Industries and Businesses) 형식과 쉽게 호환될 수 있는 데이터 구조를 가진 시차 정보(시차 벡터)를 송신한다. 송신 데이터 생성부(110A)는 데이터 추출부(아카이빙부(121), 비디오 인코더(122), 오디오 인코더(123), 캡션 생성부(124), 시차 정보 작성부(125), 캡션 인코더(126), 캡션 인코더(168) 및 멀티플렉서(127)를 포함한다.

데이터 기록 매체(121a)는 예컨대 데이터 추출부(121)에 착탈식으로 장착되어 있다. 이 데이터 기록 매체(121a)는 오디오 데이터 및 시차 정보를 좌안 영상데이터와 우안 영상 데이터를 포함하는 입체 영상 데이터와 함께 도 2에 도시된 송신 데이터 생성부(110)의 데이터 추출부(111)에서의 데이터 기록 매체(111a)와 동일하게 상관적으로 기록하고 있다. 데이터 추출부(121)는 데이터 기록 매체(121a)로부터 입체 영상 데이터, 오디오 데이터, 시차 정보 등을 추출한다. 데이터 기록 매체(121a)는 디스크형 기록 매체, 반도체 메모리 등이다.

다시 도 33을 참조로 설명하면, 캡션 생성부(124)는 캡션 데이터(ARIB 형식 캡션 텍스트 데이터)를 생성한다. 캡션 인코더(126)는 캡션 생성부(124)에서 생성된 캡션 데이터를 포함하는 캡션 데이터 스트림(캡션 기본 스트림)을 생성한다. 도 34의 (a)는 캡션 데이터 스트림의 구성예를 보여준다. 이 예는 "제1 캡션 유닛", "제2 캡션 유닛" 및 "제3 캡션 유닛"의 3개 캡션 유닛(captions)이 도 34의 (b)에 도시된 바와 같이 동일 스크린 상에 표시되는 예이다.

각 캡션 유닛의 캡션 데이터는 캡션 스트림 데이터에 캡션 텍스트 그룹의 캡션 텍스트 데이터(캡션 코드)로서 삽입된다. 도면에는 도시되어 있지 않지만, 캡션 유닛의 표시 영역 등의 설정 데이터는 캡션 데이터 스트림에 캡션 관리 데이터 그룹의 데이터로서 삽입됨에 유의한다. "제1 캡션 유닛", "제2 캡션 유닛" 및 "제3 캡션 유닛"의 캡션 유닛의 표시 영역은 각각 (x1, y1), (x2, y2) 및 (x3, y3)으로 나타낸다.

시차 정보 작성부(125)는 뷰어 기능을 갖고 있다. 이 시차 정보 작성부(125)는 데이터 추출부(121)로부터 출력된 시차 정보, 즉 각 화소(pixel)에 대한 시차 벡터에 대해 다운사이징 처리를 실시하여 소정 영역에 속하는 시차 벡터를 생성한다. 시차 정보 작성부(125)는 전술한 도 2에 도시된 송신 데이터 생성부(110)의 시차 정보 작성부(115)와 동일한 다운사이징 처리를 실시하며, 그 상세 설명은 생략한다.

시차 정보 작성부(125)는 동일 스크린 상에 표시된 소정 수의 캡션 유닛(captions)에 대응하는 시차 벡터를 전술한 다운사이징 처리를 통해 작성한다. 이 경우에, 시차 정보 작성부(125)는 각 캡션 유닛에 대한 시차 벡터(개별 시차 벡터)를 작성하거나 캡션 유닛들 간에 공유되는 시차 벡터(공통 시차 벡터)를 작성한다. 그 선택은 예컨대 사용자 설정에 의한다.

개별 시차 벡터를 작성하는 경우에는 시차 정보 작성부(125)는 각 캡션 유닛의 표시 영역에 기초하여, 상기 다운사이징 처리를 통해 그 표시 영역에 속하는 시차 벡터를 얻는다. 또, 공통 시차 벡터를 작성하는 경우에는 시차 정보 작성부(125)는 상기 다운사이징 처리를 통해 전체 화상(전체 영상)(도 9의 (d) 참조)의 시차 벡터를 얻는다. 공통 시차 벡터를 작성하는 경우에는 시차 정보 작성부(125)는 각 캡션 유닛의 표시 영역에 속하는 시차 벡터를 얻고 최대값을 가진 시차 벡터를 선택하는 구성도 가능함에 유의한다.

전술한 바와 같이, 캡션 인코더(126)는 전술한 바와 같이 시차 정보 작성부(125)에서 작성된 시차 벡터(시차 정보)를 캡션 데이터 스트림에 포함시킨다. 이 경우에, 동일 스크린 상에 표시된 각 캡션 유닛의 캡션 데이터는 캡션 데이터 스트림에서 캡션 텍스트 데이터 그룹의 PES 스트림 내에 캡션 텍스트 데이터(캡션 코드)로서 삽입된다. 또, 시차 벡터(시차 정보)가 이 캡션 데이터 스트림에서 캡션 텍스트 데이터 그룹의 PES 스트림의 캡션 관리 데이터의 PES 스트림 내에 캡션 표시 제어 정보로서 삽입된다.

시차 정보 작성부(125)에서 개별 시차 벡터가 작성되고 캡션 관리 데이터의 PES 스트림에 시차 벡터(시차 정보)가 삽입되는 경우에 대해 설명한다. 여기서는 제1 캡션 유닛", "제2 캡션 유닛" 및 "제3 캡션 유닛"의 3개 캡션 유닛(captions)이 동일 스크린 상에 표시되는 예를 생각한다.

도 35의 (b)에 도시된 바와 같이, 시차 정보 작성부(125)는 캡션 유닛에 대응하는 개별 시차 벡터를 작성한다. "시차 1"은 "제1 캡션 유닛"에 대응하는 시차 벡터이다. "시차 2"는 "제2 캡션 유닛"에 대응하는 시차 벡터이다. "시차 3"은 "제3 캡션 유닛"에 대응하는 시차 벡터이다.

도 35의 (a)는 캡션 인코더(126)에서 생성된 캡션 데이터 스트림(PES 스트림)의 구성예를 보여준다. 캡션 데이터 그룹의 PES 스트림은 여기에 삽입된 각 캡션 유닛의 캡션 텍스트 정보와, 각 캡션 텍스트 정보와 상관된 확장된 표시 제어 정보(데이터 유닛 ID)를 갖고 있다. 또, 캡션 관리 데이터 그룹의 PES 스트림은 여기에 삽입된 각 캡션 유닛의 캡션 텍스트 정보와 상관된 확장된 표시 제어 정보(시차 정보)를 갖고 있다.

캡션 텍스트 데이터 그룹의 확장된 표시 제어 정보(데이터 유닛 ID)는 캡션 관리 데이터 그룹의 각 확장된 표시 제어 정보(시차 정보)를 캡션 텍스트 데이터 그룹의 각 캡션 텍스트 정보와 상관시키는 데 필요하다. 이 경우에, 캡션 관리 데이터 그룹의 각 확장된 표시 제어 정보로서 제공되는 시차 정보는 대응하는 캡션 유닛의 개별 시차 벡터이다. 도면에는 도시되어 있지는 않지만, 각 캡션 유닛의 표시 영역의 설정 데이터는 캡션 관리 데이터 그룹의 PES 스트림에 캡션 관리 데이터(제어 코드)로서 삽입됨에 유의한다. "제1 캡션 유닛", "제2 캡션 유닛" 및 "제3 캡션 유닛"의 캡션 유닛의 표시 영역은 각각 (x1, y1), (x2, y2) 및 (x3, y3)으로 나타낸다.

도 35의 (c)는 각 캡션 유닛(caption)이 중첩된 제1 뷰(1st View), 예컨대 우안 영상을 보여준다. 또, 도 35의 (d)는 각 캡션 유닛(caption)이 중첩된 제2 뷰(2nd View), 예컨대 좌안 영상을 보여준다. 캡션 유닛에 대응하는 개별 시차 벡터는 예를 들어 우안 영상에 중첩된 캡션 유닛과 좌안 영상에 중첩된 캡션 유닛 간에 시차를 제공하는 데 이용된다.

시차 정보 작성부(125)에서 공통 시차 벡터가 작성되고 캡션 관리 데이터의 PES 스트림에 시차 벡터(시차 정보)가 삽입되는 경우에 대해 설명한다. 여기서는 제1 캡션 유닛", "제2 캡션 유닛" 및 "제3 캡션 유닛"의 3개 캡션 유닛(captions)이 동일 스크린 상에 표시되는 예를 생각한다. 도 36의 (b)에 도시된 바와 같이, 시차 정보 작성부(125)는 캡션 유닛들이 공유하는 공통 시차 벡터를 작성한다.

도 36의 (a)는 캡션 인코더(126)에서 생성된 캡션 데이터 스트림(PES 스트림)의 구성예를 보여준다. 캡션 데이터 그룹의 PES 스트림은 여기에 삽입된 각 캡션 유닛의 캡션 텍스트 정보를 갖고 있다. 또, 캡션 관리 데이터 그룹의 PES 스트림은 여기에 삽입된 각 캡션 유닛의 캡션 텍스트 정보에 공통으로 상관된 확장된 표시 제어 정보(시차 정보)를 갖고 있다. 이 경우에, 캡션 관리 데이터 그룹의 각 확장된 표시 제어 정보로서 제공되는 시차 정보는 각 캡션 유닛의 공유 시차 벡터이다.

도면에는 도시되어 있지는 않지만, 각 캡션 유닛의 표시 영역의 설정 데이터 등은 캡션 관리 데이터 그룹의 PES 스트림에 캡션 관리 데이터(제어 코드)로서 삽입됨에 유의한다. "제1 캡션 유닛", "제2 캡션 유닛" 및 "제3 캡션 유닛"의 캡션 유닛의 표시 영역은 각각 (x1, y1), (x2, y2) 및 (x3, y3)으로 나타낸다.

도 36의 (c)는 각 캡션 유닛(caption)이 중첩된 제1 뷰(1st View), 예컨대 우안 영상을 보여준다. 또, 도 36의 (d)는 각 캡션 유닛(caption)이 중첩된 제2 뷰(2nd View), 예컨대 좌안 영상을 보여준다. 캡션 유닛들 간에 공유하는 공통 시차 벡터는 우안 영상에 중첩된 캡션 유닛과 좌안 영상에 중첩된 캡션 유닛 간에 시차를 제공하는 데 이용된다.

다음, 시차 정보 작성부(125)에서 개별 시차 벡터가 작성되고 캡션 텍스트 데이터 그룹의 PES 스트림에 시차 벡터(시차 정보)가 삽입되는 경우에 대해 설명한다. 여기서는 제1 캡션 유닛", "제2 캡션 유닛" 및 "제3 캡션 유닛"의 3개 캡션 유닛(captions)이 동일 스크린 상에 표시되는 예를 생각한다.

도 37의 (b)에 도시된 바와 같이, 시차 정보 작성부(125)는 캡션 유닛에 대응하는 개별 시차 벡터를 생성한다. "시차 1"은 "제1 캡션 유닛"에 대응하는 시차 벡터이다. "시차 2"는 "제2 캡션 유닛"에 대응하는 시차 벡터이다. "시차 3"은 "제3 캡션 유닛"에 대응하는 시차 벡터이다.

도 37의 (a)는 캡션 인코더(126)에서 생성된 캡션 데이터 스트림(PES 스트림) 중에서 캡션 텍스트 데이터 그룹의 PES 스트림의 구성예를 보여준다. 캡션 텍스트 데이터 그룹의 PES 스트림은 여기에 삽입된 각 캡션 유닛의 캡션 텍스트 정보(캡션 텍스트 데이터)를 갖고 있다. 또, 각 캡션 유닛의 캡션 텍스트 정보에 대응하는 표시 제어 정보(시차 정보)가 여기에 삽입되어 있다. 이 경우에, 각 표시 제어 정보로서 제공되는 시차 정보는 전술한 바와 같이 시차 정보 작성부(125)에서 생성된 개별 시차 벡터이다.

도면에는 도시되어 있지는 않지만, 각 캡션 유닛의 표시 영역의 설정 데이터 등은 캡션 관리 데이터 그룹의 PES 스트림에 캡션 관리 데이터(제어 코드)로서 삽입됨에 유의한다. "제1 캡션 유닛", "제2 캡션 유닛" 및 "제3 캡션 유닛"의 캡션 유닛의 표시 영역은 각각 (x1, y1), (x2, y2) 및 (x3, y3)으로 나타낸다.

도 37의 (c)는 각 캡션 유닛(caption)이 중첩된 제1 뷰(1st View), 예컨대 우안 영상을 보여준다. 또, 도 37의 (d)는 각 캡션 유닛(caption)이 중첩된 제2 뷰(2nd View), 예컨대 좌안 영상을 보여준다. 캡션 유닛에 대응하는 개별 시차 벡터는 우안 영상에 중첩된 캡션 유닛과 좌안 영상에 중첩된 캡션 유닛 간에 시차를 제공하는 데 이용된다.

시차 정보 작성부(125)에서 공통 시차 벡터가 작성되고 캡션 관리 데이터의 PES 스트림에 시차 벡터(시차 정보)가 삽입되는 경우에 대해 설명한다. 여기서는 제1 캡션 유닛", "제2 캡션 유닛" 및 "제3 캡션 유닛"의 3개 캡션 유닛(captions)이 동일 스크린 상에 표시되는 예를 생각한다. 도 38의 (b)에 도시된 바와 같이, 시차 정보 작성부(125)는 캡션 유닛들이 공유하는 공통 시차 벡터 "Disparity"를 작성한다.

도 38의 (a)는 캡션 인코더(126)에서 생성된 캡션 데이터 스트림(PES 스트림)의 구성예를 보여준다. 캡션 데이터 그룹의 PES 스트림은 여기에 삽입된 각 캡션 유닛의 캡션 텍스트 정보(캡션 텍스트 데이터)를 갖고 있다. 또, 캡션 텍스트 데이터 그룹의 PES 스트림은 여기에 삽입된 각 캡션 유닛의 캡션 텍스트 정보에 공통으로 상관된 표시 제어 정보(시차 정보)를 갖고 있다. 이 경우에, 표시 제어 정보로서 제공되는 시차 정보는 전술한 바와 같이 시차 정보 작성부(125)에서 작성된 공유 시차 벡터이다.

도면에는 도시되어 있지는 않지만, 각 캡션 유닛의 표시 영역의 설정 데이터 등은 캡션 관리 데이터 그룹의 PES 스트림에 캡션 관리 데이터(제어 코드)로서 삽입됨에 유의한다. "제1 캡션 유닛", "제2 캡션 유닛" 및 "제3 캡션 유닛"의 캡션 유닛의 표시 영역은 각각 (x1, y1), (x2, y2) 및 (x3, y3)으로 나타낸다.

도 38의 (c)는 각 캡션 유닛(caption)이 중첩된 제1 뷰(1st View), 예컨대 우안 영상을 보여준다. 또, 도 38의 (d)는 각 캡션 유닛(caption)이 중첩된 제2 뷰(2nd View), 예컨대 좌안 영상을 보여준다. 캡션 유닛들 간에 공유하는 공통 시차 벡터는 우안 영상에 중첩된 캡션 유닛과 좌안 영상에 중첩된 캡션 유닛 간에 시차를 제공하는 데 이용된다.

도 35의 (c)와 (d), 도 36의 (c)와 (d), 도 37의 (c)와 (d), 및 도 38의 (c)와 (d)의 예들은 제2 뷰(예컨대 좌안 영상)에 중첩될 캡션 유닛의 위치만을 시프트하는 것과 관련있음에 유의한다. 그러나, 제1 뷰(예컨대 우안 영상)에 중첩될 캡션 유닛의 위치만을 시프트하는 경우나 양쪽 뷰에 중첩될 캡션 유닛의 위치를 시프트하는 경우도 고려할 수 있다.

도 39의 (a)와 (b)는 제1 뷰와 제2 뷰 양쪽에 중첩될 캡션 유닛의 위치를 시프트하는 경우를 보여준다. 이 경우에, 제1 뷰와 제2 뷰에서의 캡션 유닛의 시프트값(오프셋값)(D[i])은 캡션 유닛에 대응하는 시차 벡터의 값 "disparity[i]"로부터 다음과 같이 구해진다.

즉, disparity[i]가 짝수이면, 제1 뷰에 대해서는 "D[i]=-disparity[i]/2"로서 구해지고, 제2 뷰에 대해서는 "D[i]=disparity[i]/2"로서 구해진다. 따라서, 제1 뷰에 중첩될 캡션 유닛의 위치는 "disparity[i]/2"만큼 왼쪽으로 시프트된다. 또, 제2 뷰에 중첩될 캡션 유닛의 위치는 "disparity[i]/2"만큼 오른쪽으로 시프트된다.

또, disparity[i]가 홀수이면, 제1 뷰에 대해서는 "D[i]=-(disparity[i]+1)/2"로서 구해지고, 제2 뷰에 대해서는 "D[i]=(disparity[i]-1)/2"로서 구해진다. 따라서, 제1 뷰에 중첩될 캡션 유닛의 위치는 "(disparity[i]+1)/2"만큼 왼쪽으로 시프트된다. 또, 제2 뷰에 중첩될 캡션 유닛의 위치는 "(disparity[i]-1)/2만큼 오른쪽으로 시프트된다.

이하, 캡션 코드의 패킷 구조와 제어에 대해서 간략하게 설명한다. 먼저, 캡션 텍스트 데이터 그룹의 PES 스트림에 포함된 캡션 코드의 기본 패킷 구조에 대해서 설명한다. 도 40은 캡션 코드의 패킷 구조를 보여준다. "Data_group_id"는 데이터 그룹 식별을 나타내는데, 여기서는 이것은 캡션 텍스트 데이터 그룹임을 나타낸다. 캡션 텍스트 데이터 그룹을 나타내는 "Data_group_id"는 추가로 언어를 식별함에 유의한다. 예컨대 ""Data_group_id==0x21"은 이것이 캡션 텍스트 데이터 그룹이고 캡션 텍스트(제1 언어)임을 나타낸다.

"Data_group_size"는 이어지는 데이터 그룹 데이터의 바이트 수를 나타낸다. 캡션 텍스트 데이터 그룹의 경우에 이 데이터 그룹 데이터는 캡션 텍스트 데이터(caption_data)이다. 캡션 텍스트 데이터에는 하나 이상의 데이터 유닛이 배치되어 있다. 각 데이터 유닛은 데이터 유닛 세퍼레이터 코드(unit_parameter)에 의해 분리되어 있다. 캡션 코드는 각 데이터 유닛 내에 데이터 유닛 데이터(data_unit_data)로서 배치되어 있다.

다음, 제어 코드의 패킷 구조에 대해서 설명한다. 도 41은 캡션 관리 데이터 그룹의 PES 스트림에 포함된 제어 코드의 패킷 구조를 보여준다. "Data_group_id"는 데이터 그룹 식별을 나타낸다. 여기서는 이것은 캡션 관리 데이터 그룹이고 "Data_group_id==0x20"임을 나타낸다. "Data_group_size"는 이어지는 데이터 그룹 데이터의 바이트 수를 나타낸다. 캡션 관리 데이터 그룹의 경우에 이 데이터 그룹 데이터는 캡션 관리 데이터(caption_management_data)이다.

캡션 텍스트 데이터에는 하나 이상의 데이터 유닛이 배치되어 있다. 각 데이터 유닛은 데이터 유닛 세퍼레이터 코드(unit_parameter)에 의해 분리되어 있다. 제어 코드는 각 데이터 유닛 내에 데이터 유닛 데이터(data_unit_data)로서 배치되어 있다. 이 실시예에서는 시차 벡터의 값이 8비트 코드로서 제공된다. "TCS"는 캐릭터 인코딩 형식을 나타내는 2비트 데이터이다. 여기서, "TCS=＼"가 설정되며 이는 8비트 코드를 나타낸다.

도 42는 캡션 데이터 스트림(PES 스트림) 내의 데이터 그룹의 구조를 보여준다. 6비트 필드 "data_group_id"는 캡션 관리 데이터 또는 캡션 텍스트 데이터의 유형을 식별하는 데이터 그룹 식별을 나타낸다. 16비트 필드 "data_group_size"는 이 데이터 그룹 필드에서 이어지는 데이터 그룹 데이터의 바이트 수를 나타낸다. 이 데이터 그룹 데이터는 "data_group_data_byte"에 저장된다. "CRC_16"은 16비트 순환 중복도 체크 코드이다. 이 CRC 코드의 인코딩 부분은 "data_group_id"의 첫부분부터 "data_group_data_byte"의 끝부분까지이다.

캡션 관리 데이터 그룹의 경우, 도 42에서 데이터 그룹 구조에서의 "data_group_data_byte"는 캡션 관리 데이터(caption_management_data)이다. 또, 캡션 텍스트 데이터 그룹의 경우, 도 42에서 데이터 그룹 구조에서의 "data_group_data_byte"는 캡션 관리 데이터(caption_data)이다.

도 43은 캡션 관리 데이터의 PES 스트림 내에 삽입되는 시차 벡터(시차 정보)의 경우에 캡션 관리 데이터의 구조를 개략적으로 도시한 도이다. "advanced_rendering_version"은 캡션의 확장 표시와 호환되는지를 나타내는 1비트 플래그 정보로서 이 실시예에서 새로이 정의된 것이다. 수신측에서는, 이런 식으로 관리 정보 층에 위치한 플래그 정보에 기초하여, 캡션의 확장 표시와 호환되는지 여부가 쉽게 이해될 수 있다. 24비트 필드 "data_unit_loop_length"는 이 캡션 관리 데이터 필드 내의 이어지는 데이터 그룹 데이터의 바이트 수를 나타낸다. 이 캡션 관리 데이터 필드를 가지고 송신될 데이터 유닛은 "data_unit"에 저장된다.

도 44는 캡션 관리 데이터의 PES 스트림 내에 삽입되는 시차 벡터(시차 정보)의 경우에 캡션 데이터의 구조를 개략적으로 도시한 도이다. 24비트 필드 "data_unit_loop_length"는 이 캡션 데이터 필드 내의 이어지는 데이터 유닛의 바이트 수를 나타낸다. 이 캡션 데이터 필드를 가지고 송신될 데이터 유닛은 "data_unit"에 저장된다. 이 캡션 데이터 구조는 "advanced_rendering_version"의 플래그 정보를 갖고 있지 않음에 유의한다.

도 45는 캡션 텍스트 데이터 그룹의 PES 스트림 내에 삽입되는 시차 벡터(시차 정보)의 경우에 캡션 데이터의 구조를 개략적으로 도시한 도이다. "advanced_rendering_version"은 캡션의 확장 표시와 호환되는지를 나타내는 1비트 플래그 정보로서 이 실시예에서 새로이 정의된 것이다. 수신측에서는, 이런 식으로 데이터 유닛의 더 높은 층에 위치한 플래그 정보에 기초하여, 캡션의 확장 표시와 호환되는지 여부가 쉽게 이해될 수 있다. 24비트 필드 "data_unit_loop_length"는 이 캡션 관리 데이터 필드 내의 이어지는 데이터 유닛의 바이트 수를 나타낸다. 이 캡션 텍스트 데이터 필드를 가지고 송신될 데이터 유닛은 "data_unit"에 저장된다.

도 46은 캡션 텍스트 데이터 그룹의 PES 스트림 내에 삽입되는 시차 벡터(시차 정보)의 경우에 캡션 관리 데이터의 구조를 개략적으로 도시한 도이다. 24비트 필드 "data_unit_loop_length"는 이 캡션 데이터 필드 내의 이어지는 데이터 유닛의 바이트 수를 나타낸다. 이 캡션 데이터 필드를 가지고 송신될 데이터 유닛은 "data_unit"에 저장된다. 이 캡션 관리 데이터 구조는 "advanced_rendering_version"의 플래그 정보를 갖고 있지 않음에 유의한다.

도 47은 캡션 데이터 스트림에 포함된 데이터 유닛(data_unit)의 구조(신택스)를 도시한 도이다. 8비트 필드 "unit_separator"는 데이터 유닛 세퍼레이터 코드를 나타내며 "0x1F"로 설정된다. 8비트 필드 "data_unit_parameter"는 데이터 유닛의 유형을 식별하는 데이터 유닛 파라미터이다.

도 48은 데이터 유닛의 유형 및 그 데이터 유닛 파라미터 및 기능을 설명하는 도이다. 예컨대 본문의 데이터 유닛을 나타내는 데이터 유닛 파라미터는 "0x20"으로 설정된다. 또, 예컨대 기하(geometric) 데이터 유닛을 나타내는 데이터 유닛 파라미터는 "0x28"로 설정된다. 또, 예컨대 비트맵 데이터 유닛을 나타내는 데이터 유닛 파라미터는 "0x35"로 설정된다. 이 실시예에서 표시 제어 정보(확장 표시 제어 정보)를 저장하기 위한 확장 표시 제어의 데이터 유닛은 새로이 정의되며, 이 데이터 유닛을 나타내는 데이터 유닛 파라미터는 예컨대 "0x4F"로 설정된다.

24비트 필드 "data_unit_size"는 이 데이터 유닛 필드 내의 이어지는 데이터 유닛 데이터의 바이트 수를 나타낸다. 이 데이터 유닛 데이터는 "data_unit_data_byte"에 저장된다. 도 49는 확장 표시 제어를 위한 데이터 유닛(data_unit)의 구조(신택스)를 도시한 도이다. 이 경우에, 데이터 유닛 파라미터는 "0x4F"이며 표시 제어 정보는 "data_unit_data_byte"로서 기능하는 "Advanced_Rendering_Control"에 저장된다.

도 50은 전술한 도 35와 도 36의 예에서 캡션 관리 데이터 그룹의 PES 스트림이 갖는 확장 표시 제어의 데이터 유닛에서의 "Advanced_Rendering_Control"의 구조(신택스)를 도시한 도이다. 또, 이 도 50은 전술한 도 37과 도 38의 예에서 캡션 텍스트 데이터 그룹의 PES 스트림이 갖는 확장 표시 제어의 데이터 유닛에서의 "Advanced_Rendering_Control"의 구조(신택스)를 보여준다. 즉, 이 도 50은 입체 영상 시차 정보를 표시 제어 정보로서 삽입하는 경우에서의 구조를 보여준다.

8비트 필드 "start_code"는 "Advanced_Rendering_Control"의 시작을 나타낸다. 16비트 필드 "data_unit_id"는 데이터 유닛 ID를 나타낸다. 16비트 필드 "data_length"는 이 어드밴스드 렌더링 제어 필드에서 이어지는 데이터 바이트의 수를 나타낸다. 8비트 필드 "Advanced_rendering_type"은 표시 제어 정보의 유형을 규정하는 어드밴스드 렌더링 타입이다. 여기서는 이는 데이터 유닛 파라미터가 예컨대 "0x01"로 설정되고 표시 제어 정보가 "입체 비디오 시차 정보"임을 나타낸다. 시차 정보는 "disparity_information"에 저장된다.

도 51은 전술한 도 35의 예에서 캡션 텍스트 데이터 그룹의 PES 스트림이 갖는 확장 표시 제어의 데이터 유닛에서의 "Advanced_Rendering_Control"의 구조(신택스)를 보여준다. 즉, 도 51은 데이터 유닛 ID를 표시 제어 정보로서 삽입하는 경우에서의 구조를 보여준다.

8비트 필드 "start_code"는 "Advanced_Rendering_Control"의 시작을 나타낸다. 16비트 필드 "data_unit_id"는 데이터 유닛 ID를 나타낸다. 16비트 필드 "data_length"는 이 어드밴스드 렌더링 제어 필드에서 이어지는 데이터 바이트의 수를 나타낸다. 8비트 필드 "Advanced_rendering_type"은 표시 제어 정보의 유형을 규정하는 어드밴스드 렌더링 타입이다. 여기서는 이는 데이터 유닛 파라미터가 예컨대 "0x00"으로 설정되고, 이는 표시 제어 정보가 "데이터 유닛 ID"임을 나타낸다.

도 53은 상기 "Advanced_Rendering_Control"의 구조와 추가적으로 뒤에 설명되는 도 52에서의 "disparity_information"의 구조에서 주요 데이터 규정을 설명함에 유의한다.

도 52는 캡션 텍스트 데이터 그룹에 포함된 확장 표시 제어 데이터 유닛(data_unit) 내의 "disparity_information"에서의 "Advanced_Rendering_Control"의 구조(신택스)를 보여준다. 8비트 필드 "sync_byte"는 "disparity_information"의 식별 정보로서 이 "disparity_information"의 시작을 나타낸다. "interval_PTS[32...0]"은 시차 정보(disparity)의 갱신 프레임 간격의 프레임 주기(1 프레임 간격), 예컨대 90KHz 간격을 규정한다. 즉, "interval_PTS[32...0]"은 90KHz로 측정된 프레임 주기값을 33비트 길이로 표현한다.

시차 정보에서 "interval_PTS[32...0]"을 가지고 프레임 주기를 지시함으로써 송신측에서 의도하는 시차 정보의 갱신 프레임 간격은 수신측에 정확하게 송신될 수 있다. 이 정보가 첨부되지 않은 경우에는, 예컨대 비디오 프레임 주기가 수신측에서 참조된다.

"rendering_level"은 수신측(디코더측)에서 캡션 표시에 필수적인 시차 정보(disparity)의 대응 레벨을 나타낸다. "00"은 시차 정보를 이용하는 캡션의 3차원 표시가 선택적인(optional) 것임을 나타낸다. "01"은 캡션 표시 기간 내에 공통으로 이용된 시차 정보(default_disparity)를 이용하는 캡션의 3차원 표시가 필수적인 것임을 나타낸다. "10"은 캡션 표시 기간 내에 순차적으로 갱신된 시차 정보(disparity_update)를 이용하는 캡션의 3차원 표시가 필수적인 것임을 나타낸다.

"temporal_extension_flag"는 캡션 표시 기간 내에 순차적으로 갱신된 시차 정보(disparity_update)가 존재하는지 여부를 나타내는 1비트 플래그 정보이다. 이 경우에, "1"은 이 시차 정보가 존재함을 나타내고, "0"은 이 시차 정보가 존재하지 않음을 나타낸다. 8비트 필드 "default_disparity"는 디폴트 시차 정보를 나타낸다. 이 시차 정보는 갱신되지 않은 경우의 시차 정보, 즉 캡션 표시 기간 내에 공통으로 이용된 시차 정보이다.

"shared_disparity"는 데이터 유닛(Data_unit)에 대한 공통의 시차 정보(disparity) 제어를 실시할 것인지 여부를 나타낸다. "1"은 순차적인 복수의 데이터 유닛(Data_unit)에 하나의 공통 시차 정보(disparity)가 적용됨을 나타낸다. "0"은 하나의 데이터 유닛(Data_unit)에 시차 정보(disparity)가 적용됨을 나타낸다.

"temporal_extension_flag"가 "1"인 경우, 시차 정보는 "disparity_temporal_extension()"을 갖는다. 이 "disparity_temporal_extension()"의 구조예(신택스)는 전술한 것과 같으며, 따라서 그에 대한 설명은 생략한다(도 21 및 도 22 참조).

"interval_PTS[32...0]"은 전술한 도 52에서의 "disparity_information"의 구조예(신택스)에 첨부됨에 유의한다. 그러나, "interval_PTS[32...0]"이 첨부되지 않은 "disparity_information"의 구조예(신택스)도 고려할 수 있다. 이 경우에 "disparity_information"의 구조는 도 54에 나타낸 바와 같다.

다시 도 33을 참조로 설명하면, 비디오 인코더(122)는 데이터 추출부(121)로부터 공급된 입체 영상 데이터에 대해 MPEG4-AVC, MPEG2, VC-1 등의 인코딩을 실시하여 비디오 기본 스트림을 생성한다. 오디오 인코더(123)는 데이터 추출부(121)로부터 공급된 오디오 데이터에 대해 MPEG4-AVC, MPEG2, VC-1 등의 인코딩을 실시하여 오디오 기본 스트림을 생성한다.

멀티플렉서(127)는 비디오 인코더(122), 오디오 인코더(123) 및 캡션 인코더(126)로부터 출력된 기본 스트림들을 멀티플렉싱한다. 이 멀티플렉서(127)는 비트 스트림 데이터(전송 스트림)(BSD)를 송신 데이터(멀티플렉싱된 데이터 스트림)로서 출력한다.

도 33에 도시된 송신 데이터 생성부(110A)의 동작에 대해 간략하게 설명한다. 데이터 추출부(121)로부터 출력된 입체 영상 데이터는 비디오 인코더(122)에 공급된다. 비디오 인코더(122)는 이 입체 영상 데이터에 대해 MPEG4-AVC, MPEG2, VC-1 등의 인코딩을 실시하여 이 인코딩된 비디오 데이터를 포함하는 비디오 기본 스트림을 생성한다. 이 비디오 기본 스트림은 멀티플렉서(127)에 공급된다.

또, 캡션 생성부(124)에서는 ARIB 형식 캡션 데이터가 생성된다. 이 캡션 데이터는 캡션 인코더(126)에 공급된다. 이 캡션 인코더(126)에서는 캡션 생성부(124)에서 생성된 캡션 데이터를 포함하는 캡션 기본 스트림(캡션 데이터 스트림)이 생성된다. 이 캡션 기본 스트림은 멀티플렉서(127)에 공급된다.

데이터 추출부(121)로부터 출력된 각 화소(pixel)에 대한 시차 벡터는 시차 정보 작성부(125)에 공급된다. 이 시차 정보 작성부(125)에서는 동일 스크린 상에 표시된 소정 수의 캡션 유닛(captions)에 대응하는 시차 정보(수평 방향 시차 벡터)가 다운사이징 처리에 따라 작성된다. 이 경우에, 시차 정보 작성부(125)는 각 캡션 유닛에 대한 시차 벡터(개별 시차 벡터)나 모든 캡션 유닛에 공통되는 시차 벡터(공유 시차 벡터)를 작성한다.

시차 정보 작성부(125)에서 작성된 시차 벡터는 캡션 인코더(126)에 공급된다. 캡션 인코더(126)에서는 시차 벡터가 캡션 데이터 스트림에 포함된다(도 35 내지 도 38 참조). 이 캡션 데이터 스트림에서 동일 스크린 상에 표시된 각 캡션 유닛의 캡션 데이터는 캡션 텍스트 데이터 그룹의 PES 스트림에 캡션 텍스트 데이터(캡션 코드)로서 삽입된다. 또, 이 캡션 데이터 스트림에서 시차 벡터(시차 정보)는 캡션 관리 데이터 그룹의 PES 스트림 또는 캡션 텍스트 데이터 그룹의 PES 스트림에 캡션 표시 제어 정보로서 삽입된다. 이 경우에, 새로이 정의되었던 표시 제어 정보(도 49 참조)를 전송하기 위해 확장 표시 제어의 데이터 유닛에 삽입된다.

또, 데이터 추출부(121)로부터 출력된 오디오 데이터는 오디오 인코더(123)에 공급된다. 오디오 인코더(123)에서는 오디오 데이터에 대해 MPEG2 Audio AAC 등의 인코딩을 실시하여 인코딩된 오디오 데이터를 포함하는 오디오 기본 스트림을 생성한다. 이 오디오 기본 스트림은 멀티플렉서(127)에 공급된다.

전술한 바와 같이, 멀티플렉서(127)에는 비디오 인코더(122), 오디오 인코더(123) 및 캡션 인코더(126)로부터 기본 스트림들이 공급된다. 이 멀티플렉서(127)는 이 인코더들로부터 공급된 기본 스트림들을 패킷화하고 멀티플렉싱하여 비트 스트림 데이터(전송 스트림)(BSD)를 송신 데이터로서 얻는다.

도 55는 비디오 기본 스트림, 오디오 기본 스트림 및 캡션 기본 스트림을 포함하는 일반적 전송 스트림(멀티플렉싱된 데이터 스트림)의 구성예를 도시한 도이다. 이 전송 스트림은 기본 스트림들을 패킷화하여 얻은 PES 패킷을 포함한다. 이 구성예에서는 비디오 기본 스트림의 PES 패킷 "Video PES"가 포함된다. 또, 이 구성예에서는 오디오 기본 스트림의 PES 패킷 "AudioPES"와 캡션 기본 스트림의 PES 패킷 "Subtitle PES"가 포함된다.

전송 스트림은 PSI(Program Specific Information)로서 PMT(Program Map Table)를 포함한다. 이 PSI는 전송 스트림에 포함된 프로그램 포함된 각 기본 스트림이 어느 프로그램에 속하는 지를 기술하는 정보이다. 또한, 전송 스트림은 이벤트 증분에서 관리를 수행하는 SI(Serviced Information)로서 제공되는 EIT(Event Information Table)를 포함한다.

PMT에는 전체 프로그램에 관한 정보를 서술하는 프로그램 서술자(Program Descriptor)가 존재한다. 또한, 이 PMT에는 각 기본 스트림에 관한 정보를 가진 기본 루프도 존재한다. 이 구성예에서는 비디오 기본 루프, 오디오 기본 루프 및 서브타이틀 기본 루프가 존재한다. 각 기본 루프는 각 스트림에 대한 패킷 식별자(PID), 스트림 타입(Stream_Type) 등이 배치되어 있고, 또, 도면에는 나타나 있지 않지만, 기본 스트림에 관한 정보를 서술하는 서술자(descriptor)도 배치되어 있다.

이 실시예에서 멀티플렉서(127)(도 33 참조)로부터 출력된 전송 스트림(멀티플렉싱된 데이터 스트림)에 캡션 데이터 스트림이 캡션에 대한 확장 표시 제어에 대응하는지 여부를 나타내는 플래그 정보가 삽입되어 있다. 그러면, 캡션에 대한 확장 표시 제어는 예컨대 시차 정보 등을 이용하는 3차원 캡션 표시이다. 이 경우에, 수신측(셋톱 박스(200)측)에서는 캡션 데이터 스트림 내의 데이터를 열지 않더라도 캡션 데이터 스트림이 캡션에 대한 확장 표시 제어에 대응하는지 여부를 알 수 있다.

멀티플렉서(127)는 이 플래그 정보를 예컨대 전술한 EIT 아래에 삽입한다. 도 55의 구성예에서 데이터 내용 서술자는 EIT 아래에 삽입된다. 이 데이터 내용 서술자는 플래그 정보 "Advanced_Rendering_support"를 포함한다. 도 56은 데이터 내용 서술자의 구조예(신택스)를 도시한 도이다. "descriptor_tag"는 서술자(descriptor)의 유형을 나타내는 8비트 데이터로서 여기서는 데이터 내용 서술자를 나타낸다. "descriptor_length"는 서술자 크기를 나타내는 8비트 데이터이다. 이 데이터는 "descriptor_length"에 이어지는 바이트 수를 서술자의 길이로서 나타낸다.

"component_tag"는 캡션에 대한 기본 스트림과 상관하는 8비트 데이터이다. "arib_caption_info"는 이 "component_tag" 다음에 정의된다. 도 57의 (a)는 "arib_caption_info"의 구조예(신택스)를 도시한 도이다. 도 57의 (b)에 도시된 바와 같이, "Advanced_Rendering_support"는 캡션 데이터 스트림이 캡션에 대한 확장 표시 제어에 대응하는지 여부를 나타내는 1비트 플래그 정보이다. "1"은 이것이 캡션에 대한 확장 표시 제어에 대응함을 나타낸다. "0"은 이것이 캡션에 대한 확장 표시 제어에 대응하지 않음을 나타낸다.

멀티플렉서(127)는 상기 플래그 정부를 PMT 아래에 삽입할 수 있음에 유의한다. 도 58은 그와 같은 경우에 전송 스트림(멀티플렉싱된 데이터 스트림)의 구성예를 도시한 도이다. 이 구성예에서 데이터 인코딩 형식 서술자는 PMT의 캡션 ES 루프 아래에 삽입된다. 플래그 정보 "Advanced_Rendering_support"는 이 데이터 인코딩 형식 서술자에 포함된다.

도 59는 데이터 인코딩 형식 서술자의 구조예(신택스)를 도시한 도이다. "descriptor_tag"는 서술자(descriptor)의 유형을 나타내는 8비트 데이터로서 여기서는 데이터 내용 서술자를 나타낸다. "descriptor_length"는 서술자 크기를 나타내는 8비트 데이터이다. 이 데이터는 "descriptor_length"에 이어지는 바이트 수를 서술자의 길이로서 나타낸다.

"component_tag"는 캡션에 대한 기본 스트림과 상관하는 8비트 데이터이다. "data_component_id"는 여기서는 캡션 데이터를 나타내는 "0x0008"로 설정된다. "additional_arib_caption_info"는 이 "data_component_id" 다음에 정의된다. 도 60은 "additional_arib_caption_info"의 구조예(신택스)를 도시한 도이다. 전술한 도 57의 (b)에 도시된 바와 같이, "Advanced_Rendering_support"는 캡션 데이터 스트림이 캡션에 대한 확장 표시 제어에 대응하는지 여부를 나타내는 1비트 플래그 정보이다. "1"은 이것이 캡션에 대한 확장 표시 제어에 대응함을 나타낸다. "0"은 이것이 캡션에 대한 확장 표시 제어에 대응하지 않음을 나타낸다.

전술한 바와 같이, 도 33에 도시된 송신 데이터 생성부(110A)에서는 멀티플렉서(127)로부터 출력된 비트 스트림 데이터(BSD)는 비디오 데이터 스트림과 캡션 데이터 스트림을 가진 멀티플렉싱된 데이터 스트림이다. 비디오 데이터 스트림은 입체 영상 데이터를 포함한다. 또, 캡션 데이터 스트림은 ARIB 형식 캡션(캡션 유닛) 데이터 및 시차 벡터(시차 정보)를 포함한다.

또, 시차 정보는 캡션 관리 데이터 그룹의 PES 스트림 또는 캡션 텍스트 데이터 그룹의 PES 스트림 내의 데이터 유닛 송신 캡션 표시 제어 정보에 삽입되고, 캡션 텍스트 데이터(캡션 텍스트 정보)와 시차 정보가 상관된다. 따라서, 수신측(셋톱 박스(200))에서는, 대응 시차 벡터(시차 정보)를 이용하여, 좌안 영상과 우안 영상에 중첩된 캡션 유닛(captions)에 적당한 시차가 제공될 수 있다. 따라서, 표시되고 있는 캡션 유닛(captions)에 관하여, 영상 내의 물체들 간의 원근 일관성이 최적 상태로 유지될 수 있다.

또, 도 33에 도시된 송신 데이터 생성부(110A)에서는 캡션 표시 기간 중에 공통으로 이용된 시차 정보(도 52에서 "default_disparity" 참조)는 새로 정의된 확장 표시 제어 데이터 유닛에 삽입된다. 또, 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보(도 21에서 "disparity_update" 참조)는 데이터 유닛에 삽입된다. 또, 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보의 존재를 나타내는 플래그 정보는 확장 표시 제어 데이터 유닛에 삽입된다(도 52에서 "temporal_extension_flag" 참조).

따라서, 캡션 표시 기간 중에 공통으로 이용된 시차 정보만을 송신할 것인지, 아니면 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보를 더 송신할 것인지를 선택할 수 있다. 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보를 송신하면, 수신측(셋톱 박스(200))에서는 중첩된 정보에 적용되는 시차가 영상의 콘텐츠의 변경과 함께 동적으로 변경될 수 있다.

또, 도 33에 도시된 송신 데이터 생성부(110A)에서는 확장 표시 제어 데이터 유닛에 포함된 시차 정보는 서브타이틀 표시 기간의 제1 프레임의 시차 정보와 그 후의 갱신 프레임 간격에서의 시차 정보로 구성된다. 따라서, 송신 데이터량을 줄일 수 있고, 수신측에서 시차 정보를 유지하는 메모리 용량을 많이 아낄 수 있다.

또, 도 33에 도시된 송신 데이터 생성부(110A)에서는 확장 표시 제어 데이터 유닛에 삽입될 "disparity_temporal_extension()"은 전술한 SCS 세그먼트(도 21 참조)에 포함된 "disparity_temporal_extension()"과 구조가 동일하다. 따라서, 자세한 설명은 생략하겠지만, 도 33에 도시된 송신 데이터 생성부(110A)는 이 "disparity_temporal_extension()" 구조로 인해 도 2에 도시된 송신 데이터 생성부(110)와 동일한 이점을 얻을 수 있다.

"비트 스트림 처리부의 구성예"

도 61은 전술한 도 33에 도시된 송신 데이터 생성부(110A)에 대응하는 셋톱 박스(200)의 비트 스트림 처리부(201A)의 구성예를 보여준다. 비트 스트림 처리부(201A)는 전술한 도 33에 도시된 송신 데이터 생성부(110A)에 대응하는 구성을 갖고 있다. 비트 스트림 처리부(201A)는 디멀티플렉서(231), 비디오 디코더(232) 및 캡션 디코더(233)를 포함한다. 또, 비트 스트림 처리부(201A)는 입체 영상 캡션 생성부(234), 시차 정보 추출부(235), 시차 정보 처리부(236), 비디오 중첩부(237) 및 오디오 디코더(238)를 포함한다.

디멀티플렉서(231)는 비트 스트림 데이터(BSD)로부터 비디오, 오디오 및 캡션 패킷을 추출하여 디코더들에 전송한다. 비디오 디코더(232)는 전술한 송신 데이터 생성부(110A)의 비디오 인코더(122)의 것과 반대되는 처리를 수행한다. 즉, 디멀티플렉서(231)에서 추출된 비디오 패킷으로부터 비디오 기본 스트림이 재구성되고, 디코딩 처리를 실시하여 좌안 영상 데이터와 우안 영상 데이터를 포함하는 입체 영상 데이터를 얻는다. 이 입체 영상 데이터에 대한 송신 형식은 예컨대 전술한 제1 송신 형식("톱&보텀" 형식), 제2 송신 형식("사이드 바이 사이드" 형식), 제3 송신 형식("프레임 시퀀셜" 형식) 등이다(도 4 참조).

캡션 디코더(233)는 전술한 송신 데이터 생성부(110)의 서브타이틀 인코더(118)의 것과 반대되는 처리를 수행한다. 즉, 캡션 디코더(233)는 디멀티플렉서(231)에서 추출된 캡션 패킷으로부터 캡션 기본 스트림(캡션 데이터 스트림)을 재구성하고, 디코딩 처리를 실시하여 각 캡션 유닛에 대한 캡션 데이터(ARIB 형식 캡션 데이터)를 얻는다.

시차 정보 추출부(235)는 캡션 디코더(233)를 통해 얻은 캡션 스트림으로부터 각 캡션 유닛에 대응하는 시차 벡터(시차 정보)를 추출한다. 이 경우에, 각 캡션 유닛에 대한 시차 벡터(개별 시차 벡터) 또는 캡션 유닛에 공통된 시차 벡터(공유 시차 벡터)가 얻어진다(도 35 내지 도 38 참조).

전술한 바와 같이, 캡션 데이터 스트림은 ARIB 형식 캡션(캡션 유닛)과 시차 벡터(시차 정보)의 데이터를 포함한다. 따라서, 시차 정보 추출부(235)는 캡션 유닛의 캡션 데이터와 상관되는 식으로 시차 정보(시차 벡터)를 추출할 수 있다.

시차 정보 추출부(235)는 캡션 표시 기간 중에 공통으로 이용된 시차 정보를 얻는다(도 52에서 "default_disparity" 참조). 더욱이, 시차 정보 추출부(235)는 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보를 얻을 수도 있다(도 21에서 "disparity_update" 참조). 시차 정보 추출부(235)는 시차 정보(시차 벡터)를 시차 정보 처리부(236)를 통해 입체 영상 캡션 생성부(234)에 전송한다. 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보는 전술한 바와 같이 서브타이틀 표시 기간의 제1 프레임의 시차 정보와 그 후의 갱신 프레임 간격에서의 시차 정보로 구성된다.

캡션 표시 기간 중에 공통으로 이용된 시차 정보에 대해서는, 시차 정보 처리부(236)는 이 정보를 그대로 입체 영상 캡션 생성부(234)에 전송한다. 반면에, 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보에 대해서는, 시차 정보 처리부(236)는 보간 처리를 실시하고, 캡션 표시 기간 중에 임의의 프레임 간격으로, 예컨대 1 프레임 간격으로 시차 정보를 생성하고 이를 입체 영상 캡션 생성부(234)에 전송한다. 시차 정보 처리부(236)는 보간 처리에 따른 소정 프레임 간격에서의 시차 정보 변화가 시간 방향(프레임 방향)으로 완만해지도록 선형 보간 처리가 아닌, 시간 방향(프레임 방향)으로의 로우 패스 필터(LPF) 처리와 관련한 보간 처리를 수행한다(도 31 참조).

입체 영상 캡션 생성부(234)는 좌안 영상과 우안 영상에 각각 중첩될 좌안 캡션과 우안 캡션을 생성한다. 이 생성 처리는 캡션 디코더(233)에서 얻은 각 캡션 유닛에 대한 캡션 데이터와 시차 정보 처리부(236)를 통해 공급된 시차 정보(시차 벡터)에 기초하여 실시된다. 그런 다음에 이 입체 영상 캡션 생성부(234)는 좌안 캡션과 우안 캡션 데이터(비트맵 데이터)를 출력한다.

이 경우에, 좌안 캡션 데이터와 우안 캡션 데이터는 같다. 그러나, 좌안 캡션과 우안 캡션은 시차 벡터와 같은 량만큼 수평 방향으로 시프트된 영상 내의 중첩 위치를 갖는다. 따라서, 영상 내의 물체의 원근에 따라 시차 조정이 실시된 캡션이 좌안 영상 및 우안 영상에 중첩된 동일 캡션으로서 이용될 수 있고, 영상 내의 물체의 원근 일관성이 최적 상태로 유지될 수 있다.

그러면, 캡션 표시 기간 중에 공통으로 이용된 시차 정보(시차 벡터)만이 시차 정보 처리부(236)로부터 송신되는 경우에, 입체 영상 캡션 생성부(234)는 이 시차 정보를 이용한다. 또, 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보도 시차 정보 처리부(236)로부터 송신되는 경우에는, 입체 영상 캡션 생성부(234)는 이 2개의 시차 정보 중 어느 한쪽을 이용한다.

어느 쪽을 이용하는가는 수신측(디코더)에서 캡션 표시에 필수적인 시차 정보(disparity)의 상관도를 나타내는 정보(도 52에서 "rendering_level" 참조)에 의해 구속된다. 이 경우에, 예컨대 "00"의 경우, 사용자 설정이 그대로 적용된다. 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보를 이용하면 좌안 서브타이틀과 우안 서브타이틀에 적용될 시차가 영상의 콘텐츠의 변경과 함께 동적으로 변경될 수 있다.

비디오 중첩부(237)는 입체 영상 캡션 생성부(234)에서 생성된 좌안 캡션 및 우안 캡션의 표시 데이터(비트맵 데이터)를 비디오 디코더(232)에서 얻은 입체 영상 데이터(좌안 영상 데이터와 우안 영상 데이터)에 중첩시켜서 표시 입체 영상 데이터(Vout)를 얻는다. 그런 다음, 비디오 중첩부(237)는 이 표시 입체 영상 데이터(Vout)를 비트 스트림 처리부(201A)로부터 외부로 출력한다.

또, 오디오 디코더(238)는 전술한 송신 데이터 생성부(110A)의 서브타이틀 디코더(223)의 것과 반대의 처리를 수행한다. 즉, 오디오 디코더(238)는 디멀티플렉서(231)에서 추출된 오디오 패킷으로부터 오디오 기본 스트림을 재구성하고, 디코딩 처리를 실시하여 오디오 데이터(Aout)를 얻는다. 그러면 오디오 디코더(238)는 비트 스트림 처리부(201A)로부터 오디오 데이터(Aout)를 외부로 출력한다.

도 61에 도시된 비트 스트림 처리부(201A)의 동작에 대해 간략히 설명한다. 디지털 튜너(도 29 참조)로부터 출력된 비트 스트림 데이터(BSD)는 디멀티플렉서(231)에 공급된다. 이 디멀티플렉서(231)에서는 비트 스트림 데이터(BSD)로부터 비디오, 오디오 및 캡션 패킷이 추출되어 디코더들에 공급된다.

비디오 디코더(232)에서는 디멀티플렉서(231)에서 추출된 비디오 패킷으로부터의 비디오 기본 스트림이 재구성되고, 디코딩 처리가 실시되어 좌안 영상 데이터와 우안 영상 데이터를 포함하는 입체 영상 데이터를 얻는다. 이 입체 영상 데이터는 비디오 중첩부(237)에 공급된다.

또, 캡션 디코더(233)에서는 디멀티플렉서(231)에서 추출된 캡션 패킷으로부터 캡션 기본 스트림이 재구성되고, 디코딩 처리가 실시되어 캡션 유닛의 캡션 데이터(ARIB 형식 캡션 데이터)를 얻는다. 이 캡션 유닛의 캡션 데이터는 입체 영상 캡션 생성부(234)에 공급된다.

또, 시차 정보 추출부(235)에서는 캡션 디코더(233)를 통해 얻은 캡션 데이터로부터 캡션 유닛에 대응하는 시차 벡터(시차 정보)가 추출된다. 이 경우에, 시차 정보 추출부(235)는 각 캡션 유닛에 대한 시차 벡터(개별 시차 벡터) 또는 캡션 유닛에 공통된 시차 벡터(공유 시차 벡터)를 얻는다.

또, 시차 정보 추출부(235)는 캡션 표시 기간 중에 공통으로 이용된 시차 정보 또는 이와 함께 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보를 얻는다. 시차 정보 추출부(235)에서 추출된 시차 정보(시차 벡터)는 시차 정보 처리부(236)를 통해 입체 영상 캡션 생성부(234)로 전송된다. 시차 정보 처리부(236)에서는 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보에 대한 하기의 처리가 실시된다. 즉, 시차 정보 처리부(236)에서 시간 방향(프레임 방향)으로의 LPF 처리에 관련된 보간 처리가 실시되어, 캡션 표시 기간 중에 임의의 프레임 간격으로, 예컨대 1 프레임 간격으로 시차 정보를 생성하고 이 정보는 입체 영상 캡션 생성부(234)에 송신된다.

입체 영상 캡션 생성부(234)에서는 캡션 유닛의 캡션 데이터와 캡션 유닛에 대응하는 시차 벡터에 기초하여, 좌안 영상과 우안 영상에 각각 중첩될 좌안 캡션과 우안 캡션 데이터(비트맵 데이터)가 생성된다. 이 경우에, 예컨대 우안 캡션은 시차 벡터와 같은 량만큼 수평 방향으로 시프트된 좌안 캡션과 영상 내의 위치가 중첩된다. 이 좌안 캡션과 우안 캡션 데이터는 비디오 중첩부(237)에 공급된다.

비디오 중첩부(237)에서는 입체 영상 캡션 생성부(234)에서 생성된 좌안 캡션 및 우안 캡션 데이터(비트맵 데이터)가 비디오 디코더(232)에서 얻은 입체 영상 데이터에 중첩되어 표시 입체 영상 데이터(Vout)를 얻는다. 이 표시 입체 영상 데이터(Vout)는 비트 스트림 처리부(201A)로부터 외부로 출력된다.

또, 오디오 디코더(238)에서는 디멀티플렉서(231)에서 추출된 오디오 패킷으로부터 오디오 기본 스트림이 재구성되고, 디코딩 처리가 실시되어 전술한 표시 입체 영상 데이터(Vout)에 대응하는 오디오 데이터(Aout)를 얻는다. 이 오디오 데이터(Aout)는 비트 스트림 처리부(201A)로부터 외부로 출력된다.

전술한 바와 같이, 캡션(캡션 유닛) 데이터와 시차 벡터(시차 정보)는 비트 스트림 처리부(201A)에 공급된 비트 스트림 데이터(BSD)에 포함된 캡션 데이터 스트림에 포함된다. 시차 벡터(시차 정보)는 캡션 데이터와 시차 벡터가 상관된 상태로, 캡션 텍스트 데이터 그룹의 PES 스트림 내의 캡션 표시 정보를 전송하는 데이터 유닛에 삽입된다.

따라서, 비트 스트림 처리부(201A)에서는, 대응 시차 벡터(시차 정보)를 이용하여, 좌안 영상과 우안 영상에 중첩된 캡션 유닛(Captions)에 적당한 시차가 제공될 수 있다. 따라서, 표시되고 있는 캡션 유닛(Captions)에 관하여, 영상 내의 물체들 간의 원근 일관성이 최적 상태로 유지될 수 있다.

또, 도 61에 도시된 비트 스트림 처리부(201A)의 시차 정보 추출부(235)는 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보를 이용하며, 따라서, 좌안 서브타이틀과 우안 서브타이틀에 적용될 시차는 영상의 콘텐츠의 변화와 함께 동적으로 변경될 수 있다.

또, 비트 스트림 처리부(201A)의 시차 정보 처리부(236)에서는 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보에 대해 보간 처리를 실시함으로써 캡션 표시 기간 중의 임의의 프레임 간격에서 시차 정보가 생성된다. 이 경우에는, 16프레임 등의 각 베이스 세그먼트 기간(갱신 프레임 간격)에서 송신측(방송국(100))으로부터 시차 정보가 송신되고 있는 경우라도, 좌안 및 우안 캡션에 적용될 시차는 미세 간격으로, 예컨대 프레임마다 제어될 수 있다.

또, 도 61에 도시된 비트 스트림 처리부(201A)의 시차 정보 처리부(236)에서는 시간 방향(프레임 방향)으로의 로우 패스 필터 처리와 관련한 보간 처리가 실시된다. 따라서, 각 베이스 세그먼트 기간(갱신 프레임 간격)에서 송신측(방송국(100))으로부터 시차 정보가 송신되고 있는 경우에도 보간 처리 후의 시간 방향(프레임 방향)으로의 시차 정보의 변화가 완만해질 수 있다(도 31 참조). 따라서, 각 갱신 프레임 간격에서 불연속적으로 되는, 좌안 및 우안 캡션에 적용된 시차의 전이의 부자연스러운 느낌이 억제될 수 있다.

"송신 데이터 생성부와 비트 스트림 처리부의 다른 구성(2)"

"송신 데이터 생성부의 구성예"

도 62는 방송국(100)(도 1 참조)측의 송신 데이터 생성부(110B)의 구성예를 보여준다. 이 송신 데이터 생성부(110B)는 기존 방송 표준인 CEA 형식과 쉽게 호환되는 데이터 구조를 가진 시차 정보(시차 벡터)를 송신한다. 이 송신 데이터 생성부(110B)는 데이터 추출부(아카이빙부(131), 비디오 인코더(132) 및 오디오 인코더(133)를 갖고 있다. 또, 송신 데이터 생성부(110B)는 클로우즈드(closed) 캡션 인코더(CC 인코더)(134), 시차 정보 작성부(135) 및 멀티플렉서(136)를 포함한다.

데이터 기록 매체(131a)는 예컨대 데이터 추출부(131)에 착탈식으로 장착되어 있다. 이 데이터 기록 매체(131a)는 오디오 데이터 및 시차 정보를 좌안 영상데이터와 우안 영상 데이터를 포함하는 입체 영상 데이터와 함께 도 2에 도시된 송신 데이터 생성부(110)의 데이터 추출부(111)에서의 데이터 기록 매체(111a)와 동일하게 상관적으로 기록하고 있다. 데이터 추출부(131)는 데이터 기록 매체(131a)로부터 입체 영상 데이터, 오디오 데이터, 시차 정보 등을 추출하여 출력한다. 데이터 기록 매체(131a)는 디스크형 기록 매체, 반도체 메모리 등이다.

CC 인코더(134)는 CEA-708 표준에 따른 인코더로서 클로우즈드 캡션의 캡션 표시를 위한 CC 데이터(클로우즈드 캡션 정보에 대한 데이터)를 출력한다. 이 경우에, CC 인코더(134)는 시계열적으로 표시된 각 클로우즈드 캡션 정보의 CC 데이터를 순차적으로 출력한다.

시차 정보 작성부(135)는 데이터 추출부(131)로부터 출력된 시차 정보, 즉 각 화소에 대한 시차 벡터에 대해 다운사이징 처리를 실시하여, 전술한 CC 인코더(134)로부터 출력된 CC 데이터에 포함된 각 윈도우 ID(Window ID)와 상관된 시차 정보(시차 벡터)를 출력한다. 시차 정보 작성부(135)는 전술한 도 2에 도시된 송신 데이터 생성부(110)의 시차 정보 작성부(115)와 동일한 다운사이징 처리를 실시하며, 그 상세 설명은 생략한다.

시차 정보 작성부(135)는 동일 스크린 상에 표시된 소정 수의 캡션 유닛(captions)에 대응하는 시차 벡터를 전술한 다운사이징 처리를 통해 작성한다. 이 경우에, 시차 정보 작성부(135)는 각 캡션 유닛에 대한 시차 벡터(개별 시차 벡터)를 작성하거나 캡션 유닛들 간에 공유되는 시차 벡터(공통 시차 벡터)를 작성한다. 그 선택은 예컨대 사용자 설정에 의한다. 이 시차 정보는 좌안 영상에 중첩될 클로우즈드 캡션 정보와 우안 영상에 중첩될 클로우즈드 캡션 정보 중 어느 것이 이 시차 정보에 기초하여 시프트되어야하는 지를 특정하는 시프트 물체 특정 정보도 포함한다.

개별 시차 벡터를 작성하는 경우에는 시차 정보 작성부(135)는 각 캡션 유닛의 표시 영역에 기초하여, 상기 다운사이징 처리를 통해 그 표시 영역에 속하는 시차 벡터를 얻는다. 또, 공통 벡터를 작성하는 경우에는 시차 정보 작성부(135)는 상기 다운사이징 처리를 통해 전체 화상(전체 영상)(도 9의 (d) 참조)의 시차 벡터를 얻는다. 공통 벡터를 작성하는 경우에는 시차 정보 작성부(135)는 각 캡션 유닛의 표시 영역에 속하는 시차 벡터를 얻고 최대값을 가진 시차 벡터를 선택하는 구성도 가능함에 유의한다.

이 시차 정보는 예컨대 클로우즈드 캡션 정보가 표시되는 소정 수의 프레임 기간(캡션 표시 기간) 내에 공통으로 이용된 시차 정보, 또는 이 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보이다. 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보는 소정 수의 프레임 기간의 제1 프레임과, 후속되는 갱신 프레임 간격에서의 프레임의 시차 정보로 구성된다.

비디오 인코더(132)는 데이터 추출부(131)로부터 공급된 입체 영상 데이터에 대해 MPEG4-AVC, MPEG2, VC-1 등의 인코딩을 실시하여, 인코딩된 비디오 데이터를 얻는다. 또, 비디오 인코더(132)는 스트림 형식자(formatter)(132a)를 가지고 그 페이로드부에 인코딩된 비디오 데이터를 포함하는 비디오 기본 스트림을 생성한다.

CC 인코더(134)로부터 출력된 상기 CC 데이터와 시차 정보 작성부(135)에서 작성된 시차 정보는 비디오 인코더(132) 내의 스트림 형식자(132a)에 공급된다. 스트림 형식자(132a)는 이 CC 데이터와 시차 정보를 사용자 데이터로서 비디오 기본 스트림에 끼워 넣는다. 즉, 입체 영상 데이터가 비디오 기본 스트림의 페이로드부에 포함되고, 또, CC 데이터와 시차 정보가 헤더부의 사용자 데이터 영역에 포함된다.

도 63에 도시된 바와 같이, 비디오 기본 스트림은 그 헤드에 위치한 시퀀스의 증분에서 파라미터를 포함하는 시퀀스 헤더부를 갖고 있다. 이 시퀀스 헤더부 다음에 화상의 증분에서의 파라미터와 사용자 데이터를 포함하는 화상 헤더가 위치한다. 이 다음에 화상 헤더부와 페이로드부가 반복적으로 위치한다. 상기 CC 데이터와 시차 정보는 화상 헤더부의 사용자 데이터 영역에 끼워 넣어진다. 이 시차 정보를 사용자 데이터 영역에 끼워 넣는(삽입하는) 것에 대해서는 뒤에 자세히 설명한다.

오디오 인코더(133)는 데이터 추출부(131)에서 추출된 오디오 데이터에 대해 MPEG2 Audio AAC 등의 인코딩을 실시하여 오디오 기본 스트림을 생성한다. 멀티플렉서(136)는 비디오 인코더(132)와 오디오 인코더(133)로부터 출력된 기본 스트림들을 멀티플렉싱한다. 그런 다음에, 멀티플렉서(136)는 송신 데이터(멀티플렉싱된 데이터 스트림)으로 제공되는 비트 스트림 데이터(전송 스트림)(BSD)를 출력한다.

도 62에 도시된 송신 데이터 생성부(110B)의 동작에 대해 간략하게 설명한다. 데이터 추출부(아카이빙부)(131)로부터 출력된 입체 영상 데이터는 비디오 인코더(132)에 공급된다. 이 비디오 인코더(132)에서는 입체 영상 데이터에 대해 MPEG4-AVC, MPEG2, VC-1 등의 인코딩이 실시되어, 이 인코딩된 비디오 데이터를 포함하는 비디오 기본 스트림을 생성한다. 이 비디오 기본 스트림은 멀티플렉서(136)에 공급된다.

CC 인코더(134)는 클로우즈드 캡션의 캡션 표시를 위한 CC 데이터(클로우즈드 캡션 정보에 대한 데이터)를 출력한다. 이 경우에, CC 인코더(134)는 시계열적으로 표시된 각 클로우즈드 캡션 정보의 CC 데이터를 순차적으로 출력한다.

또, 데이터 추출부(131)로부터 출력된 각 화소에 대한 시차 벡터는 시차 정보 작성부(135)에 공급되고, 여기서 시차 벡터에 대해 다운사이징 처리가 실시되고, 전술한 CC 인코더(134)로부터 출력된 CC 데이터에 포함된 각 윈도우 ID(Window ID)와 상관된 시차 정보(시차 벡터)가 출력된다.

CC 인코더(134)로부터 출력된 CC 데이터와 시차 정보 작성부(135)에서 작성된 시차 정보는 비디오 인코더(132)의 스트림 형식자(132a)에 공급된다. 스트림 형식자(132a)는 이 CC 데이터와 시차 정보를 비디오 기본 스트림의 헤더부의 사용자 데이터 영역에 끼워 넣는다. 이 경우에, 시차 정보를 끼워 넣거나 삽입하는 것은 예컨대 (A) 기지(known)의 테이블(CEA 테이블) 내에서 확장하는 방법, (B) 스킵된 바이트의 패딩 바이트로서의 새로운 확장 정의 방법 등에 따라 실시되며, 이에 대해서는 뒤에 설명한다.

또, 데이터 추출부(131)로부터 출력된 오디오 데이터는 오디오 인코더(133)에 공급된다. 오디오 인코더(133)는 그 오디오 데이터에 대해 MPEG2 Audio AAC 등의 인코딩을 실시하여, 인코딩된 오디오 데이터를 포함하는 오디오 기본 스트림을 생성한다. 이 오디오 기본 스트림은 멀티플렉서(136)에 공급된다. 멀티플렉서(136)는 인코더들로부터 출력된 기본 스트림들을 멀티플렉싱하여 송신 데이터로서 기능하는 비트 스트림 데이터(BSD)를 얻는다.

"시차 정보를 사용자 영역에 끼워 넣는(삽입하는) 방법"

다음, 시차 정보를 사용자 데이터 영역에 끼워 넣는 방법에 대해 자세히 설명한다. (A) 기지의 테이블(CEA 테이블) 내에서 확장하는 방법과, (B) 스킵된 바이트의 패딩 바이트로서의 새로운 확장 정의 방법을 고려해 볼 수 있다. 방법 (A)는 확장된 바이트 수를 확장 명령 EXT1과 이에 따른 값으로 나타내고, 그 후에 파라미터를 삽입하는 방법이다.

"기존 테이블(Table)의 범위 내에서 확장하는 방법 (A) (1)"

도 64는 CEA 테이블을 개략적으로 보여준다. 이 CEA 테이블 내에서 확장하는 경우에, C0 테이블 내의 0x10 (EXT1) 명령을 가지고 확장 명령의 개시가 선언되고, 이어서, C2 테이블(C2 Table), C3 테이블(C3 Table), G2 테이블(G2 Table) 및 G3 테이블(G3 Table)의 어드레스가 확장 명령의 길이로 특정된다. 여기서는 3바이트 명령이 구성되므로, 이어지는 바이트 스트링은 3바이트가 C2 테이블에서 이어지는 것을 나타내도록 정의된다. 이어지는 3 바이트를 나타내는 C2 테이블에서의 0x18 내지 0x1F의 어드레스 공간은 CEA 규정(stipulation)임에 유의한다.

이 경우에 전체 확장 명령은 다음과 같다.

확장 명령: EXT1 (0x10) + 0x18 (이어지는 3바이트) + (Byte1) + (Byte2) + (Byte3)

도 65는 3바이트 필드 "Byte1", "Byte2" 및 "Byte3"의 구성예를 보여준다. "window_id"는 "Byte1"의 제7 비트에서 제5 비트까지의 3비트 필드에 위치한다. 이 "window_id"로 인해, 확장 명령의 정보가 적용되는 윈도우(window)와 상관이 이루어진다. "temporal_division_count"는 "Byte1"의 제4 비트에서 제0 비트까지의 5비트 필드에 위치한다. 이 "temporal_division_count"는 캡션 표시 기간에 포함된 베이스 세그먼트 수를 나타낸다(도 22 참조).

"temporal_division_size"는 "Byte2"의 제7 비트와 제6 비트의 2비트 필드에 위치한다. 이 "temporal_division_size"는 베이스 세그먼트 기간(갱신 프레임 간격)에 포함된 프레임 수를 나타낸다. "00"은 이것이 16 프레임임을 나타낸다. "01"은 이것이 25 프레임임을 나타낸다. "10"은 이것이 30 프레임임을 나타낸다. "11"은 이것이 32 프레임임을 나타낸다(도 22 참조).

"shared_disparity"는 "Byte2"의 제5 비트의 1비트 필드에 위치한다. 이 "shared_disparity"는 모든 윈도우(window)에 대해 공유 시차 정보(disparity) 제어를 실시할 것인지 여부를 나타낸다. "1"은 하나의 공통 시차 정보(disparity)가 모든 이어지는 윈도우에 적용된다는 것을 나타낸다. "0"은 시차 정보(disparity)가 단 하나의 윈도우에 적용된다는 것을 나타낸다(도 19).

"shifting_interval_counts"는 "Byte2"의 제4 비트에서 제0 비트까지의 5비트 필드에 위치한다. 이 "shifting_interval_counts"는 베이스 세그먼트 기간(갱신 프레임 간격)을 조정하기 위한 드로우 팩터(Draw Factor), 즉 감산된 프레임의 수를 나타낸다(도 22 참조).

베이스 세그먼트 기간(BSP)마다의 시차 정보 갱신예에서, 베이스 세그먼트 기간은 드로우 팩터(Draw Factor)에 의해 시점들(C 내지 F)에서 시차 정보에 대한 갱신 타이밍에 대해 조정된다. 이 조정 정보의 존재로 인해, 베이스 세그먼트 기간(갱신 프레임 간격)이 조정될 수 있고, 시차 정보의 시간적 방향(프레임 방향)의 변화가 더욱 정확하게 수신측에 통지될 수 있다.

베이스 세그먼트 기간(갱신 프레임 간격)을 조정하는 데는 전술한 바와 같이 감산 프레임의 수를 줄이는 방향으로 조정하는 것 이외에도 프레임을 가산하여 늘이는 방향으로 조정하는 것도 있음에 유의한다. 예컨대 5비트 필드 "shifting_interval_counts"를 소정 부호를 가진 정수가 되도록 함으로써 양 방향 조정을 실시할 수 있다.

"disparity_update"는 "Byte3"의 제7 비트에서 제0 비트까지의 8비트 필드에 위치한다. 이 "disparity_update"는 해당 베이스 세그먼트의 시차 정보를 나타낸다. "disparity_update"는 k=0이 캡션 표시 기간 중의 갱신 프레임 간격에서 순차적으로 갱신된 시차 정보, 즉 캡션 표시 기간 중의 제1 프레임의 시차 정보의 초기값임에 유의한다.

상기 5바이트 확장 명령을 사용자 데이터 영역에 포함시켜 반복적으로 송신함으로써, 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보의 송신(transmission)이 가능해지고 또 이에 부가된 갱신 프레임 간격의 정보를 조정할 수 있다.

"기존 테이블(Table)의 범위 내에서 확장하는 방법 (A) (2)"

도 67은 CEA 테이블을 개략적으로 보여준다. 이 CEA 테이블 내에서 확장하는 경우에, C0 테이블 내의 0x10 (EXT1) 명령을 가지고 확장 명령의 개시가 선언되고, 이어서, C2 테이블(C2 Table), C3 테이블(C3 Table), G2 테이블(G2 Table) 및 G3 테이블(G3 Table)의 어드레스가 확장 명령의 길이로 특정된다. 여기서는 3바이트 명령이 구성되므로, 이어지는 바이트 스트링은 3바이트가 C2 테이블에서 이어지는 것을 나타내도록 정의된다. 이어지는 3 바이트를 나타내는 C2 테이블에서의 0x90 내지 0x9F의 어드레스 공간은 CEA 규정임에 유의한다.

이 경우에 전체 확장 명령은 다음과 같다.

확장 명령: EXT1 (0x10) + EXTCode(0x90) + (Header(Byte1)) + (Byte2) + ...+ (ByteN)

도 68은 4바이트 필드 "Header(Byte1)", "Byte2", "Byte3" 및 "Byte4"의 구성예를 보여준다. "type_field"는 "Header(Byte1)"의 제7 비트와 제6 비트의 2비트 필드에 위치한다. 이 "type_field"는 공통 타입을 나타낸다. "00"은 명령 시작(BOC: Beginning of Command)를 나타낸다. "01"은 명령 지속(COC: Continuation of Command)를 나타낸다. "10"은 명령 종료(EOC: End of Command)를 나타낸다.

"Length_field"는 "Header(Byte1)"의 제4 비트에서 제0 비트까지의 5비트 필드에 위치한다. 이 "Length_field"는 이 확장 명령 다음의 명령 수를 나타낸다. 하나의 서비스 블록(service block)에서 허용되는 최대 길이는 28바이트이다. 이 범위 내에서 Byte2 내지 Byte4의 루프를 반복함으로써 시차 정보(disparity)가 갱신될 수 있다. 이 경우에, 하나의 서비스 블록을 가지고 최대 9개의 시차 정보 세트가 갱신될 수 있다.

"window_id"는 "Byte2"의 제7 비트에서 제5 비트까지의 3비트 필드에 위치한다. 이 "window_id"로 인해, 확장 명령의 정보가 적용되는 윈도우(window)와 상관이 이루어진다. "temporal_division_count"는 "Byte2"의 제4 비트에서 제0 비트까지의 5비트 필드에 위치한다. 이 "temporal_division_count"는 캡션 표시 기간에 포함된 베이스 세그먼트 수를 나타낸다(도 22 참조).

"temporal_division_size"는 "Byte3"의 제7 비트와 제6 비트의 2비트 필드에 위치한다. 이 "temporal_division_size"는 베이스 세그먼트 기간(갱신 프레임 간격)에 포함된 프레임 수를 나타낸다. "00"은 이것이 16 프레임임을 나타낸다. "01"은 이것이 25 프레임임을 나타낸다. "10"은 이것이 30 프레임임을 나타낸다. "11"은 이것이 32 프레임임을 나타낸다(도 22 참조).

"shared_disparity"는 "Byte3"의 제5 비트의 1비트 필드에 위치한다. 이 "shared_disparity"는 모든 윈도우(window)에 대해 공유 시차 정보(disparity) 제어를 실시할 것인지 여부를 나타낸다. "1"은 하나의 공통 시차 정보(disparity)가 모든 이어지는 윈도우에 적용된다는 것을 나타낸다. "0"은 시차 정보(disparity)가 단 하나의 윈도우에 적용된다는 것을 나타낸다(도 19).

"shifting_interval_counts"는 "Byte3"의 제4 비트에서 제0 비트까지의 5비트 필드에 위치한다. 이 "shifting_interval_counts"는 베이스 세그먼트 기간(갱신 프레임 간격)을 조정하기 위한 드로우 팩터(Draw Factor), 즉 감산된 프레임의 수를 나타낸다(도 22 참조).

"disparity_update"는 "Byte4"의 제7 비트에서 제0 비트까지의 8비트 필드에 위치한다. 이 "disparity_update"는 해당 베이스 세그먼트의 시차 정보를 나타낸다. "disparity_update"는 k=0이 캡션 표시 기간 중의 갱신 프레임 간격에서 순차적으로 갱신된 시차 정보, 즉 캡션 표시 기간 중의 제1 프레임의 시차 정보의 초기값임에 유의한다.

상기 가변 길이 확장 명령을 사용자 데이터 영역에 포함시켜 송신함으로써, 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보의 송신(transmission)이 가능해지고 또 이에 부가된 갱신 프레임 간격의 정보를 조정할 수 있다.

"패딩 바이트의 새로운 확장 정의 방법 (B)"

도 69는 종래의 클로우즈드 캡션 데이터(CC 데이터)의 구조예(신택스)를 보여준다. "cc_valid=0"과 "cc_type=00"인 경우에는 수신측(디코더)은 필드 "cc_data_1"과 "cc_data_2" 판독을 스킵하도록 규정되어 있다. 여기서, 이 공간은 시차 정보(disparity)의 송신을 위한 확장을 정의하는 데 이용된다.

도 70은 시차 정보(disparity)와 호환되도록 수정된 종래의 클로우즈드 캡션 데이터(CC 데이터)의 구조예(신택스)를 도시한 도이다. 2비트 필드 "extended_control"은 2개의 필드 "cc_data_1"과 "cc_data_2"를 제어하기 위한 정보이다. 도 71의 (a)에 나타낸 바와 같이, "cc_valid=0"과 "cc_type=00"인 경우와 2비트 필드 "extended_control"이 "01" 또는 "10"인 경우에는 2개의 필드 "cc_data_1"과 "cc_data_2"는 시차 정보(disparity)의 송신에 이용된다.

이 경우에, 도 71의 (b)에 나타낸 바와 같이 "extended_control=01"인 경우에는 필드 "cc_data_1"은 "확장 패킷의 개시"를 의미하며, 제1 확장 패킷 데이터(1바이트)가 삽입된다. 또, 이때에, 필드 "cc_data_2"는 "확장 패킷 데이터"를 의미하며, 이어지는 확장 패킷 데이터(1바이트)가 삽입된다.

또, 도 71의 (b)에 나타낸 바와 같이 "extended_control=10"인 경우에는 필드 "cc_data_1"과 "cc_data_2"는 "확장 패킷 데이터"를 의미하며, 이어지는 확장 패킷 데이터(1바이트)가 삽입된다. 도 71의 (b)에 나타낸 바와 같이 "extended_control=00"인 경우에는 필드 "cc_data_1"과 "cc_data_2"는 "패딩"을 의미함에 유의한다.

그러면, "확장 패킷 데이터"는 "caption_disparity_data()"의 전송으로서 정의된다. 도 72와 73은 "caption_disparity_data()"의 구조예(신택스)를 보여준다. 도 74는 "caption_disparity_data()"의 구조예에서 주요 데이터 규정(신택스)을 보여주는 도이다.

"service_number"는 서비스 타입을 나타내는 1비트 정보이다. "shared_windows"는 모든 윈도우(window)에 대해 공유 시차 정보(disparity) 제어를 실시할 것인지 여부를 나타낸다. "1"은 하나의 공통 시차 정보(disparity)가 모든 이어지는 윈도우에 적용된다는 것을 나타낸다. "0"은 시차 정보(disparity)가 단 하나의 윈도우에 적용된다는 것을 나타낸다.

"caption_window_count"는 캡션 윈도우 수를 나타내는 3비트 정보이다. "caption_window_id"는 캡션 윈도우를 식별하는 3비트 정보이다. "temporal_extension_flag"는 캡션 표시 기간 내에 순차적으로 갱신된 시차 정보(disparity_update)가 존재하는지 여부를 나타내는 1비트 플래그 정보이다. 이 경우에, "1"은 이 시차 정보가 존재함을 나타내고, "0"은 이 시차 정보가 존재하지 않음을 나타낸다.

"rendering_level"은 수신측(디코더측)에서 캡션 표시에 필수적인 시차 정보(disparity)의 대응 레벨을 나타낸다. "00"은 시차 정보를 이용하는 캡션의 3차원 표시가 선택적인(optional) 것임을 나타낸다. "01"은 캡션 표시 기간 내에 공통으로 이용된 시차 정보(default_disparity)를 이용하는 캡션의 3차원 표시가 필수적인 것임을 나타낸다. "10"은 캡션 표시 기간 내에 순차적으로 갱신된 시차 정보(disparity_update)를 이용하는 캡션의 3차원 표시가 필수적인 것임을 나타낸다.

"select_view_shift"는 시프트 물체 특정 정보를 구성하는 2비트 정보이다. 이 "select_view_shift"는 좌안 영상에 중첩될 클로우즈드 캡션 정보와 우안 영상에 중첩될 클로우즈드 캡션 정보 중, 시차 정보에 기초하여 시프트될 클로우즈드 캡션 정보를 특정한다. "select_view_shift=00"은 예비적인 것이다. "select_view_shift=01"인 경우에, 좌안 영상에 중첩될 클로우즈드 캡션 정보만이 시차 정보(disparity)와 같은 량만큼 수평 방향으로 시프트된다.

또, "select_view_shift=10"인 경우에, 우안 영상에 중첩될 클로우즈드 캡션 정보만이 시차 정보(disparity)와 같은 량만큼 수평 방향으로 시프트된다. 더욱이, "select_view_shift=11"인 경우에, 좌안 영상에 중첩될 클로우즈드 캡션 정보와 우안 영상에 중첩될 클로우즈드 캡션 정보 양쪽이 수평 방향으로 반대 방향으로 시프트된다.

8비트 필드 "default_disparity"는 디폴트 시차 정보를 나타낸다. 이 시차 정보는 갱신되지 않은 경우의 시차 정보, 즉 캡션 표시 기간 내에 공통으로 이용된 시차 정보이다. "temporal_extension_flag"가 "1"인 경우, "caption_disparity_data()"는 "disparity_temporal_extension()"을 갖는다. 기본적으로, 베이스 세그먼트 기간(BSP: Base Segment Period)마다 갱신될 시차 정보는 여기에 저장된다.

전술한 바와 같이, 도 20은 베이스 세그먼트 기간(BSP)마다 시차 정보를 갱신하는 예를 보여준다. 베이스 세그먼트 기간은 갱신 프레임 간격을 의미한다. 이 도면으로부터 알 수 있듯이, 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보는 소정 수의 프레임 기간 중의 제1 프레임의 시차 정보와, 후속되는 베이스 세그먼트 기간(갱신 프레임 간격)의 시차 정보로 구성된다.

도 73은 "disparity_temporal_extension()"의 구조예(신택스)를 보여준다. 2비트 필드 "temporal_division_size"는 베이스 세그먼트 기간(갱신 프레임 간격)에 포함된 프레임 수를 나타낸다. "00"은 이것이 16 프레임임을 나타낸다. "01"은 이것이 25 프레임임을 나타낸다. "10"은 이것이 30 프레임임을 나타낸다. "11"은 이것이 32 프레임임을 나타낸다.

"temporal_division_count"는 캡션 표시 기간에 포함된 베이스 세그먼트 수를 나타낸다. "disparity_curve_no_update_flag"는 시차 정보의 갱신이 있는지 여부를 나타내는 1비트 플래그 정보이다. "1"은 해당 베이스 세그먼트의 에지에서 시차 정보 갱신이 실시되지 않는다는 것, 즉 스킵된다는 것을 나타내며, "0"은 해당 베이스 세그먼트의 에지에서 시차 정보 갱신이 실시된다는 것을 나타낸다.

전술한 도 23에서 베이스 세그먼트 주기(BSP)마다의 시차 정보의 갱신예에서, "스킵(skip)"이 부기되어 있는 베이스 세그먼트의 에지에서는 시차 정보가 갱신되지 않는다. 이 플래그의 존재로 인해, 프레임 방향으로의 시차 정보의 변화가 동일한 기간이 장시간 지속되는 경우에는, 이 시차 정보를 갱신하지 않음으로써 이 기간 내에서의 시차 정보 송신은 생략될 수 있으며, 따라서 시차 정보의 데이터량을 억제할 수 있다.

"disparity_curve_no_update_flag"가 "0"이고 시차 정보 갱신이 실시되는 경우에는, 해당 세그먼트의 "shifting_interval_counts"가 포함된다. 반면에, "disparity_curve_no_update_flag"가 "1"이고 시차 정보 갱신이 실시되지 않는 경우에는, 해당 세그먼트의 "disparity_update"가 포함되지 않는다. 6비트 필드 "shifting_interval_counts"는 베이스 세그먼트 기간(갱신 프레임 간격)을 조정하기 위한 드로우 팩터(Draw Factor), 즉 감산된 프레임의 수를 나타낸다.

베이스 세그먼트 기간(BSP)마다의 시차 정보 갱신예에서, 베이스 세그먼트 기간은 드로우 팩터(Draw Factor)에 의해 시점들(C 내지 F)에서 시차 정보에 대한 갱신 타이밍에 대해 조정된다. 이 조정 정보의 존재로 인해, 베이스 세그먼트 기간(갱신 프레임 간격)이 조정될 수 있고, 시차 정보의 시간적 방향(프레임 방향)의 변화가 더욱 정확하게 수신측에 통지될 수 있다.

베이스 세그먼트 기간(갱신 프레임 간격)을 조정하는 데는 전술한 바와 같이 감산 프레임의 수를 줄이는 방향으로 조정하는 것 이외에도 프레임을 가산하여 늘이는 방향으로 조정하는 것도 있음에 유의한다. 예컨대 5비트 필드 "shifting_interval_counts"를 소정 부호를 가진 정수가 되도록 함으로써 양 방향 조정을 실시할 수 있다.

전술한 바와 같이, 판독 시 스킵된 바이트에 대해 패딩 바이트로서 새로운 확장 정의를 함으로써, 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보와 이에 부가된 갱신 프레임 간격의 조정 정보가 송신될(transmitted) 수 있다.

도 75는 비디오 기본 스트림, 오디오 기본 스트림 및 캡션 기본 스트림을 포함하는 일반적 전송 스트림(멀티플렉싱된 데이터 스트림)의 구성예를 보여주는 도이다. 이 전송 스트림은 기본 스트림들을 패킷화하여 얻은 PES 패킷을 포함한다. 이 구성예에서는 비디오 기본 스트림의 PES 패킷 "Video PES"가 포함된다. 또, 이 구성예에서는 오디오 기본 스트림의 PES 패킷 "Audio PES"와 캡션 기본 스트림의 PES 패킷 "Subtitle PES"가 포함된다.

또, 전송 스트림은 PSI(Program Specific Information)로서 PMT(Program Map Table)를 포함한다. 이 PSI는 전송 스트림에 포함된 프로그램 포함된 각 기본 스트림이 어느 프로그램에 속하는 지를 기술하는 정보이다. 또한, 전송 스트림은 이벤트 증분에서 관리를 수행하는 SI(Service Information)로서 제공되는 EIT(Event Information Table)를 포함한다.

PMT에는 전체 프로그램에 관한 정보를 서술하는 프로그램 서술자(Program Descriptor)가 존재한다. 또한, 이 PMT에는 각 기본 스트림에 관한 정보를 가진 기본 루프도 존재한다. 이 구성예에서는 비디오 기본 루프, 오디오 기본 루프 및 서브타이틀 기본 루프가 존재한다. 각 기본 루프는 각 스트림에 대한 패킷 식별자(PID), 스트림 타입(Stream_Type) 등이 배치되어 있고, 또, 도면에는 나타나 있지 않지만, 기본 스트림에 관한 정보를 서술하는 서술자(descriptor)도 배치되어 있다.

도 62에 도시된 송신 데이터 생성부(110B)에서는 도 75에 도시된 바와 같이 비디오 기본 스트림의 시차 정보의 사용자 데이터 영역에 삽입된 시차 정보(disparity)가 송신된다(transmitted).

도 62에 도시된 송신 데이터 생성부(110B)에서는 입체 영상을 표시하기 위해 좌안 영상 데이터와 우안 영상 데이터를 포함하는 입체 영상 데이터가 비디오 기본 스트림의 페이로드부에 포함되어 송신된다. 또, CC 데이터와 이 CC 데이터의 클로우즈드 캡션 정보에 시차를 적용하기 위한 시차 정보가 비디오 기본 스트림의 헤더부의 사용자 데이터 영역에 삽입되어 송신된다.

따라서, 수신측(셋톱 박스(200))에서는 비디오 기본 스트림으로부터 입체 영상 데이터가 얻어질 수 있고, 또, CC 데이터와 시차 정보도 쉽게 얻어질 수 있다. 또, 수신측에서는 시차 정보를 이용하여, 좌안 영상과 우안 영상에 중첩된 동일 클로우즈드 캡션 정보에 적당한 시차가 적용될 수 있다. 따라서, 클로우즈드 캡션 정보 표시 시에 영상의 물체의 원근 일관성이 최적 상태로 유지될 수 있다.

또, 도 62에 도시된 송신 데이터 생성부(110B)에서는 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보(도 65, 도 68 및 도 73에서 "disparity_update" 참조)가 삽입될 수 있다. 따라서, 수신측(셋톱 박스(200))에서는 중첩된 정보에 적용되는 시차가 영상의 콘텐츠의 변경과 함께 동적으로 변경될 수 있다.

또, 도 62에 도시된 송신 데이터 생성부(110B)에서는 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보는 소정 수의 프레임의 기간의 제1 프레임과 그 후의 갱신 프레임 간격에서의 프레임의 시차 정보로 구성된다. 따라서, 송신 데이터량을 줄일 수 있고, 수신측에서 시차 정보를 유지하는 메모리 용량을 많이 아낄 수 있다.

또, 도 62에 도시된 송신 데이터 생성부(110B)에서는 "caption_disparity_data()"에 포함된 "disparity_temporal_extension()"은 전술한 SCS 세그먼트(도 21 참조)에 포함된 "disparity_temporal_extension()"과 구조가 동일하다. 따라서, 자세한 설명은 생략하겠지만, 도 62에 도시된 송신 데이터 생성부(110B)는 이 "disparity_temporal_extension()" 구조로 인해 도 2에 도시된 송신 데이터 생성부(110)와 동일한 이점을 얻을 수 있다.

"비트 스트림 처리부의 구성예"

도 76은 전술한 도 62에 도시된 송신 데이터 생성부(110B)에 대응하는 셋톱 박스(200)의 비트 스트림 처리부(201B)의 구성예를 보여준다. 이 비트 스트림 처리부(201B)는 전술한 도 62에 도시된 송신 데이터 생성부(110B)에 대응하는 구성을 갖고 있다. 이 비트 스트림 처리부(201B)는 디멀티플렉서(241), 비디오 디코더(242) 및 CC 디코더(243)를 포함한다. 또, 이 비트 스트림 처리부(201B)는 입체 영상 CC 생성부(244), 시차 정보 추출부(245), 시차 정보 처리부(246), 비디오 중첩부(247) 및 오디오 디코더(248)를 포함한다.

디멀티플렉서(241)는 비트 스트림 데이터(BSD)로부터 비디오 및 오디오 패킷을 추출하여 이들을 디코더들에 전송한다. 비디오 디코더(242)는 전술한 송신 데이터 생성부(110B)의 비디오 인코더(132)의 것과 반대되는 처리를 수행한다. 즉, 비디오 디코더(242)는 디멀티플렉서(241)에서 추출된 비디오 패킷으로부터 비디오 기본 스트림을 재구성하고, 디코딩 처리를 실시하여 좌안 영상 데이터와 우안 영상 데이터를 포함하는 입체 영상 데이터를 얻는다.

이 입체 영상 데이터에 대한 송신 형식은 예컨대 전술한 제1 송신 형식("톱&보텀" 형식), 제2 송신 형식("사이드 바이 사이드" 형식), 제3 송신 형식("프레임 시퀀셜" 형식) 등이다(도 4의 (a) 내지 4의 (c) 참조). 비디오 디코더(242)는 이 입체 영상 데이터를 비디오 중첩부(247)에 공급한다.

CC 디코더(243)는 비디오 디코더(242)에서 재구성된 비디오 기본 스트림으로부터 CC 데이터를 재구성한다. 그런 다음에, CC 디코더(243)는 각 캡션 윈도우(Caption Window)에 대한 클로우즈드 캡션 정보(캡션에 대한 캐릭터 코드)와, 추가로 중첩 위치와 표시 시간의 제어 데이터를 얻는다.

시차 정보 추출부(245)는 비디오 디코더(242)를 통해 얻은 비디오 기본 스트림으로부터 시차 정보를 추출한다. 이 시차 정보는 전술한 CC 디코더(243)에서 얻은 각 캡션 윈도우(Caption Window)에 대한 클로우즈드 캡션 정보(캡션에 대한 캐릭터 코드)와 상관된다. 이 시차 정보는 각 캡션 윈도우에 대한 시차 벡터(개별 시차 벡터) 또는 각 캡션 윈도우에 공통된 시차 벡터(공유 시차 벡터)이다.

시차 정보 추출부(245)는 캡션 표시 기간 중에 공통으로 이용된 시차 정보 또는 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보를 얻는다. 시차 정보 추출부(245)는 이 시차 정보를 시차 정보 처리부(246)를 통해 입체 영상 CC 생성부(244)에 전송한다. 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보는 캡션 표시 기간의 제1 프레임의 시차 정보와 그 후의 갱신 프레임 간격(갱신 프레임 간격)에서의 프레임의 시차 정보로 구성된다.

캡션 표시 기간 중에 공통으로 이용된 시차 정보에 대해서는, 시차 정보 처리부(246)는 이 정보를 그대로 입체 영상 CC 생성부(244)에 전송한다. 반면에, 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보에 대해서는, 시차 정보 처리부(246)는 보간 처리를 실시하고, 캡션 표시 기간 중에 임의의 프레임 간격으로, 예컨대 1 프레임 간격으로 시차 정보를 생성하고 이를 입체 영상 CC 생성부(244)에 전송한다. 이 보간 처리에 대해서는, 시차 정보 처리부(246)는 보간 처리에 따른 소정 프레임 간격에서의 시차 정보 변화가 시간 방향(프레임 방향)으로 완만해지도록 선형 보간 처리가 아닌, 시간 방향(프레임 방향)으로의 로우 패스 필터(LPF) 처리와 관련한 보간 처리를 수행한다(도 31 참조).

입체 영상 CC 생성부(244)는 캡션 윈도우(Caption Window)마다 좌안 영상과 우안 영상에 대해 좌안 클로우즈드 캡션 정보(caption) 데이터와 우안 클로우즈드 캡션 정보(caption) 데이터를 생성한다. 이 생성 처리는 CC 디코더(243)에서 얻은 클로우즈드 캡션 데이터 및 중첩 처리 제어 데이터와 시차 정보 처리부(246)를 통해 시차 정보 추출부(245)로부터 전송된 시차 정보(시차 벡터)에 기초하여 실시된다. 입체 영상 CC 생성부(244)는 좌안 캡션과 우안 캡션 데이터(비트맵 데이터)를 출력한다.

이 경우에, 좌안 캡션과 우안 캡션은 같은 정보이다. 그러나, 영상 내의 좌안 캡션과 우안 캡션의 중첩 위치는 예컨대 시차 벡터와 같은 량만큼 수평 방향으로 시프트된다. 따라서, 영상 내의 물체의 원근에 따라 시차 조정이 실시된 캡션이 좌안 영상 및 우안 영상에 중첩된 동일 캡션으로서 이용될 수 있고, 따라서, 영상 내의 물체의 원근 일관성이 최적 상태로 유지될 수 있다.

그러면, 예컨대 캡션 표시 기간 중에 공통으로 이용되는 시차 정보(시차 벡터)만이 시차 정보 처리부(246)로부터 송신되는 경우에, 입체 영상 CC 생성부(244)는 이 시차 정보를 이용한다. 또, 예컨대 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보도 시차 정보 처리부(246)로부터 송신되는 경우에는, 입체 영상 CC 생성부(244)는 이 시차 정보를 이용한다. 더욱이, 예컨대 캡션 표시 기간 중에 공통으로 이용되는 시차 정보와 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보 둘 다 시차 정보 처리부(246)로부터 송신되는 경우에는, 입체 영상 CC 생성부(244)는 이 2개의 시차 정보 중 어느 한쪽을 이용한다.

어느 쪽을 이용하는가는 수신측(디코더)에서 캡션 표시에 필수적인 시차 정보(disparity)의 상관도를 나타내는 정보("rendering_level")(확장 표시 제어 데이터 유닛에 포함되어 있음)에 의해 구속된다. 이 경우에, 예컨대 "00"의 경우, 사용자 설정이 그대로 적용된다. 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보를 이용하면 좌안 서브타이틀과 우안 서브타이틀에 적용될 시차가 영상의 콘텐츠의 변경과 함께 동적으로 변경될 수 있다.

비디오 중첩부(247)는 입체 영상 CC 생성부(244)에서 생성된 좌안 및 우안 캡션 데이터(비트맵 데이터)를 비디오 디코더(242)에서 얻은 입체 영상 데이터(좌안 영상 데이터와 우안 영상 데이터)에 중첩시켜서 표시 입체 영상 데이터(Vout)를 얻는다. 그런 다음, 비디오 중첩부(247)는 이 표시 입체 영상 데이터(Vout)를 비트 스트림 처리부(201B)로부터 외부로 출력한다.

또, 오디오 디코더(248)는 전술한 송신 데이터 생성부(110B)의 오디오 디코더(133)의 것과 반대의 처리를 수행한다. 즉, 이 오디오 디코더(248)는 디멀티플렉서(241)에서 추출된 오디오 패킷으로부터 오디오 기본 스트림을 재구성하고, 디코딩 처리를 실시하여 오디오 데이터(Aout)를 얻는다. 그러면 이 오디오 디코더(248)는 비트 스트림 처리부(201B)로부터 오디오 데이터(Aout)를 외부로 출력한다.

도 76에 도시된 비트 스트림 처리부(201B)의 동작에 대해 간략히 설명한다. 디지털 튜너(204)(도 29 참조)로부터 출력된 비트 스트림 데이터(BSD)는 디멀티플렉서(241)에 공급된다. 이 디멀티플렉서(241)에서는 비트 스트림 데이터(BSD)로부터 비디오 및 오디오 패킷이 추출되어 디코더들에 공급된다. 비디오 디코더(242)에서는 디멀티플렉서(241)에서 추출된 비디오 패킷으로부터의 비디오 기본 스트림이 재구성되고, 디코딩 처리가 실시되어 좌안 영상 데이터와 우안 영상 데이터를 포함하는 입체 영상 데이터를 얻는다. 이 입체 영상 데이터는 비디오 중첩부(247)에 공급된다.

또, 비디오 디코더(242)에서 재구성된 비디오 기본 스트림은 CC 디코더(243)에 공급된다. CC 디코더(243)에서는 비디오 기본 스트림으로부터 CC 데이터가 추출된다. 이 CC 디코더(243)에서는 CC 데이터로부터 각 캡션 윈도우(Caption Window)에 대한 클로우즈드 캡션 정보(캡션에 대한 캐릭터 코드)와, 추가로 중첩 위치와 표시 시간의 제어 데이터가 얻어진다. 이 클로우즈드 캡션 정보와 중첩 위치와 표시 시간의 제어 데이터는 입체 영상 CC 생성부(244)에 공급된다.

또, 비디오 디코더(242)에서 재구성된 비디오 기본 스트림은 시차 정보 추출부(245)에 공급된다. 시차 정보 추출부(245)에서는 비디오 기본 스트림으로부터 시차 정보가 추출된다. 이 시차 정보는 전술한 CC 디코더(243)에서 얻은 각 캡션 윈도우(Caption Window)에 대한 클로우즈드 캡션 정보(캡션에 대한 캐릭터 코드)와 상관된다. 이 시차 정보는 시차 정보 처리부(246)를 통해 입체 영상 CC 생성부(244)에 공급된다.

시차 정보 처리부(246)에서는 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보에 대한 하기의 처리가 실시된다. 즉, 시차 정보 처리부(246)에서 시간 방향(프레임 방향)으로의 로우 패스 필터(LPF) 처리에 관련된 보간 처리가 실시되어, 캡션 표시 기간 중에 임의의 프레임 간격으로, 예컨대 1 프레임 간격으로 시차 정보를 생성하고 이 정보는 입체 영상 CC 생성부(244)에 전송된다.

입체 영상 CC 생성부(244)에서는 각 캡션 윈도우(Caption Window)에 대해 좌안 클로우즈드 캡션 정보(captions) 데이터와 우안 클로우즈드 캡션 정보(captions) 데이터가 생성된다. 이 생성 처리는 CC 디코더(243)에서 얻은 클로우즈드 캡션 데이터 및 중첩 처리 제어 데이터와 시차 정보 처리부(246)를 통해 시차 정보 추출부(245)로부터 공급된 시차 정보(시차 벡터)에 기초하여 실시된다.

입체 영상 CC 생성부(244)에서는 좌안 클로우즈드 캡션 정보와 우안 클로우즈드 캡션 정보 중 하나 또는 둘 다에 대해 시차를 적용하는 시프트 처리가 실시된다. 이 경우에, 시차 정보 처리부(246)를 통해 공급된 시차 정보가 프레임들 간에 공통으로 이용되는 시차 정보인 경우, 이 공통 시차 정보에 기초하여, 좌안 영상 및 우안 영상에 중첩되는 클로우즈드 캡션 정보에 시차가 적용된다. 또, 시차 정보가 각 프레임에서 순차적으로 갱신되는 시차 정보인 경우, 좌안 영상 및 우안 영상에 중첩되는 클로우즈드 캡션 정보에 각 프레임에서 순차적으로 갱신되는 시차 정보가 적용된다.

따라서, 입체 영상 CC 생성부(244)에서 각 캡션 윈도우(Caption Window)에 대해 발생된 좌안 및 우안 클로우즈드 캡션 정보 데이터(비트맵 데이터)가 표시 시간 제어 데이터와 함께 비디오 중첩부(247)에 공급된다. 비디오 중첩부(247)에서는 입체 영상 CC 생성부(244)로부터 공급된 클로우즈드 캡션 정보 데이터가 비디오 디코더(242)에서 얻은 입체 영상 데이터(좌안 영상 데이터 및 우안 영상 데이터)에 중첩되어 표시 입체 영상 데이터(Vout)를 얻는다.

또, 오디오 디코더(248)에서는 디멀티플렉서(241)에서 추출된 오디오 패킷으로부터 오디오 기본 스트림이 재구성되고, 디코딩 처리가 실시되어 전술한 표시 입체 영상 데이터(Vout)에 대응하는 오디오 데이터(Aout)를 얻는다. 이 오디오 데이터(Aout)는 비트 스트림 처리부(201B)로부터 외부로 출력된다.

도 76에 도시된 비트 스트림 처리부(201B)에서는 비디오 기본 스트림의 페이로드부로부터 입체 영상 데이터가 얻어질 수 있고, 또, 헤더부의 사용자 데이터 영역으로부터 CC 데이터와 시차 정보가 얻어질 수 있다. 따라서, 이 클로우즈드 캡션 정보와 일치하는 시차 정보를 이용하여, 좌안 영상과 우안 영상에 중첩되는 클로우즈드 캡션 정보에 적당한 시차가 제공될 수 있다. 따라서, 클로우즈드 캡션 정보 표시 시에 영상 내의 물체들의 원근 일관성이 최적 상태로 유지될 수 있다.

또, 도 76에 도시된 비트 스트림 처리부(201B)의 시차 정보 추출부(245)에서는 캡션 표시 기간 중에 공통으로 이용되는 시차 정보 또는 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보가 얻어진다. 입체 영상 CC 생성부(244)에서 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보를 이용하면 좌안 영상과 우안 영상에 중첩되는 클로우즈드 캡션 정보에 적용될 시차가 영상의 콘텐츠의 변화와 함께 동적으로 변경될 수 있다.

또, 도 76에 도시된 비트 스트림 처리부(201B)의 시차 정보 처리부(246)에서는 캡션 표시 기간 중에 순차적으로 갱신된 시차 정보에 대해 보간 처리를 실시함으로써 캡션 표시 기간 중의 임의의 프레임 간격에서 시차 정보가 생성된다. 이 경우에는, 16프레임 등의 각 베이스 세그먼트 기간(갱신 프레임 간격)에서 송신측(방송국(100))으로부터 시차 정보가 송신되고 있는 경우라도, 좌안 영상 및 우안 영상에 중첩되는 클로우즈드 캡션 정보에 적용될 시차는 미세 간격으로, 예컨대 프레임마다 제어될 수 있다.

또, 도 76에 도시된 비트 스트림 처리부(201B)의 시차 정보 처리부(246)에서는 시간 방향(프레임 방향)으로의 로우 패스 필터 처리와 관련한 보간 처리가 실시된다. 따라서, 각 베이스 세그먼트 기간(갱신 프레임 간격)에서 송신측(방송국(100))으로부터 시차 정보가 송신되고 있는 경우에도 보간 처리 후의 시간 방향(프레임 방향)으로의 시차 정보의 변화가 완만해질 수 있다(도 31 참조). 따라서, 각 갱신 프레임 간격에서 불연속적으로 되는, 좌안 영상 및 우안 영상에 중첩되는 클로우즈드 캡션 정보에 적용되는 시차의 전이의 부자연스러운 느낌이 억제될 수 있다.

<2. 변형예>

도 77은 "disparity_temporal_extension()"의 다른 구조예(신택스)를 보여줌에 유의한다. 또, 도 78은 "disparity_temporal_extension()"의 구조예에서 주요 데이터 규정(신택스)을 보여준다. 8비트 필드 ""disparity_update_count"는 시차 정보(disparity)의 갱신 횟수를 나타낸다. 시차 정보의 갱신 횟수에 의해 제한되는 루프가 있다.

8비트 필드 "interval_count"는 후술하는 "interval_PTS"로 나타낸 인터벌 기간(Interval period)의 배수로 갱신 기간을 나타낸다. 8비트 필드 "disparity_update"는 해당 갱신 기간의 시차 정보를 나타낸다. k=0일 때의 "disparity_update"는 캡션 표시 기간 중의 갱신 프레임 간격에서 순차적으로 갱신된 시차 정보, 즉 캡션 표시 기간 중의 제1 프레임의 시차 정보임에 유의한다.

도 21에 도시된 구조의 "disparity_temporal_extension()" 대신에 도 77에 도시된 구조의 "disparity_temporal_extension()"을 이용하는 경우에는, 도 18에 도시된 SCS(Subregion Composition segment)의 실체 정보를 포함하는 부분에 33비트 필드 "interval_PTS"가 제공된다. 이 "interval_PTS"는 90KHz 증분에서 인터벌 기간(Interval period)을 특정한다. 즉, "interval_PTS"는 이 인터벌 기간(Interval period)이 90KHz 클록으로 측정된 33비트 길이를 가진 값을 나타낸다.

도 79과 80은 도 77에 도시된 구조의 "disparity_temporal_extension()"을 이용하는 경우에 갱신 시차 정보의 갱신예를 보여준다. 도 79는 "interval_PTS"로 나타낸 인터벌 기간(Interval period)이 고정되어 있고, 더욱이 그 기간이 갱신 기간과 같은 경우를 보여주는 도이다. 이 경우에, "interval_count"는 "1"이다.

반면에, 도 80은 "interval_PTS"로 나타낸 인터벌 기간(Interval period)이 짧은 기간인(예컨대 프레임 사이클일 수 있음) 경우에 표시 정보 갱신의 예를 보여주는 도이다. 이 경우에, "interval_count"는 각 갱신 기간에서 M, N, P, Q, R이다. 도 79와 도 80에서, "A"는 캡션 표시 기간의 개시 프레임(개시점)을 나타내고, "B" 내지 "F"는 후속되는 갱신 프레임(갱신점)을 나타냄에 유의한다.

캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보를 마찬가지로 도 77에 도시된 구조의 "disparity_temporal_extension()"을 이용하여 수신측(셋톱 박스(200) 등)에 전송하는 경우에 수신측에서는 전술한 것과 같은 처리가 실시될 수 있다. 즉, 이 경우에서도, 수신측에서 갱신 기간마다 시차 정보에 대해 보간 처리를 실시함으로써, 임의의 프레임 간격으로, 예컨대 1 프레임 간격으로 시차 정보가 생성되어 이용될 수 있다.

도 81의 (a)는 도 77에 도시된 구조의 "disparity_temporal_extension()"을 이용하는 경우에 서브타이틀 데이터 스트림의 구성예를 보여준다. PES 헤더에는 시간 정보(PTS)가 포함되어 있다. 또, DDS, PCS, RCS, CDS, ODS, SCS 및 EDS의 세그먼트가 PES 페이로드 데이터로서 포함되어 있다. 이들 세그먼트는 서브타이틀 표시 기간이 개시하기 전에 일괄적으로 송신된다. 위에서 설명하지는 않았지만, 도 21에 도시된 구조의 "disparity_temporal_extension()"을 이용하는 경우에 서브타이틀 데이터 스트림의 구성예도 마찬가지이다.

캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보는 SCS 세그먼트에 "disparity_temporal_extension()"을 포함시키지 않고 수신측(셋톱 박스(200) 등)에 전송될 수 있음에 유의한다. 이 경우에, "temporal_extension_flag=0"이 설정되고, "subregion_disparity"만이 SCS 세그먼트에서 인코딩된다(도 18 참조). 이 경우에, SCS 세그먼트는 갱신이 실시되는 타이밍마다 서브타이틀 데이터 스트림에 삽입된다. 그와 같은 경우에는, 도면에는 빠져 있지만, 시간차 값(delta_PTS)이 시간 정보로서 갱신 타이밍마다 SCS 세그먼트에 부가된다.

도 81의 (b)는 그와 같은 경우에 서브타이틀 데이터 스트림의 구성예를 보여준다. 먼저, DDS, PCS, RCS, CDS, ODS, SCS의 세그먼트가 PES 페이로드 데이터로서 송신된다. 이어서, 갱신 실시 타이밍에서, 시간차 값(delta_PTS)과 시차 정보가 갱신된 소정 수의 SCS 세그먼트가 송신된다. 마지막으로, 이 SCS 세그먼트와 함께 EDS 세그먼트도 송신된다.

도 82는 전술한 SCS 세그먼트를 순차적으로 송신하는 경우에 시차 정보의 갱신예를 보여준다. 도 82에서 "A"는 캡션 표시 기간의 개시 프레임(개시점)을 나타내고, "B" 내지 "F"는 후속되는 갱신 프레임(갱신점)을 나타냄에 유의한다.

SCS 세그먼트를 순차적으로 송신하고 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보를 마찬가지로 수신측(셋톱 박스(200) 등)에 전송하는 경우에 수신측에서는 전술한 것과 같은 처리가 실시될 수 있다. 즉, 이 경우에서도, 수신측에서 갱신 기간마다 시차 정보에 대해 보간 처리를 실시함으로써, 임의의 프레임 간격으로, 예컨대 1 프레임 간격으로 시차 정보가 생성되어 이용될 수 있다.

전술한 도 77에 도시된 구조의 "disparity_temporal_extension"을 이용하는 것은 도 2에 도시된 송신 데이터 생성부(110)에 대한 설명을 참조하여 설명되었음에 유의한다(도 21 등). 그러나 위에서 설명하지는 않았지만, 이것도 물론 꼭 DVB 형식이 아니더라도 ARIB 형식이나 CEA 형식에 똑같이 적용될 수 있다.

도 83은 전술한 도 80과 마찬가지로 시차 정보(disparity)의 갱신예를 보여준다. 갱신 프레임 간격은 증분 기간으로 제공되는 인터벌 기간(ID: Interval Duration)의 배수로 나타낸다. 예컨대 갱신 프레임 간격 "Division Period 1"은 "ID*M"으로, 갱신 프레임 간격 "Division Period 2"는 "ID*N"으로 하는 식으로 후속 갱신 프레임 간격에 대해 나타낸다. 도 83에 도시된 시차 정보 갱신예에서는 갱신 프레임 간격은 고정되어 있지 않고 시차 정보 곡선에 따라서 설정된다.

또, 이 갱신 정보(disparity) 갱신예에서는, 수신측에서, 캡션 표시 기간의 개시 프레임(개시 시점) T1_0이 이 시차 정보가 제공되는 PES 스트림의 헤더에 삽입된 PTS(Presentation Time Stamp)로서 제공된다. 수신측에서는 각 갱신 프레임 간격의 정보(증분 기간 정보)인 인터벌 기간 정보와 인터벌 기간 수의 정보에 기초하여 시차 정보의 각 갱신 시점이 구해진다.

이 경우에, 하기의 수학식 1에 따라 캡션 표시 기간의 개시 프레임(개시 시점) T1_0으로부터 갱신 시점들이 순차적으로 구해진다. 이 수학식 1에서, "interval_count"는 인터벌 기간 수를 나타내며, 이는 도 83에서 M, N, P, Q 및 S에 해당하는 값이다. 또, 이 수학식 1에서, "interval_time"은 도 83에서 인터벌 기간(ID)에 해당하는 값이다.

예컨대, 도 83에 도시된 갱신예에서는 이 수학식 1에 따라서 다음과 같이 갱신 시점이 구해진다. 즉, 개시 시점(T1_0), 인터벌 기간(ID) 및 수(M)를 이용하여 갱신 시점 T1_1이 "T1_1 = T1_0 + (ID * M)"으로서 구해진다. 또, 개시 시점(T1_1), 인터벌 기간(ID) 및 수(N)을 이용하여 갱신 시점 T1_2가 "T1_2 = T1_1 + (ID * N)"으로서 구해진다. 후속 시점들도 이런 식으로 구해진다.

도 83에 도시된 갱신예에서는, 수신측에서 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보에 보간 처리를 실시하여, 캡션 표시 기간 중의 임의의 프레임 간격으로, 예컨대 1 프레임 간격으로 시차 정보를 생성한다. 이 보간 처리에 대해서는, 보간 처리에 따른 소정 프레임 간격에서의 시차 정보 변화가 시간 방향(프레임 방향)으로 완만해지도록 선형 보간 처리가 아닌, 시간 방향(프레임 방향)으로의 로우 패스 필터(LPF) 처리와 관련한 보간 처리가 실시된다. 도 83에서 점선은 LPF 출력의 예를 나타낸다.

도 84는 서브타이틀 데이터 스트림의 구성예를 보여준다. PES 헤더는 시간 정보(PTS)를 포함한다. 또, DDS, PCS, RCS, CDS, ODS, DSS(Disparity Signaling Segment) 및 EDS 세그먼트는 PES 페이로드 데이터로서 포함된다. 이들 세그먼트는 서브타이틀 표시 기간이 개시하기 전에 일괄적으로 송신된다.

DSS 세그먼트는 전술한 도 83에 도시된 것과 같은 시차 정보 갱신을 구현하기 위한 시차 정보를 포함한다. 즉, 이 DSS는 캡션 표시 기간의 개시 프레임(개시 시점)의 시차 정보와 각 후속 갱신 프레임 기간에서의 프레임의 시차 정보를 포함한다. 또, 이 시차 정보에는 인터벌 기간 정보(증분 기간 정보)와 인터벌 기간 수 정보가 갱신 프레임 간격 정보로서 첨부되어 있다. 따라서, 수신측에서는 각 갱신 프레임 기간이 "증분 기간 * 수"의 계산에 의해 쉽게 구해질 수 있다.

또, DSS 세그먼트는 선택적으로 영역 증분 또는 그 영역에 포함된 하위 영역 증분에서의 시차 정보와 모든 영역을 포함하는 페이지 증분의 시차 정보 중 하나 또는 둘 다를 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보로서 포함한다. 또, 이 DSS는 영역 증분 또는 그 영역에 포함된 하위 영역 증분에서의 시차 정보와 모든 영역을 포함하는 페이지 증분의 시차 정보를 캡션 표시 기간 중에 고정된 시차 정보로서 포함한다.

도 85는 캡션으로서의 서브타이틀의 표시예를 보여준다. 이 표시예에서는 2개의 영역(Region)이 페이지 영역(Page_default 영역)에 영역 1과 영역 2의 형태로 포함되어 있다. 영역에는 하나 이상의 하위 영역이 포함되어 있다. 여기서는 영역은 하나의 하위 영역을 포함하고 있고, 따라서 영역 구역과 하위 영역 구역은 같다.

도 86은 영역 증분에서의 시차 정보와 페이지 증분에서의 시차 정보 모두가 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보(Disparity)로서 포함되어 있는 경우에 영역과 페이지의 시차 정보 곡선의 예를 보여준다. 여기서, 페이지의 시차 정보 곡선은 2개의 영역의 시차 정보 곡선의 최소값을 택하도록 구성된다.

영역 1(Region 1)에 대해서는 개시 시점 T1_0과 후속 갱신 시점 T1_1, T1_2, T1_3 ... T1_6인 7개의 시차 정보 세트가 있다. 또, 영역 2(Region 2)에 대해서는 개시 시점 T2_0과 후속 갱신 시점 T2_1, T2_2, T2_3 ... T2_7인 8개의 시차 정보 세트가 있다. 더욱이, 페이지(Page_default)에 대해서는 개시 시점 T0_0과 후속 갱신 시점 T0_1, T0_2, T0_3 ... T0_6인 7개의 시차 정보 세트가 있다.

도 87은 도 86에 도시된 페이지와 영역의 표시 정보가 함께 전송되는 구조의 예를 보여준다. 먼저, 페이지층에 대해 설명한다. 이 페이지층에는 시차 정보의 고정값인 "page_default_disparity"가 위치해 있다. 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보 입체 영상 데이터에 대해서는, 인터벌 기간 수를 나타내는 "interval_count"와 그 시차 정보를 나타내는 "disparity_page_update"가 개시 시점과 그 후속 시점에 대응하여 순차적으로 위치해 있다. 개시 시점에서의 "interval_count"는 "0"으로 설정됨에 유의한다.

다음, 영역층에 대해서 설명한다. 영역 1(하위 영역 1)에 대해서는, 시차 정보의 고정값인 "subregion_disparity_integer_part"와 "subregion_disparity_fractional_part"가 배치되어 있다. 여기서, "subregion_disparity_integer_part"는 시차 정보의 정수부를 나타내고 "subregion_disparity_fractional_part"는 시차 정보의 분수부를 나타낸다. 이런 식으로, 시차 정보는 정수부 뿐만 아니라 분수부도 갖고 있다. 즉, 시차 정보는 부화소 정밀도를 갖고 있다. 이런 식으로 부화소 정밀도를 가진 시차 정보로 인해 수신측은 좌안 서브타이틀과 우안 서브타이틀의 표시 위치의 적당한 시프트 조정을 부화소 정밀도로 실시할 수 있다.

캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보에 대해서는, 인터벌 기간 수를 나타내는 "interval_count"와 시차 정보를 나타내는 "disparity_region_update_integer_part" 및 "disparity_region_update_fractional_part"가 순차적으로 위치해 있다. 여기서, "disparity_region_update_integer_part"는 시차 정보의 정수부를 나타내고 "disparity_region_update_fractional_part"는 시차 정보의 분수부를 나타낸다. 개시 시점에서의 "interval_count"는 "0"으로 설정됨에 유의한다.

영역 2(하위 영역 2)에 대해서는, 이는 전술한 영역 1과 같으며, 시차 정보의 고정값인 "subregion_disparity_integer_part"와 "subregion_disparity_fractional_part"가 배치되어 있다. 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보에 대해서는, 인터벌 기간 수를 나타내는 "interval_count"와 시차 정보를 나타내는 "disparity_region_update_integer_part" 및 "disparity_region_update_fractional_part"가 순차적으로 위치해 있다.

도 88 내지 도 91은 DSS(Disparity_Signaling_Segment)의 주요 구조예(신택스)를 보여준다. 도 92 및 도 93은 DSS의 주요 데이터 규정(시맨틱스)을 보여준다. 이 구조는 "Sync_byte", "segment_type", "page_id", "segment_length" 및 "dss_version_number"의 여러 가지 정보를 포함한다. "segment_type"은 세그먼트 타입을 나타내는 8비트 데이터로서 여기서는 DSS를 나타내는 값이다. "segment_length"는 후속 바이트의 수를 나타내는 8비트 데이터이다.

1비트 플래그 "disparity_page_update_sequence_flag"는 페이지 증분 시차 정보로서 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보가 있는지 여부를 나타낸다. "1"은 그 시차 정보가 있다는 것을, "0"은 그 시차 정보가 없다는 것을 나타낸다. 1비트 플래그 "disparity_region_update_sequence_present_flag"는 영역 증분(하위 영역 증분) 시차 정보로서 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보가 있는지 여부를 나타낸다. "1"은 그 시차 정보가 있다는 것을, "0"은 그 시차 정보가 없다는 것을 나타낸다. "disparity_region_update_sequence_present_flag"는 와일 루프(while loop) 밖에 있으며 적어도 하나의 영역에 관한 시차 갱신이 있는지를 알 수 있도록 하는 것이 목적임에 유의한다. "disparity_region_update_sequence_present_flag"의 송신 여부는 송신측의 판단에 따른다.

8비트 필드 "page_default_diparity"는 캡션 표시 기간 중에 공통으로 이용되는 페이지 증분 고정 시차 정보이다. 상기 플래그 "disparity_page_update_sequence_flag"가 "1"인 경우에는 "disparity_page_update_sequence()"가 판독된다.

도 90은 "disparity_page_update_sequence()"의 구조예(신택스)를 보여준다. "disparity_page_update_sequence_length"는 후속 바이트의 수를 나타내는 8비트 데이터이다. "segment_NOT_continued_flag"는 현재 패킷 내에서의 완료 여부를 나타낸다. "1"은 현재 패킷 내에서 완료됨을 나타낸다. "0"은 현재 패킷 내에서 완료되지 않음을 나타내며, 후속 패킷에 더 있다는 것을 나타낸다.

24비트 필드 "interval_time[23..0]"은 90KHz 증분에서 인터벌 기간(Interval Duration)을 특정한다. 즉, "interval_time[23..0]"은 이 인터벌 기간(Interval Duration)이 90KHz 클록으로 측정된 24비트 길이를 가진 값을 나타낸다.

PES 헤더부에 삽입된 PTS는 33비트이지만 이것이 24비트인 이유는 다음과 같다. 즉, 24 시간을 초과하는 시간은 33비트 길이로 표현될 수 있으나, 이는 인터벌 기간(Interval Duration)에 대해서는 불필요한 길이이다. 또, 24비트를 이용하면 데이터 크기를 더 작게 하여 컴팩트한 송신이 가능해진다. 더욱이, 24비트는 8*3 비트로서 바이트 정렬이 용이해진다.

8비트 필드 "division_period_count"는 시차 정보 송신을 위한 기간 수(Division Period)를 나타낸다. 예컨대 도 83에 도시된 갱신예의 경우에 이 수는 개시 시점 T1_0과 후속 갱신 시점 T1_1 내지 T1_6에 대응하는 "7"이다. 후속 루프는 이 8비트 필드 "division_period_count"가 나타내는 수만큼 반복된다.

8비트 필드 "interval_count"는 인터벌 기간의 수를 나타낸다. 예컨대 도 83에 도시된 갱신예에서는 M, N, P, Q, R 및 S가 해당된다. 8비트 필드 "disparity_page_update"는 시차 정보를 나타낸다. "interval_count"는 개시 시점에서의 시차 정보(시차 정보의 초기값)에 대응하는 "0"으로 설정된다. 즉, "interval_count"가 "0"인 경우에는 "disparity_page_update"는 개시 시점에서의 시차 정보(시차 정보의 초기값)를 나타낸다.

지금까지 처리된 데이터 길이(processed_length)가 아직 세그먼트 데이터 길이(segment_length)에 도달하지 않은 경우에는 도 89에서의 와일 루프가 반복된다. 영역 증분에서의 시차 정보 또는 그 영역 내의 하위 영역 증분에서의 시차 정보는 이 와일 루프에 위치한다. 그러면, 하나의 영역에 하나 이상의 하위 영역이 포함되며, 하위 영역이 영역 구역과 같은 경우들이 있다.

"region_id"와 "subregion_id" 정보는 이 와일 루프에 포함된다. 하위 영역이 영역 구역과 같은 경우에는 "subregion_id"는 "0"으로 설정된다. 따라서, "subregion_id"가 "0"이 아닌 경우에는, 이 와일 루프는 위치 정보인 "subregion_horizontal_position"의 위치 정보와, 하위 영역 구역을 나타내는 폭 정보인 "subregion_width"를 포함한다.

1비트 플래그 "disparity_region_update_sequence_flag"는 영역 증분(하위 영역 증분)으로서 캡션 표시 기간 중에 순차적으로 갱신되는 시차 정보가 있는지 여부를 나타낸다. "1"은 그 시차 정보가 있다는 것을, "0"은 그 시차 정보가 없다는 것을 나타낸다. 8비트 필드 "subregion_diparity_integer_part"는 캡션 표시 기간 중에 공통으로 이용되는 고정 시차 정보(하위 영역 증분)으로서, 시차 정보의 정수부를 나타낸다. 4비트 필드 "subregion_diparity_fractional_part"는 캡션 표시 기간 중에 공통으로 이용되는 고정 시차 정보(하위 영역 증분)으로서, 시차 정보의 분수부를 나타낸다.

상기 플래그 "disparity_region_update_sequence_flag"가 "1"인 경우에는 "disparity_region_update_sequence()"가 판독된다. 도 91은 "disparity_region_update_sequence()"의 구조예(신택스)를 보여준다. "disparity_region_update_sequence_length"는 후속 바이트의 수를 나타내는 8비트 데이터이다. "segment_NOT_continued_flag"는 현재 패킷 내에서의 완료 여부를 나타낸다. "1"은 현재 패킷 내에서 완료됨을 나타낸다. "0"은 현재 패킷 내에서 완료되지 않음을 나타내며, 후속 패킷에 더 있다는 것을 나타낸다.

24비트 필드 "interval_time[23..0]"은 90KHz 증분에서 인터벌 기간(Interval Duration)을 증분 기간으로서 특정한다. 즉, "interval_time[23..0]"은 이 인터벌 기간(Interval Duration)이 90KHz 클록으로 측정된 24비트 길이를 가진 값을 나타낸다. 이것이 24비트인 이유는 전술한 "disparity_page_update_sequence()"의 구조예(신택스)에 대한 설명과 동일하다.

8비트 필드 "division_period_count"는 시차 정보 송신을 위한 기간 수(Division Period)를 나타낸다. 예컨대 도 83에 도시된 갱신예의 경우에 이 수는 개시 시점 T1_0과 후속 갱신 시점 T1_1 내지 T1_6에 대응하는 "7"이다. 후속 루프는 이 8비트 필드 "division_period_count"가 나타내는 수만큼 반복된다.

8비트 필드 "interval_count"는 인터벌 기간의 수를 나타낸다. 예컨대, 도 83에 도시된 갱신예에서는 M, N, P, Q, R 및 S가 해당된다. 8비트 필드 "diparity_region_update_integer_part"는 시차 정보의 정수부를 나타낸다. 4비트 필드 "diparity_region_update_fractional_part"는 시차 정보의 분수부를 나타낸다. "interval_count"는 개시 시간 표시 정보(시차 정보의 초기값)에 따라 "0"으로 설정된다. 즉, "interval_count"가 "0"인 경우에는, "diparity_region_update_integer_part"와 "diparity_region_update_fractional_part"는, 개시 시점 시차 정보(시차 정보의 초기값)를 나타낸다.

또, 상기 설명에서는 증분 기간(인터벌 기간)의 정보가 90KHz 클록으로 측정된 증분 기간의 값이 24비트 길이로 표현되는 정보인 경우에 대해서도 설명하였다. 그러나, 증분 기간(인터벌 기간)의 정보는 이에 한정되는 것은 아니고, 증분 기간이 예컨대 프레임 카운트 수로 표현되는 정보일 수도 있다.

또, 상기 실시예에서는 영상 송/수신 시스템(10)이 방송국(100), 셋톱 박스(200) 및 텔레비전 수상기(300)로 구성되는 것으로 설명하였다. 그러나 텔레비전 수상기(300)는 셋톱 박스 내의 비트 스트림 처리부(201)(201A, 201B)와 동일한 방식으로 기능하는 비트 스트림 처리부(306)를 갖고 있다. 따라서, 도 94에 도시된 바와 같이, 방송국(100)과 텔레비전 수상기(300)로 구성되는 영상 송/수신 시스템(10A)도 고려해 볼 수 있다.

또, 상기 실시예에서는 입체 영상 데이터를 포함하는 데이터 스트림(비트 스트림 데이터)이 방송국(100)으로부터 방송되는 경우에 대해 설명하였다. 그러나 본 발명은 인터넷 등의 네트워크를 이용하여 데이터 스트림이 수신 단말로 송신되는 구성의 시스템에도 마찬가지로 적용될 수 있다.

또, 상기 실시예에서는 셋톱 박스(200)와 텔레비전 수상기(300)가 HDMI 디지털 인터페이스에 의해 연결되는 경우에 대해 설명하였다. 그러나 본 발명은 이들이 HDMI 디지털 인터페이스와 유사한 (케이블 접속 이외에도 무선 접속을 포함하는) 디지털 인터페이스에 의해 연결되는 경우에도 마찬가지로 적용될 수 있다.

또, 상기 실시예에서는 서브타이틀(캡션)이 중첩 정보로서 다루어지는 경우에 대해 설명하였다. 그러나 본 발명은 그래픽 정보, 텍스트 정보 등도 다루어지는 구성에도 마찬가지로 적용될 수 있다.

본 발명의 주 특징은 캡션 표시 기간 내의 제1 프레임의 시차 정보값과 각 후속 갱신 프레임 기간(Division Period)에 대한 소정 타이밍에서의 시차 정보값을 송신하여 시차 정보에 대한 송신 데이터량을 저감하는 것이다. 다른 특징은 각 갱신 프레임 간격을 증분 기간으로 제공되는 인터벌 기간(Interval Duration)의 배수로 표현함으로써, 소정 타이밍의 간격을 고정된 것이 아니라 시차 정보 곡선에 따른 간격으로 적절하게 설정할 수 있도록 하는 것이다.

산업상 이용가능성

본 발명은 입체 영상 상에 서브타이틀(캡션)과 같은 중첩 정보를 표시할 수 있는 영상 송/수신 시스템에 적용될 수 있다.

10, 10A: 영상 송/수신 시스템
100: 방송국
110, 110A, 110B: 송신 데이터 생성부
111, 121. 131: 데이터 추출부
112, 122, 132: 비디오 인코더
132a: 스트림 형식자
113, 123, 133: 오디오 디코더
114: 서브타이틀 생성부
115, 125, 135: 시차 정보 작성부
116: 서브타이틀 처리부
117: 표시 제어 정보 생성부
118: 서브타이틀 인코더
119, 127, 136: 멀티플렉서
124: 캡션 생성부
126: 캡션 인코더
134: CC 인코더
126: 멀티플렉서
200: 셋톱 박스(STB)
201, 201A, 201B: 비트 스트림 처리부
202: HDMI 단자
203: 안테나 단자
204: 디지털 튜너
205: 비디오 신호 처리부
206: HDMI 송신부
207: 오디오 신호 처리부
211: CPU
215: 원격 제어 수신부
216: 원격 제어 송신부
221, 231, 241: 디멀티플렉서
222, 232, 242: 비디오 디코더
223: 서브타이틀 디코더
224: 입체 영상 서브타이틀 생성부
225: 표시 제어부
226: 표시 제어 정보 획득부
227, 236. 246: 시차 정보 처리부
228, 237, 247: 비디오 중첩부
229, 238, 248: 오디오 디코더
233: 캡션 디코더
234: 입체 영상 캡션 생성부
235, 245: 시차 정보 추출부
243: CC 디코더
244: 입체 영상 CC 생성부
300: 텔레비전 수상기(TV)
301: 3D 신호 처리부
302: HDMI 단자
303: HDMI 수신기
304: 안테나 단자
305: 디지털 튜너
306: 비트 스트림 처리부
307: 비디오 그래픽 처리부
308: 패널 구동 회로
309: 표시 패널
310: 오디오 신호 처리부
311: 오디오 증폭 회로
312: 스피커
321: CPU
325: 원격 제어 수신부
326: 원격 제어 송신부
400: HDMI 케이블

Claims (25)

1. 영상 데이터 송신 장치로서,
   좌안 영상 데이터와 우안 영상 데이터를 출력하도록 구성된 영상 데이터 출력부;
   상기 좌안 영상 데이터와 상기 우안 영상 데이터에 중첩될 중첩 정보의 데이터를 출력하도록 구성된 중첩 정보 데이터 출력부;
   상기 중첩 정보에 부가될 시차 정보를 출력하도록 구성된 시차 정보 출력부; 및
   상기 좌안 영상 데이터, 상기 우안 영상 데이터, 상기 중첩 정보 데이터 및 상기 시차 정보를 송신하도록 구성된 데이터 송신부를 포함하고,
   상기 중첩 정보가 표시되는 제1 프레임의 시차 정보 초기값과, 인터벌 기간에 다치(multiple value)가 곱해진 소정 타이밍에서의 시차 정보값에 기초하여, 비디오 프레임 레이트와는 독립적으로 상기 시차 정보를 갱신하도록 구성된 시차 정보 갱신부를 더 포함하는, 영상 데이터 송신 장치.
2. 제1항에 있어서,
   인터벌 기간에 다치가 곱해진 상기 소정 타이밍을 변경하도록 구성된 조정부를 더 포함하는, 영상 데이터 송신 장치.
3. 제1항에 있어서,
   인터벌 기간에 다치가 곱해진 상기 소정 타이밍에 대응하는 각 프레임에 대하여, 상기 시차 정보의 갱신 여부를 나타내는 플래그 정보가 상기 시차 정보에 부가된, 영상 데이터 송신 장치.
4. 제1항에 있어서,
   상기 시차 정보에는, 인터벌 기간에 다치가 곱해진 상기 소정 타이밍을 계산하기 위한 단위 기간의 정보와 상기 단위 기간의 수의 정보가 부가된, 영상 데이터 송신 장치.
5. 제1항에 있어서,
   증분 기간의 상기 정보는 90KHz 클록으로 상기 증분 기간을 측정함으로써 구해진 값이 24비트 길이로 표현되는 정보, 또는 상기 증분 기간이 프레임 카운트 수로 표현되는 정보인, 영상 데이터 송신 장치.
6. 제1항에 있어서,
   상기 시차 정보는 동일 스크린에 표시된 특정 중첩 정보에 대응하는 시차 정보 및/또는 동일 스크린에 표시된 복수의 중첩 정보에 공통으로 대응하는 시차 정보인, 영상 데이터 송신 장치.
7. 제1항에 있어서,
   상기 시차 정보는 부화소 정밀도를 갖는, 영상 데이터 송신 장치.
8. 제1항에 있어서,
   상기 시차 정보는 공간적으로 독립된 복수의 영역을 포함하는, 영상 데이터 송신 장치.
9. 제1항에 있어서,
   상기 시차 정보에는 프레임 사이클을 특정하기 위한 정보가 부가된, 영상 데이터 송신 장치.
10. 제1항에 있어서,
    상기 시차 정보에는, 상기 시차 정보에 관한 대응도를 나타내며 상기 중첩 정보의 표시 시에 필수적인 정보가 부가된, 영상 데이터 송신 장치.
11. 제1항에 있어서,
    상기 데이터 송신부는 표시 기간의 개시 전에 상기 중첩 정보의 상기 표시 기간에 상기 중첩 정보에 부가될 시차 정보를 송신하는, 영상 데이터 송신 장치.
12. 제1항에 있어서,
    상기 중첩 정보 데이터는 DVB 형식 서브타이틀 데이터이고, 상기 데이터 송신부는 상기 서브타이틀 데이터가 포함된 서브타이틀 데이터 스트림에 포함된 상기 시차 정보의 송신을 수행하는, 영상 데이터 송신 장치.
13. 제12항에 있어서,
    상기 시차 정보는 영역의 증분 또는 상기 영역에 포함된 하위 영역의 증분에서의 시차 정보인, 영상 데이터 송신 장치.
14. 제12항에 있어서,
    상기 시차 정보는 모든 영역을 포함하는 페이지의 증분에서의 시차 정보인, 영상 데이터 송신 장치.
15. 제1항에 있어서,
    상기 중첩 정보 데이터는 ARIB 형식 캡션 데이터이고, 상기 데이터 송신부는 상기 캡션 데이터가 포함된 캡션 데이터 스트림에 포함된 상기 시차 정보의 송신을 수행하는, 영상 데이터 송신 장치.
16. 제1항에 있어서,
    상기 중첩 정보 데이터는 CEA 형식 클로우즈드 캡션 데이터이고, 상기 데이터 송신부는 상기 클로우즈드 캡션 데이터가 포함된 비디오 데이터 스트림의 사용자 데이터 영역에 포함된 상기 시차 정보의 송신을 수행하는, 영상 데이터 송신 장치.
17. 제16항에 있어서,
    상기 중첩 정보 데이터는 상기 사용자 데이터 영역에 위치한 CEA 테이블에 기초하여 확장 명령에 삽입된, 영상 데이터 송신 장치.
18. 제16항에 있어서,
    상기 중첩 정보 데이터는 상기 사용자 데이터 영역에 위치한 상기 클로우즈드 캡션 데이터에 삽입된, 영상 데이터 송신 장치.
19. 영상 데이터 송신 방법으로서,
    좌안 영상 데이터와 우안 영상 데이터를 출력하는 영상 데이터 출력 단계;
    상기 좌안 영상 데이터와 상기 우안 영상 데이터에 중첩될 중첩 정보의 데이터를 출력하는 중첩 정보 데이터 출력 단계;
    상기 중첩 정보에 부가될 시차 정보를 출력하는 시차 정보 출력 단계; 및
    상기 좌안 영상 데이터, 상기 우안 영상 데이터, 상기 중첩 정보 데이터 및 상기 시차 정보를 송신하는 데이터 송신 단계를 포함하고,
    상기 중첩 정보가 표시되는 제1 프레임의 시차 정보 초기값과, 인터벌 기간에 다치가 곱해진 소정 타이밍에서의 시차 정보값에 기초하여, 비디오 프레임 레이트와는 독립적으로 상기 시차 정보를 갱신하는 시차 정보 갱신 단계를 더 포함하는, 영상 데이터 송신 방법.
20. 영상 데이터 수신 장치로서,
    좌안 영상 데이터 및 우안 영상 데이터, 상기 좌안 영상 데이터와 상기 우안 영상 데이터에 중첩될 중첩 정보 데이터, 및 상기 중첩 정보에 부가될 시차 정보를 수신하도록 구성된 데이터 수신부를 포함하고,
    상기 시차 정보는, 상기 중첩 정보가 표시되는 제1 프레임의 시차 정보 초기값과, 인터벌 기간에 다치가 곱해진 소정 타이밍에서의 시차 정보값에 기초하여, 비디오 프레임 레이트와는 독립적으로 갱신되고,
    상기 영상 데이터 수신 장치는,
    상기 좌안 영상 데이터, 상기 우안 영상 데이터, 상기 중첩 정보 데이터 및 상기 시차 정보에 기초하여, 상기 중첩 정보가 중첩된 좌안 영상 데이터와 상기 중첩 정보가 중첩된 우안 영상 데이터를 얻도록 구성된 영상 데이터 처리부를 더 포함하는, 영상 데이터 수신 장치.
21. 제20항에 있어서,
    상기 영상 데이터 처리부는, 시차 정보에 보간 처리를 실시하고, 임의의 프레임 간격의 시차 정보를 생성하여 이용하는, 영상 데이터 수신 장치.
22. 제21항에 있어서,
    상기 보간 처리는 시간 방향으로의 로우 패스 필터 처리와 관련된, 영상 데이터 수신 장치.
23. 제20항에 있어서,
    상기 시차 정보에는, 인터벌 기간에 다치가 곱해진 소정 타이밍을 계산하기 위한 증분 기간의 정보와 상기 증분 기간의 수의 정보가 부가되고,
    상기 영상 데이터 처리부는, 상기 중첩 정보의 표시 개시 시점을 기준으로 하여, 상기 증분 기간의 정보와 상기 수의 정보에 기초하여 상기 소정 타이밍을 구하는, 영상 데이터 수신 장치.
24. 제23항에 있어서,
    상기 중첩 정보의 상기 표시 개시 시점은 상기 시차 정보를 포함하는 PES 스트림의 헤더부에 삽입된 PTS(Presentation Time Stamp)로서 제공된, 영상 데이터 수신 장치.
25. 영상 데이터 수신 방법으로서,
    좌안 영상 데이터 및 우안 영상 데이터, 상기 좌안 영상 데이터와 상기 우안 영상 데이터에 중첩될 중첩 정보 데이터, 및 상기 중첩 정보에 부가될 시차 정보를 수신하는 데이터 수신 단계를 포함하고,
    상기 시차 정보는, 상기 중첩 정보가 표시되는 제1 프레임의 시차 정보 초기값과, 인터벌 기간에 다치가 곱해진 소정 타이밍에서의 시차 정보값에 기초하여, 비디오 프레임 레이트와는 독립적으로 갱신되고,
    상기 영상 데이터 수신 방법은,
    상기 좌안 영상 데이터, 상기 우안 영상 데이터, 상기 중첩 정보 데이터 및 상기 시차 정보에 기초하여, 상기 중첩 정보가 중첩된 좌안 영상 데이터와 상기 중첩 정보가 중첩된 우안 영상 데이터를 얻는 영상 데이터 처리 단계를 더 포함하는, 영상 데이터 수신 방법.

Images