KR20140007928A - 영상처리장치 및 영상처리방법 - Google Patents

Abstract

3D 영상을 표시하기 위한 표시영역의 사이즈와 당해 3D영상과 함께 표시되는 표시데이터를 표시하는 표시영역의 사이즈가 다른 경우에도 영상에 적절한 표시데이터를 중첩할 수 있는 영상처리장치를 제공한다. 영상처리장치는 3D 영상에 관한 영상 스트림으로부터 좌측 눈 용의 영상과 우측 눈 용의 영상을 생성하고, 표시데이터에 관한 데이터 스트림으로부터 얻어진 표시데이터를 그 표시영역의 사이즈가 각 영상의 표시영역의 사이즈와 일치하도록 확대하여, 표시영역의 사이즈가 확대된 상기 표시데이터와 당해 표시데이터에 대해 시차를 발생시키기 위한 오프셋 값을 이용하여 좌측 눈 용 및 우측 눈 용의 표시데이터 각각을 생성해서, 상기 좌측 눈 용의 영상과 상기 좌측 눈 용의 표시데이터 및 상기 우측 눈 용의 영상과 상기 우측 눈 용의 표시데이터를 각각 중첩하여 표시한다.

Description

영상처리장치 및 영상처리방법{VIDEO PROCESSING DEVICE AND VIDEO PROCESSING METHOD}

본 발명은 3D영상과 함께 표시할 표시데이터와 당해 3D영상을 중첩하는 기술에 관한 것이다.

근년, 입체 표시를 할 수 있는 3D영상을 즐길 수 있는 영화관이 증가하고, 또 가정에서도 2D영상뿐만 아니라 3D영상의 시청을 실현하는 3D 대응 텔레비전이나 3D 대응 플레이어가 보급되어 있다.

2D영상이란 표시장치의 표시화면을 X-Y평면으로 인식하여, 이 X-Y평면상의 화소로 표현되는 화상이며, 평면 시 화상이라고도 불린다.

한편, 3D영상이란 표시장치의 표시화면을 X-Y평면상의 화소에 Z축 방향의 깊이를 더한 화상이다. 3D영상은 좌측 눈으로 시청해야 할 좌측 눈 용 영상과 우측 눈으로 시청해야 할 우측 눈 용 영상을 함께 재생하고, 이들 좌측 눈 용 영상, 우측 눈 용 영상에서의 입체 시 효과를 발휘함으로써 사용자에 의한 시청에 제공된다.

3D영상에서의 화소 중 정(正)의 Z축 좌표를 갖는 것을 사용자는 표시장치의 화면보다 앞에 있다고 느끼고, 부의 Z축 좌표를 갖는 것을 화면보다 안쪽에 존재한다고 느낀다.

여기서 3D 영화작품 등, 3D영상과 함께 표시하는 데이터, 예를 들어 자막은 3D 동화상의 돌출상태에 맞추어서 표시위치의 깊이를 조정하지 않으면 동화상에 자막이 박힌 것처럼 보이거나 동화상과 자막의 깊이가 지나치게 떨어져 보이거나 한다고 하는 폐해가 나온다.

그 때문에 자막마다, 프레임마다 자막의 깊이/돌출상태(pop-up state)를 표시위치의 영상의 깊이/돌출상태의 조금 앞이 되는 등, 최적으로 조정하는 것이 바람직하다.

이와 같은 3D영상 상의 자막을 최적으로 조정하여 품위가 높은 입체 시 영상을 재생하는 기술의 선행기술로는 이하의 특허문헌 1, 2에 기재된 것이 있다.

특허문헌 1 : 일본국 특허 4588120호 특허문헌 2 : 일본국 특개 2010-246157호 공보

상기의 특허문헌 1, 2에서는 기록매체에 기록된 영상 및 자막문을 3D 표시하는 기술이 개시되어 있다. 구체적으로는 자막 표시용의 자막 플레인을 입체 시 영상용의 시차 화상으로 하기 위해 오프셋 값을 부여하여 좌우로 플레인을 시프트 시키는 3D영상의 재생장치의 내용이 기재되어 있다. 이 특허문헌에서는 자막 플레인의 사이즈(해상도)와 영상용의 동영상 플레인의 사이즈는 동일한 것으로 하여 중첩처리가 이루어지고 있다.

한편, 현상의 방송에서는 동영상 플레인의 사이즈와 자막 플레인의 사이즈는 다른 사양으로 되어 있다.

그 때문에, 방송에 있어서 3D영상과 자막을 중첩시키려고 하면 사양이 다른 상기 특허문헌 1, 2의 기술을 그대로 적용할 수는 없다.

그래서 본 발명은 3D영상을 표시하기 위한 표시영역의 사이즈와 당해 3D영상과 함께 표시되는 표시데이터를 표시하는 표시영역의 사이즈가 다른 경우라도 영상에 적절한 표시데이터를 중첩할 수 있는 영상처리장치 및 영상처리방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 영상처리장치는, 3D영상에 관한 영상 스트림과 당해 영상 스트림으로부터 얻어지는 영상에 중첩해서 표시되고, 또한 표시영역의 사이즈가 상기 영상의 표시영역의 사이즈와는 다른 표시데이터에 관한 데이터 스트림을 수신하는 수신수단과,, 상기 영상 스트림으로부터 좌측 눈 용의 영상과 우측 눈 용의 영상을 생성하는 영상생성수단과,, 상기 데이터 스트림으로부터 얻은 상기 표시데이터를 당해 표시데이터의 표시영역의 사이즈가 상기 영상생성수단에서 생성된 각 영상의 표시영역의 사이즈와 일치하도록 소정의 배율로 확대하는 확대수단과,, 표시영역의 사이즈가 확대된 상기 표시데이터와 당해 표시데이터에 대해 시차를 발생시키기 위한 오프셋 값을 이용하여 좌측 눈 용의 표시데이터와 우측 눈 용의 표시데이터를 생성하는 데이터 생성수단과,, 상기 좌측 눈 용의 영상과 상기 좌측 눈 용의 표시데이터 및 상기 우측 눈 용의 영상과 상기 우측 눈 용의 표시데이터를 각각 중첩하여 표시하는 표시처리수단을 구비하는 것을 특징으로 한다.

상기 구성에 의하면, 영상처리장치는 오프셋 값을 이용해 좌측 눈 용의 표시데이터와 우측 눈 용의 표시데이터를 생성하기 전에, 표시데이터의 표시영역의 사이즈가 각 영상의 표시영역의 사이즈와 일치하도록 당해 표시데이터를 확대하고 있다. 그 때문에, 오프셋 값에 의해 생성되는 좌측 눈 용의 표시데이터와 우측 눈 용의 표시데이터는 본래 의도한 시차를 발생시키는 것으로 되어 있으므로 적절한 표시데이터로서 영상에 중첩시킬 수 있다.

도 1은 트랜스포트 스트림의 개요를 설명하는 도면이다.
도 2는 트랜스포트 스트림의 데이터구조를 모식적으로 나타내는 도면이다.
도 3은 비디오 스트림으로부터 PES 패킷 열로의 변환을 나타내는 도면이다.
도 4는 트랜스포트 스트림에 포함되는 TS 패킷을 설명하는 도면이다.
도 5는 PMT의 데이터구조를 설명하는 도면이다.
도 6은 자막 데이터구조를 설명하는 도면이다.
도 7은 자막관리데이터의 데이터구조를 설명하는 도면이다.
도 8은 자막문 데이터의 데이터구조를 설명하는 도면이다.
도 9는 2D영상에 자막을 중첩하는 영상처리장치(10)의 구성을 나타내는 블록도이다.
도 10은 디스플레이로 입체 시를 실시하는 원리를 설명하는 도면이다.
도 11은 영상처리시스템(1100)의 구성을 나타내는 도면이다.
도 12는 영상처리장치(1200)의 구성을 나타내는 블록도이다.
도 13은 비디오 오프셋 정보를 저장하는 장소를 설명하는 도면이다.
도 14는 비디오 오프셋 정보의 데이터구조를 나타내는 도면이다.
도 15는 자막문 데이터에 오프셋 참조정보를 저장한 경우의 데이터구조를 설명하는 도면이다.
도 16의 (a)는 오프셋 참조정보의 데이터 유닛의 정의를 설명하는 도면이고, (b)는 오프셋 참조정보의 데이터구조를 설명하는 도면이다.
도 17의 (a)는 오프셋 값을 적용한 경우의 자막의 시차를 설명하는 도면이며, (b)는 오프셋 값을 적용한 경우에서의 자막의 3D 표시를 설명하는 도면이다.
도 18은 영상과 자막문의 중첩을 설명하는 도면이다.
도 19는 송신장치(1300)의 구성을 나타내는 도면이다.
도 20] 영상처리장치(1200)의 전체 처리를 나타내는 흐름도이다.
도 21은 좌측 눈 용 자막문 및 우측 눈 용 자막문의 생성처리를 나타내는 흐름도이다.
도 22는 송신장치(1300)의 처리를 나타내는 흐름도이다.
도 23은 자막관리데이터에 오프셋 참조정보를 저장한 경우의 데이터구조를 설명하는 도면이다.
도 24는 자막 데이터구조로서 오프셋 관리데이터를 정의한 경우의 데이터구조를 설명하는 도면이다.
도 25는 자막문자 열에 오프셋 참조정보를 포함하는 경우에 대해 설명하는 도면이다.
도 26은 PMT에 비디오 오프셋 정보를 저장하는 경우에 대해 설명하는 도면이다.
도 27은 영상처리장치(2200)의 구성을 나타내는 블록도이다.
도 28은 좌측 눈 용 자막과 우측 눈 용 자막의 쌍방을 1개의 ES에 포함하는 경우에 대해 설명하는 도면이다.
도 29는 우측 눈 용의 자막에 대한 데이터그룹 식별을 새로 할당한 것을 설명하는 도면이다.
도 30은 좌측 눈 용 자막과 우측 눈 용 자막 각각을 개별의 ES에 포함하는 경우에 대해 설명하는 도면이다.
도 31은 오프셋 값을 재생 시간에 대응시킨 경우를 설명하는 도면이다.
도 32는 1개의 화면을 복수 영역으로 분할하고, 각 영역에 비디오 오프셋 정보를 할당하는 경우에 대해 설명하는 도면이다.
도 33은 자막의 표시위치와 적용하는 비디오 오프셋 정보와의 관계를 나타내는 도면이다.
도 34는 1개의 화면을 복수 영역으로 분할하고, 각 영역에 깊이정보를 할당하는 경우에 대해 설명하는 도면이다.

1. 본 발명의 기초가 된 지견(知見)

상기 특허문헌 1, 2에서 개시된 기술은 상술한 것과 같이 자막 플레인의 사이즈와 동영상 플레인의 사이즈는 같은 것으로 하여 영상과 자막을 중첩하고 있다.

한편, 방송의 사양에서는 자막 플레인의 사이즈와 동영상 플레인의 사이즈는 다른 것으로서 처리가 되어 있다. 통상, 방송에서의 동영상 플레인의 사이즈는 1920×1080이며, 자막 플레인의 사이즈는 960×540이다. 이때문에, 영상에 자막을 중첩시킬 때에 자막 플레인에 저장되어 있는 자막을 수평방향 및 수직방향 각각에 대해 2배 한다. 구체적으로는 어느 1 화소를 수평방향 및 수직방향 각각에 대해 1 화소 어긋나게 하여 2회씩 표시한다(2번 만에). 이 결과, 1 화소는 수평방향 및 수직방향 각각에 대해 2배, 즉 1 화소를 종횡 2배 한 4 화소 영역으로 표시하도록 확대된다. 이때, 단순하게 2회씩 표시하는 것이 아니라, 주위의 색 정보를 이용하여 보완, 확대해도 좋다. 이와 같이, 중첩시에 자막 플레인을 확대함으로써 동영상 플레인의 사이즈와 자막 플레인의 사이즈가 동일하게 되어 적절히 중첩할 수 있다.

특허문헌 1, 2는 3D영상에 자막을 중첩시키는 기술이다. 이때, 자막에 대해서도 3D 표시시키기 위해 자막 플레인에 대해서 소정의 값(오프셋 값)을 x축에 대해서 가산하여 좌측 눈 용의 자막과 당해 오프셋 값을 x축에 대해 감산하여 우측 눈 용의 자막을 각각 생성한다. 그리고 생성한 좌측 눈 용의 자막과 좌측 눈의 영상이 중첩되어 우측 눈 용의 자막과 우측 눈 용의 영상이 중첩된다. 여기서, 오프셋 값이란 좌측 눈 용과 우측 눈 용과의 시차 화상을 생성하기 위한 것이며, 화소 수로 표시된다.

여기서, 특허문헌 1, 2의 기술과 현재 방송에서의 중첩수법을 조합한 경우를 생각한다. 이 경우, 먼저, 자막 플레인에 대해 오프셋 값을 이용해 좌측 눈 용의 자막과 우측 눈 용의 자막이 생성된다. 그리고 좌측 눈 영상과 좌측 눈 용의 자막을 중첩할 때 및 우측 눈 영상과 우측 눈 용의 자막을 중첩할 때 각각에 있어서 확대가 이루어진다. 이때, 오프셋 값이 적절히 주어지고 있었음에도 불구하고 확대에 의해 수평방향으로 더 어긋나 있고, 본래 의도한 시차 화상은 아니므로, 자막에 대해 올바르게 3D 표시를 할 수 없다. 확대를 고려해 오프셋 값을 주는 것도 생각할 수 있으나, 이 경우, 화소 수를 홀수개 분 어긋나게 한 시차 화상을 생성할 수 없다. 왜냐하면 확대에 의해 얻어지는 어긋남의 양은 짝수가 되기 때문이다.

그 때문에, 현상의 방송의 사양에 특허문헌 1, 2의 기술을 적용해도 1 화소 단위의 정밀도로 적절한 오프셋 값을 줄 수 없다는 것을 발명자는 알았다. 그래서 발명자가 열심히 검토하여 처리순서를 궁리함으로써 종래의 방송의 사양에서도 영상과 자막을 중첩시켜서 본래 의도하는 3D 표시를 실현할 수 있는 사실을 발견하여 본 발명에 이르렀다.

본 발명의 한 형태에 의하면 3D영상에 관한 영상 스트림과 당해 영상 스트림으로부터 얻어지는 영상에 중첩하여 표시되고, 또한 표시영역의 사이즈가 상기 영상의 표시영역의 사이즈와는 다른 표시데이터에 관한 데이터 스트림을 수신하는 수신수단과,, 상기 영상 스트림으로부터 좌측 눈 용의 영상과 우측 눈 용의 영상을 생성하는 영상생성수단과,, 상기 데이터 스트림으로부터 얻어진 상기 표시데이터를 당해 표시데이터의 표시영역의 사이즈가 상기 영상생성수단에서 생성된 각 영상의 표시영역의 사이즈와 일치하도록 소정의 배율로 확대하는 확대수단과,, 표시영역의 사이즈가 확대된 상기 표시데이터와 당해 표시데이터에 대해 시차를 발생시키기 위한 오프셋 값을 이용하여 좌측 눈 용의 표시데이터와 우측 눈 용의 표시데이터를 생성하는 데이터 생성수단과,, 상기 좌측 눈 용의 영상과 상기 좌측 눈 용의 표시데이터 및 상기 우측 눈 용의 영상과 상기 우측 눈 용의 표시데이터를 각각 중첩하여 표시하는 표시처리수단을 구비하는 것을 특징으로 하는 영상처리장치를 제공한다.

2. 제 1 실시형태

이하, 도면을 참조하면서 본 실시형태에 대해 상세하게 설명한다.

먼저, 본 실시형태를 설명함에 있어서 기초가 되는 기술인 디지털 방송방식의 스트림 구성 및 종래의 2D 텔레비전(영상처리장치)에 대해 설명한다.

2. 1.　스트림 구성에 대해서

디지털 방송에 있어서 방송파를 전송하기 위한 규격으로 MPEG-2 트랜스포트 스트림 형식의 디지털 스트림(이하, 간간하게 「트랜스포트 스트림」이라고 한다)이 있다.

트랜스포트 스트림은 도 1에 나타내는 것과 같이 비디오 스트림, 오디오 스트림, 자막 스트림, 문자 슈퍼 스트림(Textsubstitle stream) 등의 중에서 2개 이상을 다중화함으로써 얻을 수 있다.　비디오 스트림은 방송 프로그램의 영상으로 구성되고, 오디오 스트림은 방송 프로그램의 음성데이터로 구성되어 있다. 또, 자막 스트림은 영상과 중첩되어 표시되는 자막을 포함하는 데이터이며, 문자 슈퍼 스트림은 속보 뉴스 등 비 동기로 영상과 중첩되는 자막을 포함하는 데이터이다. 비디오 스트림 및 자막 스트림에 포함되는 데이터는 MPEG-1, MPEG-2 등의 방식을 사용해 부호화되고, 오디오 스트림에 포함되는 데이터는 리니어 PCM 등의 방식으로 압축·부호화되어 있다. 문자 슈퍼 스트림에 포함되는 데이터는 런 랭스 부호화에 의해 부호화되어 있다. 덧붙여 오디오 스트림이나 자막 스트림은 1개의 트랜스포트 스트림 내에 1개, 또는 2개 이상 존재해도 좋다. 예를 들어 일본어의 음성과 영어의 음성은 다른 오디오 스트림로서 존재하고, 일본어의 자막과 영어의 자막은 다른 자막 스트림로서 존재한다.

도 2는 트랜스포트 스트림의 데이터구조를 모식적으로 나타내는 도면이다. 우선, 복수의 비디오 프레임으로 이루어지는 비디오 스트림(201) 및 복수의 오디오 프레임으로 이루어지는 오디오 스트림(204) 각각을 각각 PES(Packetized　Elementarty　Stream) 패킷 열(202) 및 PES 패킷 열(205)로 변환하고, 다시 TS(Transport　Stream) 패킷(203) 및 TS 패킷(206)으로 변환한다. 마찬가지로 자막 스트림(207) 및 문자 슈퍼 스트림(210)의 데이터를 각각 PES 패킷 열(208) 및 PES 패킷 열(211)로 변환하고, 다시 TS 패킷(209) 및 TS 패킷(212)으로 변환한다. 트랜스포트 스트림(213)은 이들 TS 패킷을 1개의 스트림에 다중화함으로써 구성된다.

여기서, 비디오 스트림의 구성에 대해 설명한다. MPEG-2 등의 동영상 압축 부호화에 대해서는 동화상의 공간 방향 및 시간 방향의 용장성을 이용해서 데이터량의 압축을 한다. 시간 방향의 용장성을 이용하는 방법으로 픽처 간 예측 부호화가 이용된다. 픽처 간 예측 부호화에서는 어느 픽처(부호화 대상 픽처)를 부호화 할 때에 표시시간 순으로 전방 또는 후방에 있는 픽처를 참조 픽처로서 참조하여, 참조 픽처로부터의 움직임 양을 검출한다. 그리고 움직임 보상을 실행한 픽처와 부호화 대조의 픽처의 차분치에 대해서 공간 방향의 용장도를 제거함으로써 데이터량의 압축을 실행한다. 덧붙여, 픽처란 프레임 및 필드의 양자를 포함하는 1개의 부호화의 단위이다.

이후의 설명에 있어서 참조 픽처를 가지지 않고 부호화 대상 픽처만을 이용해 픽처 내 예측 부호화를 실시하는 픽처를 I픽처라고 부른다. 또, 이미 처리된(과거의) 픽처를 참조해 픽처 간 예측 부호화하는 픽처를 P픽처라고 부르고, 과거, 미래 양쪽 모두의 픽처를 동시에 참조해 픽처 간 예측 부호화하는 픽처를 B픽처라고 부른다. 특히, B픽처 중에서 다른 픽처로부터 참조되는 픽처를 Br픽처라고 부른다. 또, 프레임 구조의 경우의 프레임, 필드 구조의 필드를 여기에서는 비디오 액세스 유닛이라고 부른다.

다음에, 각 스트림으로부터 PES 패킷 열로의 변환에 대해 설명한다. 도 3은 비디오 스트림으로부터 PES 패킷 열로의 변환을 나타내는 도면이다. 도 3에서의 제 1단째는 비디오 스트림의 비디오 프레임 열의, 제2단째는 PES 패킷 열의 일례를 각각 나타내고 있다. 비디오 프레임 열은 복수의 Video　Presentation　Unit인 I픽처, B픽처, P픽처로 구성되며, PES 패킷 열은 복수의 PES 패킷으로 구성되어 있다. PES 패킷은 PES 헤더와 PES 페이 로드로 구성되어 있다. 도 3의 화살표 yy1, yy2, yy3, yy4에 나타내는 것과 같이 비디오 스트림은 픽처마다 분할되고, 분할된 픽처 각각은 PES 패킷의 PES 페이 로드마다 저장된다. PES 헤더에는 PES 페이 로드에 저장되어 있는 픽처의 표시시각인 PTS(Presentation　Time-Stamp)나 당해 픽처의 복호 시각인 DTS(Decoding　Time-Stamp)가 저장된다.

PES 패킷으로부터 변환되어 트랜스포트 스트림에 포함되는 TS 패킷은 도 4에 나타내는 것과 같이 4 바이트로 이루어지는 TS 헤더와 184 바이트로 이루어지는 TS페이 로드로 구성되는 188 바이트 길이의 데이터이다. 트랜스포트 스트림은 이 TS 패킷이 복수 개 배열한 것이다. PES 패킷은 184 바이트 길이마다 분할되고, 분할된 각 데이터는 TS페이 로드에 저장된다. TS 헤더에는 TS 페이 로드의 저장된 데이터에 대응시킨 PID(패킷 식별자) 등이 저장되어 있다. 또, TS 패킷에는 영상·음성·자막 등의 각 스트림 이외에도 PAT(Program　Association　Table), PMT(Program　Map　Table) 등이 포함된다. PMT에는 1개의 프로그램을 구성하는 복수의 스트림의 각 PID가 각 스트림의 속성정보를 대응시켜서 기억되어 있고, 또, 프로그램에 관한 각종 디스크립터를 가진다. 예를 들어 디스크립터에는 프로그램의 카피를 허가·불허가를 지시하는 카피컨트롤정보 등이 저장된다. PMT의 데이터구조의 상세한 것에 대하여는 후술한다. PAT에는 프로그램을 나타내는 식별자(프로그램 번호)와 PMT 내의 PID가 대응되어 저장되어 있다. 또, PAT의 PID는 0으로 등록된다.

도 5는 PMT의 데이터구조를 나타내는 것이다. PMT의 선두에는 그 PMT에 포함되는 데이터의 길이 등을 기재한 PMT 헤더가 배치되어 있다. 그 후속으로는 프로그램에 관한 디스크립터가 복수 배치되어 있고, 앞에서 설명한 카피컨트롤정보 등이 디스크립터로서 기재된다. 디스크립터의 후속에는 프로그램을 구성하는 각 스트림에 관한 스트림 정보가 복수 배치되어 있다. 스트림 정보는 스트림의 압축 코덱 등을 식별하기 위해 스트림 타입, 스트림의 PID, 스트림의 속성정보(프레임 레이트, 어스펙트 비 등)가 기재된 스트림 디스크립터로 구성된다. 스트림 디스크립터는 프로그램을 구성하는 스트림의 수만큼 존재한다.

자막 스트림에는 도 6의 상단에 나타내는 것과 같이 자막관리데이터와 자막문 데이터가 혼재하고 있다. 수신 측에서는 어느 자막관리데이터(제 1 자막관리데이터)를 수신하면 다음의 자막관리데이터(제 2 자막관리데이터)를 수신하기까지에 존재하는 자막문 데이터가 나타내는 자막문은 제 1 자막관리데이터에서 정의된 정보에 의거하여 표시된다.

자막관리데이터와 자막문 데이터는 공통의 데이터구조로 정의되어 있고, 도 6의 하단에 그 데이터구조(이하, 「자막 데이터구조」라고 한다)를 모식적으로 나타낸다. 또, 도 7, 8은 자막관리데이터 및 자막문 데이터 각각의 상세한 데이터구조를 나타내고 있다. 자막 데이터구조는 도 6의 하단에 나타내는 것과 같이 식별자, …, 데이터그룹 사이즈, 데이터로 구성되어 있다.

식별자는 당해 자막 데이터구조가 자막관리데이터를 나타내는 것인가 자막문을 나타내는 것인가를 식별하기 위한 것이며, 도 7, 8에 나타내는 것과 같이 「data_group_id」로 정의된다.

데이터그룹 사이즈는 후속하는 데이터(자막관리데이터, 또는 자막문)의 바이트 길이를 나타내는 것이며, 도 7, 8에 나타내는 것과 같이 「data_group_size」로 정의된다.

데이터에는 식별자가 자막관리데이터를 나타내는 경우에는 자막관리데이터가, 식별자가 자막문 데이터를 나타내는 경우에는 자막문이 각각 포함된다.

데이터에 있어서 정의되는 자막관리데이터의 데이터구조에 대해 도 7을 이용하여 설명한다. 자막관리데이터에는 도 7에 나타내는 것과 같이 시각 제어 모드, 언어정보 및 데이터 유닛이 포함되어 있다.

시각 제어 모드는 수신 재생시에서의 시각의 제어 모드를 나타내는 것이며, 도 7에 나타내는 것과 같이 「TMD」로 정의된다. 구체적으로는, TMD에서는 「프리」, 「리얼타임」및「오프셋 타임」의 어느 하나가 설정된다.

언어정보는 자막의 언어의 수 및 표시언어가 일본어나 영어 등이라고 하는 정보가 포함되어 있고, 도 7에 나타내는 것과 같이 「num_languages」, 「ISO_639_language_code」, 「Format」 등으로 정의된다. 「num_languages」는 언어 수를 나타낸다. 「ISO_639_language_code」는 언어에 대응하는 언어코드를 「Format」는 자막 표시화면의 표시서식의 초기상태를 나타낸다. 또, 「ISO_639_language_code」, 「Format」는 「num_languages」에서 정의된 언어 수만큼 기술된다.

데이터 유닛에는 도 7에 나타내는 가변 개수의「data_unit」로 불리는 데이터구조가 포함되고, 「data_unit」에 동일 ES로 보내지는 자막 프로그램 전체에서 유효가 되는 데이터가 저장된다.

다음에 자막문 데이터의 데이터구조에 대해 도 8을 이용하여 설명한다. 자막문 데이터에는 도 8에 나타내는 것과 같이 시각 제어 모드, 데이터 사이즈 및 자막문자 열이 포함되어 있고, 도 6에 나타내는 것과 같이 자막문자 열에는 자막의 표시영역의 사이즈나 표시위치 등을 결정하는 특수부호 시퀀스를 포함할 수 있다. 표시영역의 사이즈는 예를 들어 표시하는 문자 수이며, 표시위치는 표시영역의 사이즈를 직사각형으로 한 경우의 그 시점이다.

시각 제어 모드는 도 7에서 나타내는 자막관리데이터의 시각 제어 모드와 같다.

데이터 사이즈는 후속의 자막문자 열의 전체 바이트 길이를 나타내는 것이며, 도 8에 나타내는「data_unit_loop_length」로 정의된다.

자막문자 열은 도 8에 나타내는 가변 개수의「data_unit」으로 불리는 데이터구조로 정의되며, 「data_unit」에 자막문을 구성하는 데이터가 저장된다.

2. 2.　2D영상에 및 영상처리장치(10)에 대해서

　다음에, 2D영상에 자막을 중첩하는 영상처리장치(10)의 구성에 대해 설명한다.

영상처리장치(10)는 도 9에 나타내는 것과 같이 수신부(21), 다중화 분리부(22), 비디오 디코더(23), 자막용 디코더(24), 오디오 디코더(25), 동영상 플레인(26), 자막 플레인(27) 및 중첩부(28)로 구성되어 있다.

수신부(21)는 방송국으로부터 송신된 트랜스포트 스트림을 수신하고, 수신한 트랜스포트 스트림을 다중화 분리부에 출력한다. 본 실시형태에서는 트랜스포트 스트림은 비디오 스트림, 오디오 스트림 및 자막 스트림이 다중화되어 있다.

다중화 분리부(22)는 수신한 트랜스포트 스트림을 비디오 스트림과 자막 스트림과 오디오 스트림으로 분리하고, 비디오 스트림을 비디오 디코더(23)에, 자막 스트림을 자막용 디코더(24)에, 오디오 스트림을 오디오 디코더(25)에 출력한다.

비디오 디코더(23)는 비디오 스트림을 디코드하여 비디오 프레임(2D영상)을 취득하고, 취득한 비디오 프레임을 동영상 플레인(26)에 출력한다. 구체적으로는 비디오 디코더(23)는 비디오 스트림에 포함되는 개개의 비디오 액세스 유닛을 대응하는 PES 헤더에 저장된 소정의 복호 시각(DTS)에 의거해서 디코드하여 프레임/필드 화상을 작성한다. 또, 비디오 디코더(23)는 비디오 스트림의 압축 부호화 형식에 따라서 디코드 방법을 바꾼다. 비디오 디코더(23)는 디코드 된 프레임/필드 화상을 대응하는 PES 헤더에 저장된 표시시각(PTS)의 타이밍에 대응하는 프레임/필드 화상을 동영상 플레인(26)에 저장한다.

자막용 디코더(24)는 비디오 스트림을 디코드하여 자막문을 취득하고, 취득한 자막문을 자막 플레인(27)에 출력한다. 구체적으로는 자막용 디코더(24)는 자막 스트림에 포함되는 부호화된 자막데이터를 대응하는 PES 헤더에 저장된 소정의 복호 시각(DTS)에 의거하여 디코드하여 자막문을 작성한다. 자막용 디코더(24)는 디코드 된 자막문을 대응하는 PES 헤더에 저장된 표시시각(PTS)의 타이밍에 대응하는 자막문을 자막 플레인(27)에 저장한다. 이때, 자막용 디코더(24)는 자막문자 열에 포함되는 정보(특수부호 시퀀스)에 따라서 자막 플레인(27)의 표시영역 중의 표시위치에 표시 대상의 자막문을 묘화한다.

오디오 디코더(25)는 오디오 스트림을 디코드하여 음성을 취득하고, 취득한 음성을 출력한다.

동영상 플레인(26)은 비디오 디코더(23)에서 얻어진 비디오 프레임을 저장하는 플레인 메모리이며, 그 해상도는 1920×1080이다.

자막 플레인(27)은 자막용 디코더(24)에서 얻어진 자막문을 저장하는 플레인 메모리이며, 그 해상도는 960×540이다.

중첩부(28)는 동영상 플레인(26)에 저장되어 있는 비디오 프레임을 영상 출력할 때에 당해 비디오 프레임에 자막 플레인(27)에 저장되어 있는 자막문을 중첩한다. 이때, 비디오 프레임의 사이즈와 자막문의 사이즈가 다르므로 중첩부(28)에서는 자막 플레인(27)의 데이터 픽셀에 대해서 수평 수직으로 2배 확대를 함으로써 동영상 플레인(26)의 해상도와 동일하게 하고, 수평 수직으로 2배 확대한 후의 자막문을 동영상 플레인(26)의 비디오 프레임에 중첩하여 영상 출력을 한다.

이상이, 2D영상에 자막을 중첩하는 영상처리장치(10)의 구성이며, 이 구성에 의해 해상도가 다른 동영상 플레인(26)과 자막 플레인(27)에서 자막을 영상에 중첩할 대에는 동일한 해상도로 하여 중첩할 수 있다.

2. 3.　3D재생의 원리

　여기에서는 도 10을 이용해 가정용 디스플레이에서 입체 시를 실시하는 원리를 설명한다.

입체 시를 실현하는 수법으로는 홀로그래피 기술을 이용하는 방법과 시차 화상을 이용하는 방식의 크게 2개가 있으나, 여기에서는 시차 화상을 이용하는 방식을 설명한다.

시차 화상을 이용한 방식으로는 오른쪽 눈에 들어오는 영상과 왼쪽 눈에 들어오는 영상을 각각 준비하고, 각각의 눈에 대따른 픽처만이 들어가도록 하여 입체 시를 실시하는 방법이다. 도 10 (a)는 사용자가 얼굴의 중앙의 연장선상에 있는 비교적 작은 입방체를 보고 있는 모습을 위로부터 본 도면이다. 도 10 (b)는 당해 입방체를 좌측 눈으로 보았을 경우의 예를 나타내고 있고, 도 10 (c)는 동일한 입방체를 우측 눈으로 보았을 경우의 예를 나타내고 있다.

가정용 디스플레이로 입체 표시를 실현하기 위해, 당해 디스플레이는 좌우의 각각의 눈에 대따른 영상을 교대로 표시하는 동시에, 셔터식 안경이나 편광안경을 이용하여 대따른 눈에만 보이도록 하고 있다. 시차 화상을 이용한 입체 시를 위한 방법은 다양한 기술이 제안되어 있고, 본 실시형태에서는 셔터식 안경 방식을 예로서 이용하여 설명하나, 시차 화상을 이용하는 한 이 방식으로 한정하는 것은 아니다.

여기에서는 좌측 눈 용의 영상을 「좌측 눈 영상」, 우측 눈 용의 영상을 「우측 눈 영상」, 양방의 영상으로부터 얻어지는 영상을 「3D영상」이라고 부른다.

이상이 본 실시형태를 이해하는데 있어서 기초가 되는 기술이다.

2. 4.　본 실시형태의 개요

본 실시형태의 개요에 대해 설명한다.

본 실시형태에 관한 영상처리시스템(1100)은 도 11에 나타내는 것과 같이 3D디지털 텔레비전(영상처리장치)(1200)과 송신장치(1300)로 구성된다.

송신장치(1300)는 도 1에 나타내는 비디오 스트림, 오디오 스트림, 자막 스트림, 문자 슈퍼 스트림 등의 중에서 비디오 스트림, 오디오 스트림, 자막 스트림이 다중화된 트랜스포트 스트림을 송신한다. 여기서, 비디오 스트림은 복수 시점의 영상(예를 들어 3D영상)이 부호화되고, TS화 된 것이다. 또, 3D영상에 관한 영상의 표시 사이즈(해상도)는 1920×1080이며, 자막 스트림으로부터 얻어지는 표시 사이즈(해상도)는 960×540이다.

영상처리장치(1200)는 송신장치(1300)로부터 송신된 트랜스포트 스트림을 수신하고, 트랜스포트 스트림에 포함되는 비디오 스트림으로부터 3D영상(좌측 눈 영상과 우측 눈 영상)을, 자막 스트림으로부터 좌측 눈 용의 자막문과 우측 눈 용의 자막문을 생성하고, 3D영상으로서 표시할 때에 좌측 눈 영상과 좌측 눈 용의 자막을, 우측 눈 영상과 우측 눈 용의 자막문을 각각 중첩해 출력한다.

2. 5.　영상처리장치(1200)의 구성

여기에서는 영상처리장치(1200)의 구성에 대해 설명한다.

영상처리장치(1200)는 도 12에 나타내는 것과 같이 수신부(1201), 다중화 분리부(1202), 3D영상 비디오 디코더(1203), 자막용 디코더(1204), 오디오 디코더(1205), 좌측 눈 영상 플레인(1206), 우측 눈 영상 플레인(1207), 자막 버퍼(1208), 사이즈 변환부(1209), 자막 플레인(1210), 자막생성 처리부(1211), 출력 처리부(1212)로 구성되어 있다.

(1) 수신부(1201)

　수신부(1201)는 송신장치(1300)로부터 송신된 트랜스포트 스트림을 수신하고, 수신한 트랜스포트 스트림을 다중화 분리부(1202)에 출력한다.

(2) 다중화 분리부(1202)

　다중화 분리부(1202)는 예를 들어 디 멀티플렉서(분배회로)이며, 수신부(1201)로부터 수신한 트랜스포트 스트림으로부터 비디오 스트림, 오디오 스트림 및 자막 스트림을 분리하고, 비디오 스트림을 3D영상 비디오 디코더(1203)에, 자막 스트림을 자막용 디코더(1204)에, 오디오 스트림을 오디오 디코더(1205)에 각각 출력한다.

(3) 3D영상 비디오 디코더(1203)

3D영상 비디오 디코더(1203)는 다중화 분리부(1202)로부터 수신한 비디오 스트림을 복호 하여 좌측 눈 영상과 우측 눈 영상을 생성한다. 그리고 3D영상 비디오 디코더(1203)는 좌측 눈 영상을 좌측 눈 영상 플레인(1206)에, 우측 눈 영상을 우측 눈 영상 플레인(1207)에 기입한다.

구체적으로는, 3D영상 비디오 디코더(1203)는 복수 시점의 비디오 스트림을 복호 하여 좌측 눈 영상과 우측 눈 영상을 생성한다.

또, 비디오 스트림으로부터 얻어지는 비디오 액세스 유닛에는 도 13에 나타내는 것과 같이 보충데이터로 비디오 오프셋 정보가 저장되어 있다. 이 비디오 오프셋 정보는 도 14에 나타내는 데이터구조에 있어서 오프셋 값(offset_value)과 그것을 식별하기 위한 오프셋 시퀀스 ID(offset_sequence_id)가 대응된 복수 개의 조로 이루어진다.

3D영상 비디오 디코더(1203)는 비디오 스트림을 복호한 때에 얻어지는 비디오 오프셋 정보를 자막생성 처리부(1211)에 출력한다.

(4) 자막용 디코더(1204)

자막용 디코더(1204)는 다중화 분리부(1202)로부터 수신한 자막 스트림을 복호 하여 자막문 데이터를 생성하고, 자막문 데이터에 포함되는 자막문을 자막 버퍼(1208)에 기입한다. 구체적으로는 자막용 디코더(1204)는 자막문 데이터의 시각 제어 모드, 데이터 사이즈에서 나타나는 데이터 길이에 의거하여 자막문자 열로 표시되는 자막문을 자막 버퍼에 기입한다.

또, 자막 스트림으로부터 얻어지는 자막문 데이터는 도 15에 나타내는 것과 같이 도 8에서 나타내는 데이터구조에 있어서 자막문에 후속하는 데이터 유닛으로서 오프셋 참조정보(D100)가 부가되어 있다. 오프셋 참조정보(D100)는 오프셋 값으로 고정 값을 이용하는가 참조치를 이용하는가를 식별하는 정보(Type 정보)(D101)와 Type 정보(D101)에 따른 참조정보(D102)로 구성되어 있다. Type 정보(D101)가 고정 값을 이용하는 것을 나타내는 경우에는 참조정보(D102)에는 그 값이 저장되고, 참조치를 이용하는 것을 나타내는 경우에는 참조 처를 나타내는 정보로서 오프셋 시퀀스 ID가 저장되어 있다.

자막용 디코더(1204)는 자막문자 열에서 나타내는 자막문의 기입 후, 자막문자 열에 후속하는 오프셋 참조정보를 판독하여, 판독한 오프셋 참조정보를 자막생성 처리부(1211)에 출력한다.

(오프셋 참조정보에 대해)

여기서, 오프셋 참조정보의 데이터구조에 대해 도 16을 이용하여 설명한다.

오프셋 참조정보는 상술한 것과 같이 자막문 데이터의 데이터 유닛으로서 정의된다. 그러므로 오프셋 참조정보로서 정의되어 있는 것을 식별하기 위해 도 16 (a)에 나타내는 것과 같이 데이터 유닛의 종류를 나타내는 데이터 유닛 파라미터(data_unit_parameter)에 값 「0x38」을 할당한다. 이에 의해 장치 측은 데이터 유닛 파라미터의 값이 「0x38」인 경우에는 당해 데이터 유닛은 오프셋 참조정보라고 판별할 수 있다.

도 19 (b)는 오프셋 참조정보의 데이터구조를 나타내는 것이며, 기술자 「offset_type」에 의해 상술한 Type 정보(D101)가 정의된다. 여기에서는 값 「00」이 고정 값을 이용하는 것을, 값 「01」이 참조치를 이용하는 것을 나타내고 있다. 그리고 기술자 「offset_type」의 후에 존재하는 if문에 의해 Type 정보(D101)에 따른 정보가 기술되어 있다. 예를 들어 기술자 「offset_type」의 값이 「00」인 경우에는 기술자 「fixed_offset_value」에 고정 값이 기술된다. 기술자 「offset_type」의 값이 「01」인 경우에는 기술자 「offset_sequence_id_ref」에 오프셋 시퀀스 ID가 기술된다.

(5) 오디오 디코더(1205)

오디오 디코더(1205)는 다중화 분리부(1202)로부터 수신한 오디오 스트림을 복호 하여 음성 데이터를 생성한다. 그리고 오디오 디코더(1205)는 생성한 음성 데이터를 음성으로서 출력한다.

(6) 좌측 눈 영상 플레인(1206)

좌측 눈 영상 플레인(1206)은 3D영상 비디오 디코더(1203)에서 생성된 한 화면 분의 좌측 눈 영상의 화소 데이터를 라인 단위로 저장하고, 수평동기신호, 수직동기신호에 따라 이들 화소 데이터를 출력하기 위한 메모리이다. 여기에서는 좌측 눈 영상 플레인(1206)의 사이즈, 즉 1 화상의 사이즈는 1920×1080이다.

(7) 우측 눈 영상 플레인(1207)

우측 눈 영상 플레인(1207)은 3D영상 비디오 디코더(1203)에서 생성된 1 화면 분의 우측 눈 영상의 화소 데이터를 라인 단위로 저장하고, 수평동기신호, 수직동기신호에 따라서 이들 화소 데이터를 출력하기 위한 메모리이다. 여기에서는 우측 눈 영상 플레인(1207)의 사이즈는 좌측 눈 영상 플레인(1206)의 사이즈와 같다.

(8) 자막 버퍼(1208)

자막 버퍼(1208)는 자막용 디코더(1204)에서 생성된 1 화면 분의 자막문을 저장하기 위한 버퍼이며, 그 사이즈는 960×540이다. 즉, 버퍼의 사이즈란 실제로 자막이 표시되는 화면상의 부분적인 영역을 나타내는 것이 아니라, 자막이 실제로 표시되는 영역을 포함하는 최대의 영역(화면 전체)을 나타내는 것이다.

(9) 사이즈 변환부(1209)

사이즈 변환부(1209)는 자막 버퍼(1208)에 저장되어 있는 1 화면 분의 자막문에 대해서 그 화상 사이즈(960×540)를 좌측 눈 영상 및 우측 눈 영상 각각의 사이즈(1920×1080)가 되도록 소정의 배율(종횡 2배)로 확대한다. 구체적으로는 1 화소를 종횡 2배의 영역, 즉 4 화소 영역에 할당한다.

(10) 자막 플레인(1210)

자막 플레인(1210)은 사이즈 변환부(1209)에서 화상 사이즈가 1920×1080으로 변환된 1 화면 분의 자막문의 영상의 화소 데이터를 라인 단위로 저장하고, 수평동기신호, 수직동기신호에 따라서 이들 화소 데이터를 출력하기 위한 메모리이다.

(11) 자막생성 처리부(1211)

자막생성 처리부(1211)는 자막 플레인(1210)에 저장되어 있는 자막문의 영상으로부터 영상의 송신원으로부터의 지시에 따른 오프셋 값을 이용해 좌측 눈 용의 자막문의 영상과 우측 눈 용의 자막문의 영상을 생성하는 것이다.

자막생성 처리부(1211)는 도 12에 나타내는 것과 같이 판정부(1221), 오프셋 값 특정부(1222), 좌측 눈 용 자막 생성부(1223) 및 우측 눈 용 자막 생성부(1224)로 구성되어 있다.

(11-1) 판정부(1221)

판정부(1221)는 좌측 눈 용의 자막문의 영상과 우측 눈 용의 자막문의 영상을 생성할 때에 이용하는 오프셋 값이 고정 값인가 참조치인가를 판정하는 것이다.

구체적으로는 판정부(1221)는 자막용 디코더(1204)로부터 출력된 오프셋 참조정보(D100)를 수신한다. 판정부(1221)는 수신한 오프셋 참조정보(D100)의 Type 정보(D101)에 저장되어 있는 값이 「00」인가 「01」인가를 판별하고, 값이 「00」이면 고정 값을 이용하고, 값이 「01」이면 참조치를 이용한다고 판정한다. 판정부(1221)는 판정결과와 수신한 오프셋 참조정보(D100)의 참조정보(D102)를 오프셋 값 특정부(1222)에 출력한다.

(11-2) 오프셋 값 특정부(1222)

오프셋 값 특정부(1222)는 판정부(1221)의 판정결과에 따라서 좌측 눈 용의 자막문의 영상과 우측 눈 용의 자막문의 영상의 생성에 이용하는 오프셋 값을 특정하는 것이다.

구체적으로는 오프셋 값 특정부(1222)는 판정부(1221)로부터 수신한 판정결과가 고정 값을 이용하는 것을 나타내는 경우에는 판정부(1221)로부터 수신한 참조정보에 저장된 고정 값을 취득하고, 취득한 고정 값을 좌측 눈 용 자막 생성부(1223) 및 우측 눈 용 자막 생성부(1224)에 출력한다. 오프셋 값 특정부(1222)는 판정부(1221)로부터 수신한 판정결과가 참조치를 이용하는 것을 나타내는 경우에는 3D영상 비디오 디코더(1203)로부터 수신한 비디오 오프셋 정보로부터 판정부(1221)로부터 수신한 참조정보에 저장된 참조치가 가리키는 오프셋 시퀀스 ID에 대응하는 값을 취득하고, 취득한 값을 좌측 눈 용 자막 생성부(1223) 및 우측 눈 용 자막 생성부(1224)에 출력한다.

(11-3) 좌측 눈 용 자막 생성부(1223), 우측 눈 용 자막 생성부(1224)

좌측 눈 용 자막 생성부(1223)는 자막 플레인(1210)에 저장된 자막문의 영상으로부터 좌측 눈 용 자막문의 영상을 생성하고, 우측 눈 용 자막 생성부(1224)는 자막 플레인(1210)에 저장된 자막문의 영상으로부터 우측 눈 용 자막문의 영상을 생성하는 것이다.

구체적으로는 좌측 눈 용 자막 생성부(1223)는 오프셋 값 특정부(1222)로부터 수신한 값을 오프셋 값으로 하여 자막 플레인(1210)에 대해서 수평 좌표에 오프셋 값을 가산하여 좌측 눈 용 자막문의 영상을 생성하고, 출력 처리부(1212)에 출력한다. 또, 우측 눈 용 자막 생성부(1224)는 오프셋 값 특정부(1222)로부터 수신한 값을 오프셋 값으로 하여 자막 플레인(1210)에 대해서 수평 좌표에 오프셋 값을 감산하여 우측 눈 용 자막문의 영상을 생성하고, 출력 처리부(1212)에 출력한다.

예를 들어 오프셋 값으로서 정의 값이 설정되어 있는 경우, 도 17 (a)에 나타내는 것과 같이 자막 플레인(1210)에 저장되어 있는 자막의 수평 좌표에 오프셋 값을 가산함으로써 생성되는 좌측 눈 용 자막문은 우측방향(정방향)으로 어긋나고, 자막 플레인(1210)에 저장되어 있는 자막의 수평 좌표에 오프셋 값을 감산하는 것으로 생성되는 우측 눈 용 자막문은 좌측방향(부방향)으로 어긋나서, 각각을 시차 화상으로서 표시할 수 있다. 좌측 눈 용 자막문과 우측 눈 용 자막문을 시차 화상으로서 교대로 표시함으로써 도 17 (b)에 나타내는 것과 같이 평면의 자막 그래픽스(자막 문)가 영상보다 앞에 떠올라 보인다. 이와 같이, 좌우용의 2개의 영상 데이터(자막문 데이터)를 준비하지 않아도 정면의 그래픽스 데이터(평면의 자막문)와 함께 좌우로 어긋나는 오프셋의 값을 준비함으로써 3D 표시가 가능해진다.

(12) 출력 처리부(1212)

출력 처리부(1212)는 좌측 눈 영상 및 우측 눈 영상 각각에 대응하는 자막문을 중첩하여, 자막이 중첩된 3D영상이 표시되도록 각 영상을 출력하는 것이다.

출력 처리부(1212)는 도 12에 나타내는 것과 같이 전환부(1231) 및 중첩부(1232, 1233)로 구성되어 있다.

(12-1) 전환부(1231)

전환부(1231)는 3D 표시를 실행하기 위해 좌측 눈 영상과 우측 눈 영상의 출력을 소정의 시간간격으로 바꾸는 것이다. 예를 들어 2D영상의 출력이 1/60초마다 행해지는 경우, 3D 표시를 실행하기 위해서는 좌측 눈 영상 및 우측 눈 영상을 교대로 출력하고, 1/60초마다 3D영상이 표시되기 위해서는 좌측 눈 영상 및 우측 눈 영상을 1/120초마다 교대로 출력할 필요가 있다.

구체적으로는 전환부(1231)는 소정의 시간 간격(예를 들어 1/120초마다)으로 좌측 눈 영상 플레인(1206)과 중첩부(1232)의 접속 및 우측 눈 영상 플레인(1207)과 중첩부(1233)의 접속을 바꾼다. 예를 들어 전환부(1231)는 어느 시간에는 좌측 눈 영상 플레인(1206)과 중첩부(1232)를 접속하고 우측 눈 영상 플레인(1207)과 중첩부(1233)을 비 접속으로 하며, 1/120초 후에는 좌측 눈 영상 플레인(1206)과 중첩부(1232)를 비 접속으로 하고 우측 눈 영상 플레인(1207)과 중첩부(1233)를 접속하도록 제어한다. 이에 의해 출력 처리부(1212)는 좌측 눈 영상과 우측 눈 영상을 소정의 시간 간격으로 교대로 출력하므로, 3D 표시를 할 수 있다.

(12-2) 중첩부(1232, 1233)

중첩부(1232)는 좌측 눈 영상과 좌측 눈 용 자막 생성부(1223)에서 생성된 좌측 눈 용 자막문의 영상을 중첩하여 출력하는 것이다.

중첩부(1233)는 우측 눈 영상과 우측 눈 용 자막 생성부(1224)에서 생성된 우측 눈 용 자막문의 영상을 중첩하여 출력하는 것이다.

좌측 눈 용 자막문의 영상은 예를 들어 오프셋 값이 정의 정수인 경우에는 도 18에 나타내는 것과 같이 좌측 눈 용 자막 생성부(1223)에 있어서 자막 플레인(1210)을 오프셋 값만큼 오른쪽으로 시프트 하고 있으므로, 좌측 눈 영상과 중첩하기 위해서는 좌측 눈 영상 플레인(1206)으로부터 튀어나온 부분은 크로핑 된다. 마찬가지로 우측 눈 용 자막은 도 18에 나타내는 것과 같이 우측 눈 용 자막 분의 영상은 우측 눈 용 자막 생성부(1224)에 있어서 자막 플레인(1210)을 오프셋 값만큼 왼쪽으로 시프트 하고 있으므로, 우측 눈 영상과 중첩하기 위해서는 우측 눈 영상 플레인(1207)으로부터 튀어나온 부분은 크로핑 된다.

2. 6.　송신장치(1300)의 구성

송신장치(1300)는 도 19에 나타내는 것과 같이 비디오 인코더(1301), 자막용 인코더(1302), 오디오 인코더(1303), 비디오 스트림 저장부(1304), 자막 스트림 저장부(1305), 오디오 스트림 저장부(1306), 다중화부(1307) 및 송신부(1308)로 구성되어 있다.

(1) 비디오 인코더(1301)

비디오 인코더(1301)는 다 시점의 복수의 비디오 액세스 유닛(픽처)에 대해 MPEG-2, MPEG-4 등의 방식을 사용하여 부호화하여 비디오 스트림을 생성하고, 비디오 스트림 저장부(1304)에 기입한다.

(2) 자막용 인코더(1302)

자막용 인코더(1302)는 1개 이상의 자막관리데이터 및 1개 이상의 자막문 데이터를 MPEG-1, MPEG-2 등의 방식을 사용해서 부호화하여 자막 스트림을 생성하고, 자막 스트림 저장부(1305)에 기입한다.

여기서, 자막용 인코더(1302)가 부호화하는 자막문 데이터는 도 15에 나타내는 데이터구조로 이루어진다, 즉, 자막문의 후속하는 데이터로서 오프셋 참조정보가 포함되는 데이터구조이다.

(3) 오디오 인코더(1303)

오디오 인코더(1303)는 음성 데이터를 리니어 PCM 등의 방식으로 압축·부호화하여 오디오 스트림을 생성하고, 오디오 스트림 저장부(1306)에 기입한다.

(4) 비디오 스트림 저장부(1304)

비디오 스트림 저장부(1304)는 비디오 인코더(1301)에서 생성된 비디오 스트림을 저장하기 위한 기억영역이다.

(5) 자막 스트림 저장부(1305)

　자막 스트림 저장부(1305)는 자막용 인코더(1302)로 생성된 자막 스트림을 저장하기 위한 기억영역이다.

(6) 오디오 스트림 저장부(1306)

　오디오 스트림 저장부(1306)은 오디오 인코더(1303)으로 생성된 오디오 스트림을 저장하기 위한 기억영역이다.

(7) 다중화부(1307)

　다중화부(1307)는 비디오 스트림 저장부(1304)에 저장되어 있는 비디오 스트림, 자막 스트림 저장부(1305)에 저장되어 있는 자막 스트림, 오디오 스트림 저장부(1306)에 저장되어 있는 오디오 스트림, SI 등을 다중화하여 MPEG2-TS 형식의 트랜스포트 스트림을 생성하고, 송신부(1308)를 개재하여 송신한다.

(8) 송신부(1308)

송신부(1308)는 다중화부(1307)에서 생성된 MPEG2-TS 형식의 트랜스포트 스트림을 송신한다.

2. 7.　동작

(1) 영상처리장치(1200)의 전체 동작

여기에서는 영상처리장치(1200)가 트랜스포트 스트림을 수신하고 나서 3D 표시를 실행할 때까지의 전체의 동작에 대해 도 20에 나타내는 흐름도를 이용하여 설명한다.

영상처리장치(1200)의 수신부(1201)는 트랜스포트 스트림을 수신한다(스텝 S5).

다중화 분리부(1202)는 수신부(1201)에서 수신한 트랜스포트 스트림을 비디오 스트림, 오디오 스트림 및 자막 스트림으로 분리한다(스텝 S10).

3D영상 비디오 디코더(1203)는 비디오 스트림으로부터 좌측 눈 영상 및 우측 눈 영상을 생성하고, 생성한 좌측 눈 영상을 좌측 눈 영상 플레인(1206)에, 생성한 우측 눈 영상을 우측 눈 영상 플레인(1207)에 각각 기입한다(스텝 S15). 예를 들어 3D영상 비디오 디코더(1203)는 비디오 스트림을 복호 하여 좌측 눈 영상과 우측 눈 영상을 생성한다.

오디오 디코더(1205)는 오디오 스트림으로부터 음성을 생성하여 출력한다(스텝 S20).

자막용 디코더(1204)는 자막 스트림으로부터 자막문을 생성하여 자막 버퍼(1208)에 기입한다(스텝 S25).

사이즈 변환부(1209)는 자막 버퍼(1208)에 저장되어 있는 1 화상 분의 자막문의 화상 사이즈(960×540)를 좌측 눈 영상 및 우측 눈 영상 각각의 사이즈(1920×1080)가 되도록 소정의 배율(종횡 2배)로 확대하고, 자막 플레인(1210)에 기입한다(스텝 S30).

자막생성 처리부(1211)는 좌측 눈 용 자막문 및 우측 눈 용 자막문을 생성하는 생성 처리를 실시한다(스텝 S35).

출력 처리부(1212)는 중첩부(1232 및 1233)를 이용하여 좌측 눈 영상 플레인(1206)에 저장된 좌측 눈 영상과 자막생성 처리부(1211)에서 생성된 좌측 눈 용 자막의 중첩 및 우측 눈 영상 플레인(1207)에 저장된 우측 눈 영상과 자막생성 처리부(1211)에서 생성된 우측 눈 용 자막과의 중첩을 각 영상을 출력하는 타이밍에 실시하고(스텝 S40), 자막문이 중첩된 각 영상을 출력하여 3D 표시를 실시한다(스텝 S45).

(2) 좌측 눈 용 자막문 및 우측 눈 용 자막문의 생성 처리

여기에서는 도 20의스텝 S35에 나타내는 좌측 눈 용 자막문 및 우측 눈 용 자막문의 생성 처리의 상세에 대해서 도 21에 나타내는 흐름도를 이용하여 설명한다.

자막생성 처리부(1211)의 판정부(1221)는 자막용 디코더(1204)로부터 수신한 오프셋 참조정보(D100)의 Type 정보(D101)에 저장된 값에 의거하여 좌측 눈 용 자막문 및 우측 눈 용 자막문의 생성에 이용하는 오프셋 값이 고정 값인가 아닌가를 판단한다(스텝 S100). 구체적으로는 판정부(1221)는 Type 정보(D101)에 저장된 값이 「00」이면 고정 값을 이용하고, 「01」이면 참조치를 이용한다고 판단한다.

판정부(1221)가 고정 값을 이용한다고 판단하는 경우(스텝 S100에서의 「Yes」), 오프셋 값 특정부(1222)는 오프셋 참조정보(D100)에 포함되는 참조정보(D102)로부터 고정 값을 취득한다(스텝 S105).

판정부(1221)가 고정 값을 이용하지 않는, 즉 참조치를 이용한다고 판단하는 경우(스텝 S100에서의 「No」), 오프셋 값 특정부(1222)는 오프셋 참조정보(D100)에 포함되는 참조정보(D102)로부터 참조치를 취득하고(스텝 S110), 취득한 참조치에서 나타나는 오프셋 시퀀스 ID에 대응하는 값을 취득한다(스텝 S115).

좌측 눈 용 자막 생성부(1223)는스텝 S105 또는스텝 S115에서 취득된 값을 오프셋 값으로 하여 자막 플레인(1210)에 저장되어 있는 자막문의 영상으로부터 좌측 눈 용 자막문을 생성한다(스텝 S120).

우측 눈 용 자막 생성부(1224)는스텝 S105 또는스텝 S115에서 취득된 값을 오프셋 값으로하여 자막 플레인(1210)에 저장되어 있는 자막문의 영상으로부터 우측 눈 용 자막문을 생성한다(스텝 S125).

(3) 송신장치(1300)의 동작

여기에서는 송신장치(1300)의 동작에 대해 도 22에 나타내는 흐름도를 이용하여 설명한다.

비디오 인코더(1301)는 다 시점의 복수의 비디오 액세스 유닛(픽처) 각각을 부호화하여 비디오 스트림을 생성하고, 비디오 스트림 저장부(1304)에 기입한다(스텝 S200).

자막용 인코더(1302)는 1개 이상의 자막관리데이터 및 1개 이상의 자막문 데이터를 부호화하여 자막 스트림을 생성하고, 자막 스트림 저장부(1305)에 기입한다(스텝 S205). 여기서, 자막용 인코더(1302)가 부호화하는 자막문 데이터는 도 15에 나타내는 것과 같이 자막문의 후속하는 데이터로서 오프셋 참조정보가 포함되는 데이터구조이다.

오디오 인코더(1303)는 음성 데이터를 압축·부호화하여 오디오 스트림을 생성하고, 오디오 스트림 저장부(1306)에 기입한다(스텝 S210).

다중화부(1307)는 비디오 스트림, 자막 스트림, 오디오 스트림 및 SI 등을 다중화하여 MPEG2-TS 형식의 트랜스포트 스트림을 생성하고, 송신부(1308)를 개재하여 송신한다(스텝 S215).

2. 8　변형 예

이상, 제 1 실시형태에 의거하여 설명하였으나, 본 발명은 상기의 실시형태에 한정되지는 않는다. 예를 들어 이하와 같은 변형 예를 생각할 수 있다.

(1) 오프셋 참조정보는 자막문 데이터의 데이터구조 내에서 정의하는 것으로 하였으나, 이에 한정되지는 않는다.

오프셋 참조정보는 도 23에 나타내는 것과 같이 자막관리데이터의 데이터구조 내에 정의되어도 좋다.

또는, 도 24에 나타내는 것과 같이 자막 데이터구조로서 자막문 데이터나 자막관리데이터와는 다른 데이터(오프셋 관리데이터)에 정의해도 좋다. 이때, 자막 데이터의 종별을 나타내는 식별자인 「data_group_id」에는 새로 오프셋 관리데이터를 식별하는 식별자를 할당할 수 있다. 또한, 오프셋 관리데이터에는 자막 참조정보 및 오프셋 참조정보가 포함되어 있고, 자막 참조정보에는 후속의 오프셋 참조정보가 적용되는 자막 데이터를 식별하는 식별자가 저장된다. 오프셋 참조정보는 이미 알려져 있으므로 여기에서의 설명은 생략한다.

또는, 도 25에 나타내는 것과 같이 자막문 데이터에 포함되는 자막문자 열을 정의하는 특수부호 시퀀스 내에, Type 정보 및 참조정보를 포함해도 좋다.

또는, Type 정보만을 PMT의 디스크립터나 스트림 정보의 데이터로서 신규로 저장해도 좋고, EIT에 저장해도 좋다. 즉, Type 정보는 SI 중에 포함해도 좋다. 이때, 참조정보는 상기와 마찬가지로 자막문 데이터, 자막관리데이터, 오프셋 관리데이터 및 자막문자 열을 정의하는 특수부호 시퀀스 내의 어느 하나에 저장해도 좋다. 이때, Type 정보가 고정 값을 사용하는 것을 나타내는 경우에는 고정 값을 Type 정보와 함께 PMT에 저장해도 좋다.

(2) 상기 실시형태에 있어서 비디오 오프셋 정보는 비디오 액세스 유닛마다 당해 비디오 액세스 유닛에 포함되는 보충데이터 내에 정의디는 것으로 하였으나, 이에 한정되지는 않는다.

PMT의 데이터구조 내에 비디오 오프셋 정보를 정의해도 좋다. 예를 들어 도 26에 나타내는 것과 같이 디스크립터 ＃N에 오프셋 값(Offset_1, Offset_2, …, Offset_n) 각각에 당해 오프셋 값을 식별하기 위한 식별자(ID1, ID2, …, IDn)를 대응시킨 테이블을 정의해도 좋다.

즉, 비디오 오프셋 정보는 픽처마다, 또는 복수의 픽처의 그룹으로 이루어지는 단위에 대응시키고 있어도 좋다.

(3) 상기 실시형태 및 변형 예를 조합해도 좋다.

3. 제 2 실시형태

여기에서는 제 2 실시형태에 관한 영상처리장치(2200)에 대해 설명한다.

제 1 실시형태에 관한 영상처리장치(1200)는 1개의 자막문의 영상으로부터 좌측 눈 용 자막 및 우측 눈 용 자막을 생성하였으나, 본 실시형태에 관한 영상처리장치(2200)는 좌측 눈 용 자막의 영상과 우측 눈 용 자막의 영상을 개별적으로 송신장치(1300)로부터 수신하여 자막의 3D 표시를 실행하는 장치이다.

또, 본 실시형태에서는 제 1 실시형태와 다른 점을 중심으로 설명한다.

3. 1.　영상처리장치(2200)의 구성

여기에서는 영상처리장치(2200)의 구성에 대해 설명한다.

영상처리장치(2200)는 도 27에 나타내는 것과 같이 수신부(1201), 다중화 분리부(2202), 3D영상 비디오 디코더(1203), 자막용 디코더(2204a, 2204b), 오디오 디코더(1205), 좌측 눈 영상 플레인(1206), 우측 눈 영상 플레인(1207), 좌측 눈 용 자막 버퍼(2208a), 우측 눈 용 자막 버퍼(2208b), 사이즈 변환부(2209a, 2209b), 좌측 눈 용 자막 플레인(2210a), 우측 눈 용 자막 플레인(2210b), 자막생성 처리부(2211), 출력 처리부(1212)로 구성되어 있다.

수신부(1201), 3D영상 비디오 디코더(1203), 오디오 디코더(1205), 좌측 눈 영상 플레인(1206), 우측 눈 영상 플레인(1207), 출력 처리부(1212)에 대해서는 제 1 실시형태에서 설명하고 있으므로 여기에서의 설명은 생략한다.

(1) 다중화 분리부(2202)

다중화 분리부(2202)는 예를 들어 디 멀티플렉서(분배회로)이며, 수신부(1201)로부터 수신한 트랜스포트 스트림으로부터 비디오 스트림, 오디오 스트림 및 자막 스트림을 분리하고, 분리한 각 스트림을 대응하는 디코더에 출력하는 것이다. 여기에서는 분리한 자막 스트림의 구성이 제 1 실시형태와 다르다.

본 실시형태에서의 자막 스트림에 대한 엘리멘터리 스트림(ES)의 모식적인 구성을 도 28에 나타낸다. 좌측 눈 용의 자막문 데이터와 우측 눈 용의 자막문 데이터는 1개의 ES에 저장되어 있다. 그리고 도 29에 나타내는 것과 같이 데이터그룹 식별자(data_group_id)에 우측 눈 용의 본문 데이터(우측 눈 용의 자막문 데이터)라는 것을 식별하기 위한 값(0x41에서 0x48 및 0x61에서 0x68)을 새로 추가한다. 또, 좌측 눈 용의 본문 데이터(좌측 눈 용의 자막문 데이터)라는 것을 식별하기 위한 값은 종래부터 할당되어 있는 값(0x1에서 0x8 및 0x21에서 0x28)을 이용한다. ES 내에 있어서는 조 A로 할당된 값과 조 B로 할당된 값을 교대로 사용한다. 또, 좌측 눈 용의 자막문 데이터에는 도 15에 나타내는 것과 같이 자막문자 열과 오프셋 참조정보를 포함하고 있다. 우측 눈 용의 자막문 데이터에는 오프셋 참조정보는 포함되지 않는, 즉 우측 눈 용의 자막문 데이터는 도 8에 나타내는 것 같은 데이터구조이다.

또, 본 실시형태에 있어서는 제 1 실시형태와 마찬가지로 비디오 오프셋 정보는 비디오 액세스 유닛마다 당해 비디오 액세스 유닛에 포함되는 보충데이터 내에 정의되어 있다.

다중화 분리부(2202)는 분리한 자막 스트림 중 좌측 눈 용의 자막관리데이터 및 자막문 데이터를 형성하는 데이터를 자막용 디코더(2204a)에 출력하고, 우측 눈 용의 자막관리데이터 및 자막문 데이터를 형성하는 데이터를 자막용 디코더(2204b)에 출력한다.

(2) 자막용 디코더(2204a)

자막용 디코더(2204a)는 다중화 분리부(2202)로부터 수신한 좌측 눈 용의 데이터를 복호 하여 좌측 눈 용의 자막문 데이터를 생성하고, 좌측 눈 용의 자막문 데이터에 포함되는 자막문(좌측 눈 용 자막문)을 좌측 눈 용 자막 버퍼(2208a)에 기입한다.

자막용 디코더(2204a)는 오프셋 참조정보를 자막생성 처리부(2211)에 출력한다.

(3) 자막용 디코더(2204b)

자막용 디코더(2204b)는 다중화 분리부(2202)로부터 수신한 우측 눈 용의 데이터를 복호 하여 우측 눈 용의 자막문 데이터를 생성하고, 우측 눈 용의 자막문 데이터에 포함되는 자막문(우측 눈 용 자막문)을 우측 눈 용 자막 버퍼(2208b)에 기입한다.

(4) 좌측 눈 용 자막 버퍼(2208a)

좌측 눈 용 자막 버퍼(2208a)는 자막용 디코더(2204a)에서 생성된 1 화상 분의좌측 눈 용 자막문을 저장하기 위한 버퍼이며, 그 사이즈는 960×540이다.

(5) 우측 눈 용 자막 버퍼(2208b)

우측 눈 용 자막 버퍼(2208b)는 자막용 디코더(2204b)에서 생성된 1 화상 분의우측 눈 용 자막문을 저장하기 위한 버퍼이며, 그 사이즈는 960×540이다.

(6) 사이즈 변환부(2209a)

사이즈 변환부(2209a)는 좌측 눈 용 자막 버퍼(2208a)에 저장되어 있는 1 화상 분의 좌측 눈 용 자막문에 대해서 그 화상 사이즈(960×540)를 좌측 눈 영상의 사이즈(1920×1080)가 되도록 소정의 배율(종횡 2배)로 확대한다. 구체적인 확대 방법은 제 1 실시형태와 같다.

(7) 사이즈 변환부(2209b)

사이즈 변환부(2209b)는 우측 눈 용 자막 버퍼(2208b)에 저장되어 있는 1 화상 분의우측 눈 용 자막문에 대해서 그 화상 사이즈(960×540)를 우측 눈 영상의 사이즈(1920×1080)가 되도록 소정의 배율(종횡 2배)로 확대한다. 구체적인 확대 방법은 제 1 실시형태와 같다.

(8) 좌측 눈 용 자막 플레인(2210a), 우측 눈 용 자막 플레인(2210b)

좌측 눈 용 자막 플레인(2210a)은 사이즈 변환부(2209a)에서 화상 사이즈가 1920×1080으로 변환된 1 화상 분의 좌측 눈 용 자막문의 영상의 화소 데이터를 라인 단위로 저장하고, 수평동기신호, 수직동기신호에 따라 이들 화소 데이터를 출력하기 위한 메모리이다.

또, 우측 눈 용 자막 플레인(2210b)은 사이즈 변환부(2209b)에서 화상 사이즈가 1920×1080으로 변환된 1 화상 분의우측 눈 용 자막문의 영상의 화소 데이터를 라인 단위로 저장하고, 수평동기신호, 수직동기신호에 따라 이들 화소 데이터를 출력하기 위한 메모리이다.

(9) 자막생성 처리부(2211)

자막생성 처리부(2211)는 좌측 눈 용 자막 플레인(2210a) 및 우측 눈 용 자막 플레인(2210b) 각각 저장되어 있는 좌측 눈 용 자막문의 영상 및 우측 눈 용 자막문의 영상 각각을 영상의 송신원으로부터의 지시에 따른 오프셋 값을 적용해 시차 화상을 생성하는 것이다.

자막생성 처리부(2211)는 도 27에 나타내는 것과 같이 판정부(1221), 오프셋 값 특정부(1222), 좌측 눈 용 자막 생성부(2223) 및 우측 눈 용 자막 생성부(2224)로 구성되어 있다.

판정부(1221), 오프셋 값 특정부(1222)는 제 1 실시형태에서 설명하고 있으므로 여기에서의 설명은 생략한다.

(9-1) 좌측 눈 용 자막 생성부(2223), 우측 눈 용 자막 생성부(2224)

좌측 눈 용 자막 생성부(2223)는 좌측 눈 용 자막 플레인(2210a)에 저장된 좌측 눈 용 자막문의 영상으로부터 오프셋 값 적용 후의 좌측 눈 용 자막문의 영상을 생성하고, 우측 눈 용 자막 생성부(2224)는 우측 눈 용 자막 플레인(2210b)에 저장된 자막문의 영상으로부터 오프셋 값 적용 후의 우측 눈 용 자막문의 영상을 생성하는 것이다.

구체적으로는, 좌측 눈 용 자막 생성부(2223)는 오프셋 값 특정부(1222)로부터 수신한 값을 오프셋 값으로 하여 좌측 눈 용 자막 플레인(2210a)에 대해서 수평 좌표에 오프셋 값을 가산해서 오프셋 값 적용 후의 좌측 눈 용 자막문의 영상을 생성하여 출력 처리부(1212)에 출력한다. 또, 우측 눈 용 자막 생성부(2224)는 오프셋 값 특정부(1222)로부터 수신한 값을 오프셋 값으로 하여 우측 눈 용 자막 플레인(2210b)에 대해서 수평 좌표에 오프셋 값을 감산해서 오프셋 값 적용 후의 우측 눈 용 자막문의 영상을 생성하여 출력 처리부(1212)에 출력한다.

3. 2　송신장치의 구성에 대해

송신장치의 구성은 제 1 실시형태에서 설명한 송신장치(1300)와 같으나, 자막용 인코더가 1개의 ES를 생성할 때에 좌측 눈 용의 자막문 데이터와 우측 눈 용의 자막문 데이터의 쌍방이 포함되도록 생성한다.

그 외의 기능에 있어서는 제 1 실시형태와 변경은 없으므로 여기에서의 설명은 생략한다.

3. 3.　동작

(1) 영상처리장치(2200)의 전체 동작

영상처리장치(2200)의 전체 동작은 도 20에 나타내는스텝 S25가 자막용 디코더(2204a, 2204b) 각각에서 이루어지는 점,스텝 S30가 사이즈 변환부(2209a, 2209b) 각각에서 이루어지는 점이 제 1 실시형태와는 다르다. 그러나 처리의 개념은 동일하므로 여기에서의 설명은 생략한다.

(2) 좌측 눈 용 자막문 및 우측 눈 용 자막문의 생성 처리

제 2 실시형태에서의 좌측 눈 용 자막문 및 우측 눈 용 자막문의 생성 처리는 도 21에 나타내는스텝 S220에 있어서 좌측 눈 용 자막 생성부(2223)가 좌측 눈 용 자막 플레인(2210a)을 이용하는 점이,스텝 S125에 있어서 우측 눈 용 자막 생성부(2224)가 우측 눈 용 자막 플레인(2210b)를 이용하는 점이 제 1 실시형태와는 다르다. 그러나 처리의 개념은 동일하므로 여기에서의 설명은 생략한다.

(3) 송신장치의 동작

제 2 실시형태에서의 송신장치의 동작은 도 22에 나타내는스텝 S205에 있어서 좌측 눈 용의 자막문 데이터와 우측 눈 용의 자막문 데이터의 쌍방을 포함하는 ES를 부호화하는 점이 제 1 실시형태와 다르다. 그러나 처리의 개념은 동일하므로 여기에서의 설명은 생략한다.

3. 4　변형 예

이상, 제 2 실시형태에 의거하여 설명하였으나, 본 발명은 상기의 실시형태에 한정되지는 않는다. 예를 들어 이하와 같은 변형 예를 생각할 수 있다.

(1) 오프셋 참조정보는 좌측 눈 용의 자막문 데이터의 데이터구조 내에서 정의하는 것으로 하였으나, 이에 한정되지는 않는다.

우측 눈 용의 자막문 데이터의 데이터구조 내에서 정의해도 좋다.

또는, 오프셋 참조정보는 좌측 눈 용 자막관리데이터 및 우측 눈 용 자막관리데이터의 어느 쪽인가의 데이터구조 내에 정의해도 좋고, 새로운 데이터(오프셋 관리데이터)를 준비하고 오프셋 관리데이터 내에서 정의해도 좋다. 오프셋 관리데이터의 데이터구조에 대해서는 제 1 실시형태에서 설명하고 있으므로 여기에서의 설명은 생략한다.

또는, 좌측 눈 용 자막문 데이터 및 우측 눈 용 자막문 데이터의 어느 하나에 포함되는 자막문자 열을 정의하는 특수부호 시퀀스 내에 Type 정보 및 참조정보를 포함해도 좋다.

또는, Type 정보만을 PMT의 디스크립터나 스트림 정보의 데이터로서 신규로 저장해도 좋고, EIT에 저장해도 좋다. 즉, Type 정보는 SI 중에 포함해도 좋다. 이때, 참조정보는 상기와 마찬가지로 좌측 눈 용 자막문 데이터, 우측 눈 용 자막문 데이터, 좌측 눈 용 자막관리데이터, 우측 눈 용 자막관리데이터, 오프셋 관리데이터 및 자막문자 열을 정의하는 특수부호 시퀀스 내의 어느 하나에 저장해도 좋다. 이때, Type 정보가 고정 값을 사용하는 것을 나타내는 경우에는 고정 값을 Type 정보와 함께 PMT에 저장해도 좋다.

(2) 상기 제 2 실시형태에 있어서 비디오 오프셋 정보는 비디오 액세스 유닛마다 당해 비디오 액세스 유닛에 포함되는 보충데이터 내에 정의되는 것으로 하였으나, 이에 한정되지는 않는다. 제 1 실시형태와 마찬가지로 PMT의 데이터구조 내에 비디오 오프셋 정보를 정의해도 좋다.

(3) 상기 제 2 실시형태에 있어서 좌측 눈 용 자막문 데이터 및 우측 눈 용 자막문 데이터는 동일한 ES에 포함되는 것으로 하였으나, 이에 한정되지는 않는다.

도 30에 나타내는 것과 같이 좌측 눈 용 자막문 데이터, 우측 눈 용 자막문 데이터를 각각 독립한 다른 엘리멘터리 스트림 ES1, ES2에 저장해도 좋다.

(4) 상기 제 2 실시형태에서는 2개의 자막용 디코더(2204a, 2204b) 각각을 이용해 좌측 눈 용 자막문과 우측 눈 용 자막문을 생성하였으나, 이에 한정되지는 않는다.

1개의 공통하는 자막용 디코더를 이용하여 자막 데이터의 입력, 묘화 화상의 출력을 바꾸어 좌측 눈 용 및 우측 눈 용 각각의 자막문을 대응하는 자막 플레인에 묘화하도록 해도 좋다.

(5) 상기 제 2 실시형태에서는 좌측 눈 용 자막문 및 우측 눈 용 자막문에 대해서 오프셋 값을 적용하여 3D 표시 시에 깊이 감을 더 나타내도록 하였으나, 이에 한정되지는 않는다.

좌측 눈 용 자막문 및 우측 눈 용 자막문에 대해서 오프셋 값을 적용하지 않고 그대로 좌측 눈 영상 및 우측 눈 영상에 중첩해도 좋다. 좌측 눈 용 자막문 및 우측 눈 용 자막문 각각의 자막 플레인에서의 표시위치를 조정함으로써 3D 표시는 가능하다.

(6) 상기 제 2 실시형태에 있어서 도 29에 나타내는 것과 같이 좌측 눈 용의 자막문 데이터의 데이터그룹 식별자를 종래의 2D영상에 대한 자막문 데이터의 것과 공용하는 것으로 하였으나, 이에 한정되지는 않는다.

좌측 눈 용 자막문 데이터에 새로운 데이터그룹 식별자를 할당하고, 우측 눈 용 자막문 데이터에 대해 종래의 2D영상에 대한 자막문 데이터의 것과 공용하는 것으로 해도 좋다.

또는, 좌측 눈 용 자막문, 우측 눈 용 자막문 각각에 대해 데이터그룹 식별자를 새로 할당해도 좋다.

(7) 상기 실시형태 및 변형 예를 조합하는 것으로 해도 좋다.

4. 그 외의 변형 예

또, 상기 각 실시형태 등에 한정하지 않고, 예를 들어 이하와 같은 변형 예를 생각할 수 있다.

(1) 상기 각 실시형태에서는 오프셋 값으로서 참조치가 참조되는 경우에는 오프셋 참조정보(D100)의 참조정보(D102)가 가리키는 오프셋 시퀀스 ID에 의해 참조해야 할 값과의 대응을 실행하였으나, 이에 한정되지는 않는다.

참조치(오프셋 값)와 재생시간을 대응시켜도 좋다. 이 경우의 비디오 오프셋 정보의 데이터구조의 일례를 도 31 (a)에 나타낸다.

도 31 (a)에 나타내는 것과 같이 비디오 오프셋 정보는 일본어 자막용 오프셋 정보, 영어 자막용 오프셋 정보, …와 언어마다 상기 대응을 실행한 테이블정보가 존재한다.

테이블정보는 영상의 표시시각을 나타내는 PTS와 오프셋 값으로 이루어지는 조(set)를 복수 기억하고 있다. 여기에서는 PTS와 오프셋 값으로 이루어지는 조를 오프셋 엔트리라고 부른다. 오프셋 엔트리의 적용구간은 도 31 (b)에 나타내는 것과 같이 당해 오프셋 엔트리의 PTS로부터 다음의 오프셋 엔트리의 PTS까지이다. 예를 들어 오프셋 엔트리 ＃1의 오프셋 값(＋5)의 적용 구간은 오프셋 엔트리 ＃1의 PTS(180000)로부터 오프셋 엔트리 ＃2의 PTS(270000)까지가 된다.

예를 들어 오프셋 값으로 참조치를 이용한다고 판단되었을 경우에는 오프셋 값 특정부(1222)는 영상의 재생시각(PTS)과 이 테이블정보에 의거하여 이용해야 할 오프셋 값을 특정한다. 또, 오프셋 값으로 참조치를 이용하는 경우에는 오프셋 참조정보(D100)의 참조정보(D102)는 참조되지 않는다. 그러므로 이 경우의 참조정보(D102)는 공백이라도 좋고, 어떠한 값이 저장되어 있어도 좋다.

(2) 상기 각 실시형태에서는 비디오 오프셋 정보를 비디오 액세스 유닛(픽처) 마다 저장하였으나, 이에 한정되지는 않는다.

BD-ROM의 오프셋 정보와 마찬가지로 당해 비디오 오프셋 정보를 GOP(Group　Of　Pictures) 내의 데이터만큼 정리하여 기록해도 좋다. 예를 들어 GOP의 선두에 존재하는 비디오 액세스 유닛에 기록함으로써 당해 GOP 내에 존재하는 다른 비디오 액세스 유닛에도 적용된다.

(3) 라이브 방송 등에서 고정 값의 이용의 가부 판단, 참조치를 이용하는 경우에서의 적절한 참조치(오프셋 정보)의 계산 및 오프셋 참조정보의 생성을 위해서 송출데이터의 준비에 수 프레임 분의 지연이 발생하면 곤란한 경우에는 픽처 단위로 오프셋 값 그 자체를 저장하도록 해도 좋다.

(4) 상기 각 실시형태에서는 1 화면에 대해서 1개의 비디오 오프셋 정보를 대응시킬 수 있었으나, 이에 한정되지는 않는다.

도 32에 나타내는 것과 같이 1개의 화면을 복수의 영역(여기에서는 9개의 영역)으로 분할하고, 영역마다 비디오 오프셋 정보를 대응시켜도 좋다. 예를 들어 오프셋 값으로 참조치를 이용한다고 판단되었을 경우에는 오프셋 값 특정부(1222)는 자막문의 표시위치에 따른 영역을 특정하고, 특정한 영역에 할당된 비디오 오프셋 정보로부터 오프셋 참조정보(D100)의 참조정보(D102)가 가리키는 오프셋 시퀀스 ID에 따른 값(오프셋 값)을 취득한다. 구체적으로는, 도 33과 같이 자막의 표시위치가 9의 영역 중 최하단 3개의 영역과 겹치는 경우, 오프셋 값 특정부(1222)는 3개의 영역 중 1개의 영역을 선택하고, 그 영역에 따른 비디오 오프셋 정보(여기에서는 비디오 오프셋 정보 ＃6)로부터 적절한 오프셋 값을 취득한다.

또는, 표시하는 자막의 용도마다 비디오 오프셋 값을 설정해도 좋다. 예를 들어 일본어 자막용으로 비디오 오프셋 정보 ＃1을, 일본어 더빙 음성용 자막에 비디오 오프셋 ＃2, 영어 자막용으로 비디오 오프셋 ＃3을 각각 할당한다.

(5) 또, 극장 중계 등에서 카메라 위치, 구도, 깊이정보가 변화하지 않는 내용의 방송 프로그램으로서 참조치를 참조하는 경우에는 1개의 화면을 복수의 영역(여기에서는 9개의 영역)으로 분할하고, 영역마다 비디오 오프셋 정보가 아니라 깊이정보를 대응시켜도 좋다.

각 영역의 깊이정보는 DepthMap에서 관리된다. DepthMap은 비디오의 부호화 시의 움직임 예측처리를 이용하여 비디오 액세스 유닛(픽처) 마다 우측 눈과 좌측 눈 화상의 차이를 매크로블록 단위로 해석하여, 양안 시차로서 수치화한 데이터이며, 이 데이터는 상기의 영역마다 산출된다.

참조치를 이용한다고 판단되는 경우, 오프셋 값 특정부(1222)는 수식 「Offset=MaxVideoOffset(DepthMap, inTC, outTC, X1, Y1, X2, Y2)＋Offset　Padding」을 이용하여 오프셋 값을 산출한다. 여기서, MaxVideoOffset는 DepthMap으로부터 지정영역의 자막 표시기간의 깊이정보를 취득하는 함수이다. inTC, outTC는 자막의 표시기간 타임코드를 나타낸다. X1, X2, Y1, Y2는 좌표 (X1, Y1)와 (X2, Y2)로부터 정해지는 선분을 대각선으로 하는 구형영역에 표시되는 자막의 좌표점이다. Offset Padding은 영상과 겹쳐지는 자막의 깊이를 어느 정도 영상으로부터 앞쪽으로 떼어 놓을까를 결정하는 값으로, 자막 전체에 적용된다.

(6) 상기 각 실시형태에서는 판정부(1221)는 Type 정보(D101)를 참조하여 고정 값을 이용하는가, 참조치를 이용하는가를 판단하였으나, 이에 한정되지는 않는다.

판정부(1221)는 표시 대상의 비디오 액세스 유닛에 비디오 오프셋 정보가 설정되어 있는가 아닌가를 판단하고, 설정되어 있으면 참조치를 이용고, 설정되어 있지 않으면 고정 값을 이용한다고 판단하는 것으로 해도 좋다.

(7) 상기 실시형태에서는 영상처리장치의 일례로 3D 디지털 텔레비전으로 하였으나, 이에 한정되지는 않는다. 영상처리장치를 DVD 레코더, BD(Blu-ray　Disc) 레코더나 셋톱 박스에 적용해도 좋다.

(8) 상기 각 실시형태에서는 영상과 중첩되는 것은 자막문으로 하였으나, 이에 한정되지는 않는다.

영상과의 중첩 대상은 자막 슈퍼라고 하는 그래픽스 데이터라도 좋다.

(9) 영상 플레인과 자막 플레인의 해상도가 동일한 경우에는 사이즈 변경의 필요는 없다. 이 경우, 트랜스포트 스트림 중에 Type 정보를 갖게 하는 것은 자막문 등의 3D 표시에 대해서는 유효하다.

(10) 상기 실시형태에 있어서 15에 나타내는 Type 정보(D101)는 복수의 영상에 의해 1개로 구성된 3D 프로그램의 전체에 대해서 고정 값을 이용하는가, 상기 3D 프로그램을 구성하는 영상 각각에 따른 변동 값의 어느 하나를 이용하는가의 지시를 보유하고 있는 것으로 하였으나, 이에 한정되지는 않는다.

상기 3D 프로그램의 일부분에 대해서는 고정 값을, 다른 부분에 대해서는 변동 값을 이용하는 것과 같이 혼재시켜도 좋다.

이에 의해 3D 프로그램의 본편(예를 들어 영화 프로그램에서의 본편)에 관해서는 변동 값을 이용하고, 코머셜 등의 상기 3D 프로그램의 본편 이외의 특정의 부분에 관해서는 고정 값을 이용할 수 있다.

(11) 상기의 각 장치는 구체적으로는 마이크로 프로세서, ROM, RAM, 하드디스크 유닛, 디스플레이 유닛, 키보드, 마우스 등으로 구성되는 컴퓨터시스템이다. 상기 RAM 또는 하드디스크 유닛에는 컴퓨터 프로그램이 기억되어 있다. 상기 마이크로 프로세서가 상기 컴퓨터 프로그램에 따라서 동작함으로써 각 장치는 그 기능을 달성한다. 여기서 컴퓨터 프로그램은 소정의 기능을 달성하기 위해 컴퓨터에 대한 지령을 나타내는 명령 코드가 복수 개 조합되어 구성된 것이다.

(12) 상기의 각 장치를 구성하는 구성요소의 일부 또는 전부는 1개의 집적회로로 구성되어 있는 것으로 해도 좋다.

(13) 상기의 각 장치를 구성하는 구성요소의 일부 또는 전부는 각 장치에 탈착 가능한 IC카드 또는 단일체의 모듈로 구성되어 있는 것으로 해도 좋다. 상기 IC카드 또는 상기 모듈은 마이크로 프로세서, ROM, RAM 등으로 구성되는 컴퓨터시스템이다. 상기 IC카드 또는 상기 모듈은 상기 초 다기능 LSI를 포함하는 것으로 해도 좋다. 마이크로 프로세서가 컴퓨터 프로그램에 따라서 동작함으로써 상기 IC카드 또는 상기 모듈은 그 기능을 달성한다. 이 IC카드 또는 이 모듈은 내 댐퍼성(tamper-resistant)을 갖는 것으로 해도 좋다.

(14) 본 발명의 한 형태로 상기에 나타내는 방법으로 해도 좋다. 또, 이들 방법을 컴퓨터에 의해 실현하는 컴퓨터 프로그램으로 해도 좋다.

또, 상기 컴퓨터 프로그램을 컴퓨터 판독 가능한 기록매체, 예를 들어 flexible disk, 하드 디스크, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD(Blu-ray　Disc), 반도체 메모리 등에 기록한 것으로 해도 좋다.

또, 상기 컴퓨터 프로그램을 전기통신회선, 무선 또는 유선 통신회선, 인터넷을 대표로 하는 네트워크, 데이터 방송 등을 경유하여 전송하는 것으로 해도 좋다.

또, 마이크로 프로세서와 메모리를 구비하는 컴퓨터시스템으로, 상기 메모리는 상기 컴퓨터 프로그램을 기억하고 있고, 상기 마이크로 프로세서는 상기 컴퓨터 프로그램에 따라서 동작하는 것으로 해도 좋다.

또, 상기 프로그램을 상기 기록매체에 기록하여 이송함으로써, 또는 상기 프로그램을 상기 네트워크 등을 경유하여 이송함으로써 독립한 다른 컴퓨터시스템에 의해 실시하는 것으로 해도 좋다.

(15) 상기 실시형태 및 상기 변형 예를 각각 조합하는 것으로 해도 좋다.

5. 결론

상기 실시형태에서는 자막문 데이터에 자막 본문과 거기에 대응하는 오프셋 참조정보의 쌍방을 저장하고 있으므로, 자막관리데이터 내에서 오프셋 참조정보를 저장하는 경우에 비해서 영상처리장치는 자막문 데이터가 올바르게 대응하는 오프셋 정보에 의해 즉석에서 처리된다. 왜냐하면, 영상처리장치의 수신 개시의 타이밍에서는 자막문 데이터로부터 개시하는 경우가 있고, 자막관리데이터에 저장해 두면 수신 개시의 타이밍부터 다음의 자막관리데이터를 수신할 때까지의 사이에 수신한 자막문 데이터에 대한 오프셋 참조정보가 취득되어 있지 않으므로 자막문을 적절히 표시할 수가 없다. 그러나 자막문 데이터에 오프셋 참조정보를 저장해 두면, 영상처리장치의 수신 개시의 타이밍에 자막문 데이터를 최초로 수신한 경우에도 적절한 오프셋 값을 취득할 수 있으므로 자막문을 적절하게 표시할 수 있다.

또, 자막문 데이터에 있어서 데이터 유닛(자막문자 열, 오프셋 참조정보)의 저장순서를 자막문자 열을 저장하는 데이터 유닛, 오프셋 참조정보를 저장하는 데이터 유닛의 순서로 하면 오프셋 정보 데이터 유닛을 취급할 수 없는 종래의 영상처리장치, 즉 2D 영상을 수신하여 표시하는 장치에 있어서도 올바르게 자막문자 열을 처리할 수 있다고 하는 호환성을 제공할 수 있다.

또, 도 23에 나타내는 것과 같이 자막관리데이터에 오프셋 참조정보를 저장한 경우에는 자막 단위로 참조하는 비디오 오프셋 정보가 변화하지 않는 상황에서는 개개의 자막문 데이터가 아닌 자막관리데이터로 지정함으로써 자막문 마다 준비 없이 참조하는 값이 변화한다고 하는 것을 피할 수 있다.

6. 보충

(1) 본 발명의 한 형태는 영상처리장치로서, 3D영상에 관한 영상 스트림과 당해 영상 스트림으로부터 얻어지는 영상에 중첩하여 표시되고, 또한 표시영역의 사이즈가 상기 영상의 표시영역의 사이즈와는 다른 표시데이터에 관한 데이터 스트림을 수신하는 수신수단과,, 상기 영상 스트림으로부터 좌측 눈 용의 영상과 우측 눈 용의 영상을 생성하는 영상생성수단과,, 상기 데이터 스트림으로부터 얻어진 상기 표시데이터를 당해 표시데이터의 표시영역의 사이즈가 상기 영상생성수단에서 생성된 각 영상의 표시영역의 사이즈와 일치하도록 소정의 배율로 확대하는 확대수단과,, 표시영역의 사이즈가 확대된 상기 표시데이터와 당해 표시데이터에 대해 시차를 발생시키기 위한 오프셋 값을 이용하여 좌측 눈 용의 표시데이터와 우측 눈 용의 표시데이터를 생성하는 데이터 생성수단과,, 상기 좌측 눈 용의 영상과 상기 좌측 눈 용의 표시데이터 및 상기 우측 눈 용의 영상과 상기 우측 눈 용의 표시데이터를 각각 중첩하여 표시하는 표시처리수단을 구비하는 것을 특징으로 한다.

이 구성에 의하면, 영상처리장치는 오프셋 값을 이용해 좌측 눈 용의 표시데이터와 우측 눈 용의 표시데이터를 생성하기 전에 표시데이터의 표시영역의 사이즈가 각 영상의 표시영역의 사이즈와 일치하도록 당해 표시데이터를 확대하고 있다. 그 때문에, 오프셋 값에 의해 생성되는 좌측 눈 용의 표시데이터와 우측 눈 용의 표시데이터는 본래 의도한 시차를 발생시키는 것으로 되어 있으므로 적절한 표시데이터로서 영상에 중첩시킬 수 있다.

(2) 여기서, 상기 영상 스트림으로부터 얻어지는 복수의 영상에 의해 하나의 3D 프로그램이 구성되고, 상기 데이터 생성수단은 상기 오프셋 값으로 상기 하나의 3D 프로그램에 대해서 할당된 고정 값을 이용하는가, 상기 3D 프로그램을 구성하는 영상 각각 따른 변동 값을 이용하는가를 나타내는 지시를 취득하고, 취득한 상기 지시에 의거해 상기 오프셋 값을 결정하며, 결정한 상기 오프셋 값을 이용해 상기 좌측 눈 용의 표시데이터와 상기 우측 눈 용의 표시데이터를 생성하는 것으로 해도 좋다.

이 구성에 의하면 영상처리장치는 지시에 따라서 고정 값 및 변동 값의 어느 하나를 오프셋 값으로 이용할 수 있다.

(3) 여기서, 상기 3D 프로그램을 구성하는 영상마다 1개 이상의 변동 값와 각 변동 값에 대응하는 변동 값 특정정보로 이루어지는 테이블정보가 상기 영상 스트림에 포함되어 있고, 상기 데이터 스트림은 자막에 관한 자막 스트림이며, 당해 자막 스트림을 구성하는 1개 이상의 자막문 데이터 각각은 표시할 자막문과 상기 지시에 따라서 상기 고정 값 및 상기 변동 값을 특정하는 변동 값 특정정보의 어느 하나로 이루어지는 부수정보가 포함되어 있으며, 상기 데이터 생성수단은 상기 지시가 상기 하나의 3D 프로그램에 대해서 할당된 고정 값을 이용하는 것을 나타내는 경우에는 상기 부수정보로부터 상기 고정 값을 상기 오프셋 값으로 취득하고, 상기 지시가 상기 3D 프로그램을 구성하는 영상 각각에 따른 변동 값을 이용하는 것을 나타내는 경우에는 상기 테이블정보로부터 상기 부수정보에 포함되는 상기 변동 값 특정정보가 나타내는 변동 값을 상기 오프셋 값으로 취득하는 것으로 해도 좋다.

이 구성에 의하면, 영상처리장치는 지시에 따라서 고정 값 및 변동 값 특정정보의 어느 하나가 자막문 데이터에 포함되어 있으므로, 각 스트림의 수신 개시 시에 최초로 자막문 데이터를 최초로 취득한 시점에서 사용해야 할 오프셋 값을 특정할 수 있다.

(4) 여기서, 상기 부수정보는 상기 자막문 데이터에 있어서 상기 자막문에 후속하여 배치되어 있고, 상기 영상처리장치는 상기 자막 스트림으로부터 상기 자막문 데이터를 더 취득하여, 취득한 자막문 데이터에 포함된 상기 자막문을 판독하여 소정의 버퍼에 기입하는 자막문 데이터 생성수단을 구비하며, 상기 데이터 생성수단은 상기 자막문 데이터 생성수단이 상기 자막문을 판독하여 상기 소정의 버퍼에 기입한 후에 상기 자막문에 후속하는 상기 부수정보를 취득하는 것으로 해도 좋다.

이 구성에 의하면, 부수정보는 자막문에 후속하여 자막문 데이터 내에 배치되므로, 자막문을 2D 표시하는 장치에 있어서도, 부수정보는 해석할 수 없어도 자막문의 해석은 해석할 수 있다. 그러브로 부수정보가 자막문에 후속하여 자막문 데이터 내에 배치됨으로써 영상처리장치와 종래의 2D 표시를 실행하는 장치와의 호환성을 유지할 수 있다.

(5) 여기서, 상기 수신수단은 상기 영상 스트림 및 상기 데이터 스트림을 수신할 때에 SI(Service　Information)를 수신하고, 상기 지시는 상기 데이터 스트림을 구성하는 데이터 및 상기 SI를 구성하는 데이터의 어느 하나에 포함되어 있는 것으로 해도 좋다.

이 구성에 의하면, 영상처리장치는 지시가 데이터 스트림에 포함되는 경우에는 데이터 스트림의 해석 시에 지시 내용을 알 수 있고, 지시가 SI에 포함되는 경우에는 수신한 각 스트림을 개시하기 전에 사전에 지시 내용을 알 수 있다.

본 발명은 3D 프로그램의 영상과 함께 자막문이나 문자 슈퍼 등의 데이터를 3D 표시하는 장치에 적용할 수 있다.

1100 영상처리시스템
1200, 2200 영상처리장치
1201 수신부
1202, 2202 다중화 분리부
1203 3D 영상 비디오 디코더
1204, 2204a, 2204b 자막용 디코더
1205 오디오 디코더
1206 좌측 눈 영상 플레인
1207 우측 눈 영상 플레인
1208 자막 버퍼
1209, 2209a, 2209b 사이즈 변환부
1210 자막 플레인
1211, 2211 자막생성 처리부
1212 출력 처리부
1221 판정부
1222 오프셋 값 특정부
1223, 2223 좌측 눈 용 자막생성부
1224, 2224 우측 눈 용 자막생성부
1231 전환부
1232, 1233 중첩부
1300 송신장치
1301 비디오 인코더
1302 자막용 인코더
1303 오디오 인코더
1304 비디오 스트림 저장부
1305 자막 스트림 저장부
1306 오디오 스트림 저장부
1307 다중화부
1308 송신부
2208a 좌측 눈 용 자막 버퍼
2208b 우측 눈 용 자막 버퍼
2210a 좌측 눈 용 자막 플레인
2210b 우측 눈 용 자막 플레인

Claims (6)

1. 3D 영상에 관한 영상 스트림과 당해 영상 스트림으로부터 얻어지는 영상에 중첩하여 표시되고 또한 표시영역의 사이즈가 상기 영상의 표시영역의 사이즈와는 다른 표시데이터에 관한 데이터 스트림을 수신하는 수신수단과,,
   상기 영상 스트림으로부터 좌측 눈 용의 영상과 우측 눈 용의 영상을 생성하는 영상생성수단과,,
   상기 데이터 스트림으로부터 얻어진 상기 표시데이터를 당해 표시데이터의 표시영역의 사이즈가 상기 영상생성수단에서 생성된 각 영상의 표시영역의 사이즈와 일치하도록 소정의 배율로 확대하는 확대수단과,
   표시영역의 사이즈가 확대된 상기 표시데이터와 당해 표시데이터에 대해 시차를 발생시키기 위한 오프셋 값을 이용하여 좌측 눈 용의 표시데이터와 우측 눈 용의 표시데이터를 생성하는 데이터 생성수단과,
   　상기 좌측 눈 용의 영상과 상기 좌측 눈 용의 표시데이터 및 상기 우측 눈 용의 영상과 상기 우측 눈 용의 표시데이터를 각각 중첩하여 표시하는 표시처리수단을 구비하는 것을 특징으로 하는 영상처리장치.
2. 청구항 1에 있어서,
   상기 영상 스트림으로부터 얻어지는 복수의 영상에 의해 하나의 3D 프로그램이 구성되고,
   상기 데이터 생성수단은,
   상기 오프셋 값으로 상기 하나의 3D 프로그램에 대해서 할당된 고정 값을 이용하는가, 상기 3D 프로그램을 구성하는 영상 각각에 따른 변동 값을 이용하는가를 나타내는 지시를 취득하고, 취득한 상기 지시에 의거하여 상기 오프셋 값을 결정하여, 결정한 상기 오프셋 값을 이용해 상기 좌측 눈 용의 표시데이터와 상기 우측 눈 용의 표시데이터를 생성하는 것을 특징으로 하는 영상처리장치.
3. 청구항 2에 있어서,
   상기 3D 프로그램을 구성하는 영상마다 1개 이상의 변동 값과 각 변동 값에 대응하는 변동 값 특정정보로 이루어지는 테이블정보가 상기 영상 스트림에 포함되어 있고,
   상기 데이터 스트림은 자막에 관한 자막 스트림이며,
   당해 자막 스트림을 구성하는 1개 이상의 자막문 데이터 각각에는 표시할 자막문과 상기 지시에 따라서 상기 고정 값 및 상기 변동 값을 특정하는 변동 값 특정정보 중 어느 하나로 이루어지는 부수정보가 포함되어 있고,
   상기 데이터 생성수단은 상기 지시가 상기 하나의 3D 프로그램에 대해서 할당된 고정 값을 이용하는 것을 나타내는 경우에는 상기 부수정보로부터 상기 고정 값을 상기 오프셋 값으로 취득하고, 상기 지시가 상기 3D 프로그램을 구성하는 영상 각각에 따른 변동 값을 이용하는 것을 나타내는 경우에는 상기 테이블정보로부터 상기 부수정보에 포함되는 상기 변동 값 특정정보가 나타내는 변동 값을 상기 오프셋 값으로 취득하는 것을 특징으로 하는 영상처리장치.
4. 청구항 3에 있어서,
   상기 부수정보는 상기 자막문 데이터에 있어서 상기 자막문에 후속하여 배치되어 있고,
   상기 영상처리장치는 상기 자막 스트림으로부터 상기 자막문 데이터를 취득하고, 취득한 자막문 데이터에 포함되는 상기 자막문을 판독하여 소정의 버퍼에 기입하는 자막문 데이터 생성수단을 더 구비하고,
   상기 데이터 생성수단은 상기 자막문 데이터 생성수단이 상기 자막문을 판독하여 상기 소정의 버퍼에 기입한 후에 상기 자막문에 후속하는 상기 부수정보를 취득하는 것을 특징으로 하는 영상처리장치.
5. 청구항 2에 있어서,
   상기 수신수단은 상기 영상 스트림 및 상기 데이터 스트림을 수신할 때에 SI(Service　Information)를 수신하고,
   상기 지시는 상기 데이터 스트림을 구성하는 데이터 및 상기 SI를 구성하는 데이터 중 어느 하나에 포함되어 있는 것을 특징으로 하는 영상처리장치.
6. 3D 영상을 표시하는 영상처리장치에서 이용되는 영상처리방법으로,
   3D 영상에 관한 영상 스트림과 당해 영상 스트림으로부터 얻어지는 영상에 중첩하여 표시되고 또한 표시영역의 사이즈가 상기 영상의 표시영역의 사이즈와는 다른 표시데이터에 관한 데이터 스트림을 수신하는 수신스텝과,
   상기 영상 스트림으로부터 좌측 눈 용의 영상과 우측 눈 용의 영상을 생성하는 영상 생성스텝과,
   상기 데이터 스트림으로부터 얻어진 상기 표시데이터를 당해 표시데이터의 표시영역의 사이즈가 상기 영상 생성스텝에서 생성된 각 영상의 표시영역의 사이즈와 일치하도록 소정의 배율로 확대하는 확대스텝과,
   표시영역의 사이즈가 확대된 상기 표시데이터와 당해 표시데이터에 대해 시차를 발생시키기 위한 오프셋 값을 이용하여 좌측 눈 용의 표시데이터와 우측 눈 용의 표시데이터를 생성하는 데이터 생성스텝과,
   상기 좌측 눈 용의 영상과 상기 좌측 눈 용의 표시데이터 및 상기 우측 눈 용의 영상과 상기 우측 눈 용의 표시데이터를 각각 중첩하여 표시하는 표시 처리스텝을 포함하는 것을 특징으로 하는 영상처리방법.

Images