KR20110095128A

KR20110095128A - 특수재생을 고려한 재생장치, 집적회로, 재생방법

Info

Publication number: KR20110095128A
Application number: KR1020107025390A
Authority: KR
Inventors: 마사후미 오쿠보; 저마노 레이크센링
Original assignee: 파나소닉 주식회사
Priority date: 2008-11-18
Filing date: 2009-11-16
Publication date: 2011-08-24
Also published as: EP2348747A1; CN102027749B; US8548308B2; EP2348747A4; US20100150523A1; WO2010058547A1; JP5632291B2; JPWO2010058547A1; CN102027749A

Abstract

판독수단(201)는 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 포함하는 디지털 스트림을 기록매체로부터 판독한다. 모드 기억부(203)는 비디오 프레임의 입체 시를 사용자에게 보여주는 3D 모드, 비디오 프레임의 평면 시를 사용자에게 보여주는 2D 모드의 어느 하나를 자 장치(自裝置)의 재생모드로 기억하고 있다. 차원 판정부(202)는 기록매체로부터 판독된 디지털 스트림이 3D 모드에 대응하고 있는가 여부를 판정하고, 디 멀티플렉서(204)는 상기 디지털 스트림이 3D 모드에 대응하고 있고, 또한 상기 재생 모드가 3D 모드라는 조건이 성립하는 경우, 상기 디지털 스트림에서 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림을 분리하며, 상기 조건이 불성립인 경우, 상기 디지털 스트림에서 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림 중 어느 일방을 분리한다.

Description

특수재생을 고려한 재생장치, 집적회로, 재생방법{REPRODUCTION DEVICE, INTEGRATED CIRCUIT, AND REPRODUCTION METHOD CONSIDERING SPECIALIZED REPRODUCTION}

본 발명은 입체 시 비디오(stereoscopic video)와 자막이나 그래픽스와의 중합기술의 기술 분야에 속하는 발명이다.

상기 중합기술(overlaying technology)이란 비디오 스트림, 자막, 그래픽스용으로 각각 다른 표시 플레인을 재생장치가 갖도록 하고, 고화질의 비디오 스트림의 개개의 비디오 프레임에 자막이나 그래픽스를 중합하여 접속된 표시장치 등의 기기에 출력하는 기술로, 높은 현장감을 실현하는 기술로서 널리 보급되고 있다.

접속상대가 되는 표시 디바이스 중에서는 플랫 영상만이 아니라 뛰어나오는 것과 같은 영상을 즐기는 입체 시 표시장치의 보급이 가까운 장래에 예측된다. 입체 시 표시장치에는 다양한 방식이 있으나, 기본적인 원리로 왼쪽 눈과 오른쪽 눈에 다른 그림을 보이는 구조를 도입하며, 그 양 눈 간의 시차를 이용함으로써 입체적인 영상을 의사적으로 만든다.

예를 들어, 자주 사용되는 방식의 하나로 셔터안경을 이용한 방식이 있다. 이 방식에서는 시청자의 왼쪽 눈과 오른쪽 눈의 시야를 안경에 의해 교호로 고속으로 가리며, 이 안경의 동작과 동기하여 표시장치의 표시화상도 왼쪽 눈 용·오른쪽 눈 용으로 고속으로 갱신함으로써, 결과적으로 표시장치에서 표시되는 왼쪽 눈 용의 화상은 셔터안경에 의해 왼쪽 눈만이 볼 수 있고, 반대로 오른쪽 눈 용의 화상은 오른쪽 눈만이 볼 수 있는 구조를 실현할 수 있다.

통상의 플랫 영상과 동등의 프레임 레이트로 입체화된 영상을 시청자에게 보이려고 하면 표시장치 측은 통상의 2배의 응답성능이 필요하며, 예를 들어 1초 60프레임의 비디오를 표시하기 위해서는 최저 1초 120프레임의 스위칭을 해야 한다. 따라서 표시되는 비디오 스트림은 1초 120프레임의 상태로 인코드 되지 않으면 안 되지만, 프레임 레이트를 올리는 방법 이외의 방법으로 입체 효과를 얻기 위해서는 비 특허문헌 1과 같이 사이드 바이 사이드 방식에 의해 인코드한다고 하는 방법도 있다.

이 외에, 특허문헌 2와 같이 체커 패턴(checker pattern)을 사용한 방식도 있다.

또, 입체화시킨 영상을 특수재생시킨 경우의 표시기술에서 특허문헌 3과 같이 입체화시킨 영상의 재생시에 일시 정지한 경우에서도 입체 영상을 계속해서 감상할 수 있는 기술이 있다.

복수의 레이어를 중합해서 표시하는 기술에서 특허문헌 4와 같이 멀티 화면 표시가 소정의 화면 수를 초과한 상태에서 GFX 묘사를 하는 경우, 우선도가 낮은 입력 영상이라고 판단된 적어도 1개 이상의 입력 영상을 GFX 묘사기간(rendering period) 중에 프레임을 스킵하도록 제어하는 기술이 있다.

특허문헌 1 : 국제공개 제2005/119675호 팸플릿 특허문헌 2 : 미국 특허출원공개 제2008/0036854호 명세서 특허문헌 3 : 일본국 특개 2002-95017 특허문헌 4 : 일본국 특개 2003-298938

비 특허문헌 1 : FOUNDATIONS OF THE STEREOSCOPIC CINEMA A STUDY IN DEPTH(by LENNY LIPTON)

그런데 현재 디지털 스트림을 입체 시로 즐기는 방식은 극장 등에서의 응용이 주류이지만, 상기 특허문헌에 설명되어 있는 것과 같이 가정 설치용의 재생장치에서 입체 시 디지털 스트림을 재생하여 즐기는 이용형태도 향후에는 보급이 예상된다.

그리고 3D의 입체 시 영상을 만들어 내기 위해서는 당연히 디지털 스트림이 3D에 대응하고 있을 필요가 있다.

그러나 아무리 디지털 스트림이 3D에 대응하고 있어도 재생장치에 디지털 스트림이 3D에 대응하고 있지 않은 경우에는 3D의 입체 시 영상을 만들어 낼 수 없다. 또, 디지털 스트림이 3D에 대응하고 있어도 사용자가 2D로 디지털 스트림을 재생하고 싶은 경우도 있다.

즉, 디지털 스트림이 2D에 대응하고 있는가, 3D에 대응하고 있는가 여부만으로 재생장치가 디지털 스트림을 3D로 재생할지 2D로 재생할지를 결정하게 되면, 문제가 발생하는 경우가 있다.

본 발명의 목적은 3D에 대응하고 있는가 여부가 디지털 스트림과 재생장치에서 다른 경우에도 적절한 스트림 재생을 실현할 수 있는 재생장치를 제공할 수 있다.

상기 과제를 해결할 수 있는 재생장치는, 비디오 프레임의 입체 시를 사용자에게 보여주는 3D 모드 및 비디오 프레임의 평면 시를 사용자에게 보여주는 2D 모드의 어느 쪽으로도 재생 모드를 전환할 수 있는 재생장치로, 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 포함하는 디지털 스트림을 기록매체로부터 판독하는 판독수단과, 현재의 재생 모드를 기억하고 있는 모드 기억부와, 기록매체로부터 판독된 디지털 스트림이 3D 모드에 대응하고 있는가 여부를 판정하는 차원 판정부와, 상기 디지털 스트림이 3D 모드에 대응하고 있고, 또한, 현재의 재생 모드가 3D 모드라는 조건이 성립하는 경우에는 상기 디지털 스트림에서 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림을 분리하고, 상기 조건이 불성립인 경우에는 상기 디지털 스트림에서 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림 중 어느 일방을 분리하는 디 멀티플렉서와, 상기 분리된 비디오 스트림을 디코드함으로써 입체 시 또는 평면 시를 위한 비디오 프레임을 얻는 비디오 디코더를 구비하는 것을 특징으로 하고 있다.

상기와 같이 구성된 재생장치는 디지털 스트림이 2D에 대응하고 있는가 3D에 대응하고 있는가의 판단과 재생장치가 2D로 재생되도록 설정되어 있는가 3D로 재생되도록 설정되어 있는가의 판단을 양방에서 실시하여, 최종적으로 2D로 디지털 스트림을 재생하는가 3D로 디지털 스트림을 재생하는가를 결정함으로써 적절하게 입체 시 영상을 만들어 낼 수 있다.

입체 시 비디오 스트림을 가정설치용의 재생장치로 재생하려고 하는 경우에는 당연히 빨리 감기, 되감기 등의 특수재생이 이루어질 가능성도 있다. 그러나 입체적인 영상을 의사적으로 작성하기 위해서는 왼쪽 눈과 오른쪽 눈의 비디오 스트림을 각각 디코드하고, 그들을 교호로 스위칭하여 출력할 필요가 있어서 평면적인 처리를 하는 평면처리에 비해서 처리량은 증가해 버린다. 따라서 만일 입체 시 비디오 스트림을 재생하는 재생장치로 특수재생이 이루어진 경우에 입체 시의 처리가 특수재생한 경우의 재생속도에 미칠 수 없게 되어 버릴 가능성이 있다.

이와 같은 과제의 해결을 위해서는 상기 재생장치를 이하와 같이 구성하는 것이 바람직하다.

즉, 상기 재생장치는 현재의 표시모드가 3D 모드인 경우에서 특수재생이 요구된 때에는 표시모드를 3D 모드에 유지한 채로 동일한 비디오 프레임을 2회 이상 반복 출력한다고 하는 처리를 비디오 디코더에 실시하게 하는 재생제어수단을 구비하고, 반복 출력의 대상이 되는 비디오 프레임은 디지털 스트림에서 분리된 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림의 어느 일방을 디코드함으로써 얻어진 비디오 프레임이며, 반복 출력된 비디오 프레임을 오른쪽 눈 용 비디오 플레인, 왼쪽 눈 용 비디오 플레인의 각각에 기입하도록 구성하는 것이 바람직하다. 이 재생장치는 입체 시 비디오 스트림을 재생하는 재생장치에서 특수재생이 이루어진 경우에도 입체 시의 처리가 특수재생한 경우의 재생속도에 미치지 못하게 되어 버리는 것을 방지할 수 있다.

비디오 스트림을 3D 표시로 하는 경우, 앞쪽에 표시하거나 또는 안쪽에 표시하거나 하는 2개의 패턴이 있다. 그리고 비디오 스트림이 앞쪽에 3D 표시되고 있는 경우에 2D의 그래픽스 스트림을 합성하면 그래픽스 스트림이 보이지 않게 되어버려서 문제가 된다.

따라서 그래픽스 스트림도 3D로 표시할 수 있도록 함으로써 상기 문제를 해소할 수 있다.

또, 그래픽스 스트림도 3D로 표시할 수 있으면 다양한 입체적인 영상을 사용자가 즐길 수 있다고 하는 효과도 있다.

표시모드가 3D에서 2D로 변경된 경우 또는 표시모드가 2D에서 3D로 변경된 경우, 재생장치는 표시장치에 대해서 표시모드를 전환하였다는 취지를 통지한다. 통지를 받은 표시장치는 실제로 전환 후의 모드로 표시할 수 있는 준비가 완료하면 재생장치에 대해서 전환 후의 모드로 표시할 수 있는 준비가 완료하였음을 통지한다. 그리고 표시장치에 대해서 표시모드를 전환하였다는 취지를 통지하고 나서 표시장치가 전환 후의 모드로 표시할 수 있는 준비가 완료하였음을 재생장치에 통지할 때까지는 플레인에의 기입은 가능하나, 표시장치에는 표시되지 않는 상태(블랙 아웃)가 되어버린다. 따라서 이 동안에 플레인에 기입된 내용은 표시장치에 표시되지는 않는다.

한편, 애플리케이션은 예를 들어 영화의 본편의 영상을 이용한 게임 등을 제공함으로써 사용자를 즐겁게 할 수 있는 프로그램이다. 그리고 게임 등에는 예를 들어 본편의 영상, 음성에 따라서 애니메이션을 재생하는 경우도 있다. 즉, 애니메이션을 구성하는 그래픽스 화상을 묘사하는 애플리케이션은 본편의 영상인 비디오 스트림에 동기시켜서 인터렉티브 그래픽스 플레인에 그래픽스 화상을 묘사할 필요가 있다.

이상으로부터, 애플리케이션이 표시장치에 대해서 표시모드를 전환하였다는 취지의 통지를 하고 나서 표시장치가 전환 후의 모드로 표시할 수 있는 준비가 완료하였음을 재생장치에 통지할 때까지의 사이에 인터렉티브 그래픽스 플레인에 그래픽스 화상을 기입하여 그래픽스 화상의 묘사처리를 진행시켜 버리는 경우도 있다.

이와 같은 경우에는 애플리케이션은 그래픽스 스트림과 비디오 스트림을 동기 시킬 수 없게 되어버린다.

이 과제의 해결에 있어서는 상기 재생장치를 이하와 같이 구성하는 것이 바람직하다. 즉, 상기 재생장치는 바이트코드 애플리케이션을 실행하는 플랫폼부와 재생장치와 접속된 표시장치에 비디오 프레임을 전송함으로써 비디오 프레임의 출력을 표시장치에 실행시키는 전송수단을 구비하고, 상기 모드 기억부에 기억되어 있는 표시모드가 2D 모드에서 3D 모드로 전환된 경우, 또는 3D 모드에서 2D 모드로 전환된 경우에 전송수단은 표시장치의 재인증을 실행하며, 상기 재인증 후에 전환 후의 모드에 따른 출력을 할 수 있다는 취지의 통지를 수신한 경우, 상기 플랫폼부에 의해 실행되고 있는 바이트코드 애플리케이션에 대해서 상기 전환 후의 모드에 따른 출력을 할 수 있다는 취지를 통지해야 한다.

표시장치에 대해서 표시모드를 전환하였다는 취지의 통지를 하고 나서 표시장치가 전환 후의 모드로 표시할 수 있는 준비가 완료하였음을 재생장치에 통지할 때까지의 사이에 애플리케이션이 인터렉티브 그래픽스 플레인에 그래픽스 화상을 기입하여 처리를 진행시키지 않도록, 애플리케이션에 대해서 표시장치가 전환 후의 모드로 표시할 수 있는 준비가 완료하였음을 통지하는 구조를 만들 수 있다. 이에 의해 비디오 스트림에 동기시켜서 애플리케이션이 인터렉티브 그래픽스 플레인에 그래픽스 화상을 묘사할 수 있도록 하는 것이 가능해진다.

도 1은 본원의 과제해결수단을 구비한 가장 기본적인 재생장치의 내부 구성을 나타내는 도면이다.
도 2 본원의 과제해결수단을 구비한 가장 기본적인 재생방법을 나타내는 플로차트이다.
도 3은 구체적인 전화제품으로 본원의 과제해결수단을 구비한 재생장치를 사용할 때의 사용형태를 나타내는 도면이다.
도 4는 BD-ROM(100)의 내부 구성을 나타내는 도면이다.
도 5는 플레이리스트 파일의 내부 구성 중, 「재생속성정보」, 「재생데이터정보」의 내부 구성을 상세하게 나타내는 도면이다.
도 6은 2D 플레이리스트를 규정하는 플레이리스트 파일의 구체적인 기술을 나타낸다.
도 7은 3D 플레이리스트를 규정하는 플레이리스트 파일의 일 예를 나타낸다.
도 8은 본원의 과제해결수단을 구비한 재생장치의 내부 구성의 구성을 나타내는 도면이다.
도 9는 레지스터 세트(12)의 내용의 예를 모식적으로 나타낸 것이다.
도 10은 플레인 시프트가 이루어진 이미지 플레인이 합성된 비디오 프레임을 나타내는 도면이다.
도 11은 좌 방향의 플레인 시프트 후의 이미지 플레인과 우 방향의 플레인 시프트 후의 이미지 플레인을 액정안경(500)으로 시청함으로써 나타나는 입체 시 화상을 나타낸다.
도 12는 재생장치(200)가 상기 영상데이터인 플레이리스트를 판독하여 입체 시 영상에 중합한 입체 시 자막·입체 시 그래픽스를 비출 때의 처리순서를 나타내는 플로차트이다.
도 13은 3D 모드에서의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다.
도 14는 2D 모드에서의 플레이리스트 재생의 처리순서를 나타내는 플로차트이다.
도 15는 2D 모드에서의 2D 스트림의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다.
도 16은 2D 모드에서의 3D 스트림의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다.
도 17은 멀티 이미지 플레인에 대응할 수 있는 플레이리스트 재생처리의 처리순서를 나타내는 플로차트이다.
도 18은 표시모드 전환 완료통지 이벤트의 출력순서를 포함한 3D 모드에서의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다.
도 19는 표시모드 전환 완료통지 이벤트의 출력순서를 포함한 2D 모드에서의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다.
도 20은 통상재생에 더하여 특수재생을 고려한 3D 모드에서의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다.
도 21은 사용자 조작, BD-J 애플리케이션, 무비 오브젝트로부터의 지시에 의한 특수재생을 금지하는 경우의 플로차트의 일 예를 나타내고 있다.
도 22는 Depth 연산방식을 적용한 재생장치의 내부 구성을 나타내는 블록도이다.
도 23은 Depth 연산방식을 이용한 경우의 3D 모드에서의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다.
도 24는 재생장치(200)와 표시장치(400)의 통신 시퀀스를 나타낸다.
도 25는 HDMI 인터페이스에서의 모드 전환의 처리순서를 나타내는 플로차트이다.
도 26은 B-D 프레젠테이션 모드, B-B 프레젠테이션 모드, B-D 프레젠테이션 모드와 같이 표시모드가 천이하는 경우에 출력되는 픽처나 표시 주파수, HDMI가 어떻게 변화하는가를 나타내는 도면이다.
도 27은 통상재생에서 빨리 감기로의 전환, 빨리 감기에서 통상재생으로의 전환에 의해 재생장치에서의 디코드 내용 및 표시장치(400)의 표시내용이 어떻게 변화하는가를 나타낸다.
도 28은 GOP 내에 존재하는 I픽처, B픽처, P픽처 중 어느 것을 선택해서 재생하는가, 비디오 스트림을 구성하는 복수의 Closed-GOP, Open-GOP 중 어느 것을 선택해서 재생하는가에 의해 속도조정을 실현하는 배속재생의 실현 예를 나타낸다.
도 29는 디 멀티플렉서 및 비디오 디코더의 내부 구성을 나타낸다.
도 30은 배속재생을 고려한 특수재생의 처리순서를 나타내는 플로차트이다.
도 31은 3D 모드에서의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다.
도 32는 사용자 조작, BD-J 애플리케이션에 의한 요구, 무비 오브젝트에 의한 요구에 따른 이미지 플레인 처리순서를 나타내는 플로차트이다.
도 33은 기록방법의 처리순서를 나타내는 플로차트이다.
도 34는 재생장치의 하드웨어적인 내부 구성을 나타내는 도면이다.
도 35는 플레인 오프셋의 부호가 정(왼쪽 눈 용의 그래픽스 이미지를 우 방향으로 이동하고, 오른쪽 눈 용의 그래픽스 이미지를 좌 방향으로 이동한다)인 경우, 상(像)이 표시 화면보다 앞에 있는 것처럼 보이는 원리를 설명하기 위한 도면이다.
도 36은 플레인 오프셋의 부호가 부(왼쪽 눈 용의 그래픽스 이미지를 좌 방향으로 이동하고, 오른쪽 눈 용의 그래픽스 이미지를 우 방향으로 이동한다)인 경우, 상이 표시 화면보다 안쪽에 있는 것처럼 보이는 원리를 설명하기 위한 도면이다.
도 37은 플레인 오프셋의 대소에 의해 자막의 돌출 정도가 어떻게 변화하는가를 나타내는 도면이다.
도 38은 이미지 플레인(8)의 내부 구성을 나타낸다.
도 39는 우 방향의 시프트, 좌 방향의 시프트가 이루어진 후의 전경 영역의 화소 데이터 및 배경 영역의 화소 데이터를 나타낸다.
도 40은 이미지 플레인(8)에서의 플레인 시프트의 처리순서를 나타내는 도면이다.
도 41은 그래픽스 플레인에 저장되어 있는 화소 데이터를 나타내는 도면이다.
도 42는 시프트가 이루어진 후의 그래픽스 플레인의 저장내용을 나타낸다.

이하, 도면을 참조하면서 상기 과제해결수단을 구비한 재생장치의 실시형태에 대하여 설명한다.

도 1은 본원의 과제해결수단을 구비한 가장 기본적인 재생장치의 내부 구성을 나타내는 도면이다. 본 도면에 나타내는 재생장치는 상기 과제해결수단을 제외하고, 쓸데없는 구성요소를 극력 배제한 것이므로, 판독수단(201), 차원 판정부(202), 모드 기억부(203), 디 멀티플렉서(204), 비디오 디코더(205)로 구성된다.

도 2는 본원의 과제해결수단을 구비한 가장 기본적인 재생방법을 나타내는 플로차트이다. 본 도면에 나타내는 재생방법은 상기 과제해결수단에 대응하는 시계열 적 요소인 판독스텝 S101, 모드 기억스텝 S102, 분리스텝 S103, 디코드 및 프레임 출력스텝 S104로 구성된다.

도 3은 구체적인 전자화제품으로 상기 과제해결수단을 구비한 재생장치를 사용할 때의 사용형태를 나타내는 도면이다. 본 도면에 나타내는 것과 같이, 기록매체의 일 예인 BD-ROM(100), 재생장치(200)는 리모컨(300), 표시장치(400), 액정안경(500)과 함께 홈시어터시스템을 구성하고, 사용자에 의한 사용에 제공된다.

BD-ROM(100)는 상기 홈시어터시스템에 예를 들어 영화작품을 공급한다.

재생장치(200)는 표시장치(400)와 접속되고, BD-ROM(100)를 재생한다. 이렇게 하여 재생되는 재생 영상에는 2D영상, 3D영상이 존재한다. 2D영상이란 표시장치의 표시 화면을 X-Y평면으로 파악하여, 이 X-Y평면상의 화소에 의해 표현되는 화상이며, 평면 시 화상이라고도 불린다.

대조적으로 3D영상이란 표시장치의 화면에서의 X-Y 평면상의 화소에 Z축 방향의 깊이를 더한 화상이다. 3D영상은 왼쪽 눈으로 시청해야 할 왼쪽 눈 용 영상과 오른쪽 눈으로 시청해야 할 오른쪽 눈 용 영상을 함께 재생하여, 이들 왼쪽 눈 용 영상, 오른쪽 눈 용 영상으로 입체 시 효과를 발휘함으로써 사용자에 의한 시청에 제공된다. 3D영상에서의 화소 중, 정(正)의 Z축 좌표를 갖는 것을 사용자는 표시장치의 화면보다 앞에 있다고 느끼고, 부(負)의 Z축 좌표를 갖는 것을 화면보다 안쪽에 존재한다고 느낀다.

리모컨(300)는 재생제어에 관한 다양한 조작을 사용자로부터 접수하는 동시에 계층화된 GUI에 대한 조작을 사용자로부터 접수하는 기기이며, 이와 같은 조작의 접수를 위해 리모컨(100)는 팝업메뉴를 호출하는 메뉴 키, 팝업메뉴를 구성하는 GUI 부품의 포커스를 이동시키는 화살표 키, 팝업메뉴를 구성하는 GUI 부품에 대해서 확정 조작을 실행하는 결정 키, 계층화된 팝업메뉴를 보다 상위의 것으로 되돌리기 위한 리턴 키, 수치 키를 구비한다.

표시장치(400)는 영화작품의 재생 영상을 표시하거나 메뉴 등을 표시함으로써 대화적인 조작환경을 사용자에게 제공한다.

액정안경(500)는 액정셔터와 제어부로 구성되고, 사용자의 양 눈에서의 시차를 이용하여 입체 시를 실현한다. 액정안경(500)의 액정셔터는 인가 전압을 바꿈으로써 광의 투과율이 변화하는 성질을 갖는 액정렌즈를 이용한 셔터이다. 액정안경(500)의 제어부는 재생장치로부터 보내지는 오른쪽 눈 용의 화상과 왼쪽 눈 용의 화상의 출력의 전환의 동기 신호를 받아서, 이 동기 신호에 따라서 제 1 상태, 제 2 상태의 전환을 한다.

제 1 상태란 오른쪽 눈에 대응하는 액정렌즈가 광을 투과하지 않도록 인가 전압을 조절하고, 왼쪽 눈에 대응하는 액정렌즈가 광을 투과하도록 인가 전압을 조절한 상태이며, 이 상태에서 왼쪽 눈 용의 화상이 시청에 제공되게 된다.

제 2 상태란 오른쪽 눈에 대응하는 액정렌즈가 광을 투과하도록 인가 전압을 조절하고, 왼쪽 눈에 대응하는 액정렌즈가 광을 투과하지 않도록 인가 전압을 조절한 상태이며, 이 경우 액정안경은 오른쪽 눈 용의 화상을 시청에 제공할 수 있다.

일반적으로 오른쪽 눈과 왼쪽 눈은 그 위치의 차이에 기인하여 오른쪽 눈에서 보이는 상과 왼쪽 눈에서 보이는 상에는 보이는 방법에 약간의 차이가 있다. 이 차이를 이용하여 인간은 눈에 보이는 상을 입체로 인식할 수 있는 것이다. 그래서 액정안경(500)이 이상과 같은 제 1 상태, 제 2 상태의 전환을 오른쪽 눈 용의 화상과 왼쪽 눈 용의 화상의 출력의 전환타이밍에 동기 시키면 사용자는 평면적인 표시가 입체적으로 보이는 것으로 착각한다. 다음에, 오른쪽 눈 용 영상, 왼쪽 눈 용 영상을 표시할 때의 시간간격에 대하여 설명한다.

구체적으로는, 평면표시의 화상에서 오른쪽 눈 용의 화상과 왼쪽 눈 용의 화상에는 인간의 시차에 상당하는 보이는 방법의 차이에 상당하는 정도의 차가 있으며, 이들 화상을 짧은 시간간격으로 전환하여 표시함으로써 마치 입체적인 표시가 이루어져 있는 것처럼 보이는 것이다.

이 짧은 시간간격이라고 하는 것은 상술한 전환표시에 의해 인간이 입체적으로 보인다고 착각하는 정도의 시간이면 충분하다.

이상이 홈시어터시스템에 대한 설명이다.

이어서, 재생장치(200)가 재생의 대상으로 하고 있는 기록매체에 대해서 설명한다. 재생장치(200)에 의해 재생되는 것은 BD-ROM(100)이다. 도 4는 BD-ROM(100)의 내부 구성을 나타내는 도면이다.

본 도면의 제 4 단째에 BD-ROM를 나타내고, 제 3 단째에 BD-ROM 상의 트랙을 나타낸다. 본 도면의 트랙은 BD-ROM의 내주로부터 외주에 걸쳐서 나선형상으로 형성되어 있는 트랙을 횡 방향으로 연장하여 묘사하고 있다. 이 트랙은 리드인 영역과 볼륨 영역과 리드아웃 영역으로 이루어진다. 또, 리드 인의 내측에는 BCA(Burst Cutting Area)라고 불리는 드라이브로 밖에 판독할 수 없는 특별한 영역이 있다. 이 영역은 애플리케이션에서 판독할 수 없으므로, 예를 들어 저작권 보호기술 등에 이용되는 경우가 자주 있다.

본 도면의 볼륨 영역은 파일시스템 층, 응용 층이라고 하는 레이어 모델을 가자며, 파일시스템 층에는 파일시스템 정보를 선두로 영상데이터 등의 애플리케이션 데이터가 기록되어 있다. 파일시스템이란 UDF나 ISO9660 등의 것이며, 통상의 PC와 동일하게 기록되어 있는 논리데이터를 디렉터리, 파일구조를 사용하여 판독할 수 있게 되어 있으며, 255 문자의 파일명, 디렉터리 명을 판독할 수 있다. 디렉터리 구조를 이용하여 BD-ROM의 응용 층 포맷(애플리케이션 포맷)을 표현하면 도면 중의 제 1 단째와 같이 된다. 이 제 1 단째에서 BD-ROM에는 Root 디렉터리의 아래에 CERTIFICATE 디렉터리 및 BDMV 디렉터리가 있다.

CERTIFICATE 디렉터리의 아래에는 디스크의 루트 증명서의 파일(app.discroot.cert)이 존재한다. app.discroot.cert는 Java(등록상표) 가상 머신을 이용하여 동적인 시나리오 제어를 실행하는 Java(등록상표) 애플리케이션의 프로그램을 실행할 때, 애플리케이션이 개찬되어 있지 않은지 및 애플리케이션의 신원확인을 행하는 프로세스(이하, 서명 검증이라고 한다)에 이용되는 디지털 증명서이다.

BDMV 디렉터리는 BD-ROM에서 취급하는 AV 콘텐츠나 관리정보 등의 데이터가 기록되어 있는 디렉터리이며, BDMV 디렉터리의 아래에는 PLAYLIST 디렉터리, CLIPINF 디렉터리, STREAM 디렉터리, BDJO 디렉터리, JAR 디렉터리, META 디렉터리라 불리는 6개의 서브 디렉터리가 존재하고, INDEX.BDMV와 MovieObject.bdmv의 2 종류의 파일이 배치되어 있다.

STREAM 디렉터리는 이른바 트랜스포트 스트림 본체가 되는 파일을 저장하고 있는 디렉터리이며, 확장자 "m2ts"가 부여된 파일(00001.m2ts)이 존재한다.

PLAYLIST 디렉터리에는 확장자 "mpls"가 부여된 파일(00001.mpls)이 존재한다.

CLIPINF 디렉터리에는 확장자 "clpi"가 부여된 파일(00001.clpi)이 존재한다.

BDJO 디렉터리에는 확장자 "bdjo"가 부여된 파일(XXXXX.bdjo)이 존재한다.

JAR 디렉터리에는 확장자 "jar"이 부여된 파일(YYYYY.jar)이 존재한다.

META 디렉터리에는 XML 파일(ZZZZZ.xml)이 존재한다.

이하, 이들 파일에 대하여 설명한다.

<Index.bdmv>

Index.bdmv(인덱스테이블)는 BD-ROM 전체에 관한 관리정보이며, 재생장치에 디스크 삽입 후에 index.bdmv가 최초로 판독됨으로써 재생장치에서 디스크가 고유하게 인식된다. Index.bdmv는 광디스크의 타이틀구조를 구성하는 개개의 타이틀과 동작 모드를 규정하는 동작 모드 오브젝트의 대응관계를 규정한다. 타이틀구조란 광디스크의 장전(裝塡)시에 시청자에 대한 경고나 콘텐츠 공급자에 의한 로고표시 등을 수반하는 타이틀(퍼스트 플레이 타이틀)의 재생을 개시하고, 퍼스트 플레이 타이틀의 재생 후에 영화작품의 본편을 구성하는 일반 타이틀(“1”, “2”, “3”과 같은 일련번호에 의해 식별되는 일반적인 타이틀)의 재생을 실행하며, 본편 타이틀의 재생이 종료하면 타이틀 선택을 접수하는 타이틀(메뉴 타이틀)을 재생하여 사용자에 의한 일반 타이틀의 선택 대기를 실시한다고 하는 것이다.

광디스크의 타이틀은 상술한 것과 같은 퍼스트 플레이 타이틀, 일반 타이틀, 메뉴 타이틀의 각각에 동작 모드를 규정하는 동작 모드 오브젝트를 할당함으로써 각각의 타이틀이 어떤 동작 모드로 동작하는가를 상세하게 규정한다.

<MovieObject.bdmv>

MovieObject.bdmv는 무비 오브젝트를 저장하고 있다. 무비 오브젝트는 동작 모드 오브젝트의 하나이며, 커멘드 베이스의 동작 모드(HDMV 모드라고 한다)에서 복수의 내비게이션 커멘드를 배치 잡(batch job)으로 재생장치에 공급하여, 이들 내비게이션 커멘드에 의거하여 재생장치를 동작시키는 배치 잡 프로그램이다. 구체적으로는, 무비 오브젝트는 1개 이상의 커멘드와 GUI에 대한 메뉴 콜, 타이틀 콜이 사용자에 의해 이루어진 경우, 이들 콜을 마스크 할지 여부를 규정하는 마스크 플래그를 포함한다. 내비게이션 커멘드는 이른바 인터프리터형 언어로 기술된 제어지령을 말하며, 복수의 내비게이션 커멘드는 배치 잡으로 인터프리터(작업제어 프로그램)에 의해 해독되어 CPU에 원하는 작업을 실행시킨다. 내비게이션 커멘드는 오피코드(opcode)와 오퍼랜드(operand)로 이루어지고, 오피코드에 의해 타이틀 분기나 재생, 연산 등의 조작을 재생장치에 명할 수 있다. 또, 오퍼랜드는 플레이리스트의 번호나 타이틀번호이며, 조작의 대상이 되는 대상물을 지정할 수 있다.

확장자 "m2ts"가 부여된 파일은 MPEG-TS(TransportStream) 형식의 디지털 AV 스트림이며, 비디오 스트림, 1개 이상의 오디오 스트림, 자막데이터를 다중화함으로써 얻어진다. 비디오 스트림은 영화의 동화상 부분을, 오디오 스트림은 영화의 음성 부분을 각각 나타내고 있다. 2D용의 스트림만을 포함하는 트랜스포트 스트림을“2D 스트림”, 3D용의 스트림을 포함하는 트랜스포트 스트림을“3D 스트림”이라고 한다.

3D 스트림의 경우에는 m2ts 중에 왼쪽 눈 용과 오른쪽 눈 용의 양쪽의 데이터를 넣을 수 있고, 왼쪽 눈 용과 오른쪽 눈 용에 따로따로 m2ts를 준비할 수 있다. 스트림에 사용되는 용량을 줄이기 위해서, 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림이 상호 참조를 하는 것 같은 코덱(예를 들어, MPEG-4 AVC MVC)을 사용하는 것이 바람직하다. 그와 같은 코덱에서 압축 부호화된 비디오 스트림을 MVC 비디오 스트림이라고 한다.

<플레이리스트 정보>

확장자 "mpls"가 부여된 파일은 플레이리스트(PL) 정보를 저장한 파일이다. 플레이리스트 정보는 AV클립을 참조하여 플레이리스트를 정의하는 정보이다.

BD-ROM 상에는 재생대상의 스트림이 2D용인가 3D용인가를 식별하는 차원식별 플래그가 존재하고 있고, 본 실시형태에서는 플레이리스트(PL) 정보에 차원식별 플래그를 매입하고 있다.

본 실시형태에서는 BD-ROM 상의 플레이리스트(PL)의 구성 포맷으로부터 재생 대상의 스트림에 3D용의 스트림이 존재하는가를 특정할 수 있다. 재생제어를 위한 Java(TM) 애플리케이션이 이 플레이리스트 정보를 재생하는 JMF 플레이어 인스턴스의 생성을 Java(TM) 가상 머신에 명함으로써 AV 재생을 개시시킬 수 있다. JMF(Java Media Frame work) 플레이어 인스턴스란 JMF 플레이어 클래스를 기초로 해서 가상 머신의 히프 메모리 상에 생성되는 실제의 데이터이다.

또, 용어정의로 2D 플레이리스트는 2D 재생용 스트림만이 포함되는 것이며, 3D 플레이리스트에는 2D 스트림에 더하여 3D 입체 시 용의 스트림도 포함되는 것이다.

확장자 "clpi"가 부여된 파일은 AV클립의 각각에 1 대 1로 대응하는 Clip 정보이다. 관리정보이므로 Clip 정보는 AV클립에서의 스트림의 부호화형식, 프레임 레이트, 비트 레이트, 해상도 등의 정보나, GOP의 선두 위치를 나타내는 EP_map를 갖고 있다. 이상의 Clip 정보 및 플레이리스트 정보는 "정적 시나리오"로 분류된다.

<BD-J 오브젝트>

BD-J 오브젝트는 바이트코드 애플리케이션 베이스의 동작 모드(BD-J모드라고 한다)로 재생장치를 동작시키는 동작 모드 오브젝트이다. 바이트코드 애플리케이션이란 오브젝트 지향 언어와 같은 컴파일러형 언어, 예를 들어 Java(TM) 언어를 이용하여 생성되는 애플리케이션이다. BD-J 오브젝트는 Java(TM) 언어 등의 “컴파일러형 언어”에 의해 재생장치의 동작을 규정하는 것이므로, 인터프리터형 언어인 커멘드에 의해 기술된 무비 오브젝트와는 대극적인 의미를 갖는다. BD-J 오브젝트는 이하의 「애플리케이션 관리테이블」을 포함한다.

(애플리케이션 관리테이블)

애플리케이션 관리테이블은 복수의 엔트리를 포함한다. 이들 엔트리는 타이틀에서 애플리케이션을 자동으로 기동시켜야할지(AutoStart), 다른 애플리케이션으로부터의 호출을 대기하여 기동해야할지(Present)라고 하는 기동의 방법을 나타내는 「제어 코드」와, JAR 파일의 파일명이 되는 5 자릿수의 수치를 이용하여 대상이 되는 애플리케이션을 나타내는 「애플리케이션 ID」와, 「애플리케이션 상세정보」를 포함한다.

「애플리케이션 상세정보」는 애플리케이션이 로드되는 경우의 「우선도」와, 애플리케이션이 타이틀 언바운드인가 여부, 디스크 바운드인가 여부를 나타내는 「바인딩 정보」와, 애플리케이션의 명칭을 나타내는 문자 열과, 애플리케이션의 언어 속성을 나타내는 「언어코드」와, 애플리케이션에 대응시키는 아이콘의 소재를 지시하는 「아이콘 로케이터」를 애플리케이션별로 저장하고 있다. 애플리케이션 관리테이블은 타이틀을 생존구간으로 관리함으로써 각 애플리케이션에 의한 메모리 리소스 등의 소비를 타이틀이라고 하는 재생단위를 구획해서 관리할 수 있다. 이에 의해 비록 어느 타이틀의 재생 중에 복수의 애플리케이션에 의한 리소스의 이용이 경합하여 데드 록 상태에 빠졌다고 하더라도, 사용자에 의해 다른 타이틀이 선택되면 그 애플리케이션은 모두 종료되므로, 데드 록 상태는 강제적으로 해소하게 된다. 또, 어느 타이틀의 재생 중에 폭주한 애플리케이션이 메모리를 점유하였다고 하더라도, 사용자에 의해 다른 타이틀이 선택되면 그 애플리케이션은 강제적으로 종료되므로, 메모리 용량의 압박은 강제적으로 해소하게 된다. 이렇게 함으로써 불필요한 메모리 리소스를 소비하지 않는 안정된 메모리 리소스의 관리를 실현할 수 있다. 안정된 메모리 리소스의 관리를 실현할 수 있으므로 메모리 리소스의 용량이 한정된 가전기기의 실장에서 더 진가를 발휘한다. BD-J 오브젝트 내의 애플리케이션 관리테이블에 의해 동작이 규정되는 바이트코드 애플리케이션을 “BD-J 애플리케이션”이라고 한다.

이 Java(등록상표) 애플리케이션의 실체에 해당하는 것이 도 2에서의 BDMV 디렉터리 아래의 JAR 디렉터리에 저장된 Java(등록상표) 아카이브 파일(YYYYY.jar)이다.

애플리케이션은 예를 들어 Java(등록상표) 애플리케이션이며, 가상 머신의 히프 영역(워크 메모리라고도 불린다)에 로드되는 1개 이상의 xlet 프로그램으로 이루어진다.

META 디렉터리에 저장된 메타 파일(ZZZZZ.xml)에는 디스크에 들어가 있는 영상작품에 관한 다양한 정보가 저장되어 있다. 메타 파일에 저장되어 있는 정보로는 디스크의 디스크 명 및 화상, 디스크가 누구에 의해 작성되었는가의 정보, 각 타이틀에 관련되는 타이틀 명 등이 있다. 이상이 BD-ROM(100)에 대한 설명이다. 메타 파일은 필수의 파일은 아니며, 이 파일이 저장되어 있지 않은 BD-ROM도 있다.

이상이 재생장치의 재생대상인 BD-ROM에 대한 설명이다. 이어서, 플레이리스트 정보의 상세에 대하여 설명한다.

입체 시 및 평면 시를 실현하는 플레이리스트 정보는 이하와 같이 구성되어 있다. 일반적으로 “플레이리스트”란 AV 스트림의 시간 축 상에서 재생구간을 규정하는 동시에, 이 재생구간끼리의 재생순서를 논리적으로 지정함으로써 규정되는 재생경로가며, AV 스트림 중 어느 것을 어느 부분만큼 재생하여 어떤 순서로 신을 전개해갈지를 규정하는 역할을 갖는다. MPLS 파일에 저장된 플레이리스트 정보는 이와 같은 플레이리스트의 “형태”를 정의한다. 플레이리스트 정보에 의해 정의되는 재생경로는 이른바 “멀티패스”이다. 멀티패스는 주(主)가 되는 AV 스트림에 대해서 정의된 재생경로(메인패스)와 종(縱)이 되는 스트림에 대해서 정의된 재생경로(서브패스)를 묶은 것이다. 이와 같은 멀티패스의 재생시간 축에는 챕터 위치가 정의된다. 이 챕터 위치를 재생장치에 참조시킴으로써 멀티패스의 시간 축에 대한 임의의 시점에 대한 랜덤 액세스를 재생장치에 실현시킨다. 이와 같은 멀티패스를 정의하기 위해서 플레이리스트 정보는 재생속성정보, MainPath 정보, Subpath 정보, PlayListMark 정보를 포함한다.

1) MainPath 정보는 베이스 뷰 비디오 스트림의 재생시간 축 중 In_Time이 되는 시점과 Out_Time이 되는 시점의 세트를 1개 이상 정의함으로써 논리적인 재생구간을 정의하는 정보이며, STN_table을 포함한다. 이 MainPath 정보는 재생데이터정보에 해당한다.

2) 플레이리스트 Mark 정보는 In_Time 정보 및 Out_Time 정보의 세트에 의해 지정된 비디오 스트림의 일부분 중 챕터가 되는 시점의 지정을 포함한다.

3) Subpath 정보는 1개 이상의 SubPlayItem 정보로 구성되고, SubPlayItem 정보는 상기 베이스 뷰 비디오 스트림과 동기하여 재생해야 할 디펜던트 뷰 스트림의 지정과 그 디펜던트 뷰 스트림의 재생시간 축에서의 In_Time 정보 및 Out_Time 정보의 세트를 포함한다.

이상의 데이터 구조에 의해 왼쪽 눈 용 비디오 스트림상의 재생구간 및 오른쪽 눈 용 비디오 스트림상의 재생구간을 묶은 멀티패스를 정의할 수 있게 되며, 이와 같은 멀티패스의 정의에 의해 기존의 BD-ROM의 데이터 구조와 호환을 상실하지 않는 형식으로 입체 시 재생이 가능한 재생구간을 정의할 수 있다.

도 5는 플레이리스트 파일의 내부 구성 중 「재생속성정보」, 「재생데이터정보」의 내부 구성을 상세하게 나타내는 도면이다.

「재생속성정보」는 플레이리스트 파일이 베이스로 하고 있는 규격의 「버전」과, 당해 플레이리스트 파일이 무비 또는 슬라이드 쇼 중 어느 것인가, 플레이리스트 파일을 구성하는 개개의 PlayItem을 순차적으로 재생하는가, 랜덤으로 재생하는가를 지정하는 「재생타입」과, 플레이리스트 파일이 2D 플레이리스트인가 3D 플레이리스트인가의 구별을 나타내는 「차원식별 플래그」를 포함한다.

「재생데이터정보」는 N+1개의 PlayItem 정보(도면 중의 PlayItem #0 정보~PlayItem #N 정보)에 의해 구성된다. 개개의 PlayItem 정보는 그 PlayItem이 대응하고 있는 트랜스포트 스트림을 나타내는 「스트림 파일정보」와, 그 스트림 파일의 재생시간 길이를 나타내는 「재생시간정보」와, 이 플레이아이템 정보에서 어떤 패킷타이즈드 엘리멘터리 스트림의 재생이 허가되어 있는가를 패킷타이즈드 엘리멘터리 스트림별로 나타내는 「스트림 등록정보」를 포함한다.

또, 「차원식별 플래그」가 3D 플레이리스트라는 취지를 나타내는 것은 플레이리스트 파일에 의해 참조되고 있는 트랜스포트 스트림 파일 내의 디지털 스트림이 3D에 대응하고 있는 디지털 스트림인 경우이며, 「차원식별 플래그」가 2D 플레이리스트라는 취지를 나타내는 것은 플레이리스트 파일에 의해 참조되고 있는 트랜스포트 스트림 파일 내의 디지털 스트림이 2D에 밖에 대응하고 있지 않은 디지털 스트림인 경우이다.

이하, 플레이리스트 파일의 구체적인 기술 예에 대하여 설명한다. 도 6은 2D 플레이리스트를 규정하는 플레이리스트 파일의 구체적인 기술을 나타낸다.

도 6의 일 예에서 「버전 정보」가 2.00이고, 플레이리스트 파일의 재생타입으로 재생데이터정보의 PlayItem 정보가 “무비”이며, PlayItem 정보에 지정되어 있는 스트림 파일을 선두에서부터 차례로 재생해 나가는 것을 의미하는“시퀀셜(sequential)”이라고 하는 내용으로 설정되어 있다.

또, 차원식별 플래그는 2D 표시 가능한 스트림 구성인 예를 나타내고 있다.

재생데이터정보에는 영상·음성·자막데이터에 관한 정보가 기술되어 있다.

도 6의 예에서는 PlayItem #0이 사용하는 스트림 파일이 상기 STREAM 디렉터리의 아래에 있는 00001.m2ts이며, PlayItem #0의 재생시간이 0x002932E0임을 나타낸다. PlayItem #0의 3개의 스트림 등록정보는 영상 #1, 음성 #1, 자막 #1이라고 하는 3개의 논리 스트림 번호에 의해 식별되는 3개의 패킷타이즈드 엘리멘터리 스트림의 상세를 나타낸다.

구체적으로 말하면, 영상 #1이라고 하는 논리 스트림 번호에 의해 식별되는 패킷타이즈드 엘리멘터리 스트림은 0x02의 패킷 식별자를 갖는 TS패킷에 의해 구성되는 비디오 스트림이라는 취지를 나타낸다.

음성 #1이라고 하는 논리 스트림 번호에 의해 식별되는 패킷타이즈드 엘리멘터리 스트림은 0x80의 패킷 식별자를 갖는 TS패킷으로 구성되고, 언어가 일본어인 음성 스트림이라는 취지를 나타낸다.

자막 #1이라고 하는 논리 스트림 번호에 의해 식별되는 패킷타이즈드 엘리멘터리 스트림은 0x92의 패킷 식별자를 갖는 TS패킷으로 구성되고, 언어가 일본어이며, 사이즈가 통상 사이즈인 자막데이터라는 취지를 나타낸다.

도 7은 3D 플레이리스트를 규정하는 플레이리스트 파일의 일 예를 나타낸다.

본 도면에서의 재생속성정보의 버전은 「2.00」이고, 플레이리스트 파일의 재생타입은“무비”이며, 재생데이터정보에 포함되는 플레이아이템을 선두에서부터 차례로 재생해 나가는 것을 의미하는“시퀀셜”이 재생타입으로 설정되어 있다. 차원식별 플래그는 입체표시 가능한 3D 플레이리스트라는 취지를 나타내고 있다.

재생데이터정보에는 PlayItem이 1개 존재하고, PlayItem #0이 사용하는 스트림 파일이 상기 STREAM 디렉터리의 아래에 있는 00001.m2ts라는 취지를 나타낸다. PlayItem #0의 재생시간은 0x002932E0이며, PlayItem #0에는 4개의 패킷타이즈드 엘리멘터리 스트림에 대한 상세를 나타내는 스트림 등록정보가 존재한다.

이들 스트림 등록정보에 의하면 이하의 것을 알 수 있다.

즉, 영상 #1이라고 하는 논리 스트림 번호가 할당된 패킷타이즈드 엘리멘터리 스트림은 패킷 식별자가 0x02인 TS패킷으로 구성되고, 왼쪽 눈 용의 시각속성을 갖는다.

영상 #2라고 하는 논리 스트림 번호가 할당된 패킷타이즈드 엘리멘터리 스트림은 패킷 식별자가 0x02인 TS패킷으로 구성되고, 오른쪽 눈 용이라고 하는 시각속성을 갖는다.

음성 #1이라고 하는 논리 스트림 번호가 할당된 패킷타이즈드 엘리멘터리 스트림은 패킷 식별자가 0x80인 TS패킷으로 구성되고, 일본어의 언어 속성을 갖는 음성 스트림임을 알 수 있다.

자막 #1이라고 하는 논리 스트림 번호가 할당된 패킷타이즈드 엘리멘터리 스트림은 패킷 식별자가 0x92인 TS패킷으로 구성되고, 일본어의 언어 속성을 갖고, 문자 사이즈가 통상 사이즈의 자막데이터임을 알 수 있다.

이상이 플레이리스트 정보에 대한 설명이다. 이어서, 재생장치의 상세에 대하여 설명한다.

재생장치의 구성요소를 상세하게 설명한다. 도 8은 재생장치의 내부 구성의 구성을 나타내는 도면이다. 본 도면에 나타내는 것과 같이 재생장치에는 BD 드라이브(1a), 네트워크 디바이스(1b), 로컬 스토리지(1c), 리드 버퍼(2a, 2b), 가상파일시스템(3), 디 멀티플렉서(4), 비디오 디코더(5a, b), 비디오 플레인(6), 이미지 디코더(7a, b), 이미지 메모리(7c, d), 이미지 플레인(8), 오디오 디코더(9), 인터렉티브 그래픽스 플레인(10), 백그라운드 플레인(11), 레지스터 세트(12), 정적 시나리오 메모리(13), 재생제어엔진(14), 스칼라 엔진(scalar engine)(15), 합성부(16), HDMI 송수신부(17), 표시기능 플래그 보유부(18), 좌우처리 기억부(19), 플레인 시프트 엔진(20), 시프트 정보 메모리(21), BD-J 플랫폼(22), 동적 시나리오 메모리(23), 모드 관리 모듈(24), HDMV 모듈(25), UO 탐지모듈(26), 렌더링엔진(27a), 렌더링 메모리(27b), 표시모드 설정 이니셜 표시 설정부(28), 차원모드 기억부(29)로 구성된다.

제 1 실시형태에 관한 재생장치(200)에 입력되는 비디오 스트림에는 왼쪽 눈 용의 것과 오른쪽 눈 용의 것이 각각 존재하나, 자막/GUI 스트림은 왼쪽 눈 용과 오른쪽 눈 용이 공유된 것이 입력되도록 하고 있다. 본 실시형태에서는 미리 하나의 스트림 파일에 오른쪽 눈 용 스트림과 왼쪽 눈 용 스트림이 매입되어 있는 것을 전제로 기재한다. 이는, 메모리나 그래픽에서의 기기 리소스가 부족한 기기(예를 들어 CE기기)가 필요로 하는 연산량을 가능한 한 억제하기 위해서이다.

(BD 드라이브(1a))

BD 드라이브(1a)는 반도체 레이저, 콜리메이터 렌즈(collimate lens), 빔 스플리터, 대물렌즈, 집광렌즈, 광검출기를 갖는 광학헤드를 구비한다. 반도체 레이저로부터 출사된 광 빔은 콜리메이터 렌즈, 빔 스플리터, 대물렌즈를 통과하여 광디스크의 정보 면에 집광된다. 집광된 광 빔은 광디스크 상에서 반사/회절되고, 대물렌즈, 빔 스플리터, 집광렌즈를 통과하여 광검출기에 집광된다. 광검출기에 집광 된 광의 광량에 따라서 재생신호를 생성한다. 이 재생신호를 복조함으로써 BD에 기록된 다양한 데이터를 복호 할 수 있다.

(네트워크 인터페이스(1b))

네트워크 인터페이스(1b)는 재생장치의 외부와 통신을 행하기 위한 것이며, 인터넷에 의해 액세스 가능한 서버에 액세스하거나 로컬 네트워크에 의해 접속된 서버에 액세스하거나 할 수 있다. 예를 들어, 인터넷상에 공개된 BD-ROM 추가콘텐츠의 다운로드에 이용되거나, 콘텐츠가 지정하는 인터넷상의 서버와의 사이에서 데이터 통신을 함으로써 네트워크 기능을 이용한 콘텐츠의 재생을 가능하게 한다. BD-ROM 추가콘텐츠란 오리지널의 BD-ROM에 없는 콘텐츠로, 예를 들어 추가의 부 음성, 자막, 특전영상, 애플리케이션 등이다. BD-J 플랫폼으로부터 네트워크 인터페이스(1b)를 제어할 수 있고, 인터넷상에 공개된 추가콘텐츠를 로컬 스토리지(1c)에 다운로드 할 수 있다.

(로컬 스토리지(1c))

로컬 스토리지(1c)는 빌트 인 미디어 및 리무버블 미디어를 구비하고, 다운로드 된 추가콘텐츠나 애플리케이션이 사용하는 데이터 등의 보존에 이용된다. 추가콘텐츠의 보존영역은 BD-ROM별로 구분되어 있으며, 또 애플리케이션이 데이터의 보유에 사용할 수 있는 영역은 애플리케이션별로 구분되어 있다. 또, 다운로드 한 추가콘텐츠가 어떻게 BD-ROM 상의 데이터와 머지(merge) 되는가의 머지 규칙이 기재된 머지 관리정보도 이 빌트 인 미디어, 리모트 미디어에 보존된다.

빌트 인 미디어는 예를 들어 재생장치에 내장된 하드디스크 드라이브, 메모리 등의 기입 가능한 기록매체이다.

리무버블 미디어란 예를 들어 휴대성을 갖는 기록매체이며, 적합하게는 SD 카드 등의 휴대성을 갖는 반도체 메모리카드이다.

리무버블 미디어를 반도체 메모리카드로 한 경우를 예로 들어서 설명하면, 재생장치에는 리무버블 미디어를 장착하기 위한 슬롯(도시생략) 및 슬롯에 장착된 리무버블 미디어를 판독하기 위한 인터페이스(예를 들어 메모리카드 I/F)가 구비되어 있고, 슬롯에 반도체 메모리를 장착하면 리무버블 미디어와 재생장치가 전기적으로 접속되며, 인터페이스(예를 들어 메모리카드 I/F)를 이용하여 반도체 메모리에 기록된 데이터를 전기신호로 변환하여 판독할 수 있게 된다.

(리드 버퍼(2a))

리드 버퍼(2a)는 BD 드라이브(1a)로부터 판독된 왼쪽 눈 용 스트림을 구성하는 익스텐트를 구성하는 소스 패킷을 일단 저장해 두고, 전송속도를 조정한 후에 디 멀티플렉서(4)에 전송하기 위한 버퍼이다.

(리드 버퍼(2b))

리드 버퍼(2b)는 BD 드라이브(1a)로부터 판독된 오른쪽 눈 용 스트림을 구성하는 익스텐트를 구성하는 소스 패킷을 일단 저장해 두고, 전송속도를 조정한 후에 디 멀티플렉서(4)에 전송하기 위한 버퍼이다.

(가상파일시스템(3))

가상파일시스템(3)는 추가콘텐츠와 함께 로컬 스토리지(1c)에 다운로드 된 머지 관리정보를 기초로 로컬 스토리지에 저장된 추가콘텐츠와 장전한 BD-ROM 상의 콘텐츠를 머지시킨 가상적인 BD-ROM(가상패키지)을 구축한다. 가상패키지의 구축을 위해 가상파일시스템(3)는 애플리케이션 데이터 매칭 정보를 생성 및 갱신하기 위한 “애플리케이션 데이터 매칭 모듈(3a)”를 가지고 있다. 애플리케이션 데이터 매칭 정보란 BD-ROM 디스크 상의 파일시스템 정보와 애플리케이션이 설정하는 별명 액세스 정보(aliased access information)를 기초로 로컬 스토리지의 정보를 애플리케이션에 매칭시키는 정보이다.

HDMV 모드의 동작 주체인 HDMV 모듈이나 BD-J모드의 동작 주체인 BD-J 플랫폼은 가상패키지와 오리지널 BD-ROM을 구별 없이 참조할 수 있다. 가상패키지 재생중 재생장치는 BD-ROM 상의 데이터와 로컬 스토리지 상의 데이터의 양방을 이용하여 재생제어를 하게 된다.

(디 멀티플렉서(4))

디 멀티플렉서(4)는 소스 패킷 디 패킷다이저와 PID 필터로 구성되고, 재생해야 할 스트림(스트림은 장전한 BD-ROM 및 장전한 BD-ROM에 대응하는 로컬 스토리지에 포함된다)에 대응하는 패킷 식별자의 지시를 접수하여, 당해 패킷 식별자에 의거한 패킷 필터링을 실행하고, 그 결과 얻어진 TS패킷을 디코더에 출력한다. 패킷 필터링시에 디 멀티플렉서(4)는 스트림의 헤더 정보로부터 왼쪽 눈 용 비디오 스트림의 비디오 프레임과 오른쪽 눈 용 비디오 스트림의 비디오 프레임을 분리할 수 있다. 본 재생장치가 표시장치에 데이터를 출력할 때에는 왼쪽 눈 용의 영상과 오른쪽 눈 용의 영상의 처리를 교호로 실시하여 출력한다.

출력형식에 따라서는 양방의 출력이 동시에 필요한 경우, 디 멀티플렉서는 왼쪽 눈 용 비디오 스트림의 비디오 프레임과 오른쪽 눈 용 비디오 스트림의 비디오 프레임을 교호로 처리하고, 왼쪽 눈 용 비디오 프레임 및 오른쪽 눈 용 비디오 프레임의 양방의 디코드가 완료한 시점에서 양방을 출력한다. 또, 하드웨어 구성상 2개의 출력이 있는 경우에는 왼쪽 눈 용과 오른쪽 눈 용의 영상을 따로따로 출력한다.

(비디오 디코더(5))

비디오 디코더(5)는 디 멀티플렉서(4)로부터 출력된 왼쪽 눈 용 비디오 스트림을 구성하는 TS패킷을 복호하여 비 압축형식의 비디오 프레임을 왼쪽 눈 비디오 플레인(6) (도 8의 비디오 플레인(6)에서의 부호 L로 나타낸 것)에 기입한다. 한편, 디 멀티플렉서(4)로부터 출력된 오른쪽 눈 용 비디오 스트림을 구성하는 TS패킷을 복호하여 비 압축형식의 비디오 프레임을 오른쪽 눈 비디오 플레인(6) (도 8의 비디오 플레인(6)에서의 부호 R로 나타낸 것)에 기입한다.

(비디오 플레인(6))

비디오 플레인(6)는 예를 들어 1920×2160(1280×1440)이라고 하는 해상도에 의해 비디오 프레임을 이루는 픽처 데이터를 저장할 수 있는 플레인 메모리이며, 1920×1080(1280×720)의 해상도를 갖는 왼쪽 눈 용 플레인(도 8의 비디오 플레인(6)에서의 부호 L로 나타낸 것), 1920×1080(1280×720)의 해상도를 갖는 오른쪽 눈 용 플레인(도 8의 비디오 플레인(6)에서의 부호 R로 나타낸 것)을 갖는다.

(이미지 디코더(7a,b))

이미지 디코더(7a,b)는 디 멀티플렉서(4)로부터 출력되어서 이미지 메모리(7c, 7d)에 기입된 자막데이터를 구성하는 TS패킷을 복호하여 비 압축형식의 그래픽스 자막을 이미지 플레인(8)에 기입한다. 이미지 디코더(7a, b)에 의해 디코드 되는 "자막데이터"는 런렝스(run-length) 부호화에 의해 압축된 자막을 나타내는 데이터이며, Y치, Cr치, Cb치, α치를 나타내는 픽셀 코드와 그 픽셀 코드의 런렝스에 의해 정의된다.

(이미지 플레인(8))

이미지 플레인(8)는 예를 들어 1920×1080(1280×720)이라고 하는 해상도에 의해 자막데이터를 디코드함으로써 얻어진 그래픽스 데이터(예를 들어 자막데이터)를 저장할 수 있는 그래픽스 플레인이며, 예를 들어 1920×1080(1280×720)의 해상도를 갖는 데이터를 저장할 수 있는 기억영역을 갖는 왼쪽 눈 용 플레인(도 8에 나타낸 이미지 플레인(8)에서의 부호 L로 나타낸 것), 1920×1080(1280×720)의 해상도를 갖는 데이터를 저장할 수 있는 기억영역을 가지는 오른쪽 눈 용 플레인(도 8에 나타낸 이미지 플레인(8)에서의 부호 R로 나타낸 것)을 갖는다.

(오디오 디코더(9))

오디오 디코더(9)는 디 멀티플렉서(4)로부터 출력된 오디오 프레임을 복호하여 비 압축형식의 오디오 데이터를 출력한다.

(인터렉티브 그래픽스 플레인(10))

인터렉티브 그래픽스 플레인(10)는 예를 들어 1920×1080(1280×720)이라고 하는 해상도에 의해 BD-J 애플리케이션이 렌더링엔진(27a)을 이용하여 묘사한 그래픽스 데이터를 저장할 수 있는 기억영역을 갖는 그래픽스 플레인이며, 예를 들어 1920×1080(1280×720)의 해상도를 갖는 데이터를 저장할 수 있는 기억영역을 갖는 왼쪽 눈 용 플레인(도 8의 인터렉티브 그래픽스 플레인(10)에서 부호 L을 부여한 것), 1920×1080(1280×720)의 해상도를 갖는 데이터를 저장할 수 있는 기억영역을 갖는 오른쪽 눈 용 플레인(도 8의 인터렉티브 그래픽스 플레인(10)에서 부호 R을 부여한 것)을 갖는다.

인터렉티브 그래픽스 플레인(10)에 저장되는 "그래픽스 데이터"는 개개의 화소가 R치, G치, B치, α치에 의해 정의되는 그래픽스이다. 인터렉티브 그래픽스 플레인(10)에 기입되는 그래픽스는 주로 GUI를 구성하기 위해서 사용되는 목적을 갖는 이미지나 위젯(widget)이다. 화소를 나타내는 데이터에 차이가 있으나, 이미지 데이터 및 그래픽스 데이터는 그래픽스 데이터라고 하는 표현으로 포괄된다. 본원이 대상으로 하고 있는 그래픽스 플레인에는 이미지 플레인(8), 인터렉티브 그래픽스 플레인(10)의 2종류가 있고, 단지 "그래픽스 플레인"이라고 부르는 경우에는 이미지 플레인(8) 및 인터렉티브 그래픽스 플레인(10)의 쌍방 또는 어느 일방을 가리키는 것으로 한다.

(백그라운드 플레인(11))

백그라운드 플레인(11)는 예를 들어 1920×1080(1280×720)이라고 하는 해상도에 의해 배경화(background image)가 되어야 할 정지화상데이터를 저장할 수 있는 플레인 메모리이며, 구체적으로는 1920×1080(1280×720)의 해상도를 갖는 왼쪽 눈 용 플레인(도 8에 나타내는 백그라운드 플레인(11)에서의 부호 L을 부여한 것), 1920×1080(1280×720)의 해상도를 갖는 오른쪽 눈 용 플레인(도 8에 나타내는 백그라운드 플레인(11)에서의 부호 R을 부여한 것)을 갖는다.

(레지스터 세트(12))

레지스터 세트(12)는 플레이리스트의 재생상태를 저장하는 재생상태 레지스터, 재생장치에서의 컨피규레이션(configuration)을 나타내는 컨피규레이션 정보를 저장하는 재생설정 레지스터, 콘텐츠가 이용하는 임의의 정보를 저장할 수 있는 범용 레지스터를 포함하는 레지스터의 집합이다. 플레이리스트의 재생상태란 플레이리스트에 기재되어 있는 각종 AV데이터 정보 중의 어느 AV데이터를 이용하고 있는가, 플레이리스트의 어느 위치(시각)를 재생하고 있는가 등의 상태를 나타낸다.

플레이리스트의 재생상태가 변화한 때에는 재생제어엔진(14)이 레지스터 세트(12)에 대해 그 내용을 저장한다. 또, HDMV 모드의 동작 주체인 HDMV 모듈 또는 BD-J모드의 동작 주체인 Java 플랫폼이 실행하고 있는 애플리케이션으로부터의 지시에 의해 애플리케이션이 지정한 값을 저장하거나, 저장된 값을 애플리케이션에 전달할 수 있다.

(정적 시나리오 메모리(13))

정적 시나리오 메모리(13)는 현재 플레이리스트 정보나 현재 클립정보를 저장해 두기 위한 메모리이다. 현재 플레이리스트 정보란 BD-ROM 또는 빌트 인 미디어 드라이브, 리무버블 미디어 드라이브로부터 액세스할 수 있는 복수의 플레이리스트 정보 중 현재 처리대상으로 되어 있는 것을 말한다. 현재 클립정보란 BD-ROM 또는 빌트 인 미디어 드라이브, 리무버블 미디어 드라이브로부터 액세스할 수 있는 복수의 클립정보 중 현재 처리대상으로 되어 있는 것을 말한다.

(재생제어엔진(14))

재생제어엔진(14)는 AV 재생기능, 플레이리스트의 재생기능을 실행한다. AV 재생기능이란 DVD 플레이어, CD 플레이어로부터 답습한 기능 군(群)이며, 재생개시, 재생정지, 일시 정지, 일시 정지의 해제, 정지화상 기능의 해제, 재생속도를 즉치로 지정한 빨리 감기, 재생속도를 즉치로 지정한 되감기, 음성전환, 부 영상 전환, 앵글전환과 같은 처리이다. HDMV 모듈에 의해 실행되는 무비 오브젝트, 또는 BD-J 플랫폼에 의해 실행되는 BD-J 애플리케이션은 재생제어엔진(14)에 대해서 처리요구를 실행함으로써 이들 재생개시, 재생정지라고 하는 통상재생의 재생제어뿐만이 아니라, 일시 정지, 일시 정지의 해제, 정지화상 기능의 해제, 재생속도를 즉치로 지정한 빨리 감기, 재생속도를 즉치로 지정한 되감기, 음성 전환, 부 영상 전환과 같은 특수재생을 재생제어엔진에 실시하게 할 수 있다. 플레이리스트 재생기능이란 이 AV 재생기능 중 재생개시나 재생정지를 현재 플레이리스트를 구성하는 현재 플레이리스트 정보, 현재 클립정보에 따라서 실행하는 것을 말한다. AV 스트림 재생은 사용자 오퍼레이션(예를 들어 재생버튼)을 트리거로 하여 개시하는 경우도 있고, 단말 내의 어떤 이벤트를 트리거로 하여 자동으로 개시하는 경우도 있다.

재생장치의 미들웨어는 재생제어엔진의 각종 기능을 실행시키기 위한 API를 BD-J 애플리케이션에 제공한다. 재생제어엔진에 각 재생기능을 실행시키기 위한 API의 라이브러리가 “AV재생 라이브러리(14a)”이다. “AV재생 라이브러리(14a)”에서의 개개의 API는 다양한 멤버 함수를 포함하며, 인수를 지정하여 AV재생 라이브러리의 멤버 함수(메소드)를 호출함으로써 이들 멤버 함수의 기능을 재생제어엔진에 실행시킨다. 한편, 무비 오브젝트는 이 멤버 함수에 상당하는 내비게이션 커멘드를 발행함으로써 이들의 API에 상당하는 처리를 재생제어엔진에 실행시킨다.

일 예를 들어, 「selectPlayList」는 BD-J 애플리케이션이 플레이리스트의 전환을 명하기 위한 API이며, 이 API를 호출하기 위한 인수는 BD-J 로케이터가 된다. BD-J 로케이터는 title_id, playlist_id, PlayItem_id를 이용하여 선택할 플레이리스트를 지정할 수 있는 BD-J 애플리케이션 전용의 로케이터이다. BDMV/PLAYLIST 디렉터리에서의 플레이리스트 파일의 파일 보디를 이용함으로써 재생 대상이 되어야 할 플레이리스트가 지정된다.

재생제어엔진에 의한 기능 실행의 결과는 이벤트에 의해 BD-J 애플리케이션에 통지된다. 따라서 AV재생 라이브러리의 이용시에 BD-J 애플리케이션에는 실행결과를 나타내는 이벤트를 수신할 수 있도록 이벤트 리스너를 등록해 둘 필요가 있다.

(스케일링 엔진(scaling engine)(15))

스케일링 엔진(15)는 이미지 플레인(8)이나 비디오 플레인(5)에 있는 영상의 축소, 확대 및 등배(等倍)의 제어를 실행할 수 있다. 스케일링 엔진(15)는 이미지 데이터 및 비디오 프레임의 디코드가 이루어진 시점에서 플레인 시프트 엔진(20) 내에 값이 설정되어 있으면 스케일링이 발생하고 있다고 간주하고, 디코드 된 그래픽스를 비디오 플레인에 저장하기 전에 스케일링 엔진(15)을 통해서 스케일링을 실행하게 한다.

(합성부(16))

합성부(16)는 인터렉티브 그래픽스 플레인(10), 이미지 플레인(8), 비디오 플레인(6), 백그라운드 플레인(11)의 레이어 합성을 한다. 인터렉티브 그래픽스 플레인(10), 이미지 플레인(8), 비디오 플레인(6), 백그라운드 플레인(11)과 같은 플레인 메모리는 레이어 모델을 형성하고 있으며, 합성부(16)에 의한 레이어 합성은 플레인 메모리의 레이어 모델에서 계층 간의 플레인 메모리에 저장되어 있는 화소 데이터의 화소치를 중합시킨다고 하는 처리를 레이어 모델에서의 계층 간의 모든 조합에 대해서 실행함으로써 이루어진다.

계층 간의 중합은 어느 계층에 위치하는 플레인 메모리의 라인 단위의 화소치에 투과율 α을 가중으로 곱하는 동시에, 그 하위 계층에 위치하는 플레인 메모리의 라인 단위의 화소치에 (1-투과율 α)라고 하는 가중을 곱하고, 이 가중 부여가 이루어진 화소치 끼리를 가산하여, 가산 결과를 그 계층에서의 라인 단위의 화소의 화소치로 하는 처리이다. 이 계층 간의 중합을 레이어 모델의 2개 계층에 위치하는 라인 단위의 화소끼리에서 반복해서 실행함으로써 상기 레이어 합성은 실현된다.

이미지 플레인의 데이터로 자막이나 팝업메뉴를 상정한 콘텐츠의 경우에는 반드시 비디오 플레인 상에 이미지 플레인을 중합시킨다. 즉, 비록 비디오 플레인이 입체 시의 콘텐츠라도 깊이가 없는 자막이나 팝업메뉴가 입체 시 비디오와 중합된 경우에는 이미지를 우선해서 표시시키지 않으면 안 된다. 그렇게 하지 않으면 그래픽의 부분이 비디오에 함몰된 형태가 되어서 부자연스럽게 되어 버리기 때문이다.

(HDMI 송수신부(17))

HDMI 송수신부(17)는 예를 들어 HDMI 규격(HDMI:High Definition Multimedia Interface)에 준거한 인터페이스를 포함하고, 재생장치와 HDMI 접속하는 장치(본 예에서는 표시장치(400))와 HDMI 규격에 준거하도록 송수신을 하는 것이며, 비디오 플레인에 저장된 픽처 데이터와 오디오 디코더(9)에 의해 디코드 된 비 압축의 오디오 데이터를 HDMI 송수신부(17)를 개재하여 표시장치(400)에 전송한다. 표시장치(400)는 예를 들어 입체 시 표시에 대응하고 있는가 여부에 관한 정보, 평면표시 가능한 해상도에 관한 정보, 입체 표시 가능한 해상도에 관한 정보를 보유하고 있으며, 재생장치로부터 HDMI 송수신부(17)를 개재하여 요구가 있으면 표시장치(400)는 요구된 필요한 정보(예를 들어 입체 시 표시에 대응하고 있는가에 관한 정보, 평면표시 가능한 해상도에 관한 정보, 입체표시 가능한 해상도에 관한 정보)를 재생장치에 돌려준다. 이와 같이 HDMI 송수신부(17)를 개재함으로써 표시장치(400)가 입체 시 표시에 대응하고 있는가 여부의 정보를 표시장치(400)로부터 취득할 수 있다.

(표시기능 플래그 보유부(18))

표시기능 플래그 보유부(18)는 재생장치가 3D 표시가 가능한가 여부의 구별을 나타내는 3D 표시기능 플래그를 보존하고 있다.

(좌우처리 기억부(19))

좌우처리 기억부(19)는 현재의 출력처리가 왼쪽 눈 용의 출력인가, 또는 오른쪽 눈 용의 출력인가를 기억한다. 좌우처리 기억부(19)의 플래그는 도 1에 나타내는 재생장치와 접속하는 표시 디바이스(도 1의 예에서는 텔레비전)에 대한 출력이 왼쪽 눈 출력인가 오른쪽 눈 출력인가를 나타낸다. 왼쪽 눈 출력을 하고 있는 동안 좌우처리 기억부(19)의 플래그는 왼쪽 눈 출력을 나타내는 플래그로 설정된다. 또, 오른쪽 눈 출력을 하고 있는 동안 좌우처리 기억부(19)의 플래그는 오른쪽 눈 출력을 나타내는 플래그로 설정된다.

(플레인 시프트 엔진(20))

플레인 시프트 엔진(20)는 이미지 플레인 시프트 정보를 보존하는 영역을 겸비하며, 좌우처리 기억부(19)에 현재의 처리 대상이 왼쪽 눈 영상인가 오른쪽 눈 영상인가를 판정한 후, 보존하고 있는 이미지 플레인 시프트 정보에서 나타내는 플레인 오프셋을 이용하여 이미지 플레인의 횡축의 시프트 양을 계산하여 시프트 한다. 자막/GUI의 횡축의 시프트 폭을 변경함으로써 깊이가 변경한다. 예를 들어, 왼쪽 눈 용 자막과 오른쪽 눈 용 자막을 일정 방향으로 멀리 떨어뜨릴수록 앞쪽에 표시되고, 역방향으로 떨어뜨릴수록 안쪽에 보이는 시각효과를 얻을 수 있다.

(시프트 정보 메모리(21))

시프트 정보 메모리(21)는 사용자 또는 애플리케이션으로부터의 이미지 플레인 시프트 정보의 갱신 요구가 있은 때에 일시적으로 그 값을 보존하는 모듈이다. 이미지 플레인 시프트 정보는 예를 들어 깊이가 -255~255로 표현되어 있는 정수로 하ㅇ여255가 가장 앞쪽이고 -255가 가장 안쪽), 그것을 최종적인 시프트의 폭을 나타내는 화소 좌표로 변환한다.

(BD-J 플랫폼(22))

BD-J 플랫폼(22)는 BD-J모드의 동작 주체인 Java 플랫폼이며, Java2Micro_Edition(J2ME) Personal Basis Profile(PBP1.0)과 Globally Executable MHP specification(GEM1.0.2) for package media targets를 풀 실장하고 있고, JAR 아카이브 파일에 존재하는 클래스 파일로부터 바이트코드를 판독하여 히프 메모리에 저장함으로써 BD-J 애플리케이션을 기동한다. 그리고 BD-J 애플리케이션을 구성하는 바이트코드, 시스템 애플리케이션을 구성하는 바이트코드를 네이티브 코드로 변환하여 MPU에 실행시킨다.

(동적 시나리오 메모리(23))

동적 시나리오 메모리(23)는 현재 동적 시나리오를 저장해 두고, HDMV 모드의 동작 주체인 HDMV 모듈, BD-J모드의 동작 주체인 Java 플랫폼에 의한 처리에 제공되는 메모리이다. 현재 동적 시나리오란 BD-ROM 또는 빌트 인 미디어, 리무버블 미디어에 기록되어 있는 Index.bdmv, BD-J 오브젝트, 무비 오브젝트 중 현재 실행대상으로 되어 있는 것을 말한다.

(모드 관리 모듈(24))

모드 관리 모듈(24)는 BD-ROM 또는 빌트 인 미디어 드라이브, 리무버블 미디어 드라이브로부터 판독된 Index.bdmv를 보유하고, 모드 관리 및 분기 제어를 실행한다. 모드 관리 모듈(24)에 의한 모드 관리란 동적 시나리오를 BD-J 플랫폼(22), HDMV 모듈(25) 중 어디에 실행시키는가 하는 모듈의 할당이다.

(HDMV 모듈(25))

HDMV 모듈(25)는 HDMV 모드의 동작 주체가 되는 DVD 가상 플레이어이며, HDMV 모드의 실행 주체가 된다. 본 모듈은 커멘드 인터프리터를 구비하고, 무비 오브젝트를 구성하는 내비게이션 커멘드를 해독하여 실행함으로써 HDMV 모드의 제어를 실행한다. 내비게이션 커멘드는 DVD-Video와 유사한 신택스(syntax)로 기술되어 있으므로 이와 같은 내비게이션 커멘드를 실행함으로써 DVD-Video와 유사한 재생제어를 실현할 수 있다.

(UO 탐지모듈(26))

UO 탐지모듈(26)는 GUI에 대한 사용자 오퍼레이션을 접수한다. 이 GUI에 의해 접수되는 사용자 오퍼레이션에는 BD-ROM에 기록되어 있는 타이틀 중 어느 것을 선택하는가 라고 하는 타이틀 선택, 자막 선택, 음성 선택이 있다. 특히, 입체 시 재생 특유의 사용자 오퍼레이션으로 입체 시 영상의 깊이감의 레벨을 접수하는 경우가 있다. 예를 들어 깊이감이 멀다, 보통, 가깝다 등의 3개의 레벨을 접수하는 경우가 있으며, 깊이감은 몇 ㎝, 몇 ㎜와 같이 수치입력에 의해서 깊이감의 레벨을 접수하는 경우도 있다.

또, UO 탐지모듈(26)는 리모컨이나 기기에 부속된 버튼 등의 조작에 의해서 이미지 플레인의 스케일링을 변경하는 명령을 접수한 경우, 그것을 기기 내의 모듈이 직접 스케일링 명령을 발행한다.

(렌더링엔진(27a))

렌더링엔진(27a)는 Java2D, OPEN-GL라고 하는 기반소프트웨어를 구비하고, BD-J 애플리케이션으로부터의 요구에 따라서 JPEG 데이터/PNG 데이터의 디코드를 실행하여 이미지나 위젯을 얻어서, 인터렉티브 그래픽스 플레인 및 백그라운드 그래픽스 플레인에 기입한다. JPEG 데이터를 디코드함으로써 얻어지는 화상데이터는 GUI의 벽지가 되는 것이며, 백그라운드 그래픽스 플레인에 붙여진다. PNG 데이터를 디코드함으로써 얻어지는 화소 데이터는 인터렉티브 그래픽스 플레인에 기입되어서 애니메이션을 수반하는 버튼 표시를 실현할 수 있다. 이 JPEG 데이터/PNG 데이터를 디코드함으로써 얻어진 이미지나 위젯은 BD-J 애플리케이션이 타이틀 선택이나 자막 선택, 음성 선택을 접수하기 위한 팝업메뉴를 표시하거나, 스트림 재생 연동형의 게임을 동작시킬 때 GUI 부품을 구성하기 위해서 사용된다. 그 외에, BD-J 애플리케이션이 WWW 사이트를 액세스할 때 그 WWW 사이트의 브라우저 화면을 구성하기 위해서 이용된다.

(렌더링 메모리(27b))

렌더링 메모리(27b)는 렌더링 엔진에 의해 디코드 되어야 할 PNG 데이터, JPEG 데이터가 판독되는 메모리이다. 이 렌더링 메모리(27b)에는 BD-J 애플리케이션이 라이브표시모드를 실행할 때 캐시영역이 확보된다. 라이브표시모드란 네트워크상에 존재하는 WWW 사이트의 브라우저 화면과 BD-ROM에 의한 스트림 재생을 조합하는 것이다. 캐시영역은 라이브표시모드시에서의 현재의 브라우저 화면 및 직전의 브라우저 화면을 캐시해 두기 위한 캐시메모리이며, 비 압축의 PNG 데이터 또는 비 압축의 JPEG 데이터로서 상기 브라우저 화면을 구성하는 것이 여기에 저장되게 된다.

(표시모드 설정 이니셜 표시 설정부(28))

표시모드 설정 이니셜 표시 설정부(28)는 BD-J 플랫폼부에 제공되는 현재 타이틀에서의 BD-J 오브젝트에 의거하여 재생 모드, 해상도의 설정을 실행한다.

(차원모드 기억부(29))

차원모드 기억부(29)는 재생 모드, 스테레오 모드를 기억한다. 재생장치가 3D표시기능 플래그로 3D표시가 가능하다고 설정되어 있는 경우, 차원모드 기억부(29)에 보존된 단말 설정인 재생 모드는 2D, 3D 중 어느 하나로 전환할 수 있게 된다. 이후, 재생 모드가 "3D"로 나타내고 있는 상태를 "3D 모드"라고 하고, 재생 모드가 "2D"로 나타내고 있는 상태를 "2D 재생 모드"라고 한다. 이상이 재생장치의 구성요소에 대한 설명이다. 이어서 입체 시 재생의 실현을 위한 상세에 대하여 설명한다.

(입체 시 영상의 작성에 필요한 것)

3D영상을 만들어 내기 위해서는 재생장치나 표시장치 자체에도 그 능력이 필요하며, 콘텐츠에 그 능력이 있는가 여부를 제시하거나, 또 콘텐츠 자체가 2D로 동작해 주었으면 하는 것인가 3D로 동작해 주었으면 하는 것인가를 재생장치에 설정함으로써 콘텐츠 작성이나 재생장치 실장의 편리성이 증가한다. 이유는 콘텐츠나 재생장치가 영상과 그래픽스의 부자연스러운 중첩을 미연에 방지할 수 있기 때문이다. 재생장치의 능력이나 콘텐츠의 설정정보를 보유하는 것의 일 예로 레지스터 세트(12)를 들 수 있다.

도 9는 레지스터 세트(12)의 내용의 예를 모식적으로 나타낸 것이다. 레지스터 세트(12)는 「재생상태 레지스터(0)~(127)」와 「범용 레지스터(0)~(4096)」로 구성된다. 재생상태 레지스터 내는 어떤 값을 저장하기 위한 번호가 부여된 저장 장소의 집합이다. 예를 들어 어떤 번호의 저장장소에는 현재 재생중인 플레이리스트의 식별자가 삽입되거나, 다른 어떤 번호의 저장장소에는 이용하고 있는 오디오의 식별자가 삽입되거나 한다. 각각의 값을 삽입하는 것은 재생제어엔진(18), HDMV 모듈(25), 또는 BD-J 플랫폼(22)이다. 콘텐츠는 HDMV 모듈(25) 또는 BD-J 플랫폼(22)에 의해 재생상태 레지스터나 범용 레지스터로부터 지정한 번호에 대응하는 값을 취득하거나 지정한 번호에 대응하는 값을 저장하거나 할 수 있다.

재생상태 레지스터 중 14번(재생상태 레지스터(14))에서는 그 상위 3비트째가 2D로 동작해 주었으면 하는 것인가 3D로 동작해 주었으면 하는 것인가의 설정에 할당되어 있다.

재생상태 레지스터 중 29번(재생상태 레지스터(29))에서는 그 하위 3비트째가 3D영상을 만들어 내기 위한 능력이 재생장치에 있는가 여부의 설정에 할당되어 있다.

(단체의 그래픽스 플레인에 의한 입체 시의 실현)

3D영상 출력처리의 설명을 하기 전에 입체 시를 실현하는 자막/GUI의 데이터에 대해서 언급하고자 한다. 본 실시형태에 관한 재생장치(200)가 취급하는 데이터로 자막/GUI의 데이터가 존재한다. 자막/GUI의 데이터는 눈의 피로도를 감소시키기 위하여 비디오 스트림의 앞쪽에 표시시킬 필요가 있다.

자막/GUI 스트림을 앞쪽에 표시시키는 방법으로 왼쪽 눈과 오른쪽 눈 영상을 만들어 낼 때에 자막/GUI 스트림을 횡축으로 시프트 한 결과를 합성시켜서 출력한다. 자막/GUI의 횡축의 시프트 폭을 변경함으로써 깊이가 변경한다. 예를 들어 왼쪽 눈 용 자막과 오른쪽 눈 용 자막을 일정 방향으로 멀리 떨어뜨릴수록 앞쪽에 표시되고, 역방향으로 떨어뜨릴수록 안쪽에 보이는 시각효과를 얻을 수 있다.

상술한 것과 같이, 1개의 그래픽스 플레인에서 플레인 오프셋에 의거하여 플레인 시프트를 실행하여 입체 시를 실현하는 재생 모드를 “1plane+Offset 모드”라고 한다. 플레인 시프트 엔진(20)는 이 1plane+Offset 모드를 실현하는 것이다.

원래의 화소 데이터의 좌표와 우 방향 또는 좌 방향으로 시프트한 경우의 각 화소 데이터의 좌표와의 차분을 "시프트 양"이라고 한다. 이 시프트 양은 입체 시에서는 이미지 플레인(8) 또는 인터렉티브 그래픽스 플레인(10)에 어느 정도의 깊이를 갖게 하는가 하는 깊이 값에 의해 산출되어야 한다. 또, 입체 시 재생에서 양 눈의 시차로서 채용할 수 있는 어떤 파라미터로부터 도출할 수 있다.

또, 상술한 것과 같은 시프트 양만큼 좌우로 그래픽스 플레인 내의 화소 데이터를 이동시키기 위한 파라미터를 "플레인 오프셋"이라고 한다. 시프트 양은 스칼라 양인데 대해서 플레인 오프셋은 정부(正負)의 값을 갖는 벡터이며, 현재의 상태로부터 우 방향 및 좌 방향의 어느 방향으로 얼마만큼 화소 데이터의 좌표를 이동시킬지를 지시한다.

본 실시형태에서는 콘텐츠 작성자가 미리 자막/GUI를 어느 깊이로 표시시킬지의 정보를 플레이리스트 정보에 매입함으로써 재생장치(200)는 플레이리스트 정보에 관련된 스트림을 재생하고 있는 동안은 그 정보에 의거하여 자막/GUI를 비디오 스트림의 전면에 입체적으로 계속 표시한다. 플레이리스트 정보에 한정하지 않고, 플레인 오프셋으로 이용되어야 할 화소의 시프트 양 및 화소의 시프트 방향은 기록매체나 사용자 조작 등 재생장치의 외부로부터 공급되는 것이다. 플레인 오프셋의 기초가 되는 정보이며, 재생장치 외부로부터 공급되는 화소의 시프트 양 및 화소의 시프트 방향의 세트를 “이미지 플레인 시프트 정보”라고 한다.

시프트 양은 이미지 플레인 시프트 정보에 기재된 값을 그대로 이용해도 좋으나, 그 외의 연산 결과, 예를 들어 이미지 플레인 시프트 정보에 미리 단말 내에 설정된 값과 곱하거나 또는 조합한 값을 이용하는 것도 생각할 수 있다.

또, 표시장치의 해상도와 사이즈에 따라서는 이미지 플레인의 시프트 양이 지나치게 커져서, 눈이 따라갈 수 없어서 이미지가 2중으로 보이는 현상이 되는 경우가 있다. 그 경우에는 이미지 플레인 시프트 정보에 기재된 값을 기초로 표시장치의 해상도와 사이즈의 정보를 조합하여 시프트 양을 얻음으로써 자막·그래픽스가 지나치게 앞쪽에 표시되지 않도록 조정한다.

이하, 1plane+Offset 모드에 의해 어떤 영상내용이 재생되는가에 대하여 설명한다.

도 10은 플레인 시프트가 이루어진 이미지 플레인이 합성된 비디오 프레임을 나타내는 도면이다.

9L, 9R은 디코더에 의해 비디오 플레인에 저장되는 비디오 프레임의 일 예를 나타내는 것이다. 여성의 얼굴의 방향이나 위치의 차이로부터 왼쪽 눈 용의 스트림과 오른쪽 눈 용의 스트림은 다른 각도에서 촬영된 것임을 알 수 있다.

9S는 플레인 시프트가 이루어져 있지 않은 그래픽스 플레인의 내용을 나타내는 도면이며, 9LS는 "I love you"라고 하는 자막이 좌 방향으로 시프트된 때의 이미지 플레인의 스냅 샷(snapshot)이다. 9RS는 "I love you"라고 하는 자막이 우 방향으로 시프트된 때의 이미지 플레인의 스냅 샷이다.

9LL은 왼쪽 눈의 비디오 프레임과 좌 방향으로 시프트된 이미지를 합성한 합성 영상이고, 9RR은 오른쪽 눈의 비디오 프레임과 우 방향으로 시프트된 이미지를 합성한 합성 영상이며, 9LL의 왼쪽 눈 용 영상에서는 "I love you"의 자막이 왼쪽으로 시프트하여 합성되어 있음을 알 수 있다. 또, 9RR의 오른쪽 눈 용 영상에서는 "I love you"의 자막이 오른쪽으로 시프트하여 합성되어 있다. 액정안경을 쓰지 않고 텔레비전을 보면 이 9LL, 9RR의 영상이 중합되어서 보이게 된다. 이는 도 3과 같다.

도 11은 좌 방향의 플레인 시프트 후의 이미지 플레인과 우 방향의 플레인 시프트 후의 이미지 플레인을 액정안경(500)으로 시청함으로써 나타나는 입체 시 화상을 나타낸다.

오른쪽 눈 용과 왼쪽 눈 용의 영상은 예를 들어 도 1에 나타내는 액정안경(500)을 통해서 필터링 되어서 각 눈에 다른 영상으로 보인다. 여기서 주목해야 할 점은 비디오 스트림 영상이 좌우의 화상이 중합되어서 입체화되어 있는 것만이 아니라, "I love you"의 자막이 추종하여 횡 방향으로 시프트되어 있다. 즉, 깊이감이 추가되어 있는 것이다(본 실시형태의 경우에는 앞쪽에 표시시키고 있다). 이와 같이 해서 시청자에 대한 눈의 피로도를 감소시키는 입체 시 영상 및 자막 재생이 가능해진다.

도 9, 도 10은 비디오 스트림과 연동한 자막을 이용하여 설명하고 있으나, 버튼 등의 그래픽도 동일한 방법으로 처리하여 깊이를 갖게 할 수 있다.

도 12는 본 제 1 실시형태에 관한 재생장치(200)가 상기 영상데이터인 플레이리스트를 판독하여 입체 시 영상에 중첩한 입체 시 자막·입체 시 그래픽스를 표시할 때의 플로차트이다.

플레이리스트 재생요구는 콘텐츠로부터의 지시, 또는 사용자 오퍼레이션(예를 들어 재생 버튼)이 트리거가 된다. 이에 한정되는 것은 아니며, 디스크 삽입시나 메뉴 선택 시 등, 타이틀전환 요구가 트리거가 되는 경우도 있다.

플레이리스트의 재생이 개시되는 타이밍에 정적 시나리오 메모리(11)는 BD-ROM 디스크에 있는 복수의 플레이리스트, 복수의 스트림 중 현재 재생처리 대상으로 되어 있는 플레이리스트와 트랜스포트 스트림을 추출하여 현재 플레이리스트 정보로 설정한다(S1).

그 후, 스텝 S2, 스텝 S3의 판정스텝을 거치며, 이들 판정스텝에서의 판정결과가 긍정적이면 스텝 S4에서 재생 모드를 3D 모드로 전환하고, 정적 시나리오 메모리(11)의 현재 플레이리스트 정보로부터 자막/GUI가 표시하는 깊이를 나타내는 값(이후, 이미지 플레인 시프트 정보)을 추출하여 플레인 시프트 엔진 내부의 기억영역에 보존한다(S5).

스텝 S2는 현재 플레이리스트 정보에서의 차원식별 플래그가 3D 모드의 재생을 허가하는 취지를 나타내는가 여부의 판정이며, 스텝 S3은 재생장치에서의 재생 모드가 3D 모드인가 여부의 판정이다. 이 판정은 차원모드 기록부(29)에 보존되어 있는 플래그(2D or 3D)를 참조함으로써 판정한다. 차원모드 기록부에 보존되어 있는 값은 예를 들어 사용자 오퍼레이션이나 애플리케이션으로부터의 지시에 의해 전환이 미리 이루어져 있음을 상정하고 있다.

이와 같은 스텝의 어느 일방이 부정적이면 스텝 S12에서 재생 모드를 2D 재생 모드로 전환하여, 2D 모드에서의 플레이아이템 재생을 실행한다(스텝 S13).

스텝 S4, 스텝 S5가 실행된 후에는 스텝 S6~스텝 S13의 루프로 이행한다.

스텝 S6~스텝 S13의 루프는 스텝 S6에서 현재 플레이아이템 번호를 1로 초기화하고 나서 스텝 S7~스텝 S13의 처리를 스텝 S12가 Yes로 판정될 때까지 반복하는 것이다. 여기서, 루프의 종료조건은 플레이아이템이 플레이리스트에서의 최종 번호가 되는 것이며, 이 조건을 만족하지 않는 한 현재 플레이아이템 번호가 증가된다(스텝 S13).

루프에서 반복되는 처리는 현재 플레이아이템 정보의 스트림 파일정보에 의해 지정되어 있는 AV 스트림을 현재 스트림으로 설정하고(스텝 S7), 현재 플레이아이템 정보의 왼쪽 눈 용 비디오 스트림의 패킷 식별자 및 오른쪽 눈 용 비디오 스트림의 패킷 식별자를 디 멀티플렉서에 설정함으로써 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 분리시키며(스텝 S8), 현재 플레이아이템 정보의 재생타입이 무비인가 슬라이드 쇼인가의 판정을 실시하고(스텝 S9), 슬라이드 쇼이면 3D 모드에서의 비디오 프레임 처리에 의해 슬라이드 쇼 재생을 실행하며(스텝 S10), 무비이면 3D 모드에서의 비디오 프레임 처리에 의해 무비 재생을 실행하는(스텝 S11) 것이다.

도 13은 3D 모드에서의 비디오 프레임 처리를 나타내는 플로차트이다.

먼저, 디 멀티플렉서(4)는 디스크 상의 트랜스포트 스트림의 다중분리를 하고, 그래픽스 스트림을 이미지 메모리(7c,d)에 저장한다(S802). 다음에, 이미지 디코더(8)는 이미지 메모리(7c,d)에 저장된 그래픽스 스트림 등을 디코드하여 이미지 플레인(8)에 기입한다(S803). 다음에, 디 멀티플렉서(4)는 디스크 상의 트랜스포트 스트림의 다중분리를 하고, 좌우처리 기억부(19)의 플래그를 기초로 하여 거기에 대응하는 비디오 스트림을 추출하여 비디오 디코더(5)를 통해서 디코드 된 비디오를 비디오 플레인에 저장한다(S804). 제 1 실시형태에서는 좌우처리 기억부의 플래그는 디폴트에서는 왼쪽 눈 용의 처리가 설정되어 있는 것으로 한다. S802 ~ S804의 순번은 일 예를 나타내는 것이며, 이와 같은 순번은 어느 순번으로 실시해도 좋다.

이미지 플레인으로의 저장을 종료한 후에, 플레인 시프트 엔진은 스텝 S5에서 보존한 이미지 플레인 시프트 정보를 기초로, 좌우처리 기억부(19)의 플래그를 참조하여 이미지 플레인을 일정한 방향으로 시프트하며, 합성부(16)가 비디오 플레인(5) 상에 시프트된 그래픽 플레인(9)의 이미지를 합성시킨다(S805).

S805에서 플레인 시프트 엔진이 시프트하는 방향은 이미지 플레인을 앞쪽에 표시시키는가 안쪽에 표시시키는가 따라서 다르나, 제 1 실시형태에서는 왼쪽 눈 용 영상으로 우 방향으로 시프트하는, 즉 앞쪽에 표시시키는 것을 전제로 한다.

S805에서 합성부(16)에 의해 합성된 최종 영상을 왼쪽 눈 영상으로 표시장치(400)에 출력한다(S806). 본 출력이 완료하는 것과 동시에 본 재생장치는 좌우처리 기억부(19)의 플래그를 전환한다. 즉, 왼쪽 눈 처리로 설정되어 있는 경우에는 오른쪽 처리로, 오른쪽 눈 처리로 설정되어 있는 경우에는 왼쪽 처리로 전환한다.

다음에, 디 멀티플렉서(4)는 디스크 상의 트랜스포트 스트림의 다중분리를 하고, 좌우처리 기억부(19)의 플래그를 기초로 거기에 대응하는 비디오 스트림을 추출하여 비디오 디코더(5)를 통해서 디코드 된 비디오를 비디오 플레인에 저장한다(S807). 본 예에서, 이 스텝에서는 오른쪽 눈 처리로 되어 있으므로 오른쪽 눈 용 비디오 스트림이 추출된다.

이미지 디코더(8)는 이미지 메모리(7c,d)에 저장된 그래픽스 스트림 등을 디코드하여 이미지 플레인(8)에 기입한다(S808). 좌우처리 기억부(19)의 플래그를 참조하여 이미지 플레인을 일정한 방향으로 시프트하고, 합성부(16)가 비디오 플레인(5) 상에 시프트된 그래픽 플레인(9)의 이미지를 합성시킨다(S809). S805에서는 왼쪽 눈 용의 처리를 실행하고 있으므로 오른쪽으로 시프트를 하고 있으나, 이번에는 오른쪽 눈 용의 처리를 실행하고 있으므로 반대 방향, 즉 왼쪽 방향으로 시프트 시키게 된다. S809에서 합성부(16)에 의해 합성된 최종 영상은 오른쪽 눈 화상으로 표시장치(400)에 출력한다(S810).

본 출력이 완료한 것과 동시에 본 재생장치는 좌우처리 기억부(19)의 플래그를 전환한다. 즉, 왼쪽 눈 처리로 설정되어 있는 경우에는 오른쪽 처리로, 오른쪽 눈 처리로 설정되어 있는 경우에는 왼쪽 처리로 전환한다.

재생장치(200)는 S810이 완료한 시점에서 다음 프레임이 존재하는 한은 S802~S810의 처리를 반복해서 실행한다.

(2D 재생 모드)

2D 재생 모드는 2D 재생시의 고화질을 전제로 한 모드이므로, 재생 모드는 재생 대상의 스트림이 2D용인 경우에는 반드시 2D로 전환하는 편이 고객에게 항상 최고 화질의 것을 제공할 수 있게 된다. 재생 대상의 스트림이 3D 입체 시 용인 경우에는 현재의 재생 모드를 유지한다. 재생 모드가 전환되면 화상의 출력까지에 시간이 걸리게 되므로, 이와 같이 극력 재생 모드의 전환을 줄임으로써 AV 재생이 개시될 때까지의 시간을 단축할 수 있다.

도 14는 2D 재생 모드에서의 플레이리스트 재생의 처리순서를 나타낸다.

현재 플레이아이템 번호를 1로 설정하고(스텝 S21), 현재 플레이아이템 정보의 스트림 파일정보에서 지정되어 있는 AV 스트림을 현재 스트림으로 설정하며(스텝 S22), 그 후, 스텝 S23의 판정스텝의 결과에 의해서 스텝 S24-스텝 S25, 스텝 S26-스텝 S27의 처리를 선택적으로 실행하는 것이다. 스텝 S23는 현재 스트림이 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 포함하는가 여부의 판정이며, 포함하는 경우에는 왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림 중 단독으로 재생 가능한 베이스 뷰 비디오 스트림의 패킷 식별자를 디 멀티플렉서에 설정함으로써 비디오 스트림을 분리시키고(스텝 S24), 그 후, 베이스 뷰 비디오 스트림의 프레임 처리를 실행한다(스텝 S25).

포함하지 않는 경우에는 비디오 스트림의 패킷 식별자를 디 멀티플렉서에 설정함으로써 비디오 스트림을 분리시키고(스텝 S26), 비디오 스트림의 프레임 처리를 실행한다(스텝 S27).

도 15는 2D 모드에서의 2D 스트림의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다.

디 멀티플렉서(4)는 디스크 상의 트랜스포트 스트림의 다중분리를 실행하여 그래픽스 스트림을 이미지 메모리(7c,d)에 저장한다(S1103).

다음에, 이미지 디코더(8)는 이미지 메모리(7c,d)에 저장된 그래픽스 스트림 등을 디코드하여 이미지 플레인(8)에 기입한다(S1104).

다음에, 디 멀티플렉서(4)는 디스크 상의 트랜스포트 스트림의 다중분리를 실행하여 비디오 스트림을 추출하고, 비디오 디코더(5)를 통해서 디코드 된 비디오를 비디오 플레인에 저장한다(S1105).

다음에, 합성부(16)가 비디오 플레인(5) 상에 그래픽 플레인(9)의 이미지를 합성시킨다(S1106). S1106에서 합성부(16)에 의해 합성된 최종 영상을 표시장치(400)에 출력한다(S1107). S1107에서 표시장치(400)에 최종 영상을 출력한 후, 재생 모드의 전환이 발생한 후의 최초의 프레임 처리인가 여부를 판정한다(S1108). S1108에서 표시장치(400)에 최종 영상을 출력한다.

도 16은 2D 모드에서의 2D 스트림의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다. 이하, 도 16의 플로차트를 이용하여 2D영상 출력처리의 설명을 한다.

먼저, 디 멀티플렉서(4)는 디스크 상의 트랜스포트 스트림의 다중분리를 실행하여 그래픽스 스트림을 이미지 메모리(7c,d)에 저장한다(S1201).

다음에, 이미지 디코더(8)는 이미지 메모리(7c,d)에 저장된 그래픽스 스트림 등을 디코드하여 이미지 플레인(8)에 기입한다(S1202).

다음에, 디 멀티플렉서(4)는 디스크 상의 트랜스포트 스트림의 다중분리를 실행하여 왼쪽 눈 용 비디오 스트림을 추출하고, 비디오 디코더(5)를 통해서 디코드 된 비디오를 비디오 플레인에 저장한다(S1203).

다음에, 합성부(16)가 비디오 플레인(5) 상에 그래픽 플레인(9)의 이미지를 합성시킨다(S1204). S1204에서 합성부(16)에 의해 합성된 최종 영상을 표시장치(400)에 출력한다(S1205). 또, S1203에서 왼쪽 눈 용 비디오 스트림 추출을 하였으나, 오른쪽 눈 용 비디오 스트림을 추출하도록 하여 S1204에서 합성시켜도 좋다. 이와 같이 하여 재생장치(200)는 재생 대상의 트랜스포트 스트림이 3D(S2:3D)인 경우에도 단말 설정이 2D 모드(S3:2D)로 설정되어 있으면 2D용의 영상을 출력할 수 있게 된다.

이상과 같이 본 실시형태에 의하면 디지털 스트림이 2D에 대응하고 있는가 3D에 대응하고 있는가의 판단과 재생장치가 2D로 재생되도록 설정되어 있는가 3D로 재생되도록 설정되어 있는가의 판단을 양방에서 실시하여, 최종적으로 2D로 디지털 스트림을 재생할지 3D로 디지털 스트림을 재생할지를 결정함으로써 적절하게 입체 시 영상을 만들어 낼 수 있다.

(제 2 실시형태)

지금까지의 실시형태는 이미지 플레인과 비디오 플레인의 2개의 플레인 구성으로 되어 있었으나, 비디오 플레인과 2개 이상의 그래픽스 플레인이 된 경우에는 플레인의 수에 따라서 이미지 메모리와 이미지 플레인의 수를 증가시켜서, 각 이미지 플레인의 이미지 플레인 시프트 정보를 기초로 플레인을 시프트하여 중첩한다.

도 17은 멀티 이미지 플레인에 대응할 수 있는 플레이리스트 재생처리의 처리순서를 나타내는 플로차트이다. 재생장치(200)는 정적 시나리오 메모리(11)의 현재 플레이리스트 정보로부터 이미지 플레인 시프트 정보를 이미지 플레인의 수만큼 추출하고, 플레인 시프트 엔진(28) 상에 배열을 이용하여 보존한다(S1301). 다음에, 디 멀티플렉서(4)는 디스크 상의 트랜스포트 스트림의 다중분리를 실행하여 왼쪽 눈 용 비디오 스트림을 추출하고, 비디오 디코더(5)를 통해서 디코드 된 비디오를 비디오 플레인에 저장한다(S1302). 다음에, 디 멀티플렉서(4)는 디스크 상의 트랜스포트 스트림의 다중분리를 실행하여 그래픽스 스트림을 이미지 메모리(7c,d)에 저장한다(S1303). 다음에, 이미지 디코더(8)는 이미지 메모리(7c,d)에 저장된 그래픽스 스트림 등을 디코드하여 이미지 플레인(8)에 기입한다(S1304).

다음에, 플레인 시프트 엔진은 S1301에서 보존한 이미지 플레인 시프트 정보의 배열의 최상위의 값을 기초로 이미지 플레인을 일정한 방향으로 시프트하고, 합성부(16)가 비디오 플레인(5) 상에 시프트된 그래픽 플레인(9)의 이미지를 합성시킨다(S1305). 또, S1305가 2회째 이후인 경우에는 비디오 플레인 상에 시프트된 그래픽 플레인(9)의 이미지를 합성시키는 것이 아니라, 전회의 S1305에서 합성된 영상 위에 신규 이미지 플레인을 중첩시킨다. 또, S1305가 2회째 이후의 경우에는 이미지 시프트 정보의 배열에서 참조하는 이미지 시프트 정보도 아울러 2회째 이후의 것을 이용한다.

다음에, 재생장치(200)는 이미지 플레인 시프트 정보의 배열만큼의 두 눈의 처리를 실행하였는가 여부를 기초로 이미지 플레인은 모두 합성이 끝났는가의 판단을 실시한다(S1306). 이미지 플레인이 모두 합성이 끝난 상태가 아닌 경우(S1306:No)에는 다음의 이미지 플레인을 처리하기 위해서 다음의 이미지 플레인 시프트 정보를 이용하여 S1303~S1305의 처리를 반복한다. 이미지 플레인이 모두 합성이 끝난 경우(S1306:Yes)에는 S1305에서 합성부(16)에 의해 합성된 최종 영상을 왼쪽 눈 화상으로 표시장치(400)에 출력한다(S1307). S1307에서 왼쪽 눈 영상을 출력한 다음에는 오른쪽 눈 용 영상에서 왼쪽 눈 용 영상과 동등한 처리를 실시한다(S1302~S1307). 단, 오른쪽 눈 용 처리에서는 S1305에서는 우 방향으로 시프트한 이미지 플레인은 모두 좌 방향으로 시프트되게 된다. 또, S1307에서는 왼쪽 눈 용 영상으로서 표시장치에 출력하고 있던 것이 오른쪽 눈 용 처리에서 합성된 영상은 오른쪽 눈 용 영상으로 출력된다. 왼쪽 눈 용 영상과 오른쪽 눈 용 영상이 완료한 시점에서 다음 프레임의 처리가 이루어진다.

(제 3 실시형태)

본 실시형태에서 상정하고 있는 BD-J 애플리케이션은 Xlet 인터페이스를 통해서 플랫폼 내의 애플리케이션 매니저에 의해 제어되는 Java(TM) Xlet이다. Xlet 인터페이스는 “loaded”, “paused”, “active”, “destoryed”라고 하는 4개의 상태를 가지며, 이벤트 드리븐(event driven), 즉, 이벤트에 의해 상태천이를 실시하는 동시에 제어를 실행한다. xlet 인터페이스에서는 애플리케이션의 동작의 트리거가 되는 키 이벤트가 미리 등록된다. 이와 같이, 동작의 트리거가 되는 키 이벤트의 등록은 EventListner에 의해 이루어진다.

BD-J 애플리케이션은 이벤트 드리븐이므로 무비 오브젝트와 비교하면 BD-J 애플리케이션에 의한 동작에는 이하와 같은 차이가 있다. HDMV 모드에서의 커멘드의 실행 주체인 커멘드 인터프리터는 예를 들어 10분 길이의 디지털 스트림의 재생 명령이 있은 때에, 10분 동안은 어떤 응답도 돌려주지 않으며, 10분이라는 시간이 경과하고 나서 비로소 응답을 돌려준다. 그러나 BD-J 애플리케이션은 이벤트 드리븐이므로 Java 가상 머신은 재생 커멘드의 해독과 하위층에 대한 지시를 한 직후에 BD-J 애플리케이션에 대해서 응답을 돌려준다. 이와 같이 실행주체에 의한 움직임이 동작 모드마다 다르므로 BD-J모드에서의 BD-J 애플리케이션의 동작시에는 제어의 요소에 통지해야 할 이벤트를 미리 정해 두고, 이 키 이벤트를 수신하기 위한 이벤트 리스너를 클래스 파일의 Xlet 인터페이스에 미리 등록해 두어서, 가상 머신의 적절한 동작을 촉진시킬 필요가 있다. 예를 들어, 재생장치의 재생 모드가 2D에서 3D, 3D에서 2D로 전환된 경우, 이 전환을 나타내는 이벤트를 출력하는 동시에 이 수신하는 이벤트 리스너를 BD-J 애플리케이션의 Xlet 인터페이스에 등록해 두면, 상기 재생 모드의 변화에 따른 BD-J 애플리케이션의 처리의 전환을 실현할 수 있다.

본 실시형태에서는 재생 모드가 전환된 경우에는 상기 재생장치의 모드가 전환되었음을 표시장치에 통지하고, 상기 표시장치로부터 전환 후의 모드에 따른 출력을 할 수 있다는 취지의 통지를 수신한 경우에는 상기 애플리케이션에 대해서 상기 전환 후의 모드에 따른 출력을 할 수 있다는 취지의 이벤트를 출력하여, 그에 수반하는 동작을 BD-J 애플리케이션에 촉구한다.

도 18은 재생 모드 전환 완료통지 이벤트의 출력순서를 포함한 3D 모드에서의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다. 본 도면은 도 13을 기초로 도시되어 있으며, 이 기초가 되는 도 13과 비교하여 스텝 S810와 스텝 S811 사이에 본 도면에서는 스텝 S1108, 스텝 S1109가 추가되어 있다는 점이 다르다.

재생 모드 전환이 발생한 후의 최초의 프레임인가 여부의 판정을 실시한다(S1108). 최초의 프레임인 경우 애플리케이션에 대해서 단말의 재생 모드 전환 종료통지를 실시한다(S1109). 이와 같이 하여 재생장치(200)는 재생 대상의 트랜스포트 스트림이 2D이고, 또한 단말 설정이 2D 모드인 경우에는 2D영상의 출력 처리를 함으로써 2D·3D 모드의 전환이 가능해진다.

도 19는 재생 모드 전환 완료통지 이벤트의 출력순서를 포함한 2D 모드에서의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다. 본 도면은 도 15를 기초로 도시되어 있으며, 이 기초가 되는 도 15와 비교하여 스텝 S1107와 스텝 S1110의 사이에 스텝 S1108, 스텝 S1109가 추가되어 있다는 점이 다르다. 재생 모드 전환이 발생한 후의 최초의 프레임인가 여부의 판정을 실시한다(S1108). 최초의 프레임인 경우에는 애플리케이션에 대하여 단말의 재생 모드 전환 종료 통지를 실시한다(S1109). 이와 같이 해서 재생장치(200)는 재생 대상의 트랜스포트 스트림이 2D이고, 또한 단말 설정이 2D 모드인 경우에는 2D영상의 출력 처리를 함으로써 2D·3D 모드의 전환을 가능하게 한다.

이상과 같이 본 실시형태에 의하면 이벤트 드리븐의 xlet 인터페이스를 구비한 BD-J 애플리케이션에 대해서 3D 모드를 위한 적절한 묘사를 촉구하는 것과 같은 이벤트를 출력하므로, 영상 내용이 2D에서 3D, 3D에서 2D로 전환된 경우에 BD-J 애플리케이션에 의한 그래픽스 묘사도 2D에서 3D, 3D에서 2D로 전환시킬 수 있다.

(제 4 실시형태)

지금까지의 실시형태는 통상재생시에 입체 시 재생을 어떻게 실현하는가에 대하여 설명하였으나, 본 실시형태에서는 특수재생이 사용자로부터 요구된 때에 입체 시 재생을 어떻게 실행하는가에 대하여 설명한다.

도 20은 통상재생에 더하여, 특수재생을 고려한 3D 모드에서의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다. 본 도면은 도 13을 기초로 도시되어 있으며, 이 기초가 되는 도 13과 비교하여 스텝 S1401~스텝 S1404가 추가되어 있다는 점이 다르다.

스텝 S1401는 현재 재생중의 영상이 특수재생인가 통상재생인가를 판정한다. 통상재생이면 영상, 자막 모두 3D 표시하는 경우의 일 예를 나타내고 있다.

S1401에서 특수재생의 경우, 디 멀티플렉서(4)는 디스크 상의 트랜스포트 스트림의 다중분리를 실행하여 좌우처리 기억부(19)의 플래그를 기초로 그에 대응한 비디오 스트림을 추출하고, 비디오 디코더(5)를 통해서 디코드 된 비디오를 비디오 플레인에 저장한다(S1402). 제 1 실시형태에서는 좌우처리 기억부의 플래그는 디폴트에서는 왼쪽 눈 용의 처리가 설정되어 있는 것으로 한다. 합성부(16)에 의해 합성된 최종 영상은 왼쪽 눈 영상으로 표시장치(400)에 출력한다(S1403). 본 출력이 완료한 동시에 본 재생장치는 좌우처리 기억부(19)의 플래그를 전환한다. 즉, 왼쪽 눈 처리로 설정되어 있는 경우에는 오른쪽 처리로, 오른쪽 눈 처리로 설정되어 있는 경우에는 왼쪽 처리로 전환한다.

다음에, 합성부(16)에 의해 합성된 최종 영상을 오른쪽 눈 화상으로 표시장치(400)에 출력한다(S1404). 이 출력이 완료한 동시에 본 재생장치는 좌우처리 기억부(19)의 플래그를 전환한다. 즉, 왼쪽 눈 처리로 설정되어 있는 경우에는 오른쪽 처리로, 오른쪽 눈 처리로 설정되어 있는 경우에는 왼쪽 처리로 전환한다. 재생장치(200)는 S1404가 완료한 시점에서 다음 프레임이 존재하는 한은 S1401~S1404의 처리를 반복해서 실행한다.

S1401에서 통상재생인 경우에는 자막/GUI, 영상의 3D표시를 계속하고, 도 8의 처리 플로로서 앞에서 설명한 S802~S810을 실시한다.

여기서 일시 정지인 경우에도 3D표시를 계속하기가 곤란한 경우에는 특수재생의 경우와 마찬가지로 1개의 비디오 프레임을 반복해서 출력하는 것을 생각할 수 있다.

만약, 특수재생이면 영상을 2D표시로 전환하고 자막을 뮤트한다. 비디오가 빨리 감기, 되감기 등의 특수재생이 이루어지고, 오른쪽 눈 용 또는 왼쪽 눈 용 비디오의 어느 하나로밖에 디코드할 수 없는 경우에도 두 눈 용 비디오를 출력할 수 있으므로, 영상의 플리커링(flickering)을 방지할 수 있을 뿐만 아니라, 무리하게 자막을 표시함으로써 영상과 자막이 정합하지 않는 것과 같은 부자연스러운 재생을 방지할 수 있다.

(3D 계속방법)

정지, 일시 정지, 또는 슬라이드 재생된 경우에 3D표시를 계속하는 처리로는 「반복표시에 의한 3D 계속」, 「다음 프레임 설정」, 「능력에 의한 예외」가 있다.

1. 반복표시에 의한 3D 계속

예를 들어 영상이 3D표시로 재생되고, 리모컨(300)에 의한 사용자 조작이나 콘텐츠(Java(등록상표) 애플리케이션, MovieObject)에 의해서 도중에 정지, 일시 정지, 또는 슬라이드 재생된 경우, 영상이 정지한 위치의 왼쪽 눈 용 비디오 프레임과 오른쪽 눈 용 비디오 프레임 및 자막데이터를 반복해서 계속 표시함으로써 3D표시를 계속한다.

즉, 도 14에서 다음 프레임 처리를 실행할 때의 다음 프레임을 항상 영상이 정지한 위치의 왼쪽 눈 용 비디오 스트림의 비디오 프레임의 위치에 설정함으로써 3D표시를 계속한다. 또, 비디오만 3D표시를 계속하고 자막을 뮤트하는 것을 생각할 수 있다. 마찬가지로, 메모리 등의 리소스 제약에 의해 3D표시를 계속할 수 없는 경우에는 비디오 및 자막을 뮤트 하는 것도 생각할 수 있다.

이와 같이 하여 가능한 한 3D표시를 계속함으로써 부자연스러운 입체감의 차이의 발생을 가능한 한 억제할 수 있게 되어서 시청자에 대한 불쾌감을 경감할 수 있다.

2. 다음 프레임 설정

다음 프레임 처리를 실행할 때의 다음 프레임을 항상 영상이 정지한 위치의 왼쪽 눈 용 비디오 스트림의 비디오 프레임의 위치에 설정함으로써 3D표시를 계속할 수 있다.

또, 메모리 등의 리소스 제약에 의해 3D표시를 계속할 수 없는 경우에는 비디오 및 자막을 뮤트하는 것을 생각할 수 있다. 이와 같이 해서 가능한 한 3D표시를 계속함으로써 부자연스러운 입체감의 차이의 발생을 가능한 한 억제할 수 있게 되어 시청자에 대한 불쾌감을 경감할 수 있다.

3. 능력에 의한 예외

물론, 재생장치(200)가 고성능인 경우에는 비디오가 빨리 감기, 되감기 등 특수재생이 이루어진 경우에도 S802~S810의 처리를 실행함으로써 3D표시를 계속해도 좋다.

(제 5 실시형태)

여기까지는 사용자 조작이나 BD-J 애플리케이션, 무비 오브젝트로부터의 지시에 의한 특수재생을 실행한 때의 거동에 관해서 설명하였다. 다만, 원래 영상이 흐트러지거나 영상과 자막의 정합이 취해지지 않거나 하는 것은 특수재생을 강행하려고 하고 있는 것에 기인하고 있다. 그래서, 여기서부터는 자막/GUI, 영상의 3D재생을 계속하기 위해서 특수재생을 금지하기 위한 개량에 대해서 설명한다.

도 21은 사용자 조작, BD-J 애플리케이션, 무비 오브젝트로부터의 지시에 의한 특수재생을 금지하는 경우의 플로차트의 일 예를 나타내고 있다.

재생장치(200)가 자막/GUI, 영상을 재생하고 있는 상태에서 리모컨(300)으로부터의 사용자 조작, BD-J 애플리케이션, 무비 오브젝트로부터의 지시에 의해 빨리 감기, 되감기 등, 재생속도가 1배속 이외의 특수재생이 요구된 것으로 한다(S1501). 재생제어엔진(18)는 정적 시나리오 메모리(11)에 있는 현재 플레이리스트(PL) 정보로부터 차원식별 플래그(40111)를 취득하여 영상이 2D인가 3D인가를 판정한다(S1502). S1502에서 영상이 3D라고 판정된 경우에는 S1501에서의 특수재생 요구를 각하하고, 영상의 통상재생을 계속한다(S1503). S1502에서 영상이 2D라고 판정된 경우에는 S1501에서의 특수재생 요구를 수리하고, 영상 재생을 특수재생으로 변경한다(S1504).

이와 같이 해서, 3D표시가 곤란해지는 특수재생을 미리 방지함으로써 3D표시가 가능해진다.

(제 6 실시형태)

본 실시형태에서는 Depth 연산방식을 적용한 개량을 설명한다.

도 22는 Depth 연산방식을 적용한 재생장치의 내부 구성을 나타내는 블록도이다. 도 16에 나타내는 것과 같이, 실시형태 1에 나타내는 내부 구성에서 Depth 연산 엔진(34)이 추가되어 있음을 알 수 있다.

Depth 연산 엔진(34)는 왼쪽 눈 용의 자막/GUI, 비디오 프레임으로부터 깊이를 계산할 수 있는 기능을 갖는다. 깊이의 계산방법으로는 2D 비디오 스트림과 그 2D 비디오 스트림의 프레임별 각 화면 픽셀의 깊이를 입력으로 하고, 그것을 기초로 재생기기가 왼쪽 눈 용 3D 비디오 스트림과 오른쪽 눈 용 3DAV 스트림을 생성한다. 이 방식은 미국특허 제 5929859호 명세서에 기재되어 있다. 미국특허 제 5929859호 명세서에 기술되어 있는 방식의 Depth 연산방식의 경우도 도 15에 나타내는 방법을 조금 바꿈으로써 3D 비디오 스트림 상에 입체자막·그래픽스를 중합시키는 것이 가능해진다.

도 23은 Depth 연산방식을 이용한 경우의 3D 모드에서의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다. 본 도면은 도 20을 기초로 도시되어 있고,이 기초가 되는 도 20과 비교하여 스텝 S1401와 스텝 S802 사이에 스텝 S1701~스텝 S1703이 추가되어 있다는 점이 다르다.

이 추가된 일련의 스텝에서 Depth 연산 엔진(34)는 화면의 각 픽셀의 깊이정보를 나타내는 화면 전체 깊이정보를 추출한다(S1701). 다음에, Depth 연산 엔진(34)는 S1701에서 추출한 화면 전체 깊이정보로부터 가장 앞쪽이라고 판정된 픽셀에 대응하는 깊이정보를 추출한다(S1702). Depth 연산 엔진(34)는 S1702에서 추출한 값을 플레인 시프트 엔진(28)의 기억영역에 보존한다(S1703).

스텝 S1703에서는 비디오의 최대 앞쪽 포인트보다 조금 앞쪽에 자막·그래픽을 표시시키기 위해서 S1703에서 추출한 값에 더하여, 조금 더 앞쪽에 오는 값을 플레인 시프트 엔진(28)의 기억영역에 보존해 두는 것이 바람직하다.

다음에, 재생장치(200)는 S802~S810, S1401~S1404의 처리를 실행한다. S802~S810, S1401~S1404의 상세한 처리의 설명에 대해서는 실시형태 1의 도 8, 도 14의 설명에서 하였으므로 여기에서는 하지 않기로 한다. 스텝 S810, S1404의 처리가 종료한 후에는 다음 프레임 처리로 S1701 이후의 처리를 반복한다.

이 예의 경우에는 도 13에서의 S804와 S807의 비디오는 디 멀티플렉서(4)가 디스크 상의 트랜스포트 스트림의 다중분리를 실행하여 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림을 취득한 것이 아니라, 입력된 2D 비디오 스트림을 3D로 보이기 위한 가공을 한 왼쪽 눈 용 비디오 프레임과 오른쪽 눈 용 비디오 프레임이 도 13의 스텝 S804, 스텝 S807의 대상이 된다.

이상과 같이 본 실시형태에 의하면, 2D 비디오 스트림과 화면의 각 픽셀의 깊이정보를 입력으로 하는 Depth 연산방식에서도 비디오가 빨리 감기, 되감기 등의 특수재생이 이루어지고, 왼쪽 눈 용 비디오의 디코드에서 오른쪽 눈 용 비디오 프레임의 생성을 할 수 없는 경우에도 두 눈 용 비디오를 출력할 수 있으므로, 영상의 플리커링을 방지할 수 있을 뿐만 아니라, 무리하게 자막을 표시함으로써 영상과 자막이 정합하지 않는 것 같은 부자연스러운 재생을 방지할 수 있다.

또, 제 1 실시형태, 제 6 실시형태를 조합시킨 재생도 가능하다. 즉, 실시형태 2의 방법을 사용하면 특수재생시에도 3D출력의 계속이 가능해지는 경우, 특수재생 중에는 실시형태 2의 방법으로 전환하고, 통상재생 중에는 실시형태 1의 방법으로 콘텐츠를 재생할 수도 있다.

(제 7 실시형태)

지금까지의 실시형태는 표시장치(400)와 재생장치 사이의 전송에 대해서 특별히 언급하지 않았지만, 본 실시형태에서는 이 전송에 대해 언급하는 것으로 한다.

이하, HDMI를 개재한 재생장치와 표시장치 사이의 데이터 전송에 대해서 설명한다.

HDMI 송수신부(17)는 레이어 합성이 이루어진 픽처 데이터에서의 1라인 분의비 압축·평문 형식의 화소 데이터를 표시장치에서의 수평동기기간에 따라서 표시장치에 높은 전송 레이트로 전송한다. 한편, 표시장치에서의 수평 귀선기간 및 수직 귀선기간에서 재생장치와 접속된 다른 장치(표시장치뿐만 아니라 앰프, 스피커를 포함한다)에 비 압축·평문 형식의 오디오 데이터를 전송한다. 이렇게 함으로써 HDMI를 통해서 접속된 표시장치, 앰프, 스피커와 같은 기기는 비 압축·평문 형식의 픽처 데이터, 비 압축·평문 형식의 오디오 데이터를 수신할 수 있고, 재생출력을 실현할 수 있다. HDMI는 비 압축·평문 형식의 픽처 데이터, 오디오 데이터의 전송을 실행하는 것이므로, HDMI를 개재한 기기의 접속시에는 그 접속 상대가 정당한 기기인가 여부의 엄격한 판정이 이루어진다. 그래서 HDMI의 접속시에 접속되는 재생장치 및 표시장치 간에 상호인증이 이루어진다. 이 상호인증은 기본적으로 주파수를 변화한 때에도 실행되므로 상기 모드 변경시에는 재생장치-표시장치 간의 상호인증이 이루어지게 된다.

이하, 재생장치(200)와 표시장치(400) 사이에서 상호인증이 어떻게 이루어지는가에 대해서 설명한다.

도 24는 재생장치(200)와 표시장치(400)의 통신 시퀀스를 나타낸다. 본 도면에서의 시간 축은 종축이며, HDMI에는 전송 페이즈(phase), 상호인증 페이즈, 전송 페이즈와 같은 3개의 페이즈가 존재한다.

전송 페이즈에서 상호인증 페이스로의 전환은 2D→3D 전환요구(또는 3D→2D 전환 요구)가 트리거로 되어 있으며, 상호인증 페이즈에서 전송 페이즈로의 전환은 인증종료가 트리거로 되어 있다. 즉, L화상의 디코드가 재생장치 측에서 이루어지고, L화상의 표시출력이 표시장치(400)에서 이루어지고 있을 때에 전환 요구가 이루어지면 상호인증이 개시된다. 이 동안 표시장치(400)는 블랙 아웃의 상태가 된다. 인증 종료 페이즈에서는 이벤트가 BD-J 애플리케이션으로부터 출력된다. 그리고 L화상, R화상의 디코드가 재생장치 측에서 이루어지고, L화상, R화상의 표시 출력이 표시장치(400)에서 이루어진다.

이상의 상호인증은 HDMI 인터페이스가 모드 전환을 실현하려고 할 때 이루어진다. 이하, HDMI 인터페이스에 의한 모드 전환에 대해서 설명한다.

도 25는 HDMI 인터페이스에서의 모드 전환의 처리순서를 나타내는 플로차트이다.

HDMI를 통해서 새로운 모드를 표시장치(400)에 출력하고(스텝 S31), 표시장치(400)와의 사이에서 재 동기처리 및 재 인증처리를 실행한다(스텝 S32). 그리고 인증 완료를 기다려서(스텝 S33), 인증이 완료하면 이벤트를 BD-J 애플리케이션에 출력한다(스텝 S34).

상호인증의 발생에 의해 표시장치(400)의 표시내용이 블랙 아웃 하므로, 표시장치(400)에서의 모드 전환이 발생하지 않도록 하는 배려가 필요하게 된다.

이 모드 전환은 주파수가 변화하는 것에 기인하고 있으므로, 본 실시형태에서는 표시장치(400)에서의 주파수 전환을 초래하지 않는 2개의 모드를 도입한다.

지금까지 설명한 왼쪽 눈 용 비디오 스트림, 오른쪽 눈 용 비디오 스트림 중 단독 재생이 가능한 것을 베이스 뷰 비디오 스트림이라고 한다. 한편, 이 베이스 뷰 비디오 스트림을 구성하는 개개의 비디오 프레임과의 상관성에 의거하여 압축 부호화되어 있는 비디오 프레임으로 이루어지는 비디오 스트림을 디펜던트 뷰 스트림이라고 한다.

그리고 베이스 뷰 비디오 스트림의 비디오 프레임과 디펜던트 뷰 스트림의 비디오 프레임을 1/48초의 표시 주기로 “B”-“D”-“B”-“D”와 같이 교호로 출력하는 모드를 “B-D 프레젠테이션 모드”라고 한다.

베이스 뷰 비디오 스트림의 비디오 프레임과 디펜던트 뷰 스트림의 비디오 프레임을 교호로 출력하는 것이 아니라, 재생 모드를 3D 모드로 유지한 채로 동일한 비디오 프레임을 2회 이상 반복해서 좌우의 비디오 플레인(예를 들어, 도 8, 도 22에 나타낸 비디오 플레인(6)에서 부호 (L), (R)을 부여한 각각의 영역)에 출력하고, 비디오 플레인에 기입한 비디오 프레임을 재생에 이용한다고 하는 처리를 하는 재생타입을 B-B 프레젠테이션 모드라고 한다. B-B 프레젠테이션 모드에서는 단독재생 가능한 베이스 뷰 비디오 스트림의 비디오 프레임만이 "B"-"B"-"B"-"B"와 같이 반복해서 출력된다.

도 26은 B-D 프레젠테이션 모드, B-B 프레젠테이션 모드, B-D 프레젠테이션 모드와 같이 재생 모드가 천이하는 경우에 출력되는 픽처나 표시 주파수, HDMI가 어떻게 변화하는가를 나타낸다. 제 1 단째는 표시장치(400)에 출력되는 픽처를 나타내고, 제 2 단째는 표시 주파수를 나타낸다. 이 주파수는 왼쪽 눈 용, 오른쪽 눈 용 비디오 프레임을 필름 소재의 주파수로 표시한다고 하는 것이며, 48프레임/초(2×24프레임/초)라는 값이 된다. 제 3 단째는 HDMI 상태를 나타낸다.

B-D 프레젠테이션 모드에서 B-B 프레젠테이션 모드로의 천이는 특수재생 개시가 지시된 시점에서 이루어지고, B-B 프레젠테이션 모드에서 B-D 프레젠테이션 모드로의 천이는 특수재생이 종료한 때에 이루어진다. 이와 같이 B-B 프레젠테이션 모드, B-D 프레젠테이션 모드 간의 천이가 발생하였다고 하더라도 제 2 단째에 나타내는 것과 같이 표시 주파수는 48Hz를 유지하고, 제 3 단째에 나타내는 것과 같이 HDMI에서의 재인증은 발생하지 않음을 알 수 있다.

도 27은 통상재생으로부터 빨리 감기로의 전환, 빨리 감기에서 통상재생으로의 전환에 의해 재생장치에서의 디코드 내용 및 표시장치(400)의 표시내용이 어떻게 변화하는가를 나타낸다. 본 도면에서의 시간 축은 종 방향이고, 통상재생 페이즈, 특수재생 페이즈, 통상재생 페이즈라고 하는 3개의 페이즈로 구성되어 있다.

통상재생 페이즈에서는 재생장치가 B-D 프레젠테이션 모드로 되어 있고, L화상, R화상의 디코드 및 출력이 이루어진다. 표시장치(400)에서는 L화상, R화상의 교호 출력이 이루어진다.

특수재생 페이즈에서는 재생장치가 B-B 프레젠테이션 모드로 되어 있다. 여기서, 왼쪽 눈 용 비디오 스트림이 베이스 뷰 비디오 스트림이라면 L화상, L화상의 디코드 및 출력이 이루어진다. 표시장치(400)에서는 L화상, L화상의 교호 출력이 이루어진다.

이들 3개의 재생 모드의 전환이 있었다고 하더라도 HDMI상에서는 재인증이 발생하지 않는다.

(제 8 실시형태)

지금까지의 실시형태에서 설명한 특수재생은 구체적인 처리 내용에 초점을 맞추지 않고 설명을 했으나, 본 실시형태에서는 배속재생의 실현에 초점을 맞춰서 설명을 한다.

먼저, MVC 비디오 스트림의 기초가 되는 MPEG4-AVC 형식의 비디오 스트림에 대하여 설명한다. MPEG4-AVC 형식의 비디오 스트림은 I픽처, B픽처, P픽처로 구성된다. 이는 MPEG2 형식의 비디오 스트림과 동일하다.

I픽처에는 IDR 픽처와 Non-IDR I픽처의 2 종류가 있다. Non-IDR I픽처, P픽처, B픽처는 다른 픽처와의 프레임 상관성에 의거하여 압축 부호화되어 있다. B픽처란 Bidirectionally predictive(B) 형식의 슬라이스 데이터로 이루어지는 픽처를 말하고, P픽처란 Predictive(P) 형식의 슬라이스 데이터로 이루어지는 픽처를 말한다. B픽처에는 refrenceB 픽처와 nonrefrenceB 픽처가 있다. IDR 픽처와 이 IDR 픽처에 이어지는 B픽처, P픽처는 1개의 Closed-GOP를 구성한다. 한편, Non-IDR I픽처와 Non-IDR I픽처에 이어지는 B픽처, P픽처는 1개의 Open-GOP를 구성한다.

부호화 순서에서 Closed-GOP는 IDR 픽처가 선두에 배치된다. 표시 순서에서 IDR 픽처는 선두가 되지 않지만, IDR 픽처 이외의 다른 픽처(B픽처, P픽처)는 Closed-GOP보다 앞의 GOP에 존재하는 픽처와 의존관계를 가질 수는 없다. 이와 같이 Closed-GOP는 의존관계를 완결시키는 역할을 갖는다.

부호화 순서와 표시 순서의 차이는 IDR 픽처, Non-IDR I픽처, P픽처의 순서가 교체되어 있는 점이다. 표시 순서에서는 Non-IDR I픽처의 앞에 B픽처가 존재한다. Non-IDR I픽처 앞의 B픽처는 앞의 GOP와 의존관계를 갖게 된다. 한편, Non-IDR I픽처보다 뒤의 픽처는 앞의 GOP와 의존관계를 가질 수 없다. 이와 같이, Open-GOP는 앞의 픽처와의 사이에 의존관계를 가질 수 있다.

이들 I픽처, P픽처, B픽처와 액세스 유닛의 관계는 1 액세스 유닛 = 1 픽처이다. 오디오 스트림도 복수의 오디오 프레임으로 구성되지만, 이것들 오디오 프레임과 액세스 유닛의 관계도 1 오디오 프레임 = 1 액세스 유닛이다. 또, BD-ROM에서는 1 PES 패킷 = 1 프레임으로 제한되어 있다. 즉, 동화상이 프레임 구조이면 1 PES 패킷 = 1 픽처이고, 필드 구조인 경우, 1 PES 패킷=2픽처가 된다. 이것으로부터 PES 패킷은 픽처나 오디오 프레임을 1 대 1의 비율로 저장하고 있다.

이상이 MPEG4-AVC에서의 GOP 구조이다. 이와 같은 GOP 구조에서 GOP 내에 존재하는 I픽처, B픽처, P픽처 중 어느 것을 선택해서 재생할지, 비디오 스트림을 구성하는 복수의 Closed-GOP, Open-GOP 중 어느 것을 선택해서 재생할지의 간헐적인 재생에 의해, 배속재생시의 재생속도를 조정하는 것이 가능하게 된다. 이에 더하여, 3D 모드에서는 배속재생 실행시에 베이스 뷰 비디오 스트림 및 디펜던트 뷰 스트림 중 베이스 뷰 비디오 스트림을 구성하는 픽처 데이터만을 BD-ROM에서 판독하고, B-B 프레젠테이션 모드에서 재생함으로써 액세스 부하의 경감을 도모한다.

도 28은 GOP 내에 존재하는 I픽처, B픽처, P픽처 중 어느 것을 선택해서 재생할지, 비디오 스트림을 구성하는 복수의 Closed-GOP, Open-GOP 중 어느 것을 선택해 재생할지에 의해 속도 조정을 실현하는 배속재생의 실현 예를 나타낸다.

도 28 (a)는 베이스 뷰 비디오 스트림의 복수의 GOP 및 디펜던트 뷰 스트림의 복수의 GOP에 포함되는 픽처 데이터를 순차 재생해 간다고 하는 통상재생을 나타내는 도면이다. 도 28 (b)는 베이스 뷰 비디오 스트림 내에 존재하는 GOP에 존재하는 B픽처를 스킵하고, I픽처, P픽처만을 순차 판독한다고 하는 IP 판독을 나타내는 도면이다. 이 도면 (b)에서는 3D 모드이면서, 디펜던트 뷰 스트림에 대해서는 액세스되어 있지 않음을 알 수 있다.

도 28 (c)는 GOP에 존재하는 B픽처, P픽처를 스킵하고, I픽처를 순차 판독한다고 하는 I 판독을 나타내는 도면이다. 이 도면 (c)에서도 3D 모드이면서 디펜던트 뷰 스트림에 대해서는 액세스 되고 있지 않음을 알 수 있다.

도 28 (d)는 복수의 GOP를 스킵한다고 하는 스킵 판독을 나타내는 도면이다. 본 도면에서는 복수의 GOP에 포함되는 I픽처 중 GOP의 I픽처가 재생되고, 그 후, 화살표로 나타내는 것과 같은 판독 위치의 스킵이 이루어져서 몇 개 뒤의 GOP의 I픽처가 재생되게 된다. 이 도면 (d)에서는 3D 모드이면서 디펜던트 뷰 스트림에 대해서는 액세스되고 있지 않음을 알 수 있다.

도 28 (b)과 같은 IP판독이 이루어지면 재생장치에 의해 대개 2 배속의 재생이 이루어지고, 도 28 (c)과 같은 I재생이 이루어지면 재생장치에 의해 10 배속의 재생이 이루어지게 된다. 또, 도 28 (d)과 같은 재생이 이루어지면 30 배속 이상의 재생이 이루어지게 된다. 3D 모드에서의 액세스 부하 경감을 위해서 본 도면 (b)~(d)에서는 베이스 뷰 비디오 스트림인 왼쪽 눈 용 비디오 스트림의 GOP만이 액세스에 제공되고 있으며, 이 왼쪽 눈 용 비디오 스트림에서의 I픽처만이 B-B 프레젠테이션 모드로 재생된다.

이상과 같이, 리모컨으로부터 접수한 속도에 따라서 스킵해야 할 픽처 데이터의 수를 조정함으로써 동화상 구간에서의 재생속도를 증감시킨다. 이상이 배속재생에 대한 설명이다. 이어서, 비디오 디코더의 상세에 대하여 설명한다.

도 29는 디 멀티플렉서 및 비디오 디코더의 내부 구성을 나타낸다. 본 도면에 나타내는 것과 같이, 디 멀티플렉서(4)는 ATC 카운터(41), 소스 디 패킷다이저(42), PID 필터(43), STC 카운터(44), ATC 카운터(45), 소스 디 패킷다이저(46), PID 필터(47)로 구성된다.

ATC 카운터(41)는 Arrival Time Clock(ATC)를 생성하고, 재생장치 내의 동작 타이밍을 조정한다.

소스 디 패킷다이저(42)는 리드 버퍼(2a)에 소스 패킷이 축적된 경우, ATC 카운터가 생성하는 ATC의 값과 소스 패킷의 ATS 값이 동일하게 된 순간에, AV클립의 기록 레이트에 따라서 그 TS패킷만을 PID 필터에 전송한다. 이 전송시에 각 소스 패킷의 ATS에 따라서 디코더로의 입력 시각을 조정한다.

PID 필터(43)는 소스 디 패킷다이저(22)로부터 출력된 TS패킷 중, TS패킷의 PID가 재생에 필요한 PID와 일치하는 것을 PID에 따라서 각 디코더에 전송한다.

STC 카운터(44)는 System Time Clock(STC)를 생성하고 각 디코더의 동작 타이밍을 조정한다.

ATC 카운터(45)는 Arrival Time Clock(ATC)를 생성하고 재생장치 내의 동작 타이밍을 조정한다.

소스 디 패킷다이저(46)는 리드 버퍼(2ab)에 소스 패킷이 축적된 경우, ATC 카운터가 생성하는 ATC의 값과 소스 패킷의 ATS 값이 동일하게 된 순간에, AV클립의 시스템 레이트에 따라서 그 TS패킷만을 PID 필터에 전송한다. 이 전송시에 각 소스 패킷의 ATS에 따라서 디코더로의 입력 시각을 조정한다.

PID 필터(47)는 소스 디 패킷다이저(26)로부터 출력된 TS패킷 중, TS패킷의 PID가 현재 플레이아이템의 스트림 선택 테이블에 기재된 PID에 일치하는 것을 PID에 따라서 프라이머리 비디오 디코더에 전송한다.

비디오 디코더(5)는 TB(51), MB(52), EB(53), TB(54), MB(55), EB(56), 디코더 코어(57), 버퍼 스위치(58), DPB(59), 픽처 스위치(60)로 구성된다.

Transport Buffer(TB)(51)는 왼쪽 눈 용 비디오 스트림을 포함한 TS패킷이 PID 필터(43)로부터 출력되었을 때, TS패킷인 채로 일단 축적되는 버퍼이다.

Multiplexed Buffer(MB)(52)는 TB에서 EB에 비디오 스트림을 출력할 때, 일단 PES 패킷을 축적해 두기 위한 버퍼이다. TB에서 MB에 데이터가 전송될 때, TS패킷의 TS헤더는 제거된다.

Elementaly Buffer(EB)(53)는 부호화 상태에 있는 비디오 액세스 유닛이 저장되는 버퍼이다. MB에서 EB에 데이터가 전송될 때 PES 헤더가 제거된다.

Transport Buffer(TB)(54)는 오른쪽 눈 용 비디오 스트림을 포함한 TS패킷이 PID 필터로부터 출력된 때, TS패킷인 채로 일단 축적되는 버퍼이다.

Multiplexed Buffer(MB)(55)는 TB에서 EB에 비디오 스트림을 출력할 때, 일단 PES 패킷을 축적해 두기 위한 버퍼이다. TB에서 MB에 데이터가 전송될 때, TS패킷의 TS헤더는 제거된다.

Elementaly Buffer(EB)(56)는 부호화 상태에 있는 비디오 액세스 유닛이 저장되는 버퍼이다. MB에서 EB에 데이터가 전송될 때 PES 헤더가 제거된다.

디코더 코어(57)는 비디오 엘리멘터리 스트림의 개개의 비디오 액세스 유닛을 소정의 복호 시각(DTS)으로 디코드함으로써 프레임/필드 화상을 작성한다. AV클립에 다중화되는 비디오 스트림의 압축 부호화형식에는 MPEG2, MPEG4AVC, VC1 등이 있으므로, 스트림의 속성에 따라서 디코더 코어(57)의 디코드 방법은 전환된다. 베이스 뷰 비디오 스트림을 구성하는 픽처 데이터를 디코드할 때, 디코더 코어(57)는 미래 방향 또는 과거 방향으로 존재하는 픽처 데이터를 참조 픽처로 이용하고, 모션 보상(movement compensation)을 실시한다. 그리고 디펜던트 뷰 비디오 스트림을 구성하는 개개의 픽처 데이터의 디코드시에 디코더 코어(57)는 베이스 뷰 비디오 스트림을 구성하는 픽처 데이터를 참조 픽처로 이용하고 모션 보상을 실시한다. 이렇게 하여 픽처 데이터가 디코드되면, 디코더 코어(57)는 디코드된 프레임/필드 화상을 DPB(59)에 전송하고, 표시 시각(PTS)의 타이밍에 대응하는 프레임/필드 화상을 픽처 스위치에 전송한다.

버퍼 스위치(58)는 디코더 코어(57)가 비디오 액세스 유닛을 디코드할 때에 취득한 디코드 스위치 정보를 사용하여 다음의 액세스 유닛을 EB(53), EB(56)의 어느 것에서 인출할지를 결정하고, EB(53)와 EB(56)에 축적된 픽처를 비디오 액세스 유닛에 할당된 복호 시각(DTS)의 타이밍에 디코더 코어(57)에 전송한다. 왼쪽 눈 용 비디오 스트림과 오른쪽 눈 용 비디오 스트림의 DTS는 시간 축 상에서 픽처 단위로 교호로 오도록 설정되어 있으므로, 예를 들어 DTS를 무시하고 전도해서 디코드하는 경우, 픽처 단위로 비디오 액세스 유닛을 디코더 코어(57)에 전송하는 것이 바람직하다.

Decoded Picture Buffer(DPB)(59)는 복호된 프레임/필드 화상을 일시적으로 보유해 두는 버퍼이다. 디코더 코어(57)가 픽처 간 예측 부호화된 P픽처나 B픽처 등의 비디오 액세스 유닛을 디코드할 때 이미 디코드된 픽처를 참조하기 위해서 이용한다.

픽처 스위치(60)는 디코더 코어(57)로부터 전송된 디코드가 끝난 프레임/필드 화상을 비디오 플레인에 기입하는 경우, 그 기입 처를 왼쪽 눈 비디오 플레인, 오른쪽 눈 비디오 플레인으로 전환한다. 왼쪽 눈의 스트림의 경우에는 비 압축의 픽처 데이터가 왼쪽 눈 비디오 플레인에, 오른쪽 눈의 스트림의 경우에는 비 압축의 픽처 데이터가 오른쪽 눈 비디오 플레인에 순시에 기입되게 된다.

이상이 비디오 디코더에 대한 설명이다. 이어서, 배속재생이 어떻게 이루어지는가의 상세에 대하여 설명한다.

동화상 구간의 재생시에는 상술한 것과 같은 내부 구성을 갖는 비디오 디코더가 픽처 데이터를 스킵하면서 판독함으로써 배속재생을 실현한다.

본 실시형태에서는 자막/GUI, 영상의 뮤트, 2D, 3D표시 판정 처리를 재생속도에 따라서 실시한다. 예를 들어, 영상, 음성, 자막의 재생이 1 배속재생과 동등하게 가능한 재생속도의 경우(예를 들어, 1.3배의 재생속도를 필요로 하는 조견(早見) 재생, 프레임 포워드(frame forward), 프레임 리버스(frame reverse))에는 S1401에서 통상재생의 경우와 마찬가지로 자막/GUI, 영상의 3D표시를 계속한다.

자막의 디코드를 그만두는 것만으로 영상의 3D영상을 계속할 수 있는 경우, 영상만 3D표시를 계속한다. 2D라면 영상과 자막의 합성이 가능한 재생속도의 경우, 영상은 왼쪽 눈 용 또는 오른쪽 눈 용 데이터만을 디코드하고, 자막은 디코드하며, 플레인 시프트 엔진(28)에 의해 시프트하지 않고 왼쪽 눈 용, 오른쪽 눈 용의 영상과 합성하여 출력함으로써 영상·자막과 Java 모드 D로 표시한다. 또, 고속 재생에서 2D라고 하더라도 표시 불가능한 경우에는 영상, 자막과도 뮤트한다.

이와 같은 특수재생시의 재생처리는 도 30의 플로차트를 이용함으로써 실현할 수 있다.

도 30은 배속재생을 고려한 특수재생의 처리순서를 나타내는 플로차트이다. 본 플로차트는 스텝 S51, 스텝 S52의 판정결과에 따라서 스텝 S53, 스텝 S54, 스텝 S55를 선택적으로 실행하는 것이다. 스텝 S51는 요구된 특수재생이 재생속도에 따른 디코드 제어를 포함하는가 여부의 판정이며, 스텝 S52는 B-D 프레젠테이션 모드의 재생이 가능한 속도인가 여부의 판정이다.

속도가 1.3배까지이면, 스텝 S53로 이행하고, B-D 프레젠테이션 모드로 전환하며, B-D 프레젠테이션 모드에 의한 디코드 제어를 실행한다. 2.0배 이상이면, 스텝 S54에서 B-B 프레젠테이션 모드로 전환하고, B-B 프레젠테이션 모드에 의한 IP재생, I재생 등의 디코드 제어를 실행한다. 속도에 따른 디코드 제어를 포함하지 않는 경우, 요구된 특수재생을 실행한다(스텝 S55).

스텝 S52에서는 재생속도가 1.3배까지이면 스텝 S53를 실행하고, 재생속도가 2배 이상이면 스텝 S54를 실행하는 구성을 개시하고 있으며, 재생속도가 1.3배보다 크고 2배보다 작을 때까지의 범위를 고려하고 있지 않지만, 이는, 재생장치에서 재생속도가 1.3보다 크고 2배보다 작을 때까지의 배속재생을 실행하는 기능을 갖고 있지 않다고 하는 전제에 의거하는 것이다. 그러나 특수재생에서 재생속도가 2배 이상의 특수재생을 실행할 수 있는 동시에, 재생속도가 1.3보다 크고 2배보다 작은 범위의 특수재생도 실시할 수 있는 기능을 재생장치가 구비한다면, 예를 들어 스텝 S52에서 재생속도가 1.3배보다 큰 경우에 스텝 S54를 실행한다고 변경하면 좋다.

(제 9 실시형태)

지금까지의 실시형태에서는 특수재생의 요구시에 2D 재생 모드를 3D 모드로 되돌린다고 하는 처리를 원칙으로 실시했으나, 본 실시형태에서는 리모컨(300)에서의 사용자 조작에 의한 특수재생의 요구를 플레이리스트에서의 플레이아이템으로 마스크하는 것을 제안한다.

플레이아이템에서의 UO 마스크 테이블은 이하의 플래그로 구성된다.

·chapter_serch_mask 플래그

chapter_serch_mask 플래그는 챕터 서치라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 규정하는 플래그이다. 여기서 챕터 서치란 번호 입력을 사용자로부터 접수하고, 그 번호로 지정된 챕터에서 재생을 개시한다고 하는 재생제어가다.

·time_search_mask 플래그

time_search_mask는 타임 서치라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 규정하는 플래그이다. 여기서 타임 서치란 재생 시각의 입력 조작을 사용자로부터 접수하고, 재생 시각으로 지정된 시점에서 재생을 개시한다고 하는 재생제어가다.

·skip_next_mask 플래그, skip_back_mask 플래그

skip_next_mask 플래그, skip_back_mask 플래그는 제 1 실시형태와 마찬가지로, 스킵 넥스트, 스킵 백이 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

·play_mask 플래그

play_mask 플래그는 재생 개시라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

·stop_mask 플래그

stop_mask 플래그는 재생 정지라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

·pause_on_mask 플래그

pause_on_mask 플래그는 포즈 온(일시 정지)이라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

·pause_off_mask 플래그

pause_off_mask 플래그는 포즈 오프(일시 정지 해제)라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

·still_off_mask 플래그

still_off_mask 플래그는 정지화면 모드 오프라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

·forward_play_mask 플래그, backward_play_mask 플래그

forward_play_mask 플래그, backward_play_mask 플래그는 제 1 실시형태와 마찬가지로, 빨리 감기, 빨리 되감기라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 규정하는 플래그이다.

·resume_mask 플래그

resume_mask 플래그는 재생 재개라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

·audio_change_mask 플래그

audio_change_mask 플래그는 음성 전환이라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

·PG_textST_change_mask 플래그

PG_textST_change_mask 플래그는 그래픽스(Presenttation Graphics)에 의해 묘사된 자막과 텍스트에 의해 묘사된 자막의 전환이 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

·angle_change_mask 플래그

angle_change_mask 플래그는 제 1 실시형태와 마찬가지로, 앵글 전환이라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

·popup_on_mask 플래그

popup_on_mask 플래그는 pop-up menu의 호출이라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

·popup_off_mask 플래그

popup_off_mask 플래그는 pop-up menu의 표시 오프라고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

·select_menu_language_mask 플래그

select_menu_language_mask 플래그는 메뉴의 기술 언어를 선택한다고 하는 재생제어가 사용자로부터 요구된 경우, 그 요구를 마스크 할지 여부를 나타내는 플래그이다.

또, UO 마스크 테이블에 의해 마스크가 이루어지는 것은 사용자 조작만이며, BD-J 애플리케이션 또는 무비 오브젝트로부터의 특수재생의 지시는 마스크되지 않는다.

이상이 UO 마스크 테이블이다. 이 UO 마스크 테이블을 이용한 비디오 프레임 처리는 도 31에 나타낸 것이 된다.

도 31은 3D 모드에서의 비디오 프레임 처리의 처리순서를 나타내는 플로차트이다. 스텝 S41~스텝 S43, 스텝 S802~스텝 S810, 스텝 S811의 처리를 반복하는 루프로 되어 있다. 본 루프의 종료 조건은 스텝 S811에서 다음의 비디오 프레임이 존재하지 않으면 판정되는 것이다.

스텝 S41는 사용자로부터 특수재생의 요구가 있었는지 여부의 판정이며, 스텝 S42는 정지 요구가 있었는지 여부의 판정, 스텝 S43는 일시 정지 요구가 있었는지 여부의 판정이다.

스텝 S44는 현재 플레이아이템의 UO 마스크 테이블에서 특수재생 요구가 마스크 되고 있는가 여부의 판정이며, 마스크되어 있지 않으면, 스텝 S45에서 특수재생을 실행한다.

스텝 S42는 정지 요구가 이루어졌는지 여부의 판정이며, 정지 요구가 이루어지면, 스텝 S47에서 B-D 프레젠테이션 모드를 유지한 채로 재생정지위치의 왼쪽 눈 용 비디오 스트림의 비디오 프레임 및 오른쪽 눈 용 비디오 스트림의 비디오 프레임을 교호로 출력하고, 리턴한다.

스텝 S43는 일시 정지가 요구되었는지 여부의 판정이며, 요구되면, 스텝 S46에서 현재 플레이아이템의 UO 마스크 테이블에서 특수재생 요구가 마스크 되어 있는가 여부의 판정을 실시한다. 마스크되어 있지 않으면, 스텝 S47에서 B-D 프레젠테이션 모드를 유지한 채로 재생정지위치의 왼쪽 눈 용 비디오 스트림의 비디오 프레임 및 오른쪽 눈 용 비디오 스트림의 비디오 프레임을 교호로 출력하고, 리턴한다.

(제 10 실시형태)

지금까지의 실시형태에서는 그래픽스, 자막, 영상을 3D표시하기 위해서 필요한 콘텐츠의 구성 및 재생방법에 대하여 설명하였다. 여기에서부터는 영상의 재생상태가 변화한 경우의 콘텐츠 재생방법에 대하여 설명하다. 영상의 재생상태로 빨리 감기, 되감기 스킵 등, 재생속도가 1배속재생 이외의 특수재생이 이루어졌을 경우, 또, 영상이 일시 정지, 슬라이드 재생, 정지된 경우를 예로 든다.

이하는, 특수재생시의 재생처리에서의 문제 제기이다. 영상의 특수재생이 이루어진 경우, 도면에서 설명한 것과 같은 3D콘텐츠의 재생방법에서는 비디오 프레임의 디코드가 늦게 되어 영상이 흐트러질 뿐만 아니라, 비디오 프레임에 맞춘 자막데이터의 디코드도 늦게 되어 시청자에게 불쾌한 콘텐츠를 제공하게 된다.

이하는, 일시 정지, 슬라이드 재생, 정지시에서의 재생처리에서의 문제제기이다.

그 외, 영상이 일시 정지, 슬라이드 재생, 정지된 경우, 영상이 정지한 지점의 최종 프레임을 표시하는 경우, 3D표시에서 2D표시로 전환되면, 자막/GUI의 부자연스러운 입체감의 차에 의해 눈이 적응할 수 없게 되어 본래 있어야 할 시각감이 손상되고, 결과적으로 임장감각이 저감하므로 시청자에게 불쾌감을 주어 버린다.

도 32는 사용자 조작, BD-J 애플리케이션에 의한 요구, 무비 오브젝트에 의한 요구에 따른 이미지 플레인 처리순서를 나타내는 플로차트이다.

본 플로차트는 스텝 S61~스텝 S63를 반복하는 루프로 되어 있으며, 스텝 S61에서는 특수재생의 지시가 사용자에 의해 이루어졌는지 여부, 스텝 S62에서는 정지 요구, 일시 정지 요구가 이루어졌는지, 비디오의 종단인가 여부가 판정된다. 스텝 S63는 슬라이드 쇼 재생인가 여부가 판정된다.

상술한 것과 같이, 플레이리스트 파일에서의 PlayItem의 재생타입은 스트림 파일이 슬라이드 쇼 재생되는지 여부를 나타내므로, 현재의 PlayItem이 슬라이드 쇼 재생을 실현하는 취지를 나타내는 PlayItem으로 전환되었을 때, 스텝 S63는 Yes로 판정된다.

특수재생이 요구되면, 스텝 S67에서 이미지 플레인과의 합성이 가능한지 여부가 판정되며, 합성이 가능하면, 왼쪽 눈 용 비디오 스트림의 비디오 프레임 및 오른쪽 눈 용 비디오 스트림의 비디오 프레임의 일방에 화소 좌표가 플레인 시프트에 의해 변화하고 있는 그래픽스를 합성하고, 루프에 돌아온다.

합성이 가능하지 않으면, 스텝 S69에서 이미지 플레인에서의 그래픽스를 합성시키지 않고, 왼쪽 눈 용 비디오 스트림의 비디오 프레임 및 오른쪽 눈 용 비디오 스트림의 비디오 프레임의 일방을 출력한다.

정지 요구, 일시 정지 요구가 이루어졌는지, 비디오의 종단이면, 스텝 S70에서 플레인 시프트 및 합성이 가능한지 여부가 판정되며, 가능하면, 재생정지위치에서의 왼쪽 눈 용 비디오 스트림의 비디오 프레임 및 오른쪽 눈 용 비디오 스트림의 비디오 프레임의 각각에 화소의 좌표가 플레인 시프트에 의해 변화한 그래픽스를 합성시킨다(스텝 S71).

플레인 시프트 및 합성이 불가능하면, 스텝 S72에서 이미지 플레인에서의 그래픽스를 합성시키지 않고, 왼쪽 눈 용 비디오 스트림의 비디오 프레임 및 오른쪽 눈 용 비디오 스트림의 비디오 프레임을 교호로 출력시킨다.

(제 11 실시형태)

본 실시형태에서는 BD-J 애플리케이션에 대한 기능 제공에 대한 개량이다.

BD-J 애플리케이션에 특수재생을 요구시키지 않도록 하기 위해, 플레이리스트 정보로부터 BD-J 애플리케이션에 차원식별 플래그를 취득시키는 기능을 추가한다.

이하, BD-J 애플리케이션에 의한 표시 상태의 취득이나 레지스터 설정치의 취득에 대해서 설명한다. 3D표시하고 있던 자막/GUI, 영상을 2D, 또는 뮤트로 변경한 때, 콘텐츠에 대해서 표시 상태를 통지하거나 현재의 표시 상태를 취득시키는 기능을 BD-J 애플리케이션에 제공한다. 이때, 현재의 표시 상태는 레지스터 세트(12)에 기재하는 것을 생각할 수 있다. 이와 같이 함으로써, 콘텐츠 자신이 부자연스러운 제시가 되지 않도록 제어하는 것이 가능하게 되어 시청자에 대한 불쾌감을 경감할 수 있다.

다음에, 재생제어엔진에 의해 어떤 기능이 BD-J 애플리케이션에 제공되는지에 대하여 설명한다. 재생장치(200)가 표시장치(400)로의 출력 데이터를 생성하는 처리는 BD-J 애플리케이션이 발하는 요구에 따라서 이루어지며, BD-J 플랫폼(22)으로부터 재생제어엔진으로의 명령에 의해 실현된다. 여기에서는 재생 개시의 처리에서 BD-J 모듈(22)로부터 재생제어엔진(14)으로의 명령에 대해 상세를 설명한다.

구체적으로 말하면, 재생제어엔진은 이하의 3개의 명령을 BD-J 애플리케이션에 제공한다.

1. 재생 준비 명령

재생 준비 명령은 준비를 시사하기 위한 명령이다. 재생 준비 명령은 준비를 시사하는 것뿐이며, 재생 준비 명령에 의해 재생제어엔진이 실제로 준비를 실시할지 여부는 BD-J 플랫폼(22)에서의 프로퍼티 「재생 준비」에 의해 취득이 가능하다. 「재생 준비」가 「한다」라고 되어 있는 경우, 재생 준비 명령에 의해 재생 준비가 이루어지고, 현재 플레이리스트의 취득, AV 스트림의 재생 요구, 현재 플레이리스트의 재생 모드의 판정, 재생 모드의 판정이 이루어진다. 플레이리스트가 2D인 경우, 재생 모드의 판정, 재생 모드의 전환이 이루어진다. 동기 개시 명령에 의해, AV 스트림의 재생 요구가 이루어진다.

「재생 준비」가 「하지 않는다」라고 되어 있는 경우, 재생 준비 명령에 의해 재생 준비가 이루어지지 않는다. 재생 준비 명령에 의해 실제의 준비를 실시함으로써 BD-J 모듈로부터의 자유도가 증가하고, 치밀한 제어를 할 수 있게 된다고 하는 이점이 있으나, 플레이어의 실장에 따라서는 재생 준비 명령을 준비하기 불가능한 경우가 있으므로 이와 같은 프로퍼티를 설치하도록 하고 있다.

2. 동기 개시 명령

동기 개시 명령은 재생 모드를 AV 스트림의 모드 속성에 동기시키기 위한 명령이다. 「재생 준비」가 「한다」라고 되어 있고, AV 스트림은 2D이고 재생 모드가 3D인 경우, 재생 준비 명령에 의해 재생 모드를 2D로 전환한다. 「재생 준비」가 「하지 않는다」라고 되어 있고, AV 스트림이 2D이고 재생 모드가 3D인 경우, 동기 개시 명령에 의해 재생 모드를 2D로 전환한다.

3. 재생 개시 명령

재생 개시 명령은 상기의 2개의 명령을 통합하고, 재생 준비와 동기 개시를 행하기 위한 명령이다. 「재생 준비」의 값에 관계없이 현재 플레이리스트의 취득, AV 스트림의 재생 요구, 현재 플레이리스트의 재생 모드의 판정, 재생장치에서의 재생 모드의 판정이 이루어진다. 플레이리스트가 2D인 경우, 재생 모드의 판정, 재생 모드의 전환이 이루어진다. 그 후에, AV 스트림의 재생 요구가 이루어진다.

(제 11 실시형태)

본 실시형태에서는 재생장치의 재생 대상인 BD-ROM를 어떻게 기록매체에 기록하는가 하는 기록방법의 실시형태에 대하여 설명한다.

본 실시형태에 관한 기록방법은, 상술한 것과 같은 파일을 실시간으로 작성하고 기록매체의 파일시스템 영역에 직접 기입한다고 하는 실시간 리코딩뿐만 아니라, 파일시스템 영역에 기록해야 할 비트 스트림의 전체상을 사전에 작성하고, 이 비트 스트림을 기초로 원반 디스크를 작성하며, 이 원반 디스크를 프레스함으로써 광 디스크를 양산한다고 하는 프리 포맷 리코딩도 포함한다. 본 실시형태에 관한 기록방법은 실시간 리코딩에 의한 기록방법 및 프리 포맷 리코딩에 의한 기록방법에 따라서도 특정되는 것이기도 하다.

도 33은 기록방법의 처리순서를 나타내는 플로차트이다. 스텝 S201는 동화상, 음성, 자막, 메뉴와 같은 데이터 소재의 임포트를 실시하고, 스텝 S202에서는 데이터 소재를 디지털화하여 압축 인코드해서, MPEG 규격에 따른 인코드를 실시함으로써 패킷타이즈드 엘리멘터리 스트림을 얻는다. 스텝 S203에서는 패킷타이즈드 엘리멘터리 스트림을 다중화하여 대응하는 클립정보를 생성하고, 스텝 S204에서는 AV클립과 클립정보를 각각 다른 파일에 저장한다.

스텝 S205에서는 AV클립의 재생경로를 규정하는 플레이리스트, 플레이리스트를 이용한 제어 순서를 규정하는 프로그램, 이것들에 대한 관리 정보를 작성하고, 스텝 S206에서는 AV클립, 클립정보, 플레이리스트, 프로그램, 그 외의 관리정보를 기록매체에 기입한다.

(제 12 실시형태)

본 실시형태에서는 지금까지의 실시형태에서 설명한 재생장치를 어떤 하드웨어를 이용하여 구성하는가를 설명한다.

도 34는 재생장치의 하드웨어적인 내부 구성을 나타내는 도이다. 본 도면에서 재생장치를 구성하는 주요 부품은 프론트 엔드부(front-end unit)(101), 시스템 LSI(102), 메모리 디바이스(103), 백 엔드부(back-end unit)(104), 불휘발성 메모리(105), 호스트 마이콘(host microcomputer)(106), 네트워크 I/F(107)이다.

프론트 엔드부(101)는 데이터 입력원이다. 프론트 엔드부(101)는 예를 들어, 도 4에 나타낸 BD 드라이브(1a), 로컬 스토리지(1c)를 포함한다.

시스템 LSI(102)는 논리소자로 구성되고, 재생장치의 핵심을 이룬다. 적어도 디 멀티플렉서(4), 비디오 디코더(5a,b), 이미지 디코더(7a,b), 오디오 디코더(9), 레지스터 세트(12), 재생제어 엔진(14), 합성부(16), 플레인 시프트 엔진(20)과 같은 구성요소는 이 시스템 LSI의 내부에 포함되게 된다.

메모리 디바이스(103)는 SDRAM 등의 메모리 소자의 어레이에 의해 구성된다. 메모리 디바이스(107)는 예를 들어 리드 버퍼(2a,2b), 동적 시나리오 메모리(23), 정적 시나리오 메모리(13), 비디오 플레인(6), 이미지 플레인(8), 인터렉티브 그래픽스 플레인(10), 백그라운드 플레인(11)을 포함한다.

백 엔드부(104)는 재생장치 내부와 다른 장치와의 접속 인터페이스이며, HDMI 송수신부(17)를 포함한다.

불휘발성 메모리(105)는 판독 기입 가능한 기록매체이며, 전원이 공급되지 않아도 기록내용을 보유할 수 있는 매체이고, 후술하는 차원모드 기억부(29)에 기억되어 있는 재생 모드의 백업에 이용된다. 이와 같은 불휘발성 메모리(105)에는 예를 들어 플래시 메모리, FeRAM 등을 이용할 수 있다.

호스트 마이컨(106)는 ROM, RAM, CPU로 이루어지는 마이컨 시스템이며, ROM에는 재생장치를 제어하는 프로그램이 기록되고 있고, ROM 내의 프로그램이 CPU에 판독되며, 프로그램과 하드웨어 자원이 협동함으로써 가상파일시스템(3), HDMV 모듈(24), BD-J 플랫폼(22), 모드 관리 모듈(24), UO 탐지모듈(26)의 기능을 실현한다.

이하, 시스템 LSI에 대하여 설명한다. 시스템 LSI란 고밀도 기판상에 베어 칩을 실장하고, 패키징한 집적회로를 말한다. 복수 개의 베어 칩을 고밀도 기판상에 실장하고, 패키징함으로써 마치 1개의 LSI와 같은 외형 구조를 복수 개의 베어 칩에 갖게 한 것도 시스템 LSI에 포함된다(이와 같은 시스템 LSI는 다중 칩 모듈이라 불린다).

여기서 패키지의 종별에 착안하면, 시스템 LSI에는 QFP(Quad Flat Package), PGA(Pin Grid Array)라고 하는 종별이 있다. QFP는 패키지의 4 측면에 핀이 장착된 시스템 LSI이다. PGA는 저면 전체에 많은 핀이 장착된 시스템 LSI이다.

이와 같은 핀은 다른 회로와의 인터페이스로서의 역할을 담당하고 있다. 시스템 LSI에서의 핀에는 이와 같은 인터페이스의 역할이 존재하므로, 시스템 LSI에서의 이와 같은 핀에 다른 회로를 접속함으로써 시스템 LSI는 재생장치(200)의 핵심으로서의 역할을 다한다.

이와 같은 시스템 LSI는 재생장치(200)는 물론, TV나 게임, 컴퓨터, 원세그 휴대전화(one seg mobile phones) 등, 영상 재생을 취급하는 여러가지 기기에 내장이 가능하여 본 발명의 용도를 많이 확장시킬 수 있다.

시스템 LSI의 아키텍처(architecture)는 Uniphier 아키텍처에 준거시키는 것이 바람직하다.

Uniphier 아키텍처에 준거한 시스템 LSI는 이하의 회로 블록으로 구성된다.

·데이터 병렬 프로세서 DPP

이것은, 복수의 요소 프로세서가 동일하게 동작하는 SIMD형 프로세서이며, 각 요소 프로세서에 내장되어 있는 연산기를 1개의 명령으로 동시에 동작시킴으로서 픽처를 구성하는 복수 화소에 대한 디코드 처리의 병렬화를 도모한다.

·명령 병렬 프로세서 IPP

이것은, 명령 RAM, 명령 캐시, 데이터 RAM, 데이터 캐시로 이루어지는 「Local Memory Controller」, 명령어 페치부, 디코더, 실행 유닛, 레지스터 파일로 이루어지는 「Processing Unit부」, 복수 애플리케이션의 병렬 실행을 Processing Unit부에 실시하게 하는 「Virtual Multi Processor Unit부」로 구성된다.

·MPU 블록

이것은, ARM 코어, 외부 버스 인터페이스(Bus Control Unit:BCU), DMA 컨트롤러, 타이머, 벡터 할당 컨트롤러라고 하는 주변회로, UART, GPIO(General Purpose Input Output), 동기 시리얼 인터페이스 등의 주변 인터페이스로 구성된다.

·스트림 I/O 블록

이것은, USB 인터페이스나 ATA Packet 인터페이스를 개재하여 외부 버스 상에 접속된 드라이브 장치, 하드디스크 드라이브 장치, SD 메모리카드 드라이브 장치와의 데이터 입출력을 한다.

·AVI/O 블록

이것은, 오디오 입출력, 비디오 입출력, OSD 컨트롤러로 구성되며, 텔레비전, AV앰프와의 데이터 입출력을 한다.

·메모리 제어 블록

이것은, 외부 버스를 개재하여 접속된 SD-RAM의 판독 기입을 실현하는 블록이며, 각 블록간의 내부 접속을 제어하는 내부 버스 접속부, 시스템 LSI 외부에 접속된 SD-RAM와의 데이터 전송을 실시하는 액세스 제어부, 각 블록으로부터의 SD-RAM의 액세스 요구를 조정하는 액세스 스케줄부로 이루어진다.

구체적인 생산순서의 자세한 것은 이하의 것이 된다. 먼저, 각 실시형태에 나타낸 구성도를 기초로 시스템 LSI로 해야 할 부분의 회로도를 작성하고, 회로소자나 IC, LSI를 이용하여 구성도에서의 구성요소를 구현화한다.

이렇게 해서, 각 원가요소를 구현화해 가면, 회로소자나 IC, LSI간을 접속하는 버스나 그 주변회로, 외부와의 인터페이스 등을 규정한다. 또, 접속선, 전원 라인, 그랜드 라인, 클록 신호선 등도 규정해 간다. 이 규정시에, LSI의 스펙을 고려하여 각 구성요소의 동작 타이밍을 조정하거나 각 구성요소에 필요한 밴드 폭을 보증하는 등의 조정을 더하면서 회로도를 완성시켜 간다.

회로도가 완성하면, 실장 설계를 한다. 실장 설계란, 회로설계에 의해 작성된 회로도상의 부품(회로소자나 IC, LSI)을 기판상의 어디에 배치할지, 또는 회로도상의 접속선을 기판상에 어떻게 배선할지를 결정하는 기판 레이아웃의 작성 작업이다.

이렇게 하여 실장 설계가 이루어지고, 기판상의 레이아웃이 확정하면, 실장 설계 결과를 CAM 데이터로 변환하고, NC공작기계 등의 설비에 출력한다. NC공작기계는, 이 CAM 데이터를 기초로 SoC 실장이나 SiP 실장을 실시한다. SoC(System on chip) 실장이란 1칩상에 복수의 회로를 인쇄하는 기술이다. SiP(System in Package) 실장이란, 복수 칩을 수지 등으로 1 패키지로 하는 기술이다. 이상의 과정을 거쳐 본 발명의 시스템 LSI는 각 실시형태에서 나타낸 재생장치(200)의 내부 구성도를 기초로 만들 수가 있다.

또, 상기에서 설명한 바와 같이 해서 생성되는 집적회로는 집적도의 차이에 의해, IC, LSI, 슈퍼 LSI, 울트라 LSI라고 호칭되는 경우도 있다.

FPGA를 이용하여 시스템 LSI를 실현한 경우에는 다수의 논리 엘리먼트가 격자형상으로 배치되어 있으며, LUT(Look Up Table)에 기재되어 있는 입출력의 조합에 의거하여 종·횡의 배선을 연결함으로써 각 실시형태에서 나타낸 하드웨어 구성을 실현할 수 있다. LUT는 SRAM에 기억되고 있으며, 이와 같은 SRAM의 내용은 전원단에 의해 소멸하므로, 이와 같은 FPGA의 이용시에는 구성정보의 정의에 의해 각 실시형태에 나타낸 하드웨어 구성을 실현하는 LUT를 SRAM에 기입하게 할 필요가 있다.

본 실시형태는 미들웨어와 시스템 LSI에 대응하는 하드웨어, 시스템 LSI 이외의 하드웨어, 미들웨어에 대한 인터페이스 부분, 미들웨어와 시스템 LSI의 인터페이스 부분, 미들웨어와 시스템 LSI 이외의 필요한 하드웨어로의 인터페이스 부분, 사용자 인터페이스의 부분으로 실현하고, 이것들을 포함하여 재생장치를 구성한 때, 각각이 제휴하여 동작함으로써 특유의 기능이 제공되게 된다.

미들웨어에 대한 인터페이스 및 미들웨어와 시스템 LSI의 인터페이스를 적절히 정의함으로써 재생장치의 사용자 인터페이스 부분, 미들웨어 부분, 시스템 LSI 부분을 각각 독립하여 병행해서 개발할 수 있어서 보다 효율 좋게 개발할 수 있게 된다. 또, 각각의 인터페이스의 자르는 방법에는 여러가지 방법이 있다.

(제 12 실시형태)

본 실시형태에서는 플레인 시프트에 의한 입체 시의 원리에 대하여 설명한다.

도 35는 플레인 오프셋의 부호가 정(왼쪽 눈 용의 그래픽스 이미지를 우 방향으로 시프트하고, 오른쪽 눈 용의 그래픽스 이미지를 좌 방향으로 시프트한다)인 경우, 상이 표시 화면보다 앞에 있는 것처럼 보이는 원리를 설명하기 위한 도면이다.

본 도면에서 동그라미로 나타낸 것은 표시 화면상에 표시되는 상이다.

먼저, 플레인 오프셋이 없는 경우, 오른쪽 눈에 보이는 상도 왼쪽 눈에 보이는 상도 동일한 위치이므로, 두 눈을 이용하여 이 상을 보았을 때의 초점 위치는 표시 화면상에 위치한다(도 35(a)).

한편, 3D 모드의 스테레오 모드가 오프의 경우에서 왼쪽 눈에 보이는 상은 플레인 오프셋이 0인 경우에 비해 우측의 위치에 보이도록 한다. 이때, 오른쪽 눈에는 액정 셔터안경에 의해 아무것도 보이지 않도록 한다. 한편, 오른쪽 눈에 보이는 상은 플레인 오프셋이 0인 경우에 비해 좌측의 위치에 보이도록 한다. 이때, 왼쪽 눈에는 액정 셔터안경에 의해 아무것도 보이지 않도록 한다(도 35(b)).

인간은 두 눈을 이용하여 초점을 맞춰서 그 초점 위치에 상이 있는 것처럼 인식한다. 따라서 액정 셔터안경에 의해 왼쪽 눈에 상이 보이는 상태와 오른쪽 눈에 상이 보이는 상태를 교호로 짧은 시간간격으로 전환하면, 인간의 두 눈은 표시 화면보다 앞의 위치에 초점 위치를 맞추려고 하고, 결과적으로 표시 화면보다 앞에 위치하는 초점 위치에 상이 있는 것처럼 착각을 일으킨다(도 35(c)).

도 36은 플레인 오프셋의 부호가 부(왼쪽 눈 용의 그래픽스 이미지를 좌 방향으로 시프트하고, 오른쪽 눈 용의 그래픽스 이미지를 우 방향으로 시프트한다)인 경우, 상이 표시 화면보다 안쪽에 있는 것처럼 보이는 원리를 설명하기 위한 도면이다.

도 36에서 동그라미로 나타낸 것은 표시 화면상에 표시되는 상이다. 먼저, 플레인 오프셋이 없는 경우, 오른쪽 눈에 보이는 상도 왼쪽 눈에 보이는 상도 동일한 위치이므로, 두 눈을 이용하여 이 상을 보았을 때의 초점 위치는 표시 화면상에 위치한다(도 36(a)).

한편, 3D 모드의 스테레오 모드가 오프인 경우에, 왼쪽 눈에 보이는 상은 플레인 오프셋이 0인 경우에 비해 좌측의 위치에 보이도록 한다. 이때, 오른쪽 눈에는 액정 셔터안경에 의해 아무것도 보이지 않도록 한다. 한편, 오른쪽 눈에 보이는 상은 오프셋이 0인 경우에 비해 우측의 위치에 보이도록 한다. 이때, 왼쪽 눈에는 액정 셔터안경에 의해 아무것도 보이지 않도록 한다(도 36(b)).

액정 셔터안경에 의해 왼쪽 눈에 상이 보이는 상태와 오른쪽 눈에 상이 보이는 상태를 교호로 짧은 시간간격으로 전환하면, 인간의 두 눈은 표시 화면보다 안쪽의 위치에 초점 위치를 맞추려고 하고, 결과적으로 표시 화면보다 안쪽의 위치에 상이 있는 것처럼 착각을 일으킨다(도 36(c)).

이상의 설명은 그래픽스 플레인에 기입된 그래픽스 이미지에 대해서 설명을 했지만, 인터렉티브 그래픽스 플레인, 비디오 플레인, 백그라운드 플레인에 대해 상술한 오프셋의 개념을 적용하면 동일하게 말할 수 있음은 말할 필요도 없다.

(돌출 정도/깊이의 가져오는 방법)

도 37은 플레인 오프셋의 대소에 의해 자막의 돌출 정도가 어떻게 변화하는가를 나타내는 도면이다.

동 도면(a)(b)에서 앞쪽은 오른쪽 눈 출력시에 시프트한 시프트 후의 그래픽스 플레인을 이용하여 출력되는 오른쪽 눈 용의 그래픽스 이미지를 나타낸다. 안쪽은 왼쪽 눈 출력시에 시프트한 시프트 후의 그래픽스 플레인을 이용하여 출력되는 왼쪽 눈 용의 그래픽스 이미지를 나타낸다.

본 도면(a)는 플레인 오프셋의 부호가 정(왼쪽 눈 용의 그래픽스 이미지를 우 방향으로 시프트하고, 오른쪽 눈 용의 그래픽스 이미지를 좌 방향으로 시프트한다)인 경우를 나타낸다. 플레인 오프셋이 정의 값이면, 도 35에 나타내는 것과 같이 왼쪽 눈 출력시의 자막이 오른쪽 눈 출력시의 자막보다 오른쪽의 위치에 보이게 된다. 즉, 폭주점(輻輳点)(초점위치)이 스크린보다 앞에 오므로 자막도 앞에 보이게 된다.

본 도면(b)는 플레인 오프셋의 부호가 부인 경우를 나타낸다. 부의 값이라면, 도 36에 나타내는 것과 같이, 왼쪽 눈 출력시의 자막이 오른쪽 눈의 출력시의 자막보다 왼쪽의 위치에 보이게 된다. 즉, 폭주점(초점위치)이 스크린보다 안쪽에 가므로 자막도 안쪽에 보이게 된다.

이상이 입체 시의 원리에 대한 설명이다. 이어서, 1plane+Offset 모드에서 상술한 것과 같은 화상 좌표의 이동이 어떻게 이루어지는가에 대하여 설명한다.

우선 먼저, 이미지 플레인(8)의 내부 구성과 그 시프트 전후의 화소 데이터의 배치에 대해서 설명한다.

도 38은 이미지 플레인(8)의 내부 구성을 나타낸다. 해상도가 1920×1080으로 설정되어 있는 경우, 동 도면(a)에 나타내는 것과 같이, 이미지 플레인(8)는 횡 1920×종 1080의 8 비트 길이의 기억소자로 이루어진다. 이는, 1920×1080의 해상도로, 1 화소 당 8 비트의 픽셀 코드를 저장할 수 있는 메모리 할당을 의미한다. 기억소자에 기억되어 있는 8 비트의 픽셀 코드는 컬러 룩업 테이블을 이용한 색 변환에 의해 Y치, Cr치, Cb치에 변환된다. 이 컬러 룩업 테이블에서의 픽셀 코드와 Y치, Cr치, Cb치의 대응관계는 자막데이터 내의 팰릿 정의 세그먼트에 의해 규정된다.

동 도면(b)는 이미지 플레인(8)에 저장되어 있는 화소 데이터를 나타낸다. 본 도면에 나타내는 것과 같이, 이미지 플레인(8)에 저장되어 있는 그래픽스 데이터는 전경 부분(자막 "I love"를 구성하고 있는 부분)에 해당하는 화소 데이터, 배경 부분에 해당하는 화소 데이터로 구성된다. 여기서, 배경 부분에 해당하는 기억소자에는 투명색을 나타내는 픽셀 코드가 저장되어 있으며, 이 부분에는 비디오 플레인과의 합성시에 비디오 플레인에서의 동화상이 비쳐 보이게 된다. 한편, 전경 부분에 해당하는 기억소자에는 투명색 이외를 나타내는 픽셀 코드가 저장되어 있고, 이 투명색 이외의 Y, Cr, Cb,α값에 의해 자막이 묘사되게 된다. 합성부(15)에 의한 플레인 합성시에 투명 화소에 해당하는 부분에는 백그라운드 그래픽스 플레인, 비디오 플레인의 내용이 비쳐 보이게 되어, 이와 같은 투명 부분의 존재에 의해 플레인 합성이 가능해진다.

도 39는 우 방향의 시프트, 좌 방향의 시프트가 이루어진 후의 전경 영역의 화소 데이터 및 배경 영역의 화소 데이터를 나타낸다. (a)는 시프트 전의 화소 데이터가고, (b)는 우 방향의 시프트 후의 화소 데이터가다. 여기서, 시프트 양이 15 화소라고 하면, 자막 문자 "I love you"의 "y"가 이동하여 화면에서 보이지 않게 되어 있음을 알 수 있다. (c)는 좌 방향의 시프트가 이루어진 후의 화소 데이터가다. 여기서 시프트 양이 15화소이면, 자막 문자 "I love"에 후속하는 자막 문자"you" 중, "o"의 문자가 나타나고 있음을 알 수 있다.

이상이 이미지 플레인(8)의 내부 구성과 그 시프트 전후의 화소 데이터의 배치의 설명이다.

도 40은 이미지 플레인(8)에서의 플레인 시프트의 처리순서를 나타내는 도면이다,

(a)는 이미지 플레인(8)에서 생성된 좌 방향 시프트 후의 그래픽스 플레인과 우 방향 시프트 후의 그래픽스 플레인을 나타낸다.

(b)는 우 방향의 시프트를 나타낸다. 본 도면에 나타내는 것과 같이, 수평방향의 우 방향으로의 시프트 방법은 다음의 (1-1)(1-2)(1-3)와 같이 해서 실시한다. (1-1) : 이미지 플레인(8)의 우단 영역을 잘라낸다. (1-2) : 이미지 플레인(8)에 존재하는 화소 데이터의 위치를 상술한 것처럼 오른쪽에 수평방향으로 플레인 오프셋에 표시되는 시프트 양만큼 시프트한다. (1-3) : 이미지 플레인(8)의 가장 좌단에 투명영역을 추가한다.

(c)는 좌 방향의 시프트를 나타낸다. 본 도면에 나타내는 것과 같이, 수평방향의 좌 방향으로의 시프트 방법은 다음의 (2-1)(2-2)(2-3)와 같이 해서 실시한다. (2-1) : 이미지 플레인(8)의 좌단 영역을 잘라낸다. (2-2) : 이미지 플레인(8)에 서의 각 화소 데이터의 위치를 왼쪽에 수평방향으로 플레인 오프셋에 표시되는 시프트 양만큼 시프트한다. (1-3) : 이미지 플레인(8)의 우단에 투명영역을 추가한다.

(그래픽스 플레인의 기억소자에서의 화소 데이터의 이동)

상술한 것과 같은 시프트에 의해, 그래픽스 플레인의 기억소자에서의 화소 데이터가 어떻게 이동하는가를 설명한다. 그래픽스 데이터는 1920×1080, 1280×720과 같은 해상도의 화소 데이터로 구성되어 있다.

도 41은 그래픽스 플레인에 저장되어 있는 화소 데이터를 나타내는 도면이다. 본 도면에서 4각 프레임은 언어 길이가 32 비트, 또는 8 비트의 기억소자이며, 0001,0002,0003,0004,07A5,07A6,07A7,07A8,07A9,07AA,07AB라고 하는 16진수의 수치는 MPU의 메모리 공간에서 이들 기억소자에 연속적으로 할당할 수 있는 어드레스이다. 또, 기억소자 중의(0,0)(1,0)(2,0)(3,0)(1916,0)(1917,0)(1918,0)(1919,0)과 같은 수치는 기억소자 내에 어느 좌표의 화소 데이터가 저장되어 있는가를 나타낸다.

여기에서는 좌표(0,0)에 존재하는 화소 데이터가 어드레스 0001의 기억소자에 저장되어 있고, 좌표(1,0)에 존재하는 화소 데이터가 어드레스 0002의 기억소자에 저장되어 있으며, 좌표(1918,0)에 존재하는 화소 데이터가 어드레스 07A7의 기억소자에 저장되어 있고, 좌표(0,1)에 존재하는 화소 데이터가 어드레스 07A9의 기억소자에 저장되어 있다. 즉, 그래픽스를 구성하는 복수의 라인이 연속 어드레스가 되도록 그래픽스 데이터가 저장되어 있음을 알 수 있다. 이렇게 함으로써, 이와 같은 연속 어드레스가 부여된 기억소자에 대해서 순차 DMA 전송을 실시함으로써 이들 화소 데이터를 버스트적으로 판독하는 것이 가능해진다.

도 42는 시프트가 이루어진 후의 그래픽스 플레인의 저장 내용을 나타낸다.

동 도면(a)는 플레인 오프셋이 "3"으로 설정되어 있으며, 우 방향으로 시프트된 그래픽스 플레인을 나타낸다. 플레인 오프셋이 "3"이므로 어드레스 0004의 기억소자에는 그래픽스 플레인 좌표계에서의 좌표(0,0)의 화소 데이터가, 어드레스 0005의 기억소자에는 그래픽스 플레인 좌표계에서의 좌표(1,0)의 화소 데이터가, 어드레스 0006의 기억소자에는 그래픽스 플레인 좌표계에서의 좌표(2,0)의 화소 데이터가 저장되어 있음을 알 수 있다.

또, 어드레스 07AC의 기억소자에는 그래픽스 플레인 좌표계에서의 좌표(0,1)의 화소 데이터가, 어드레스 07AD의 기억소자에는 그래픽스 플레인 좌표계에서의 좌표(1,1)의 화소 데이터가, 어드레스 07AE의 기억소자에는 그래픽스 플레인 좌표계에서의 좌표(2,1)의 화소 데이터가 저장되어 있음을 알 수 있다.

동 도면(b)는 플레인 오프셋이 "3"으로 설정되어 있으며, 좌 방향으로 시프트된 그래픽스 플레인을 나타낸다. 플레인 오프셋이 "3"이므로 어드레스 0001의 기억소자에는 그래픽스 플레인 좌표계에서의 좌표(3,0)의 화소 데이터가, 어드레스 0002의 기억소자에는 그래픽스 플레인 좌표계에서의 좌표(4,0)의 화소 데이터가, 어드레스 0003의 기억소자에는 그래픽스 플레인 좌표계에서의 좌표(5,0)의 화소 데이터가 저장되어 있음을 알 수 있다.

또, 어드레스 07A9의 기억소자에는 그래픽스 플레인 좌표계에서의 좌표(3,1)의 화소 데이터가, 어드레스 07AA의 기억소자에는 그래픽스 플레인 좌표계에서의 좌표(4,1)의 화소 데이터가, 어드레스 07AB의 기억소자에는 그래픽스 플레인 좌표계에서의 좌표(5,1)의 화소 데이터가 저장되어 있음을 알 수 있다.

이상과 같이, 시프트된 그래픽스 플레인은 그래픽스 플레인에서의 각 화소 데이터의 좌표가 본래의 좌표로부터 우 방향, 좌 방향으로 플레인 오프셋에 나타나는 화소 수만큼 시프트되어 있음을 알 수 있다.

그래픽스 데이터를 구성하는 각 화소 데이터가 배치되는 기억소자의 어드레스를 소정의 어드레스만큼 변화시킴으로써 그래픽스 플레인의 시프트는 실현될 수 있다. 당연하지만 실제로 화소 데이터가 배치되는 기억소자의 어드레스를 변화시키지 않아도 이것과 등가의 처리라면, 그래픽스 플레인의 시프트를 실현하는 것은 가능하게 된다.

(비고)

이상, 본원의 출원시점에서 출원인이 알 수 있는 가장 바람직한 실시형태에 대하여 설명했으나, 이하에 설명하는 기술적 토픽에 대해서는 개량이나 변경실시를 더 부가할 수 있다. 각 실시형태에 설명한 대로 실시할지, 이와 같은 개량·변경을 실시할지 여부는 모두 임의적이며, 실시하는 사람의 주관에 의한 것임에 유의하기 바란다.

(비디오 디코더의 실장 수)

도 8, 도 22에서 비디오 디코더(5)는 1개밖에 없는 실장 예를 개시했으나, 이것은 MVC 비디오 스트림으로 입체 시 영상의 재생을 실행하는 경우, 참조 화상이 되는 픽처 데이터를 공통화할 수 있기 때문이다.

그러나 현실적으로는, 왼쪽 눈 용 비디오 스트림을 디코드하는 비디오 디코더와 오른쪽 눈 용 비디오 스트림을 각각 디코드하는 비디오 디코더를 실장해 두고, 비디오 디코더의 실장 수는 “2”로 하는 것이 바람직하다.

(자동 재생 플레이리스트의 이용)

BD-J 오브젝트에 「액세스 가능 플레이리스트 정보」가 존재하는 경우, 그 BD-J 오브젝트에 대응하는 타이틀이 선택된 타이밍에 2D 재생 모드에서 3D 모드로의 전환, 3D 모드에서 2D 재생 모드로의 전환을 실행해도 좋다. 이 경우, 디스크 삽입시나 메뉴 선택시 등, 타이틀 전환 요구를 트리거로 도 12의 플로차트의 처리순서가 실행된다.

「액세스 가능 플레이리스트 정보」는 BD-J 오브젝트에 대응하는 타이틀이 현재 타이틀이 되었을 때, 자동적으로 재생되어야 할 플레이리스트의 지정을 포함한다. 또, 액세스 가능 플레이리스트 정보는 BD-J 오브젝트에 대응하는 타이틀이 현재 타이틀이 되었을 때, 동작시킬 수 있는 애플리케이션을 선택할 수 있는 플레이리스트의 지정을 포함한다.

어느 하나의 타이틀이 선택되었을 때, 재생장치에서의 재생제어엔진은 선택된 현재 타이틀에 대응하는 것의 액세스 가능 플레이리스트 정보에 의해 지정된 플레이리스트의 재생을 애플리케이션으로부터의 재생 지시를 기다리는 일 없이 개시하고, 플레이리스트 재생의 종료보다 BD-J 애플리케이션의 실행이 먼저 종료했을 경우, 플레이리스트의 재생을 계속해 실시한다.

이와 같은 선행 재생에 의해, 애플리케이션의 클래스 로드에 시간이 걸려서 그래픽스의 묘사가 이루어지지 않아서 대화 화면이 좀처럼 출력되지 않는 경우, 플레이리스트 재생에 의한 재생 영상이 그대로 출력되므로 애플리케이션에서의 기동 지연이 현저한 경우에도 우선 플레이리스트의 재생 영상을 사용자에게 시청하게 할 수 있다. 애플리케이션의 스타팅 딜레이 동안, 무엇인가 비치고 있는 상태로 해 둘 수 있으므로 사용자에게 안심감을 줄 수가 있다.

또, 종료가 동시가 아니므로, 자원의 고갈에 의해 애플리케이션이 이상종료하여 애플리케이션의 GUI가 자동적으로 소거되었다고 하더라도, 플레이리스트 재생 화면의 표시를 그대로 계속하고 있으면, 플레이리스트의 재생 영상이 표시장치에 계속해서 출력되고 있음을 의미한다. 이와 같은 출력 계속에 의해, 비록 Java(TM) 언어 프로그램이 이상종료하였다고 하더라도 표시장치는 우선 무엇인가 비치고 있다고 하는 상태가 되어 애플리케이션의 이상종료에 의해 화면이 블랙 아웃 한다고 하는 사태를 방지할 수 있다.

(모드 전환의 적용 대상)

각 실시형태에서는 재생 모드가 3D에서 2D로 변경하고 있으나, 재생 모드가 2D에서 3D로 변경되는 경우도 동일한 효과를 발휘한다.

(재이용 및 2배의 시프트 양)

도 13에서의 스텝 S808에서는 이미지 메모리(7c,d)에 저장된 그래픽스 스트림을 디코드하고, 이미지 플레인(8)에 출력하고 있으나, 본 스텝을 실행하지 않고, 도 13의 스텝 S805에서 이용한 이미지 플레인을 재이용하여, 도 13의 S809에서 이미지 플레인을 본래의 2배의 양을 역방향으로 시프트함으로써 2회째의 이미지에서 코드를 실시하지 않아도 되도록 해도 좋다.

(2 디코더, 2 가산기)

도 7의 구성도에는 비디오 디코더, 비디오 플레인, 이미지 플레인 가산기를 각 하나씩 가지고 있지만, 예를 들어 고속화를 용도로 각 부분을 2개씩 갖게 하여, 왼쪽 눈 용의 영상과 오른쪽 눈 용의 영상을 평행하게 처리하도록 해도 좋다.

(차원식별의 방법)

BD-ROM 상에는 재생 대상의 스트림이 2D용인가 3D용인가를 식별하는 차원식별 플래그를 갖고 있으며, 본 실시형태에서는 플레이리스트(PL) 정보에 차원식별 플래그를 매입하고 있으나, 스트림 본체와 그 스트림이 2D용인가 3D용인가를 특정할 수 있는 정보로 기록되는 정보라면, BD-ROM 상에 다른 형태로 기록되어 있어도 좋다.

(스케일링의 병용)

도 13의 S809의 이미지 플레인의 시프트시에 도 13의 S805와 마찬가지로 스케일링에 의해, 크거나 또는 작게 하는 것이 바람직하다.

(처리의 디폴트 지정)

도 13에 나타나는 스텝 S801~S810의 처리는 좌우처리 기억부(19)가 디폴트에 의해 왼쪽 눈 용의 처리를 설정하고 있으므로, 왼쪽 눈의 합성 및 출력을 먼저 실시했지만, 디폴트에 오른쪽 눈 용의 처리를 설정하고, 오른쪽 눈의 처리를 먼저 실시해도 좋다.

(변경의 대상)

도 13의 스텝 S805에서 이미지 플레인을 일정한 폭만큼 일정 방향으로 시프트하고, 스텝 S809에서 역방향으로 동일한 폭으로 시프트하도록 기재하고 있지만, 이미지 플레인을 시프트하는 폭을 변경하도록 해도 좋다. 이에 더하여, 두 눈 모두 시프트하는 것이 아니라, 어느 한쪽 눈만을 시프트하도록 해서 입체 효과를 갖게 하도록 해도 좋다.

(깊이 설정의 대상)

2D용의 비디오 스트림상에 자막/그래픽 데이터만 깊이를 갖게 하고 싶은 경우에는 도 13의 스텝 S802~S809의 처리를 실시한다. 단, S804와 S807의 처리는 왼쪽 눈 용 비디오 스트림의 비디오 프레임과 오른쪽 눈 용 비디오 프레임을 이용하는 것이 아니라, 2D의 두 눈 용 스트림상의 프레임을 각 눈에 이용함으로써 가능해진다.

(이미지 플레인 시프트 정보의 저장장소)

제 1 실시형태에서는 이미지 플레인 시프트 정보는 현재 플레이리스트 정보 내에 존재하는 것을 전제로 기록되어 있으나, MVC 비디오 스트림과의 동기를 치밀하게 실현하기 위해, MVC 비디오 스트림 내에 오프셋 테이블을 설치하고, 여기에 이미지 플레인 시프트 정보를 저장해 두는 것이 일이 바람직하다. 이에 의해, 픽처 단위로 치밀한 동기를 실현할 수 있다. 또, 현재 플레이리스트 정보 대신에 현재 스트림 관리 정보에 이미지 플레인 시프트 정보가 매입되어 있는 경우, 도 12의 스텝 S5의 처리는 현재 스트림 관리 정보로부터 취득하도록 해도 좋다.

(디스크별 깊이의 전환)

본 실시형태에서는 현재 플레이리스트 정보의 이미지 플레인 시프트 정보에 의거하여 플레인 시프트 엔진이 횡 폭 방향의 시프트 값을 산출하고 있었다. 즉, 왼쪽 눈 영상과 오른쪽 눈 영상의 출력을 생성하는 일련의 처리시에 플레이리스트의 전환이 발생한 경우에는, 도 12의 스텝 S5의 이미지 플레인 시프트 정보의 재취득의 처리가 필요해진다. 그러나 플레이리스트별로 이미지 플레인의 깊이를 변경하고 싶지 않은 경우도 상정된다. 예를 들어, 디스크 단위나 타이틀 단위로 고유하게 깊이를 결정해 버리고 싶은 경우이다.

디스크 단위로 고유하게 깊이를 결정하기 위해서는, 콘텐츠는 디스크 단위의 정보에 관련을 부여하는 것이 상정된다. 예를 들어, 도 2에 나타나는 BDMV 디렉터리 아래에 존재하는 "Index.bdmv", 또는 디스크에 들어가 있는 영상작품에 관한 다양한 정보가 저장되어 있는 META 디렉터리에 저장된 메타파일(ZZZZZ.xml)을 생각할 수 있다.

(타이틀별 깊이의 전환)

타이틀 단위로 고유하게 깊이를 결정하기 위해서는, 콘텐츠는 타이틀 단위의 정보에 관련을 부여하는 것이 상정된다. 예를 들어, 도 2에 나타나는 BDMV 디렉터리 아래 존재하는 "MovieObject.bdmv", BDJO 디렉터리 아래에 존재하는"XXXXX.bdjo", 또는 디스크에 들어가 있는 영상작품에 관한 다양한 정보가 저장되어 있는 META 디렉터리에 저장된 메타파일(ZZZZZ.xml)을 생각할 수 있다.

(플리커링 방지책)

BD-ROM 등의 재생장치와 TV등의 표시장치를 접속할 때, HDMI를 사용하는 경우가 있지만, 3D표시에서 2D표시로 전환함으로써 HDMI의 재인증에 의한 영상의 플리커링을 방지할 수 있다.

(스케일링의 적용)

실제로는 앞에 온 오브젝트는 크게 비치고, 안쪽에 표시된 오브젝트는 작게 보인다. 그러나 상기의 플레인 시프트만에서만은 오브젝트의 사이즈가 변하지 않은 채로 앞이나 안쪽에 표시되게 된다. 그와 같은 경우에는 시청자에게 있어서는 불쾌감을 주어 버린다. 이와 같은 불쾌감을 없애기 위해서는, 이미지 플레인을 일정한 방향으로 시프트 하는 동시에 스케일링을 실시하여 크게 보이게 하거나 또는 작게 보이게 한다.

예를 들어, 시프트 폭을 크게 하여 앞쪽에 표시시키는 경우에는 자막·그래픽스를 스케일링에 의해 크게 한다.

(재생데이터정보에서의 스트림 등록정보)

재생데이터정보에서의 스트림 등록정보는 STN_table로 구성하는 것이 바람직하다. STN_table는 플레이리스트를 구성하는 복수의 플레이아이템 중, 그 STN_table을 포함하고 있는 것도 것이 현재 플레이아이템이 되었을 때, 멀티패스의 메인 패스에서 참조되고 있는 AV클립에 다중화되어 있는 엘리멘터리 스트림 및 멀티패스의 서브 패스에서 참조되고 있는 AV클립에 다중화되어 있는 엘리멘터리 스트림 중, 어느 재생을 허가할지를 복수의 스트림 종별마다 규정하는 테이블이다. 여기에서의 스트림 종별이란 픽처 인 픽처에서의 프라이머리 비디오 스트림, 픽처 인 픽처에서의 세컨더리 비디오 스트림, 사운드 믹싱에서의 프라이머리 오디오 스트림, 사운드 믹싱에서의 세컨더리 오디오 스트림, 프레젠테이션 그래픽스 텍스트 자막데이터, 인터렉티브 그래픽스 트림이라고 하는 종별을 말하고, STN_table는 이와 같은 스트림 종별마다 재생을 허가해야 할 스트림을 등록할 수 있다. 구체적으로는, STN_table는 스트림 등록정보의 배열로 구성된다. 여기서 스트림 등록이란 STN_table가 귀속하고 있는 플레이아이템이 현재 플레이아이템이 되었을 때, 재생을 허가해야 할 엘리멘터리 스트림이 어떤 스트림인가를 그 스트림 번호에 대응시켜서 나타내는 것이며, 스트림 등록정보는 논리적인 스트림 번호에 스트림 엔트리 및 스트림 속성의 조합을 대응시킨다고 하는 데이터 구조로 되어 있다.

스트림 등록에서의 스트림 번호는 1, 2, 3와 같은 정수치로 표현되고, 스트림 번호의 최대 수는 대응하는 스트림 종별의 스트림 개수가 된다.

스트림 속성은 스트림의 언어코드나 스트림의 부호화 방식을 나타내는 정보를 포함한다. 메인패스 측의 스트림에 대응하는 스트림 엔트리는 패킷 식별자를 포함하고, 서브패스 측의 스트림에 대응하는 엔트리는 트랜스포트 스트림 파일을 특정하는 식별자와 서브 플레이아이템을 특정하는 식별자와 패킷 식별자를 포함한다.

이 스트림 엔트리 내에 재생해야 할 엘리멘터리 스트림의 패킷 식별자가 기술된다. 스트림 엔트리 내에 재생해야 할 엘리멘터리 스트림의 패킷 식별자를 기술할 수 있으므로 스트림 등록정보에서의 스트림 번호를 재생장치의 스트림 번호 레지스터에 저장하고, 스트림 등록정보에서의 스트림 엔트리 내의 패킷 식별자에 의거하여 재생장치의 PID 필터에 패킷 필터링을 재생장치에 실행시킨다. 이렇게 함으로써 STN_table에서 재생이 허가된 엘리멘터리 스트림의 TS패킷이 디코더에 출력되고, 엘리멘터리 스트림의 재생이 이루어지게 된다.

스트림 번호 테이블에서의 이와 같은 스트림 등록정보는 스트림 번호의 순서에 따라서 나열되어 있고, 스트림 번호의 순서에 의거하는 스트림 등록정보의 순위는 “재생장치가 재생할 수 있다”의 조건을 만족하는 스트림이 복수 존재하는 경우, 그것들 중 어느 것을 우선적으로 선택할지의 기준이 된다.

이렇게 함으로써 STN_table에서의 스트림 등록정보 중에 재생장치가 재생할 수 없는 것이 존재하는 경우, 이와 같은 스트림은 재생으로부터 제외되게 되며, 또, "재생장치가 재생할 수 있다"는 조건을 만족하는 스트림이 복수 존재하는 경우에는, 그것들 중 어느 것을 우선적으로 선택해야할지의 지침을 편집자는 재생장치에 전달할 수 있다.

“재생장치가 재생할 수 있다”의 조건을 만족하는 스트림이 존재하는가 여부의 판정이나, “재생할 수 있다”의 조건을 만족하는 스트림 중 어느 것을 선택하는가 하는 선택은 현재 플레이아이템이 새로운 것으로 전환되었을 때, 또, 사용자로부터 스트림 전환이 요구되었을 때에 실행된다.

현재 플레이아이템이 새로운 것으로 전환되는 등, 재생장치 상태 변화가 생겼을 때, 상술한 것과 같은 판정이나 선택을 실시하고, 재생장치에서의 레지스터 세트 내의 레지스터의 하나인 스트림 번호 레지스터에 스트림 번호를 설정하는 일련의 순서를“상태 변화시에 실행해야 할 프로시저”라고 한다.

스트림 전환 요구가 사용자에 의해 이루어진 경우, 상술한 것과 같은 판정이나 선택을 실시하고, 재생장치의 스트림 번호 레지스터에 스트림 번호를 설정하는 일련의 순서를 “스트림 변화가 요구되었을 때의 프로시저”라고 한다.

BD-ROM이 장전되었을 때, 스트림 번호 레지스터를 스트림 등록정보 열에서의 초기치로 설정해 두는 순서를 “초기화”라고 한다.

스트림 번호 테이블에서의 스트림 등록정보 열은 서브 플레이아이템 정보에 의해 지정되어 있는 스트림과 플레이아이템 정보에 의해 지정되어 있는 스트림에 일률적으로 우선 순서를 부여하고 있으므로, 비디오 스트림과는 다중화되어 있지 않은 스트림이라도 서브 플레이아이템 정보에 의해 지정되어 있으면, 비디오 스트림과 동기 재생해야 할 스트림의 선택시의 선택의 대상이 된다.

그리고 서브 플레이아이템 정보에서 지정된 스트림을 재생장치가 재생할 수 있고, 또한 서브 플레이아이템 정보에서 지정된 스트림의 우선 순서가 비디오 스트림과 다중화된 그래픽스 스트림의 우선 순서보다 높은 경우에는, 비디오 스트림과 다중화된 스트림 대신에 서브 플레이아이템 정보에서 지정된 스트림을 재생에 제공할 수 있다.

이와 같이, 비디오 스트림과 다중화된 스트림 대신에 서브 플레이아이템 정보에서 지정된 스트림을 재생에 제공하는 것이야말로 STN_table의 본질이다.

입체 시 재생을 위한 STN_table의 개량으로는 3D 모드 특유의 STN_table의 확장 부분(STN_table_SS(StereoScopic)라고 한다)이 플레이리스트 정보 내에 존재한다. 이 STN_table_SS는 왼쪽 눈 용 비디오 스트림의 스트림 등록정보 열, 오른쪽 눈 용 비디오 스트림의 스트림 등록정보 열, 왼쪽 눈 용 프레젠테이션 그래픽스 스트림의 스트림 등록정보 열, 오른쪽 눈 용 프레젠테이션 그래픽스 스트림의 스트림 등록정보 열, 왼쪽 눈 용 인터렉티브 그래픽스 스트림의 스트림 등록정보 열, 오른쪽 눈 용 인터렉티브 그래픽스 스트림의 스트림 등록정보 열로 구성된다.

3D 모드에서는 STN_table_SS 내의 스트림 종별마다의 스트림 등록정보 열을 STN_table에서의 스트림 종별의 스트림 등록정보 열에 결합한다.

이 결합은 STN_tabl에서의 프라이머리 비디오 스트림의 스트림 등록정보 열을 STN_table_SS에서의 왼쪽 눈 용 비디오 스트림의 스트림 등록정보 열 및 오른쪽 눈 용 비디오 스트림의 스트림 등록정보 열로 치환하고, STN_table에서의 세컨더리 비디오 스트림의 스트림 등록정보 열을 STN_table_SS에서의 왼쪽 눈 용 세컨더리 비디오 스트림의 스트림 등록정보 열 및 오른쪽 눈 용 세컨더리 비디오 스트림의 스트림 등록정보 열로 치환하며, STN_table에서의 프레젠테이션 그래픽스 스트림의 스트림 등록정보 열을 STN_table_SS에서의 왼쪽 눈 용 프레젠테이션 그래픽스 스트림의 스트림 등록정보 열 및 오른쪽 눈 용 프레젠테이션 그래픽스 스트림의 스트림 등록정보 열로 치환하고, STN_table에서의 인터렉티브 그래픽스 스트림의 스트림 등록정보 열을 STN_table_SS에서의 왼쪽 눈 용 인터렉티브 그래픽스 스트림의 스트림 등록정보 열 및 오른쪽 눈 용 인터렉티브 그래픽스 스트림의 스트림 등록정보 열로 치환함으로써 이루어진다.

STN_table의 결합이 이루어지면, 결합 후의 STN_table에 대해서 상기 프로시저를 실행함으로써 결합 후의 STN_table에서의 스트림 등록정보 열 중에서 3D 모드에서 선택해야 할 엘리멘터리 스트림의 스트림 등록정보를 선택하고, 그 스트림 등록정보에서의 스트림 번호를 재생장치의 스트림 번호 레지스터에 설정한다. 그와 동시에, 그 스트림 등록정보 중에서 패킷 식별자를 인출하고, 그 패킷 식별자에 의거하는 패킷 필터링을 재생장치의 PID 필터에 실행시킨다. 이렇게 함으로써 왼쪽 눈 용 스트림, 오른쪽 눈 용 스트림을 구성하는 TS패킷을 디코더에 투입시키고, 재생 출력을 실시하게 할 수 있다. 이렇게 함으로써, 왼쪽 눈 용 스트림, 오른쪽 눈 용 스트림을 재생에 제공할 수 있으므로, 이와 같은 재생 출력과 조합시키면 입체 시 재생이 가능하게 된다.

(기록매체의 변형)

각 실시형태에서의 기록매체는 광디스크, 반도체 메모리카드 등, 패키지 미디어 전반을 포함하고 있다. 본 실시형태의 기록매체는 미리 필요한 데이터가 기록된 광디스크(예를 들어, BD-ROM, DVD-ROM 등의 기존의 판독 가능한 광디스크)를 예로 설명하지만, 이에 한정될 필요는 없으며, 예를 들어, 방송 또는 네트워크를 경유하여 전달된 본 발명의 실시에 필요한 데이터를 포함한 3D콘텐츠를 광디스크에 기입하는 기능을 갖는 단말장치(예를 들어, 왼쪽에 기입하는 기능은 재생장치에 포함되어 있어도 좋고, 재생장치와는 다른 장치라도 좋다)를 이용하여 기입 가능한 광디스크(예를 들어, BD-RE, DVD-RAM 등의 기존의 기입 가능한 광디스크)에 기록하고, 이 기록한 광디스크를 본 발명의 재생장치에 적용해도 본 발명의 실시는 가능하다.

또, 기록매체는 광디스크 이외에도 SD메모리카드 등의 반도체 메모리카드라도 본 발명의 실시는 가능하다.

(반도체 메모리카드의 재생)

또, 기록매체로 예를 들어, 반도체 메모리카드를 이용했을 때의 재생 순서에 대하여 설명한다. 광디스크에서는 예를 들어, 광디스크 드라이브를 개재하여 데이터를 판독하도록 구성하고 있던 것에 대해, 반도체 메모리카드를 이용한 경우에는 반도체 메모리카드 내의 데이터를 판독하기 위한 I/F를 개재하여 데이터를 판독하도록 구성하면 좋다.

더 상세하게는, 재생장치의 슬롯(도시생략)에 반도체 메모리카드가 삽입되면, 반도체 메모리카드 I/F를 경유하여 재생장치와 반도체 메모리카드가 전기적으로 접속된다. 반도체 메모리카드에 기록된 데이터는 반도체 메모리카드 I/F를 개재하여 판독하도록 구성하면 좋다.

(프로그램의 실시형태)

각 실시형태의 플로차트에 나타낸 처리순서에 의거하여 프로그램을 작성하고, 이 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 실시해도 좋다.

먼저, 소프트웨어 개발자는 프로그래밍 언어를 이용하여 각 플로차트나 기능적인 구성요소를 실현하는 것 같은 소스 프로그램을 기술한다. 이 기술시에 소프트웨어 개발자는 프로그래밍 언어의 구문에 따라, 클래스 구조체나 변수, 배열 변수, 외부 함수의 콜을 이용하여 각 플로차트나 기능적인 구성요소를 구현하는 소스 프로그램을 기술한다.

기술된 소스 프로그램은 파일로 컴파일러에 부여된다. 컴파일러는 이와 같은 소스 프로그램을 번역하여 오브젝트 프로그램을 생성한다.

컴파일러에 의한 번역은 구문 해석, 최적화, 자원 할당, 코드 생성이라고 하는 과정으로 이루어진다. 구문 해석에서는 소스 프로그램의 어구해석, 구문 해석 및 의미 해석을 실시하고, 소스 프로그램을 중간 프로그램으로 변환한다. 최적화에서는 중간 프로그램에 대해서 기본 블록화, 제어 플로 해석, 데이터 플로 해석이라고 하는 작업을 실시한다. 자원 할당에서는 타겟이 되는 프로세서의 명령 세트로의 적합을 도모하기 위해 중간 프로그램 중의 변수를 타겟이 되는 프로세서의 프로세서가 갖고 있는 레지스터 또는 메모리에 할당한다. 코드 생성에서는 중간 프로그램내의 각 중간 명령을 프로그램 코드로 전환하고, 오브젝트 프로그램을 얻는다.

여기서 생성된 오브젝트 프로그램은 각 실시형태에 나타낸 플로차트의 각 스텝이나 기능적 구성요소의 개개의 순서를 컴퓨터에 실행시키는 1개 이상의 프로그램 코드로 구성된다. 여기서 프로그램 코드는 프로세서의 네이티브코드, JAVA 바이트코드와 같이 여러가지 종류가 있다. 프로그램 코드에 의한 각 스텝의 실현에는 여러가지 형태가 있다. 외부 함수를 이용하여 각 스텝을 실현할 수 있는 경우, 이 외부 함수를 콜 하는 콜문이 프로그램 코드가 된다. 또, 1개의 스텝을 실현하는 프로그램 코드가 다른 오브젝트 프로그램에 귀속하는 경우도 있다. 명령종이 제한되어 있는 RISC 프로세서에서는 산술연산명령이나 논리연산명령, 분기 명령 등을 조합함으로써 플로차트의 각 스텝을 실현해도 좋다.

오브젝트 프로그램이 생성되면 프로그래머는 이것들에 대해서 링커를 기동한다. 링커는 이와 같은 오브젝트 프로그램이나 관련하는 라이브러리 프로그램을 메모리 공간에 할당하고, 이것들을 하나로 결합하여 로드 모듈을 생성한다. 이렇게 생성되는 로드 모듈은 컴퓨터에 의한 판독을 전제로 한 것이며, 각 플로차트에 나타낸 처리순서나 기능적인 구성요소의 처리순서를 컴퓨터에 실행시키는 것이다. 그리고 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하여 사용자에게 제공한다.

본 발명은 입체 시 비디오 스트림을 재생하는 재생기기에서 입체 시 비디오 스트림상에 자막이나 그래픽스를 중합해서 표시하는 기술에 관한 것으로, 특히, 입체 시 비디오 스트림뿐만 아니라 자막이나 그래픽도 아울러 입체적으로 출력하여 중합시키는 입체 시 비디오 재생장치에 적용이 가능하다.

100 BD-ROM
200 재생장치
300 리모컨
400 TV
500 액정안경
1a BD 드라이브
1b 네트워크 디바이스
1c 로컬 스토리지
2a, 2b 리드 버퍼
3 가상파일시스템
4 디 멀티플렉서
5 비디오 디코더
6 비디오 플레인
7a,b 이미지 디코더
7c,d 이미지 메모리
8 이미지 플레인
9 오디오 디코더
10 인터렉티브 그래픽스 플레인
11 백그라운드 플레인
12 레지스터 세트
13 정적 시나리오 메모리
14 재생제어엔진
15 스칼라 엔진
16 합성부
17 HDMI 송수신부
18 표시기능 플래그 보유부
19 좌우처리 기억부
20 플레인 시프트 엔진
21 시프트 정보 메모리
22 BD-J 플랫폼

Claims

비디오 프레임의 입체 시를 사용자에게 보여주는 3D 모드 및 비디오 프레임의 평면 시를 사용자에게 보여주는 2D 모드의 어느 쪽으로도 재생 모드를 전환할 수 있는 재생장치로,
왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 포함하는 디지털 스트림을 기록매체로부터 판독하는 판독수단과,
현재의 재생 모드를 기억하고 있는 모드 기억부와,
기록매체로부터 판독된 디지털 스트림이 3D 모드에 대응하고 있는가 여부를 판정하는 차원 판정부와,
상기 디지털 스트림이 3D 모드에 대응하고 있고, 또한, 현재의 재생 모드가 3D 모드라는 조건이 성립하는 경우에는 상기 디지털 스트림에서 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림을 분리하고, 상기 조건이 불성립인 경우에는 상기 디지털 스트림에서 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림 중 어느 일방을 분리하는 디 멀티플렉서와,
상기 분리된 비디오 스트림을 디코드함으로써 입체 시 또는 평면 시를 위한 비디오 프레임을 얻는 비디오 디코더를 구비하는 것을 특징으로 하는 재생장치.
제 1 항에 있어서,
상기 재생장치는,
현재의 재생 모드가 3D 모드시인 경우에 특수재생이 요구된 때, 재생 모드를 3D 모드로 유지한 채로, 상기 비디오 디코더로부터 출력되는 동일한 비디오 프레임을 오른쪽 눈 용 비디오 플레인, 왼쪽 눈 용 비디오 플레인의 각각에 기입하도록 상기 비디오 디코더를 제어하는 재생제어수단을 구비하고,
반복출력의 대상이 되는 비디오 프레임은,
디지털 스트림으로부터 분리된 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림의 어느 일방을 디코드함으로써 얻어진 비디오 프레임이며, 상기 재생제어수단은 상기 비디오 디코더로부터 출력되는 동일한 비디오 프레임을 오른쪽 눈 용 비디오 플레인, 왼쪽 눈 용 비디오 플레인의 각각에 반복해서 기입하도록 구성한 것을 특징으로 하는 재생장치.
제 2 항에 있어서,
상기 특수재생의 지시는 빨리 감기, 되감기 중 어느 하나인 것을 특징으로 하는 재생장치.
제 2 항에 있어서,
상기 특수재생은 재생속도의 변화를 수반하는 것이 있고,
상기 재생제어수단은,
재생속도의 변화를 수반하는 특수재생의 요구가 있은 때에, 변화 후의 재생속도로 왼쪽 눈 용 비디오 스트림의 비디오 프레임 및 오른쪽 눈 용 비디오 스트림의 비디오 프레임의 교호 출력을 실행할 수 있는가 여부의 판정을 하며,
상기 재생제어수단이 상기 비디오 디코더로부터 출력되는 동일한 비디오 프레임을 상기 오른쪽 눈 용 비디오 플레인, 상기 왼쪽 눈 용 비디오 플레인의 각각에 반복해서 기입하는 것은 변화 후의 재생속도에서 비디오 프레임의 교호 출력을 실행할 수 없다고 재생제어수단이 판정한 경우에 이루어지는 것을 특징으로 하는 재생장치.
제 4 항에 있어서,
상기 왼쪽 눈 용 비디오 스트림의 비디오 프레임 및 오른쪽 눈 용 비디오 스트림의 비디오 프레임의 교호 출력이 가능한 재생속도란,
특수재생이 조견 재생(quick view)인 경우의 재생속도, 특수재생이 프레임 포워드(frame forward)인 경우의 재생속도, 특수재생이 프레임 리버스(frame reverse)인 경우의 재생속도 중 어느 하나인 것을 특징으로 하는 재생장치.
제 1 항에 있어서,
바이트코드 애플리케이션을 실행하는 플랫폼부와,
재생장치와 접속된 표시장치에 비디오 프레임을 전송함으로써 비디오 프레임의 출력을 표시장치에 실행시키는 전송수단을 구비하고,
상기 모드 기억부에 기억되어 있는 재생 모드가 2D 모드에서 3D 모드로 전환된 경우, 또는 3D 모드에서 2D 모드로 전환된 경우에 전송수단은 표시장치의 재 인증을 실행하며,
상기 재 인증 후, 전환 후의 모드에 따른 출력이 가능하다는 취지의 통지를 받은 경우에는 상기 플랫폼부에 의해 실행되고 있는 바이트코드 애플리케이션에 대해서 상기 전환 후의 모드에 따른 출력이 가능하다는 취지를 통지하는 것을 특징으로 하는 재생장치.
제 1 항에 있어서,
3D 모드에서 비디오 스트림의 재생이 정지 또는 일시 정지한 때 상기 모드 기억부는 재생 모드가 3D 모드라는 설정을 유지하고,
상기 비디오 디코더는,
재생정지위치의 왼쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임 및 재생정지위치의 오른쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임을 교호로 출력하는 것을 특징으로 하는 재생장치.
제 7 항에 있어서,
상기 재생장치는 바이트코드 애플리케이션을 실행하는 플랫폼부와 커멘드에 의해 기술된 프로그램을 해석하여 실행하는 커멘드 인터프리터를 구비하고,
상기 비디오 재생이 정지 또는 일시 정지하는 것은,
리모컨에 의한 사용자 조작이 있은 경우,
플랫폼부에 의해 실행되는 바이트코드 애플리케이션에 의한 지시가 있은 경우,
커멘드 인터프리터에 의해 실행되는 오브젝트 프로그램으로부터 지시가 있은 경우,
왼쪽 눈 용 또는 오른쪽 눈 용 비디오 스트림이 종단까지 재생된 경우 중 어느 하나인 것을 특징으로 하는 재생장치.
제 1 항에 있어서,
재생장치에서의 재생제어가 통상재생에서 슬라이드 재생으로 변화한 때,
왼쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임 및 오른쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임을 교호로 출력하는 것을 특징으로 하는 재생장치.
제 9 항에 있어서,
상기 재생제어수단은 기록매체에 기록되어 있는 재생구간정보에 의거하여 디지털 스트림 내의 비디오 스트림을 비디오 디코더에 디코드시키는 제어를 실행하고,
상기 재생구간정보는 상기 디지털 스트림이 슬라이드쇼 속성을 갖는가 무비 속성을 갖는가를 나타내는 속성정보를 포함하며,
상기 재생장치가 슬라이드 재생을 실행하는 것은 현재의 재생구간정보가 무비 속성을 갖는 것에서 슬라이드 쇼 속성을 갖는 재생구간정보로 전환된 때인 것을 특징으로 하는 재생장치.
제 1 항에 있어서,
상기 재생구간정보는 사용자로부터의 특수재생의 지시 또는 콘텐츠로부터의 특수재생의 지시를 마스크 하는가 여부를 설정하는 마스크정보를 포함하고,
상기 재생장치는,
3D 모드에서 특수재생이 요구된 경우에 상기 마스크정보가 사용자로부터의 특수재생의 지시를 마스크 하는 취지를 나타내고 있는가 여부의 판정을 하는 재생제어수단을 구비하며,
상기 재생제어수단은,
마스크정보가 마스크 하고 있다는 취지를 나타내는 경우에는 특수재생을 실행하지 않고 비디오 프레임의 교호 출력을 비디오 디코더에 실행시키며,
마스크정보가 마스크 하고 있지 않다는 취지를 나타내는 경우에는, 모드 기억부에서의 재생 모드를 3D 모드로 유지한 채로, 상기 비디오 디코더에서 출력되는 동일 비디오 프레임을 상기 오른쪽 눈 용 비디오 플레인 및 상기 왼쪽 눈 용 비디오 플레인의 각각에 반복 기입할 수 있도록 구성한 것을 특징으로 하는 재생장치.
제 1 항에 있어서,
상기 디지털 스트림은 그래픽스 스트림을 포함하고,
상기 재생장치는 이미지 디코더와, 이미지 플레인과, 플레인 시프트 엔진 및 합성부를 포함하며,
상기 판독수단은 상기 이미지 플레인을 시프트하기 위한 시프트 위치정보를 상기 기록매체로부터 더 판독하고,
상기 디 멀티플렉서는 그래픽스 스트림을 더 분리하며,
상기 이미지 디코더는 상기 분리된 그래픽스 스트림을 디코드하여, 디코드에 의해 얻어진 그래픽스를 상기 이미지 플레인에 기입하고,
상기 플레인 시프트 엔진은,
상기 이미지 플레인에 기입된 그래픽스를 구성하는 화소의 좌표를 시프트 위치 정보에 의거하여 시프트하며,
상기 합성부는,
3D 모드에서 출력되는 비디오 프레임은,
상기 분리된 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 오른쪽 눈 용 및 왼쪽 눈 용 비디오 프레임과 상기 이미지 플레인에서의 시프트 후의 그래픽스를 합성하는 것을 특징으로 하는 재생장치.
제 2 항 또는 12 항에 있어서,
3D 모드에서 특수재생이 지시된 경우에 다음 중 어느 하나를 실행하는 것을 특징으로 하는 재생장치.
1) 그래픽스와 합성하지 않는 채, 왼쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임 및 오른쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임의 어느 일방을 출력한다.
2) 왼쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임 및 오른쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임의 어느 일방과 화소의 좌표가 플레인 시프트에 의해 변화하고 있지 않은 그래픽스를 합성한 후에 출력한다.
제 11 항에 있어서,
상기 비디오 디코더에 의한 재생이 정지 또는 일시 정지한 때 다음 중 어느 하나를 실행하는 것을 특징으로 하는 재생장치.
1) 왼쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임 및 오른쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임으로서 재생정지위치에 존재하는 것과 화소의 좌표가 플레인 시프트에 의해 변화한 그래픽스를 합성한 후에 교호로 출력한다.
2) 왼쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임 및 오른쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임으로서 재생정지위치에 존재하는 것만 교호로 출력하고, 그래픽스는 비디오 프레임에 합성하지 않는다.
제 13 항에 있어서,
상기 재생장치는 바이트코드 애플리케이션을 실행하는 플랫폼부와 커멘드에 의해 기술된 프로그램을 해석하여 실행하는 커멘드 인터프리터를 구비하고,
상기 비디오 재생이 정지 또는 일시 정지하는 것은,
1) 리모컨에 의한 사용자 조작이 있은 때,
2) 플랫폼부에 의해서 실행되는 바이트코드 애플리케이션으로부터 지시가 있은 때,
3) 커멘드 인터프리터에 의해서 실행되는 오브젝트 프로그램으로부터 지시가 있은 때,
4) 왼쪽 눈 용 또는 오른쪽 눈 용 비디오 스트림이 종단까지 재생된 때 중 어느 하나인 것을 특징으로 하는 재생장치.
제 11 항에 있어서,
상기 비디오 디코더에 의한 재생이 통상재생에서 슬라이드 재생으로 변화한 경우에 표시모드를 3D 모드에 유지한 채로 다음 중 어느 하나의 처리를 실행하는 것을 특징으로 하는 재생장치.
1) 왼쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임 및 오른쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임의 각각과 화소의 좌표가 플레인 시프트에 의해 변화한 그래픽스를 합성한 후에 교호로 출력한다.
2) 왼쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임 및 오른쪽 눈 용 비디오 스트림을 디코드함으로써 얻어진 비디오 프레임만 교호로 출력하고, 이미지 플레인에서의 그래픽스를 출력하지 않는다.
비디오 프레임의 입체 시를 사용자에게 보여주는 3D 모드 및 비디오 프레임의 평면 시를 사용자에게 보여주는 2D 모드의 어느 쪽으로도 표시모드를 전환할 수 있는 재생장치에 내장될 수 있는 집적회로로,
왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 포함하는 디지털 스트림이 기록매체로부터 판독되면 기록매체로부터 판독된 디지털 스트림이 3D 모드에 대응하고 있는가 여부를 판정하는 차원 판정부와,
상기 디지털 스트림이 3D 모드에 대응하고 있고, 또한, 현재의 표시모드가 3D 모드라는 조건이 성립하는 경우에는 상기 디지털 스트림에서 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림을 분리하고, 상기 조건이 불성립인 경우에는 상기 디지털 스트림 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림 중 어느 일방을 분리하는 디 멀티플렉서와,
상기 분리된 비디오 스트림을 디코드함으로써 입체 시 또는 평면 시를 위한 비디오 프레임을 얻는 비디오 디코더를 구비하는 것을 특징으로 하는 집적회로.
비디오 프레임의 입체 시를 사용자에게 보여주는 3D 모드 및 비디오 프레임의 평면 시를 사용자에게 보여주는 2D 모드의 어느 쪽으로도 표시모드를 전환할 수 있는 컴퓨터에 이용되는 재생방법으로,
왼쪽 눈 용 비디오 스트림 및 오른쪽 눈 용 비디오 스트림을 포함하는 디지털 스트림을 기록매체로부터 판독하는 판독스텝과,
기록매체로부터 판독된 디지털 스트림이 3D 모드에 대응하고 있는가 여부를 판정하는 차원 판정스텝과,
상기 디지털 스트림이 3D 모드에 대응하고 있고, 또한, 현재의 표시모드가 3D 모드라는 조건이 성립하는 경우에는 상기 디지털 스트림에서 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림을 분리하고, 상기 조건이 불성립인 경우에는 상기 디지털 스트림에서 오른쪽 눈 용 비디오 스트림 및 왼쪽 눈 용 비디오 스트림 중 어느 일방을 분리하는 분리 스텝과,
상기 분리된 비디오 스트림을 디코드함으로써 입체 시 또는 평면 시를 위한 비디오 프레임을 얻는 디코드 스텝을 갖는 것을 특징으로 하는 재생방법.