KR20140030202A

KR20140030202A - 기록 장치, 기록 방법, 재생 장치, 재생 방법, 프로그램 및 기록 재생 장치

Info

Publication number: KR20140030202A
Application number: KR20137030803A
Authority: KR
Inventors: 도시야 하마다; 겐이치로 아리도메; 아츠시 마에
Original assignee: 소니 주식회사
Priority date: 2011-05-30
Filing date: 2012-05-22
Publication date: 2014-03-11
Also published as: TW201304540A; EP2688303A1; JP2012249137A; EP2688303A4; WO2012165218A1; CN103548345A; US20140072271A1

Abstract

본 기술은, 촬영에 사용된 복수의 카메라의 정보를 재생측의 장치에 제공할 수 있는 기록 장치, 기록 방법, 재생 장치, 재생 방법, 프로그램 및 기록 재생 장치에 관한 것이다. 본 기술의 일 측면의 기록 장치는, 제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화하고, Non-base view 비디오 스트림을 구성하는 각 픽처의 SEI로서, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 상기 SEI를 기록하는 부호화부와, Base view 비디오 스트림과, 상기 SEI가 기록된 Non-base view 비디오 스트림을 기록 매체에 기록시키는 기록 제어부를 구비한다.

Description

기록 장치, 기록 방법, 재생 장치, 재생 방법, 프로그램 및 기록 재생 장치{RECORDING DEVICE, RECORDING METHOD, PLAYBACK DEVICE, PLAYBACK METHOD, PROGRAM, AND RECORDING/PLAYBACK DEVICE}

본 기술은, 특히, 촬영에 사용된 복수의 카메라의 정보를 재생측의 장치에 제공할 수 있도록 한 기록 장치, 기록 방법, 재생 장치, 재생 방법, 프로그램 및 기록 재생 장치에 관한 것이다.

최근 들어, 입체시(立體視)가 가능한 화상을 수록한 3D 콘텐츠가 주목받고 있다. 3D 콘텐츠의 비디오 데이터에는 좌안용의 화상(L 화상)과 우안용의 화상(R 화상)의 데이터가 포함된다. L 화상에 찍히는 피사체와 R 화상에 찍히는 피사체에는 시차에 상당하는 어긋남이 있다.

예를 들어, 시차가 설정된 L 화상과 R 화상을 교대로 표시하고, 액티브 셔터 안경을 쓴 유저의 좌안과 우안에 각각 보내줌으로써 피사체를 입체적으로 인식시키는 것이 가능해진다.

일본 특허 공개 제2007-280516호 공보

유저가 지각하는 시차가 시청 환경에 따라 상이하므로, 항상 최적의 시차로 시청시키는 것은 어렵다. 예를 들어, 표시 디바이스 상에서의 표시 화상의 크기에 따라서도 최적의 시차는 상이하고, 시청 거리에 따라서도 최적의 시차는 상이하다.

L 화상과 R 화상으로부터 촬영 시에 있어서의 카메라의 위치 등을 추정하고, 거기에 맞추어 시차를 조정하는 방법도 시도되고 있지만, 촬영 시의 상황을 재생측에서 완전히 복원하는 것은 곤란하다.

본 기술은 이러한 상황을 감안하여 이루어진 것이며, 촬영에 사용된 복수의 카메라의 정보를 재생측의 장치에 제공할 수 있도록 하는 것이다.

본 기술의 제1 측면의 기록 장치는, 제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화하고, Non-base view 비디오 스트림을 구성하는 각 픽처의 SEI로서, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각(輻輳角)의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 상기 SEI를 기록하는 부호화부와, Base view 비디오 스트림과, 상기 SEI가 기록된 Non-base view 비디오 스트림을 기록 매체에 기록시키는 기록 제어부를 구비한다.

제1 카메라와 제2 카메라는 각각 렌즈를 적어도 갖는다. 렌즈에 도입된 광의 광전 변환을 행하는 촬상 소자로서, 제1 카메라용의 촬상 소자와 제2 카메라용의 촬상 소자가 각각 설치되도록 해도 되고, 1개의 촬상 소자가 제1 카메라와 제2 카메라에 의해 공유하여 사용되도록 해도 된다.

제1 카메라와 제2 카메라는 기록 장치의 내부에 설치되는 것이어도 되고, 기록 장치의 외부에 설치되는 것이어도 된다. 기록 장치의 외부에 설치될 경우, 제1 카메라와 제2 카메라에 의해 촬영된 화상은 유선 또는 무선의 통신에 의해 기록 장치에 공급된다.

좌안용의 화상을 촬영하는 상기 제1 카메라와, 우안용의 화상을 촬영하는 상기 제2 카메라를 더 설치할 수 있다. 이 경우, 상기 부호화부에는 상기 제1 카메라로 촬영된 좌안용의 화상을 상기 Base view 비디오 스트림으로서 부호화시키고, 상기 제2 카메라로 촬영된 우안용의 화상을 상기 Non-base view 비디오 스트림으로서 부호화시킬 수 있다.

상기 부호화부에는 상기 광축 간격의 정보로서 2개의 값을 포함하는 정보를 기록시킬 수 있다. 이 경우, 상기 제1 카메라와 상기 제2 카메라의 광축 간격은 상기 2개의 값 중 한쪽 값을 다른 쪽 값으로 제산함으로써 표시된다.

상기 부호화부에는 상기 폭주각의 정보로서 2개의 값을 포함하는 정보를 기록시킬 수 있다. 이 경우, 상기 제1 카메라와 상기 제2 카메라의 폭주각은 상기 2개의 값 중 한쪽 값을 다른 쪽 값으로 제산함으로써 표시된다.

본 기술의 제2 측면의 재생 장치는, 제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화함으로써 얻어진 Base view 비디오 스트림과, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 SEI가 각 픽처의 SEI로서 기록된 Non-base view 비디오 스트림을 복호하는 복호부를 구비한다.

상기 SEI에 기초하여 상기 Base view 비디오 스트림을 복호하여 얻어진 화상과, 상기 Non-base view 비디오 스트림을 복호하여 얻어진 화상의 시차를 조정하여 표시시키는 표시 제어부를 더 설치할 수 있다.

상기 표시 제어부에는, 상기 Base view 비디오 스트림을 복호하여 얻어진 화상을 좌안용의 화상으로서 표시시키고, 상기 Non-base view 비디오 스트림을 복호하여 얻어진 화상을 우안용의 화상으로서 표시시킬 수 있다.

본 기술의 제3 측면의 기록 재생 장치는, 제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화하고, Non-base view 비디오 스트림을 구성하는 각 픽처의 SEI로서, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 상기 SEI를 기록하는 부호화부와, Base view 비디오 스트림과, 상기 SEI가 기록된 Non-base view 비디오 스트림을 기록 매체에 기록시키는 기록 제어부와, 상기 기록 매체에 기록된 상기 Base view 비디오 스트림과 상기 Non-base view 비디오 스트림을 복호하는 복호부를 구비한다.

본 기술에 의하면, 촬영에 사용된 복수의 카메라의 정보를 재생측의 장치에 제공할 수 있다.

도 1은 본 기술의 일실시 형태에 관한 기록 재생 시스템의 구성예를 도시하는 도면이다.
도 2는 H.264/MPEG-4 MVC에 대하여 설명하는 도면이다.
도 3은 기선(基線) 길이와 폭주각에 대하여 설명하는 도면이다.
도 4는 기록 장치의 구성예를 도시하는 블록도이다.
도 5는 Non-base view 비디오 스트림의 데이터 구조를 도시하는 도면이다.
도 6은 user_data_unregistered SEI의 구문을 도시하는 도면이다.
도 7은 mdp_id를 도시하는 도면이다.
도 8은 BASELINE LENGTH pack()을 도시하는 도면이다.
도 9는 CONVERGENCE ANGLE pack()을 도시하는 도면이다.
도 10은 기록 장치의 기록 처리에 대하여 설명하는 흐름도이다.
도 11은 재생 장치의 구성예를 도시하는 블록도이다.
도 12는 재생 장치의 재생 처리에 대하여 설명하는 흐름도이다.
도 13은 도 12의 스텝 S23에서 행해지는 시차 조정 처리에 대하여 설명하는 흐름도이다.
도 14는 폭주각, 기선 길이, 시차의 관계에 대하여 설명하는 도면이다.
도 15는 시차의 조정에 대하여 설명하는 도면이다.
도 16은 기록 재생 시스템의 구성예를 도시하는 블록도이다.
도 17은 기록 재생 시스템의 다른 구성예를 도시하는 블록도이다.
도 18은 컴퓨터의 구성예를 도시하는 블록도이다.

이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 설명은 이하의 순서로 행한다.

1. 기록 재생 시스템에 대해서

2. 기록 장치에 대해서

3. 재생 장치에 대해서

4. 변형예

<기록 재생 시스템에 대해서>

도 1은 본 기술의 일실시 형태에 관한 기록 재생 시스템의 구성예를 도시하는 도면이다.

도 1의 기록 재생 시스템은 기록 장치(1), 재생 장치(2) 및 표시 장치(3)로 구성된다. 재생 장치(2)와 표시 장치(3)는 HDMI(High Definition Multimedia Interface) 케이블 등의 케이블(4)을 통하여 접속된다.

기록 장치(1)는 3D 화상의 촬영과 기록이 가능한 비디오 카메라이다. 기록 장치(1)의 전방면에는 기록 장치(1)에서 피사체를 향하여 우측의 위치에 렌즈(11R)가 설치되고, 좌측의 위치에 렌즈(11L)가 설치된다. 기록 장치(1)의 내부에는, 렌즈(11R)에 의해 도입된 광에 기초하여 R 화상을 생성하기 위한 광학계를 갖는 우안용의 카메라와, 렌즈(11L)로부터 도입된 광에 기초하여 L 화상을 생성하기 위한 광학계를 갖는 좌안용의 카메라가 설치된다.

기록 장치(1)는 R 화상과 L 화상을 H.264/MPEG-4 MVC(Multi-view Video coding)에 의해 부호화하고, AVCHD(Advanced Video Codec High Definition) 등의 기록 포맷을 따라서 내부의 기록 매체에 기록한다.

여기서, H.264/MPEG-4 MVC에 대하여 도 2를 참조하여 설명한다. H.264/MPEG-4 MVC에서는 Base view 비디오 스트림이라고 불리는 비디오 스트림과, Non-base view 비디오 스트림이라고 불리는 비디오 스트림이 정의되어 있다.

Base view 비디오 스트림은 L 화상과 R 화상 중 예를 들어 L 화상을 H.264/AVC에 의해 부호화함으로써 얻어진 스트림이다. 도 2의 세로 방향의 화살표로 나타낸 바와 같이, Base view의 픽처에는 다른 view의 픽처를 참조 화상으로 하는 예측 부호화가 허용되지 않고 있다.

한편, Non-base view의 픽처에는 Base view의 픽처를 참조 화상으로 하는 예측 부호화가 허용되어 있다. 예를 들어, L 화상을 Base view로 함과 함께 R 화상을 Non-base view로서 부호화를 행한 경우, 그 결과 얻어지는 R 화상의 비디오 스트림인 Non-base view 비디오 스트림의 데이터량은 L 화상의 비디오 스트림인 Base view 비디오 스트림의 데이터량에 비교하여 적어진다.

또한, H.264/AVC로의 부호화이므로, 도 2의 가로 방향의 화살표로 나타낸 바와 같이, Base view의 픽처에 대해서 시간 방향의 예측 부호화가 행해지고 있다. 또한, Non-base view의 픽처에 대해서도 view간의 예측과 함께, 시간 방향의 예측 부호화가 행해지고 있다. Non-base view의 픽처를 복호하기 위해서는 부호화 시에 참조처로 한, 대응하는 Base view의 픽처의 복호가 먼저 종료될 필요가 있다.

기록 장치(1)에 의해 촬영된 L 화상과 R 화상의 부호화는 이러한 H.264/MPEG-4 MVC에 의해 행해진다. 기록 장치(1)에 있어서는, L 화상과 R 화상의 부호화 시, L 화상의 촬영에 사용된 좌안용의 카메라와 R 화상의 촬영에 사용된 우안용의 카메라의 카메라의 상황에 관한 정보인 카메라 정보가 Non-base view 비디오 스트림에 기록된다.

카메라 정보에는, 예를 들어 이하의 내용을 표시하는 정보가 포함된다.

1. 카메라 광축 간격(기선 길이) [mm]

2. 폭주각 [도]

3. 35mm 환산 초점 거리 [mm]

도 3에 도시한 바와 같이, 기선 길이는 렌즈(11R)의 광축 위치인 위치PR과, 렌즈(11L)의 광축 위치인 위치PL의 거리(mm)이다. 폭주각은, 피사체의 위치를 위치P로 하여, 위치P와 위치PR을 연결하는 직선과, 위치P와 위치PL을 연결하는 직선이 이루는 각도이다.

35mm 환산 초점 거리는, 촬영 시에 있어서의 좌안용의 카메라와 우안용의 카메라의 35mm 환산의 초점 거리(mm)이다.

후술하는 바와 같이, 기록 장치(1)는 Non-base view 비디오 스트림의user_data_unregistered SEI 중에 MDP(Modified DV pack Meta)라고 칭하는 데이터 구조를 정의하고, 그 데이터 구조를 사용하여 카메라 정보를 기록한다. user_data_unregistered SEI는 임의의 유저 데이터이며, 각 픽처에 부가된다. MDP는 촬영 시에 실시간으로 기록되는 부가 정보이다.

도 1의 재생 장치(2)는 AVCHD에 의해 기록된 비디오 데이터의 재생이 가능한 플레이어이다. 재생 장치(2)는 기록 장치(1)에 의해 촬영되고, 기록 장치(1)의 내부의 기록 매체에 기록된 3D 비디오의 데이터를 USB(Universal Serial Bus) 케이블이나 HDMI 케이블 등을 통하여 도입, 재생한다.

재생 장치(2)는, Base view 비디오 스트림을 재생하여 얻어진 L 화상과, Non-base view 비디오 스트림을 재생하여 얻어진 R 화상의 시차를, 촬영 시에 Non-base view 비디오 스트림에 기록된 카메라 정보를 사용하여 조정한다. 표시 장치(3)의 표시 디바이스에 표시했을 때에 최적의 시차가 되도록 시차의 조정에는 적절히 표시 장치(3)의 표시 디바이스의 크기 등의 정보도 사용된다.

재생 장치(2)는 시차를 조정한 L 화상과 R 화상을 케이블(4)을 통하여 표시 장치(3)에 출력하고, 교대로 표시시킨다. 표시 장치(3)는 스테레오 화상의 표시에 대응한 TV이다. 표시 장치(3)에는 LCD(Liquid Crystal Display) 등으로 이루어지는 표시 디바이스가 설치된다.

이와 같이 L 화상과 R 화상의 촬영에 사용된 카메라의 정보를 Non-base view 비디오 스트림에 기록해 둠으로써, 기록 장치(1)는 촬영 시에 있어서의 카메라의 설치 위치 등의 상황을 재생 장치(2)에 제공할 수 있다.

재생 장치(2)는 Non-base view 비디오 스트림에 기록된 카메라 정보를 참조함으로써, 촬영 시에 있어서의 카메라의 상황을 알 수 있다. 또한, 재생 장치(2)는 L 화상과 R 화상의 시차를 촬영 시에 있어서의 카메라의 상황에 따라서 조정함으로써, 기록 장치(1)와 피사체의 위치 관계를 재현하는 것이 가능해져서 보기 쉬운 화상을 유저에게 제공할 수 있다.

<기록 장치에 대해서>

[기록 장치의 구성]

도 4는 기록 장치(1)의 구성예를 도시하는 블록도이다. 기록 장치(1)는 카메라부(21), 기록부(22) 및 기록 매체(23)로 구성된다.

카메라부(21)는 우안용 카메라(31R)와 좌안용 카메라(31L)로 구성된다.

우안용 카메라(31R)는 렌즈(11R)와 촬상 소자(12R)로 구성되고, 렌즈(11R)에 의해 도입된 광의 광전 변환을 촬상 소자(12R)에서 행한다. 우안용 카메라(31R)는 광전 변환을 행함으로써 얻어진 비디오 신호에 대하여 A/D 변환 등의 처리를 실시하고, R 화상의 데이터를 출력한다.

좌안용 카메라(31L)는 렌즈(11L)와 촬상 소자(12L)로 구성되고, 렌즈(11L)에 의해 도입된 광의 광전 변환을 촬상 소자(12L)에서 행한다. 좌안용 카메라(31L)는 광전 변환을 행함으로써 얻어진 비디오 신호에 대하여 A/D 변환 등의 처리를 실시하고, L 화상의 데이터를 출력한다.

기록부(22)는 MVC 인코더(41), 카메라 정보 취득부(42) 및 기록 제어부(43)로 구성된다.

MVC 인코더(41)는 우안용 카메라(31R)에 의해 촬영된 R 화상과 좌안용 카메라(31L)에 의해 촬영된 L 화상을 H.264/MPEG-4 MVC에 의해 부호화한다. MVC 인코더(41)는 Base view 비디오 인코더(51), Non-base view 비디오 인코더(52) 및 통합부(53)로 구성된다. 우안용 카메라(31R)로부터 출력된 R 화상의 데이터는 Non-base view 비디오 인코더(52)에 입력되고, 좌안용 카메라(31L)로부터 출력된 L 화상의 데이터는 Base view 비디오 인코더(51)와 Non-base view 비디오 인코더(52)에 입력된다.

Base view 비디오 인코더(51)는 좌안용 카메라(31L)에 의해 촬영된 L 화상을 H.264/AVC에 의해 부호화하고, Base view 비디오 스트림을 통합부(53)에 출력한다.

Non-base view 비디오 인코더(52)는 우안용 카메라(31R)에 의해 촬영된 R 화상을 적절히 좌안용 카메라(31L)에 의해 촬영된 L 화상을 참조 화상으로서 사용하여 부호화하고, Non-base view 비디오 스트림을 생성한다.

또한, Non-base view 비디오 인코더(52)는 Non-base view 비디오 스트림의 각 픽처의 SEI로서, 카메라 정보 취득부(42)로부터 공급된 기선 길이, 폭주각, 35mm 환산 초점 거리를 표시하는 user_data_unregistered SEI를 부가한다. 카메라 정보 취득부(42)로부터는, 카메라부(21)로부터 취득된 카메라 정보인 우안용 카메라(31R)와 좌안용 카메라(31L)의 기선 길이, 폭주각, 35mm 환산 초점 거리의 정보가 공급된다.

도 5는 Non-base view 비디오 스트림의 데이터 구조를 도시하는 도면이다.

도 5의 A는 1개의 GOP(Group Of Picture)에 포함되는 픽처 중 선두의 픽처의 데이터를 저장하는 Access Unit의 데이터 구조를 도시하는 도면이다. H.264/AVC에 있어서, 1개의 Access Unit에는 1픽처분의 데이터가 저장된다.

도 5의 A에 도시한 바와 같이, Non-base view의 선두의 픽처의 데이터를 저장하는 Access Unit은, View and dependency representation 디리미터(delimiter), Subset SPS(Sequence Parameter Set), PPS(Picture Parameter Set), SEI(Supplemental Enhancement Information) 및 Slice로 구성된다.

View and dependency representation 디리미터는 Access Unit의 선두를 표시한다. Subset SPS에는 시퀀스 전체의 부호화에 관한 정보가 포함되고, PPS에는 Access Unit에 데이터가 저장되는 픽처의 부호화에 관한 정보가 포함된다. SEI는 부가 정보이며, MVC_scalable_nesting SEI, user_data_unregistered SEI 등의 각종 SEI 메시지가 포함된다.

도 5의 A의 예에 있어서는, 예를 들어 재생 시에 표시하는 자막의 시차의 정보(Offset metadata)의 user_data_unregistered SEI가 포함되어 있다. 카메라 정보 취득부(42)에 의해 취득된 기선 길이, 폭주각, 35mm 환산 초점 거리의 정보는, 자막의 시차의 정보의 user_data_unregistered SEI와는 상이한 user_data_unregistered SEI로서 기록된다.

SEI에 이어지는 Slice가 1GOP의 선두의 픽처(R 화상)의 데이터이다. Slice에 계속해서 Filler Data, End of Sequence, End of stream이 포함되는 경우도 있다.

도 5의 B는 1개의 GOP에 포함되는 픽처 중 2번째 이후의 픽처의 데이터를 저장하는 Access Unit의 데이터 구조를 도시하는 도면이다. 도 5의 B에 도시한 바와 같이, 1GOP의 2번째 이후의 픽처의 데이터를 저장하는 Access Unit은 View and dependency representation 디리미터와 Slice로 구성된다. PPS, SEI 등의 정보가 포함되는 경우도 있다.

또한, Base view 비디오 인코더(51)에 의해 생성되는 Base view 비디오 스트림의 Access Unit의 데이터 구조는, 기선 길이, 폭주각, 35mm 환산 초점 거리를 표시하는 user_data_unregistered SEI가 기록되지 않는 점을 제외하고, 도 5에 도시하는 데이터 구조와 기본적으로 동일한 데이터 구조를 갖는다.

도 6은 기선 길이, 폭주각, 35mm 환산 초점 거리에 관한 MDP을 저장하는 user_data_unregistered SEI의 구문을 도시하는 도면이다.

2행째의 uuid_iso_iec_11578은 128비트의 필드이며, "17ee8c60-f84d-11d9-8cd6-0800200c9a66"이 설정된다.

3행째의 TypeIndicator는 32비트의 필드이며, SEI 메시지가 전송하는 유저 데이터의 종류를 표시한다. "0x4D 44 50 4D"는 MDP를 표시한다. TypeIndicator가 "0x4D 44 50 4D"인 경우에 5행째 이후의 ModifiedDVPackMeta()가 설정된다. ModifiedDVPackMeta()에는 number_of_modified_dv_pack_entries와 one_modified_dv_pack()이 포함된다.

6행째의 number_of_modified_dv_pack_entries는 8비트의 필드이며, user_data_unregistered SEI에 포함되는 one_modified_dv_pack()의 수를 표시한다. one_modified_dv_pack()에는 mdp_id와mdp_data가 포함된다.

9행째의 mdp_id는 8비트의 필드이며, 이 필드가 포함되는 one_modified_dv_pack()의 종류를 표시한다.

도 7은 mdp_id를 도시하는 도면이다. 도 7에 도시한 바와 같이, mdp_id가 0x20인 것은, one_modified_dv_pack()이 BASELINE LENGTH pack()인 것을 표시한다. BASELINE LENGTH pack()은 기선 길이의 정보를 mdp_data로서 포함하는 one_modified_dv_pack()이다.

mdp_id가 0x21인 것은, one_modified_dv_pack()이 CONVERGENCE ANGLE pack()인 것을 표시한다. CONVERGENCE ANGLE pack()은 폭주각의 정보를 mdp_data로서 포함하는 one_modified_dv_pack()이다.

또한, 35mm 환산 초점 거리에 대해서는 기존의 Consumer Camera2 Pack() 내의 FOCAL_LENGTH에 의해 표시된다. Consumer Camera2 Pack()은 mdp_id가 0x71인 one_modified_dv_pack()이다.

도 6의 10행째의 mdp_data는 32비트의 필드이며, 기선 길이, 폭주각, 35mm 환산 초점 거리 중 어느 하나를 표시한다. mdp_data로서 고정값이 항상 설정되도록 해도 된다.

또한, ModifiedDVPackMeta()에는 하기의 룰이 적용된다.

·emulation prevention bytes를 포함하여 1개의 ModifiedDVPackMeta()의 크기는 255bytes 이하이다.

·1픽처에는 ModifiedDVPackMeta()를 포함하는 복수의 user_data_unregistered SEI 메시지를 부가해서는 안된다.

·complementary field 페어의 최초의 필드에 ModifiedDVPackMeta()를 포함하는 user_data_unregistered SEI 메시지가 없는 경우, 2번째의 필드에도 ModifiedDVPackMeta()를 포함하는 user_data_unregistered SEI 메시지를 포함해서는 안된다.

또한, Base view와 Non-base view 각각에 있어서, mdp_data의 합계가 255바이트 이하이고, user_data_unregistered_SEI의 합계가 511바이트 이하로 한다.

도 8은 BASELINE LENGTH pack()을 도시하는 도면이다.

BASELINE LENGTH pack()에는 mdp_id, mdp_data1 및 mdp_data2가 포함된다. BASELINE LENGTH pack()의 mdp_id는 상술한 바와 같이 0x20이다.

mdp_data1과 mdp_data2는 각각 16비트의 필드이며, mdp_data1과 mdp_data2의 2개의 값에 의해, mm 단위의 기선 길이가 표시된다. 기선 길이(baseline length [mm])는 하기 식(1)에 의해 표시된다.

baseline length [mm]=mdp_data1/mdp_data2 …(1)

2개의 값을 사용하여 기선 길이를 표시하도록 함으로써 1mm 이하의 거리를 표시하는 것이 가능해진다. 또한, mdp_data1=mdp_data2=0xFFFF인 경우, 그것은 기선 길이가 불명, 또는 no information을 표시한다.

도 9는 CONVERGENCE ANGLE pack()을 도시하는 도면이다.

CONVERGENCE ANGLE pack()에는 mdp_id, mdp_data1 및 mdp_data2가 포함된다. CONVERGENCE ANGLE pack()의 mdp_id는 상술한 바와 같이 0x21이다.

mdp_data1과 mdp_data2는 각각 16비트의 필드이며, mdp_data1과 mdp_data2의 2개의 값에 의해 도(degree) 단위의 폭주각이 표시된다. 폭주각(convergence angle [degree])은 하기 식(2)에 의해 표시된다. 폭주각은 0도 이상, 180도 미만이다.

convergence angle [degree]=mdp_data1/mdp_data2 …(2)

2개의 값을 사용하여 폭주각을 표시하도록 함으로써 1도 이하의 각도를 표시하는 것이 가능해진다. 또한, mdp_data1=mdp_data2=0xFFFF인 경우, 그것은 폭주각이 불명, 또는 no information을 표시한다.

도 4의 Non-base view 비디오 인코더(52)는 이와 같이 하여 기선 길이, 폭주각, 35mm 환산 초점 거리의 정보를 기록한 Non-base view 비디오 스트림을 통합부(53)에 출력한다.

통합부(53)는 Base view 비디오 인코더(51)로부터 공급된 Base view 비디오 스트림과, Non-base view 비디오 인코더(52)로부터 공급된 Non-base view 비디오 스트림을 통합하고, H.264/MPEG-4 MVC의 부호화 데이터로서 기록 제어부(43)에 출력한다.

카메라 정보 취득부(42)는 기선 길이, 폭주각, 35mm 환산 초점 거리의 정보를 예를 들어 카메라부(21)로부터 취득하고, Non-base view 비디오 인코더(52)에 출력한다.

기록 제어부(43)는 MVC 인코더(41)로부터 공급된 부호화 데이터를 예를 들어 AVCHD를 따라서 기록 매체(23)에 기록시킨다.

기록 매체(23)는 플래시 메모리나 하드 디스크 등으로 이루어지고, 기록 제어부(43)에 의한 제어에 따라서 부호화 데이터를 기록한다. 기록 장치(1)의 하우징에 설치된 슬롯에 삽입된 메모리 카드가 기록 매체(23)로서 사용되도록 해도 된다. 기록 매체(23)에 기록된 부호화 데이터는, USB 케이블 등에 의해 기록 장치(1)가 재생 장치(2)에 접속되었을 때, 재생 장치(2)에 전송된다.

[기록 장치의 동작]

여기서, 도 10의 흐름도를 참조하여 기록 장치(1)의 기록 처리에 대하여 설명한다. 도 10의 처리는, 우안용 카메라(31R)에 의해 촬영된 R 화상과 좌안용 카메라(31L)에 의해 촬영된 L 화상이 기록부(22)에 입력되었을 때에 개시된다.

스텝 S1에 있어서, MVC 인코더(41)는 카메라부(21)로부터 입력된 화상을 H.264/MPEG-4 MVC를 사용하여 부호화한다. 즉, Base view 비디오 인코더(51)는 좌안용 카메라(31L)에 의해 촬영된 L 화상을 H.264/AVC에 의해 부호화하고, Base view 비디오 스트림을 생성한다. 또한, Non-base view 비디오 인코더(52)는 우안용 카메라(31R)에 의해 촬영된 R 화상을, L 화상을 참조 화상으로서 적절히 사용하여 부호화하고, Non-base view 비디오 스트림을 생성한다.

스텝 S2에 있어서, 카메라 정보 취득부(42)는 현재의 기선 길이, 폭주각, 35mm 환산 초점 거리의 정보를 카메라부(21)로부터 취득한다.

스텝 S3에 있어서, Non-base view 비디오 인코더(52)는 Non-base view의 각 픽처의 user_data_unregistered SEI에, 기선 길이를 표시하는 BASELINE LENGTH pack(), 폭주각을 표시하는 CONVERGENCE ANGLE pack(), 35mm 환산 초점 거리를 표시하는 Consumer Camera2 pack()을 기록한다. Base view 비디오 인코더(51)에 의해 생성된 Base view 비디오 스트림과, Non-base view 비디오 인코더(52)에 의해 생성되어, BASELINE LENGTH pack(), CONVERGENCE ANGLE pack(), Consumer Camera2 pack()이 기록된 Non-base view 비디오 스트림은 통합부(53)에 의해 통합되고, 기록 제어부(43)에 공급된다.

스텝 S4에 있어서, 기록 제어부(43)는 통합부(53)로부터 공급된 H.264/MPEG-4 MVC의 부호화 데이터를 기록 매체(23)에 기록한다.

스텝 S5에 있어서, MVC 인코더(41)는 카메라부(21)로부터의 입력 화상이 존재하는지 여부를 판정하고, 존재한다고 판정한 경우, 스텝 S1 이후의 처리를 반복한다. 스텝 S1 내지 S4의 처리가 각 픽처의 화상 데이터를 대상으로 하여 행해진다. 한편, 카메라부(21)에 있어서 촬영이 종료되고, 입력 화상이 존재하지 않는다고 스텝 S5에서 판정한 경우, 처리를 종료시킨다.

이상의 처리에 의해, 기록 장치(1)는 스테레오 화상의 촬영에 사용된 카메라의 기선 길이, 폭주각, 35mm 환산 초점 거리의 정보를 Non-base view의 각 픽처의 부호화 데이터에 기록할 수 있고, 카메라 정보를 재생 장치(2)에 제공할 수 있다.

또한, 기록 장치(1)는 카메라 정보를 Base view 비디오 스트림에는 기록하지 않고, Non-base view 비디오 스트림에 기록함으로써, Base view 비디오 스트림을 재생하여 L 화상(2D 화상)만의 표시를 재생 장치(2)에 행하게 할 수 있다. Base view 비디오 스트림은 H.264/AVC에 의해 부호화된 스트림이므로, H.264/AVC에 대응한 기기이면, 기존의 재생 장치이어도, 기록 장치(1)로부터 도입한 비디오 데이터를 재생하는 것이 가능해진다.

이상에 있어서는, 기선 길이, 폭주각, 35mm 환산 초점 거리의 정보를 Non-base view 비디오 스트림에 기록하는 것으로 했지만, 폭주각을 고정값으로 하여 기선 길이의 정보만을 기록하도록 해도 되고, 기선 길이를 고정값으로 하여 폭주각의 정보만을 기록하도록 해도 된다. 또한, 35mm 환산 초점 거리의 정보만을 기록하도록 해도 된다.

우안용 카메라(31R)와 좌안용 카메라(31L)의 설치 상황에 관한 기선 길이, 폭주각 이외의 정보를 기록하도록 해도 된다.

<재생 장치에 대해서>

[재생 장치의 구성]

이상과 같이 하여 기록 장치(1)에 의해 촬영되고, 기록 매체(23)에 기록된 H.264/MPEG-4 MVC의 부호화 데이터를 재생하는 재생 장치(2)에 대하여 설명한다.

도 11은 재생 장치(2)의 구성예를 도시하는 블록도이다. 재생 장치(2)는 취득부(101), 재생부(102) 및 표시 제어부(103)로 구성된다.

취득부(101)는 H.264/MPEG-4 MVC의 부호화 데이터인 3D 비디오의 데이터를 USB 케이블 등을 통하여 기록 장치(1)로부터 취득하고, 출력한다. 취득부(101)로부터 출력된 3D 비디오의 데이터는 MVC 디코더(111)의 Base view 비디오 디코더(121)와 Non-base view 비디오 디코더(122)에 입력된다. 기록 장치(1)로부터 도입된 3D 비디오의 데이터가 재생 장치(2) 내의 기록 매체에 한번 기록되고, 그 기록 매체로부터 3D 비디오의 데이터가 취득부(101)에 의해 취득되도록 해도 된다.

재생부(102)는 MVC 디코더(111)와 카메라 정보 추출부(112)로 구성된다. MVC 디코더(111)는 3D 비디오의 데이터를 H.264/MPEG-4 MVC에 의해 복호한다. MVC 디코더(111)는 Base view 비디오 디코더(121)와 Non-base view 비디오 디코더(122)로 구성된다.

Base view 비디오 디코더(121)는 취득부(101)로부터 공급된 3D 비디오에 포함되는 Base view 비디오 스트림을 H.264/AVC에 의해 복호하고, L 화상을 출력한다. Base view 비디오 디코더(121)로부터 출력된 L 화상은 Non-base view 비디오 디코더(122)와 표시 제어부(103)에 공급된다.

Non-base view 비디오 디코더(122)는 취득부(101)로부터 공급된 3D 비디오에 포함되는 Non-base view 비디오 스트림을, 적절히 Base view 비디오 디코더(121)에 의해 복호된 L 화상을 참조 화상으로 하여 복호하고, R 화상을 출력한다. Non-base view 비디오 디코더(122)로부터 출력된 R 화상은 표시 제어부(103)에 공급된다.

카메라 정보 추출부(112)는 Non-base view 비디오 디코더(122)에 의해 복호의 대상으로 되어 있는 Non-base view의 각 픽처의 user_data_unregistered SEI로부터, 기선 길이를 표시하는 BASELINE LENGTH pack(), 폭주각을 표시하는 CONVERGENCE ANGLE pack(), 35mm 환산 초점 거리를 표시하는 Consumer Camera2 pack()을 취득한다.

카메라 정보 추출부(112)는, BASELINE LENGTH pack()에 포함되는 2개의 값에 기초하여 상기 식(1)의 계산을 행함으로써 기선 길이를 구하고, CONVERGENCE ANGLE pack()에 포함되는 2개의 값에 기초하여 상기 식(2)의 계산을 행함으로써 폭주각을 구한다. 또한, 카메라 정보 추출부(112)는 Consumer Camera2 pack()으로부터 35mm 환산 초점 거리를 특정한다. 카메라 정보 추출부(112)는 기선 길이, 폭주각, 35mm 환산 초점 거리의 정보를 표시 제어부(103)에 출력한다.

표시 제어부(103)는, Base view 비디오 디코더(121)로부터 공급된 L 화상과, Non-base view 비디오 디코더(122)로부터 공급된 R 화상의 시차를, 카메라 정보 추출부(112)에 의해 취득된 기선 길이, 폭주각, 35mm 환산 초점 거리의 정보를 사용하여 조정한다. 표시 제어부(103)는 표시 장치(3)와 통신을 행함으로써, 표시 장치(3)의 표시 디바이스의 크기 등의 정보를 표시 장치(3)로부터 취득하여 시차의 조정에 사용한다.

표시 제어부(103)는 표시 장치(3)의 표시 디바이스에 표시했을 때에 최적의 시차가 되도록 시차를 조정한 L 화상과 R 화상을 표시 장치(3)에 출력하고, 표시시킨다.

[재생 장치의 동작]

여기서, 도 12의 흐름도를 참조하여 재생 장치(2)의 재생 처리에 대하여 설명한다. 도 12의 처리는, 예를 들어 3D 비디오의 데이터가 취득부(101)로부터 재생부(102)에 입력되었을 때에 개시된다.

스텝 S21에 있어서, MVC 디코더(111)는 취득부(101)로부터 입력된 3D 비디오의 데이터를 H.264/MPEG-4 MVC를 사용하여 복호한다. 즉, Base view 비디오 디코더(121)는 Base view 비디오 스트림을 H.264/AVC에 의해 복호한다. 또한, Non-base view 비디오 디코더(122)는 Non-base view 비디오 스트림을, Base view 비디오 디코더(121)에 의해 복호된 L 화상을 참조 화상으로서 적절히 사용하여 복호한다.

Base view 비디오 디코더(121)에 의해 Base view 비디오 스트림의 복호가 행해짐으로써 얻어진 L 화상과, Non-base view 비디오 디코더(122)에 의해 Non-base view 비디오 스트림의 복호가 행해짐으로써 얻어진 R 화상은 표시 제어부(103)에 공급된다.

스텝 S22에 있어서, 카메라 정보 추출부(112)는 Non-base view의 각 픽처의 user_data_unregistered SEI로부터 BASELINE LENGTH pack(), CONVERGENCE ANGLE pack(), Consumer Camera2 pack()을 추출한다. 카메라 정보 추출부(112)는 BASELINE LENGTH pack()에 기초하여 구한 기선 길이, CONVERGENCE ANGLE pack()에 기초하여 구한 폭주각, Consumer Camera2 pack()으로부터 취득한 35mm 환산 초점 거리의 정보를 표시 제어부(103)에 출력한다.

스텝 S23에 있어서, 표시 제어부(103)는 시차 조정 처리를 행한다. 시차 조정 처리에 대해서는 도 13의 흐름도를 참조하여 후술한다.

스텝 S24에 있어서, 표시 제어부(103)는 시차를 조정한 L 화상과 R 화상을 표시 장치(3)에 출력하고, 표시시킨다.

스텝 S25에 있어서, MVC 디코더(111)는 복호하는 부호화 데이터가 존재하는지 여부를 판정하고, 존재한다고 판정한 경우, 스텝 S21 이후의 처리를 반복한다. 스텝 S21 내지 S24의 처리가 각 픽처의 부호화 데이터를 대상으로 하여 행해진다. 한편, 모든 부호화 데이터의 복호가 종료된 점에서, 부호화 데이터가 존재하지 않는다고 스텝 S25에서 판정한 경우, 처리를 종료시킨다.

이어서, 도 13의 흐름도를 참조하여 도 12의 스텝 S23에서 행해지는 시차 조정 처리에 대하여 설명한다.

스텝 S31에 있어서, 표시 제어부(103)는 표시 장치(3)와 통신을 행하고, 표시 장치(3)의 표시 디바이스의 크기를 취득한다. 표시 장치(3)의 표시 디바이스의 크기가, 재생 장치(2)에 대하여 유저에 의해 직접 설정되도록 해도 된다.

스텝 S32에 있어서, 표시 제어부(103)는 표시 장치(3)의 표시 디바이스면에서 유저까지의 거리인 시청 거리를 표시 장치(3)로부터 취득한다. 시청 거리가, 재생 장치(2)에 대하여 유저에 의해 직접 설정되도록 해도 된다.

유저가 지각하는 시차의 양은 시청 거리에 따라서도 변화한다. 따라서, 시청 거리를 취득할 수 있는 경우, 그 정보도 사용함으로써 보다 정밀하게 시차를 조정하는 것이 가능해진다. 이하에 있어서는, 시청 거리를 고려하지 않고 시차를 조정하는 경우에 대하여 설명한다.

스텝 S33에 있어서, 표시 제어부(103)는 시차를 조정하지 않는 경우의 표시 장치(3)의 표시 디바이스 상에서의 L 화상과 R 화상의 시차를 구한다.

스텝 S34에 있어서, 표시 제어부(103)는 표시 디바이스 상에서의 L 화상과 R 화상의 시차가 임계값을 초과하였는지 여부를 판정한다.

표시 디바이스 상에서의 L 화상과 R 화상의 시차가 임계값을 초과하지 않았다고 스텝 S34에서 판정한 경우, 스텝 S35에 있어서, 표시 제어부(103)는 L 화상과 R 화상을 그대로, 시차를 조정하지 않고 표시 장치(3)에 출력하고, 표시시킨다.

한편, 표시 디바이스 상에서의 L 화상과 R 화상의 시차가 임계값을 초과하였다고 스텝 S34에서 판정한 경우, 스텝 S36에 있어서, 표시 제어부(103)는 L 화상과 R 화상의 시차가 작아지도록, L 화상과 R 화상을 표시 디바이스 상에 있어서 수평 방향으로 시프트하고, 표시시킨다. 그 후, 도 12의 스텝 S23으로 복귀되고, 그 이후의 처리가 행해진다.

도 14는 폭주각, 기선 길이, 시차의 관계에 대하여 설명하는 도면이다.

도 14에 도시하는 피사체면상 중, 파선 화살표#1로 표시하는 범위가 좌안용 카메라(31L)에 의해 촬영되는 범위이며, 파선 화살표#2로 표시하는 범위가 우안용 카메라(31R)에 의해 촬영되는 범위이다. α는 폭주각을 표시하고, B는 기선 길이를 표시한다. F는 피사체 거리를 표시한다.

표시 디바이스 상에서의 시차를 산출할 경우, 표시 제어부(103)는 우선, 포커스 위치의 화상(피사체의 화상)이 좌안용 카메라(31L)와 우안용 카메라(31R)에 의해 어느 정도 수평 방향으로 어긋나서 촬영이 행해지고 있는지를 구한다. 수평 방향의 어긋남량이 실선 화살표#3으로 표시되는 차가 시차X가 된다.

좌안용 카메라(31L)와 우안용 카메라(31R)의 촬상 소자의 가로 폭이 35mm라고 상정했을 때의 시차량[mm]을 구할 수 있으면, 표시 디바이스의 가로 폭의 정보로부터, 표시 디바이스 상에서의 시차량을 계산하는 것이 가능해진다(스텝 S33). 표시 디바이스 상에서의 시차량이 임계값을 초과할 경우, 표시 제어부(103)는 시차가 작아지도록 L 화상과 R 화상을 수평 방향으로 시프트한다(스텝 S36).

여기서, 도 15에 도시한 바와 같이, 좌안용 카메라(31L)와 우안용 카메라(31R)의 2대의 카메라가 평행하게 배치되어 있는 경우(폭주각α=0)를 생각한다. 이 때, 기선 길이와 시차는 동등해진다.

또한, 프레임 사이즈를 x, 35mm 환산 초점 거리를 f라고 하면, 수평 화각(q)이 하기 식(3)에 의해 구해진다.

tan(q/2)=x/2f ···(3)

수평 화각(q)와 피사체 거리(F[m])로부터 수평 방향의 촬영 범위(D[m])가 구해진다. 촬영 범위(D[m])를 1920픽셀의 해상도로 촬영하는 것으로 하면, 픽셀 환산한 시차의 크기는 1920×(B/D)[픽셀]가 된다. 시차(B)는 좌안용 카메라(31L)의 촬영 범위(D[m])와 우안용 카메라(31R)의 촬영 범위(D[m])의 차이다.

여기서, 35mm 환산 초점 거리와 피사체 거리에 대해서는, AVCHD의 Modified DV pack meta로 이미 정의되어 있으므로, 이것을 사용하는 것이 가능하다. 35mm 환산 초점 거리는 상술한 바와 같이 FOCAL_LENGTH에 의해 표시되고, 피사체 거리(포커스 위치)는 FOCUS에 의해 표시된다.

표시 장치(3)의 표시 디바이스의 수평 방향의 크기를 S[m]라고 하면, 표시 디바이스 상에서의 시차에 상당하는 길이는 S×(B/D)[m]가 된다. 이 값이 임계값을 초과할 경우에는, 화상을 수평 방향으로 시프트하여 시차를 완화함으로써 L 화상과 R 화상을 적절한 시차로 표시시키는 것이 가능해진다.

이상의 처리에 의해, 재생 장치(2)는 L 화상과 R 화상을 최적의 시차로 표시시키는 것이 가능해진다.

<변형예>

변형예 1.

도 16은 기록 재생 시스템의 구성예를 도시하는 블록도이다. 도 16의 기록 장치(1)에는 카메라부(21), 기록부(22), 기록 매체(23)의 이외에, 재생부(102)와 표시 제어부(103)가 설치된다. 즉, 도 16의 기록 장치(1)는 기록 장치로서의 기능뿐만 아니라 재생 장치로서의 기능도 갖고 있다.

도 16의 구성을 갖는 기록 장치(1)에 있어서는, 3D 비디오의 촬영이 행하여짐과 함께, 촬영에 의해 얻어진 3D 비디오의 재생이 도 12를 참조하여 설명하도록 하여 행해진다. 기록 장치(1)에 의해 재생된 L 화상과 R 화상은 표시 장치(3)에 출력되고, 표시된다. 기록 장치(1)와 표시 장치(3)는 예를 들어 HDMI 케이블에 의해 접속된다.

변형예 2.

도 17은 기록 재생 시스템의 다른 구성예를 도시하는 블록도이다. 도 17의 기록 장치(1)에는 카메라부(21), 기록부(22), 기록 매체(23)가 설치되고, 재생 장치(2)에는 취득부(101)와 재생부(102)가 설치된다. 표시 장치(3)에는 표시 제어부(103)가 설치된다.

즉, 도 17의 재생 장치(2)는 기록 장치(1)로부터 도입된 3D 비디오를 H.264/MPEG-4 MVC에 의해 복호하는 기능은 갖고 있지만, 도 11의 재생 장치(2)와는 달리 복호에 의해 얻어진 L 화상과 R 화상의 시차를 조정하는 기능은 갖고 있지 않다. L 화상과 R 화상의 시차의 조정은 표시 장치(3)에서 행해지게 된다.

도 17의 구성을 갖는 기록 장치(1)에 있어서는, 3D 비디오의 촬영이 행해지고, 촬영에 의해 얻어진 3D 비디오가 재생 장치(2)에 전송된다.

재생 장치(2)의 취득부(101)는 3D 비디오의 데이터를 기록 장치(1)로부터 취득하고, 재생부(102)는 취득부(101)에 의해 취득된 3D 비디오의 데이터를 H.264/MPEG-4 MVC에 의해 복호한다. 재생부(102)는 복호하여 얻어진 L 화상과 R 화상을, Non-base view 비디오 스트림의 user_data_unregistered SEI로부터 취득한 기선 길이, 폭주각, 35mm 환산 초점 거리의 정보와 함께 표시 장치(3)에 출력한다.

표시 장치(3)의 표시 제어부(103)는, 재생 장치(2)로부터 공급된 L 화상과 R 화상의 시차를, 재생 장치(2)로부터 공급된 기선 길이, 폭주각, 35mm 환산 초점 거리의 정보에 기초하여 도 13을 참조하여 설명한 바와 같이 하여 조정하고, 시차를 조정한 L 화상과 R 화상을 표시한다. 이 경우, 시차의 조정에 사용하는 표시 디바이스의 크기 등의 정보는 시차의 조정을 행하는 표시 장치(3)에 있어서 기지(旣知)의 정보가 된다.

변형예 3.

이상에 있어서는, L 화상의 촬영에 사용된 카메라와 R 화상의 촬영에 사용된 카메라의 카메라 정보를 H.264/MPEG-4 MVC의 Non-base view 비디오 스트림에 기록하는 것으로 했지만, 카메라 정보를 Side by side 방식으로 L 화상과 R 화상을 기록한 1개의 스트림에 기록하는 것도 가능하다.

Side by side 방식의 L 화상과 R 화상의 부호화 방식에는 예를 들어 H.264 AVC가 사용된다. 카메라 정보는, 예를 들어 AVC 스트림의 user_data_unregistered_SEI()에 기록된다.

[컴퓨터의 구성예]

상술한 일련의 처리는 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행할 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용 하드웨어에 내장되어 있는 컴퓨터 또는 범용 퍼스널 컴퓨터 등에 프로그램 기록 매체로부터 인스톨된다.

도 18은 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.

CPU(Central Processing Unit)(151), ROM(Read Only Memory)(152), RAM(Random Access Memory)(153)은 버스(154)에 의해 서로 접속되어 있다.

버스(154)에는 또한 입출력 인터페이스(155)가 접속되어 있다. 입출력 인터페이스(155)에는 키보드, 마우스 등으로 이루어지는 입력부(156), 디스플레이, 스피커 등으로 이루어지는 출력부(157)가 접속된다. 또한, 입출력 인터페이스(155)에는 하드 디스크나 불휘발성의 메모리 등으로 이루어지는 기억부(158), 네트워크 인터페이스 등으로 이루어지는 통신부(159), 리무버블 미디어(161)를 구동하는 드라이브(160)가 접속된다.

이상과 같이 구성되는 컴퓨터에서는, CPU(151)가, 예를 들어 기억부(158)에 기억되어 있는 프로그램을 입출력 인터페이스(155) 및 버스(154)를 통하여 RAM(153)에 로드하여 실행함으로써 상술한 일련의 처리가 행해진다.

CPU(151)가 실행하는 프로그램은, 예를 들어 리무버블 미디어(161)에 기록하거나, 근거리 네트워크, 인터넷, 디지털 방송이라는 유선 또는 무선의 전송 매체를 통하여 제공되고, 기억부(158)에 인스톨된다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.

본 기술의 실시 형태는 상술한 실시 형태에 한정되지 않으며, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.

[구성의 조합예]

본 기술은 이하와 같은 구성을 취할 수도 있다.

(1)

제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화하고, Non-base view 비디오 스트림을 구성하는 각 픽처의 SEI로서, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 상기 SEI를 기록하는 부호화부와,

Base view 비디오 스트림과, 상기 SEI가 기록된 Non-base view 비디오 스트림을 기록 매체에 기록시키는 기록 제어부를 구비하는 기록 장치.

(2)

좌안용의 화상을 촬영하는 상기 제1 카메라와,

우안용의 화상을 촬영하는 상기 제2 카메라를 더 구비하고,

상기 부호화부는,

상기 제1 카메라로 촬영된 좌안용의 화상을 상기 Base view 비디오 스트림으로서 부호화하고,

상기 제2 카메라로 촬영된 우안용의 화상을 상기 Non-base view 비디오 스트림으로서 부호화하는 상기 (1)에 기재된 기록 장치.

(3)

상기 부호화부는, 상기 광축 간격의 정보로서 2개의 값을 포함하는 정보를 기록하고,

상기 제1 카메라와 상기 제2 카메라의 광축 간격은, 상기 2개의 값 중 한쪽 값을 다른 쪽 값으로 제산함으로써 표시되는 상기 (1) 또는 (2)에 기재된 기록 장치.

(4)

상기 부호화부는, 상기 폭주각의 정보로서 2개의 값을 포함하는 정보를 기록하고,

상기 제1 카메라와 상기 제2 카메라의 폭주각은, 상기 2개의 값 중 한쪽 값을 다른 쪽 값으로 제산함으로써 표시되는 상기 (1) 내지 (3) 중 어느 하나에 기재된 기록 장치.

(5)

제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화하고,

Non-base view 비디오 스트림을 구성하는 각 픽처의 SEI로서, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 상기 SEI를 기록하고,

Base view 비디오 스트림과, 상기 SEI가 기록된 Non-base view 비디오 스트림을 기록 매체에 기록시키는 스텝을 포함하는 기록 방법.

(6)

Base view 비디오 스트림과, 상기 SEI가 기록된 Non-base view 비디오 스트림을 기록 매체에 기록시키는 스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.

(7)

제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화함으로써 얻어진 Base view 비디오 스트림과, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 SEI가 각 픽처의 SEI로서 기록된 Non-base view 비디오 스트림을 복호하는 복호부를 구비하는 재생 장치.

(8)

상기 SEI에 기초하여, 상기 Base view 비디오 스트림을 복호하여 얻어진 화상과, 상기 Non-base view 비디오 스트림을 복호하여 얻어진 화상의 시차를 조정하고, 표시시키는 표시 제어부를 더 구비하는 상기 (7)에 기재된 재생 장치.

(9)

상기 표시 제어부는,

상기 Base view 비디오 스트림을 복호하여 얻어진 화상을 좌안용의 화상으로 하여 표시시키고,

상기 Non-base view 비디오 스트림을 복호하여 얻어진 화상을 우안용의 화상으로서 표시시키는 상기 (7) 또는 (8)에 기재된 재생 장치.

(10)

제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화함으로써 얻어진 Base view 비디오 스트림과, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 SEI가 각 픽처의 SEI로서 기록된 Non-base view 비디오 스트림을 복호하는 스텝을 포함하는 재생 방법.

(11)

제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화함으로써 얻어진 Base view 비디오 스트림과, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 SEI가 각 픽처의 SEI로서 기록된 Non-base view 비디오 스트림을 복호하는 스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.

(12)

Base view 비디오 스트림과, 상기 SEI가 기록된 Non-base view 비디오 스트림을 기록 매체에 기록시키는 기록 제어부와,

상기 기록 매체에 기록된 상기 Base view 비디오 스트림과 상기 Non-base view 비디오 스트림을 복호하는 복호부를 구비하는 기록 재생 장치.

1 : 기록 장치
2 : 재생 장치
3 : 표시 장치
21 : 카메라부
22 : 기록부
23 : 기록 매체
101 : 취득부
102 : 재생부
103 : 표시 제어부

Claims

기록 장치로서,
제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화하고, Non-base view 비디오 스트림을 구성하는 각 픽처의 SEI(Supplemental Enhancement Information)로서, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각(輻輳角)의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 상기 SEI를 기록하는 부호화부와,
Base view 비디오 스트림과, 상기 SEI가 기록된 Non-base view 비디오 스트림을 기록 매체에 기록시키는 기록 제어부를 구비하는, 기록 장치.
제1항에 있어서,
좌안용의 화상을 촬영하는 상기 제1 카메라와,
우안용의 화상을 촬영하는 상기 제2 카메라를 더 구비하고,
상기 부호화부는,
상기 제1 카메라로 촬영된 좌안용의 화상을 상기 Base view 비디오 스트림으로서 부호화하고,
상기 제2 카메라로 촬영된 우안용의 화상을 상기 Non-base view 비디오 스트림으로서 부호화하는, 기록 장치.
제1항에 있어서,
상기 부호화부는, 상기 광축 간격의 정보로서 2개의 값을 포함하는 정보를 기록하고,
상기 제1 카메라와 상기 제2 카메라의 광축 간격은, 상기 2개의 값 중 한쪽 값을 다른 쪽 값으로 제산함으로써 표시되는, 기록 장치.
제1항에 있어서,
상기 부호화부는, 상기 폭주각의 정보로서 2개의 값을 포함하는 정보를 기록하고,
상기 제1 카메라와 상기 제2 카메라의 폭주각은, 상기 2개의 값 중 한쪽 값을 다른 쪽 값으로 제산함으로써 표시되는, 기록 장치.
기록 방법으로서,
제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화하고,
Non-base view 비디오 스트림을 구성하는 각 픽처의 SEI로서, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 상기 SEI를 기록하고,
Base view 비디오 스트림과, 상기 SEI가 기록된 Non-base view 비디오 스트림을 기록 매체에 기록시키는 스텝을 포함하는, 기록 방법.
제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화하고,
Non-base view 비디오 스트림을 구성하는 각 픽처의 SEI로서, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 상기 SEI를 기록하고,
Base view 비디오 스트림과, 상기 SEI가 기록된 Non-base view 비디오 스트림을 기록 매체에 기록시키는 스텝을 포함하는 처리를 컴퓨터에 실행시키는, 프로그램.
재생 장치로서,
제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화함으로써 얻어진 Base view 비디오 스트림과, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 SEI가 각 픽처의 SEI로서 기록된 Non-base view 비디오 스트림을 복호하는 복호부를 구비하는, 재생 장치.
제7항에 있어서, 상기 SEI에 기초하여 상기 Base view 비디오 스트림을 복호하여 얻어진 화상과, 상기 Non-base view 비디오 스트림을 복호하여 얻어진 화상과의 시차를 조정하여 표시시키는 표시 제어부를 더 구비하는, 재생 장치.
제8항에 있어서, 상기 표시 제어부는,
상기 Base view 비디오 스트림을 복호하여 얻어진 화상을 좌안용의 화상으로서 표시시키고,
상기 Non-base view 비디오 스트림을 복호하여 얻어진 화상을 우안용의 화상으로서 표시시키는, 재생 장치.
재생 방법으로서,
제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화함으로써 얻어진 Base view 비디오 스트림과, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 SEI가 각 픽처의 SEI로서 기록된 Non-base view 비디오 스트림을 복호하는 스텝을 포함하는, 재생 방법.
제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화함으로써 얻어진 Base view 비디오 스트림과, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 SEI가 각 픽처의 SEI로서 기록된 Non-base view 비디오 스트림을 복호하는 스텝을 포함하는 처리를 컴퓨터에 실행시키는, 프로그램.
기록 재생 장치로서,
제1 카메라로 촬영된 화상과 제2 카메라로 촬영된 화상을 H.264/MPEG-4 MVC에 의해 부호화하고, Non-base view 비디오 스트림을 구성하는 각 픽처의 SEI로서, 상기 제1 카메라와 상기 제2 카메라의 광축 간격의 정보, 폭주각의 정보 및 초점 거리의 정보 중 적어도 어느 하나를 포함하는 상기 SEI를 기록하는 부호화부와,
Base view 비디오 스트림과, 상기 SEI가 기록된 Non-base view 비디오 스트림을 기록 매체에 기록시키는 기록 제어부와,
상기 기록 매체에 기록된 상기 Base view 비디오 스트림과 상기 Non-base view 비디오 스트림을 복호하는 복호부를 구비하는, 기록 재생 장치.