KR20120034255A

KR20120034255A - 화상 정보 처리 장치, 촬상 장치, 화상 정보 처리 방법 및 프로그램

Info

Publication number: KR20120034255A
Application number: KR1020107028357A
Authority: KR
Inventors: 에이지 다도꼬로; ？지 오까다
Original assignee: 소니 주식회사
Priority date: 2009-04-24
Filing date: 2010-04-22
Publication date: 2012-04-10
Also published as: TW201043003A; US20110261160A1; JP2010258723A; RU2010151791A; EP2293584A1; WO2010123053A1; US8698877B2; CN102067616A; BRPI1003633A2; JP5434231B2; TWI416937B; EP2293584A4

Abstract

본 발명은, 입체 콘텐츠의 장면의 전환에 있어서 깊이값을 원활하게 천이시킬 수 있는 화상 정보 처리 장치, 촬상 장치, 화상 정보 처리 방법 및 프로그램에 관한 것이다. 챕터#i의 종단부 부분의 깊이값 711과 챕터#(i+1)의 개시 부분의 깊이값 714 사이에서 급격한 변화가 있는 경우에는 챕터#i와 챕터#(i+1)의 전환 시에 전체의 깊이값을 일단 제로(무한원)로 보정한다. 그때, 예를 들어 0.5초 이상의 기간을 거쳐 깊이값을 천이시킨다. 챕터#i의 종단부 부분에 있어서의 원래의 깊이값 721로부터 종단부 프레임의 깊이값 722가 제로로 되도록 순차적으로 천이시킨다. 마찬가지로, 챕터#(i+1)의 개시 프레임의 깊이값 723을 제로로 하고, 개시 부분에 있어서의 원래의 깊이값 724까지 순차적으로 천이시킨다.

Description

화상 정보 처리 장치, 촬상 장치, 화상 정보 처리 방법 및 프로그램{IMAGE INFORMATION PROCESSING DEVICE, IMAGE PICK-UP DEVICE, IMAGE INFORMATION PROCESSING METHOD, AND PROGRAM}

본 발명은, 화상 정보 처리 장치에 관한 것으로, 특히 입체 표시를 위한 깊이값(depth value)을 포함하는 화상 정보를 취급하는 화상 정보 처리 장치, 촬상 장치, 및 이들에 있어서의 처리 방법 및 그 방법을 컴퓨터에 실행시키는 프로그램에 관한 것이다.

최근, 콘텐츠를 표시하기 위한 표시 장치로서, 평면(2차원) 콘텐츠의 표시뿐만 아니라, 입체(3차원) 콘텐츠의 표시가 가능한 표시 장치가 제안되고 있다. 이러한 표시 장치에서는, 양눈 사이에 발생하는 시차(disparity)를 이용하고 있기 때문에, 양눈의 폭주각과 초점 거리에 모순이 발생하는 경우나, 시차의 값이 적절하지 않은 경우 등에는 시청자에게 위화감을 줄 우려가 있다.

따라서, 입체 콘텐츠의 생체 영향도를 산출하여, 시청자의 내성 레벨에 따라 표시 대상이 되는 입체 콘텐츠의 표시 상태를 제어하는 표시 장치가 제안되고 있다(예를 들어, 특허문헌 1 참조). 이 종래 기술에서는, 콘텐츠 메타 정보에 콘텐츠의 깊이 맵(depth map)의 정보를 저장하여, 그 최대 깊이량이 크면, 깊이 맵의 값을 표준값보다 작아지도록 변경하여 표시하고 있다.

일본 특허 공개 제2004-246725호 공보(도 1)

상술한 종래 기술에서는, 깊이량을 조정함으로써, 시청자에게 끼치는 영향을 억제하고 있다. 그러나, 이 종래 기술에서는 시청자의 내성 레벨과 입체 콘텐츠의 일반적인 관계(소위 3D 멀미의 위험도)로부터 표시를 변경하고 있으며, 콘텐츠의 시간적 천이에 대해서는 고려되어 있지 않다.

입체 콘텐츠에는, 일반적으로 장면(scene)의 전환이 포함되어 있고, 그 전환 시에 깊이값이 급격하게 변화하여 시청자에게 불쾌감을 줄 우려가 있다. 이것은, 입체 콘텐츠에 있어서 입체 영상간의 전환뿐만 아니라, 입체 영상과 평면 영상의 전환에 있어서도 마찬가지로 문제가 된다. 또한, 정지 화상의 슬라이드 쇼를 표시하는 경우에 있어서도, 동화상과 마찬가지의 문제가 있다.

본 발명은 이러한 상황을 감안하여 이루어진 것이며, 입체 콘텐츠의 장면의 전환에 있어서 깊이값을 원활하게 천이시키는 것을 목적으로 한다.

본 발명은, 상기 과제를 해결하기 위하여 이루어진 것이며, 그 제1 측면은, 콘텐츠에 있어서의 장면의 전환을 검출하는 장면 전환 검출부와, 입체 표시를 위한 깊이값의 변화가 상기 장면의 전환 전후에 있어서 소정의 표시 속도에 의해 천이하도록 상기 깊이값을 보정하는 깊이값 보정부를 구비하는 화상 정보 처리 장치, 그 화상 정보 처리 방법 및 프로그램이다. 이에 의해, 입체 표시를 위한 깊이값을 장면의 전환 전후에 있어서 원활하게 천이시키는 작용을 한다.

또한, 이 제1 측면에 있어서, 상기 깊이값 보정부는, 상기 콘텐츠에 있어서의 어느 한 영역에 대응하는 깊이값의 변화가 상기 장면의 전환 전후에 있어서 소정의 표시 속도에 의해 천이하도록 상기 깊이값을 보정해도 좋다. 이에 의해, 콘텐츠에 있어서의 어느 한 영역에 대응하는 깊이값을 장면의 전환 전후에 있어서 원활하게 천이시키는 작용을 한다.

또한, 이 제1 측면에 있어서, 상기 깊이값 보정부는, 상기 장면의 전환 전후에 있어서 화상 전체의 깊이값을 망원측으로 보정해도 좋다. 이에 의해, 장면의 전환 전후에 있어서 화상 전체의 깊이값을 망원측으로 천이시키는 작용을 한다.

또한, 이 제1 측면에 있어서, 상기 깊이값 보정부는, 상기 장면의 전환 전의 깊이값으로부터 상기 장면의 전환 후의 깊이값으로 소정의 표시 속도에 의해 천이하도록 상기 깊이값을 보정해도 좋다. 이에 의해, 장면의 전환 전의 깊이값으로부터 상기 장면의 전환 후의 깊이값으로 원활하게 천이시키는 작용을 한다.

또한, 이 제1 측면에 있어서, 상기 깊이값 보정부는, 상기 장면의 전환 전의 소정의 구간, 상기 장면의 전환 후의 소정의 구간 또는 상기 장면의 전환 전후에 걸친 소정의 구간 중 어느 하나에 있어서 깊이값을 천이시켜도 좋다.

또한, 이 제1 측면에 있어서, 상기 장면 전환 검출부는, 상기 장면의 전환으로서 입체 화상과 평면 화상의 전환을 검출해도 좋다. 이에 의해, 입체 화상과 평면 화상의 전환 전후에 있어서 원활하게 천이시키는 작용을 한다.

또한, 이 제1 측면에 있어서, 상기 장면 전환 검출부는, 상기 장면의 전환으로서 동화상과 정지 화상의 전환을 검출해도 좋다. 이에 의해, 동화상과 정지 화상의 전환 전후에 있어서 원활하게 천이시키는 작용을 한다.

또한, 본 발명의 제2 측면은, 콘텐츠를 구성하는 화상 데이터를 입체 표시하기 위한 깊이값에 대하여 일정한 값을 고정 깊이값으로서 설정하는 고정 깊이값 설정부와, 상기 화상 데이터 중 어느 한 영역을 선택하여 해당 영역에 대응하는 깊이값을 기준 깊이값으로서 특정하는 기준 깊이값 특정부와, 상기 화상 데이터의 각 영역에 대응하는 깊이값에 대하여 상기 기준 깊이값이 상기 고정 깊이값이 되는 비율에 의해 보정을 행하는 깊이값 보정부를 구비하는 화상 정보 처리 장치, 그 화상 정보 처리 방법 및 프로그램이다. 이에 의해, 특정한 영역의 깊이값을 일정한 값으로 유지시키는 작용을 한다.

또한, 본 발명의 제3 측면은, 화상을 촬상하여 촬상 화상 및 입체 표시를 위한 깊이값을 공급하는 촬상 화상 공급부와, 상기 촬상 화상에 있어서의 장면의 전환을 검출하는 장면 전환 검출부와, 상기 깊이값의 변화가 상기 장면의 전환 전후에 있어서 소정의 표시 속도에 의해 천이하도록 상기 깊이값을 보정하는 깊이값 보정부를 구비하는 촬상 장치, 그 촬상 처리 방법 및 프로그램이다. 이에 의해, 입체 표시를 위한 깊이값을 장면의 전환 전후에 있어서 원활하게 천이시키는 작용을 한다.

본 발명에 따르면, 입체 콘텐츠의 장면의 전환에 있어서 깊이값을 원활하게 천이시킬 수 있다는 우수한 효과를 발휘할 수 있다.

도 1은 본 발명의 실시 형태에 있어서의 촬상 장치(300)의 전체 구성예를 도시하는 도면이다.
도 2는 본 발명의 실시 형태에 있어서의 콘텐츠 기록 유닛(200)의 구성예를 도시하는 도면이다.
도 3은 본 발명의 실시 형태에 있어서의 깊이 맵(220)의 예를 도시하는 도면이다.
도 4는 본 발명의 실시 형태에 있어서의 깊이값과 거리의 관계예를 도시하는 도면이다.
도 5는 본 발명의 실시 형태에 있어서의 영상 데이터(210)와 깊이 맵(220)의 관계를 도시하는 도면이다.
도 6은 본 발명의 실시 형태에 의한 깊이값의 보정의 제1 형태를 도시하는 도면이다.
도 7은 본 발명의 실시 형태에 의한 깊이값의 보정의 제1 형태의 챕터(chapter) 전체를 도시하는 도면이다.
도 8은 본 발명의 실시 형태에 있어서의 깊이값 보정 기구의 제1 기능 구성예를 도시하는 도면이다.
도 9는 본 발명의 실시 형태에 있어서의 깊이값 보정의 제1 형태에 의한 처리의 흐름을 도시하는 도면이다.
도 10은 본 발명의 실시 형태에 의한 깊이값의 보정의 제2 형태를 도시하는 도면이다.
도 11은 본 발명의 실시 형태에 있어서의 깊이값 보정 기구의 제2 기능 구성예를 도시하는 도면이다.
도 12는 본 발명의 실시 형태에 있어서의 깊이값 보정의 제2 형태에 의한 제1 처리의 흐름을 도시하는 도면이다.
도 13은 본 발명의 실시 형태에 있어서의 깊이값 보정의 제2 형태에 의한 제2 처리의 흐름을 도시하는 도면이다.
도 14는 본 발명의 실시 형태에 있어서의 깊이값 보정의 제2 형태에 의한 제3 처리의 흐름을 도시하는 도면이다.
도 15는 본 발명의 제3 실시 형태에 있어서의 정지 화상 데이터와 동화상 데이터의 관계를 도시하는 도면이다.
도 16은 본 발명의 실시 형태에 의한 깊이값의 보정의 제3 형태를 도시하는 도면이다.
도 17은 본 발명의 실시 형태에 있어서의 깊이값 보정 기구의 제3 기능 구성예를 도시하는 도면이다.
도 18은 본 발명의 실시 형태에 있어서의 깊이값 보정의 제3 형태에 의한 처리의 흐름을 도시하는 도면이다.
도 19는 본 발명의 실시 형태에 의한 깊이값의 보정의 제3 형태의 변형예를 도시하는 도면이다.

이하, 본 발명을 실시하기 위한 형태(이하, 실시 형태라고 칭한다)에 대하여 설명한다.

설명은 이하의 순서에 의해 행한다.

1. 제1 실시 형태(장면 전환 시에 깊이값을 망원측으로 하는 예)

2. 제2 실시 형태(장면 전환 시에 주 화상 영역의 깊이값을 천이시키는 예)

3. 제3 실시 형태(슬라이드 쇼의 정지 화상 전환 시에 깊이값을 보정하는 예)

4. 변형예

<1. 제1 실시 형태>

[촬상 장치(300)의 전체 구성예]

도 1은, 본 발명의 실시 형태에 있어서의 촬상 장치(300)의 전체 구성예를 도시하는 도면이다. 이 촬상 장치(300)는, 렌즈부(310)와, 이 렌즈부(310)를 조작하는 모터(315 및 316)와, 모터 드라이버(319)를 구비한다. 또한, 이 촬상 장치(300)는, 촬상 소자(321)와, 아날로그 처리부(322)와, A/D 변환기(323)와, 디지털 처리부(324)와, 이들의 타이밍을 생성하는 타이밍 생성기(325)와, 카메라 제어부(329)를 구비한다. 또한, 이 촬상 장치(300)는, 영상 부호화부(331)와, 깊이 정보 설정부(332)와, 파일 생성부(333)와, 파일 복호부(334)와, 영상 복호부(335)와, 깊이 정보 출력부(336)를 구비한다. 또한, 이 촬상 장치(300)는, 메모리(337)와, 그 메모리 컨트롤러(338)와, 시스템 제어부(339)를 구비하고 있다. 이 시스템 제어부(339)에는 조작 접수부(390)로부터의 신호선이 접속되어 있다. 또한, 촬상 장치(300)는, 에러 정정부(341)와, 데이터 변복조부(342)와, 자계 변조 드라이버(343)와, 자계 헤드(344)와, 서보 회로(345)와, 모터(346)와, 광 픽업(347)과, 드라이브 제어부(349)와, 표시부(350)를 구비하고 있다. 또한, 이 촬상 장치(300)에는 영상을 기록하는 기록 매체로서, 예를 들어 광 디스크(370)가 장착된다.

렌즈부(310)는, 피사체로부터의 광을 수광하는 것이며, 줌렌즈(311) 및 포커스 렌즈(312)를 포함한다. 줌렌즈(311) 및 포커스 렌즈(312)에는 각각 모터(315 및 316)가 접속되어 있고, 이들 모터(315 및 316)의 구동에 의해 줌렌즈(311) 및 포커스 렌즈(312)가 이동할 수 있도록 되어 있다. 또한, 모터(315 및 316)에는 모터 드라이버(319)가 접속되어 있고, 이 모터 드라이버(319)에 의해 모터(315 및 316)가 제어된다.

촬상 소자(321)는, 렌즈부(310)에 의해 수광된 광을 정전기로 변환하여 축적하는 소자이며, 예를 들어 CCD나 CMOS 센서 등이 이용된다. 아날로그 처리부(322)는, 촬상 소자(321)로부터의 아날로그 신호에 있어서의 노이즈를 상관 이중 샘플링(CDS)에 의해 제거하고, 자동 이득 제어(AGC)에 의해 아날로그 신호의 고저 부분을 보정한다. A/D 변환기(323)는, 아날로그 처리부(322)로부터의 아날로그 신호를 디지털 신호로 변환한다. 디지털 처리부(324)는, 화이트 밸런스나 감마 변환 등의 처리를 행한다.

디지털 처리부(324)로부터의 출력 신호는 영상 부호화부(331)의 영상 신호 입력이 된다. 또한, 이 디지털 처리부(324)에 의해 검출된 정보는 카메라 제어부(329)에 전달된다. 카메라 제어부(329)는, 디지털 처리부(324)에 의해 검출된 정보에 기초하여, 모터 드라이버(319) 및 타이밍 생성기(325)에 대한 제어를 행한다. 타이밍 생성기(325)는, 촬상 소자(321), 아날로그 처리부(322), A/D 변환기(323) 및 디지털 처리부(324)에 대한 타이밍 신호를 생성한다. 또한, 여기까지 설명한 렌즈부(310), 촬상 소자(321) 등은, 특허 청구 범위에 기재된 촬상 화상 공급부의 일례이다.

영상 부호화부(331)는, 영상 신호의 부호화를 행한다. 깊이 정보 설정부(332)는, 영상 신호에 대응하는 깊이 정보를 설정한다. 파일 생성부(333)는, 부호화된 영상 신호 및 깊이 정보를 다중화하여 영상 파일(다중화 데이터)을 생성한다. 파일 복호부(334)는, 영상 파일을 복호하여 영상 신호 및 깊이 정보를 출력한다. 영상 복호부(335)는, 영상 신호를 복호하여 표시부(350)에 출력한다. 깊이 정보 출력부(336)는, 깊이 정보를 복호하여 표시부(350)에 출력한다.

메모리(337)는, 영상 파일 등을 유지하는 메모리이다. 메모리 컨트롤러(338)는, 파일 생성부(333)나 에러 정정부(341)로부터 공급된 영상 파일(다중화 데이터)을 메모리(337)에 기입하고, 또한 메모리(337)로부터 다중화 데이터를 판독하여 에러 정정부(341)나 파일 복호부(334)에 공급한다.

시스템 제어부(339)는, 상술한 바와 같은 메모리 컨트롤러(338)의 동작이나 파일 생성부(333) 및 파일 복호부(334)의 동작을 제어한다. 또한, 시스템 제어부(339)는, 드라이브 제어부(349)와 접속하여 디스크 드라이브의 동작을 요구한다. 또한, 시스템 제어부(339)는, 카메라 제어부(329)와 접속하고, 오토 포커스 및 줌의 상태로 하여, 오토 포커스가 핀트를 맞추고 있는 동작 도중인지의 여부나, 초점 거리 등을 얻을 수 있다.

또한, 시스템 제어부(339)에는 조작 접수부(390)가 접속되어 있고, 유저로부터의 조작 입력을 파악할 수 있다. 이 조작 접수부(390)로서는, 예를 들어 줌 관계의 버튼이나 기록 관계의 버튼이 설치된다. 시스템 제어부(339)는, 카메라 제어부(329)와 접속하고 있으며, 유저로부터의 조작 입력에 따라서 줌 등의 제어가 행해진다.

에러 정정부(341)는 메모리 컨트롤러(338)로부터의 다중화 데이터에 인터리브 및 에러 정정을 위한 부호를 부가하여 데이터 변복조부(342)에 공급한다. 또한, 에러 정정부(341)는, 데이터 변복조부(342)로부터의 복조 신호에 대하여 디인터리브 및 에러 정정 처리를 행하여 다중화 데이터를 메모리 컨트롤러(338)에 공급한다.

데이터 변복조부(342)는, 광 디스크(370)에 기록하기 위한 소정의 변조를 실시한 후, 자계 변조 드라이버(343)에 출력하는 동시에, 광 픽업(347)을 구동하기 위한 신호를 출력한다. 또한, 데이터 변복조부(342)는 광 픽업(347)으로부터의 신호에 소정의 복조 처리를 실시하여, 에러 정정부(341)에 복조 신호로서 출력한다.

자계 변조 드라이버(343)는 기록 시에는 입력된 신호에 따라 자계 헤드(344)를 구동하여 광 디스크(370)에 자계를 인가한다. 광 픽업(347)은, 기록 시에는 기록용의 레이저 빔을 광 디스크(370)에 조사하여, 광 디스크(370)에 신호를 기록한다. 또한, 광 픽업(347)은, 재생 시에는 재생용의 레이저 빔을 광 디스크(370)에 조사하여, 광 디스크(370)로부터 반사된 빔량으로부터 전기 신호로 광전 변환하여, 재생 신호를 취득한다. 이들의 동작은, 시스템 제어부(339)로부터의 요구에 따라, 드라이브 제어부(349)가, 서보 회로(345)에 요구하여 디스크 드라이브 전체의 제어를 행한다. 서보 회로(345)는, 광 픽업(347)의 디스크 직경 방향의 이동의 서보, 트래킹 서보, 포커스 서보를 제어하고, 또한 모터(346)의 스핀들 서보를 제어한다. 이에 의해, 광 디스크(370)는 영상 파일(다중화 데이터)의 기록 또는 재생을 행한다.

또한, 상술한 구성예에서는, 자계 변조를 행하는 광자기 디스크를 상정하고 있지만, 상변화 디스크의 경우에도 기본적인 구성은 마찬가지이다. 또한, 광 디스크(370) 대신에, 하드 디스크 등의 자기 디스크나, SSD(Solid State Drive) 등의 반도체 디스크를 이용해도 좋다.

표시부(350)는, 영상 복호부(335)로부터의 영상 신호 및 깊이 정보 출력부(336)로부터의 깊이 정보에 기초하여, 양눈 사이에 발생하는 시차를 이용하여 입체 화상을 표시하는 것이다. 이 표시부(350)가 입체 표시를 행할 때의 방식에는 특별히 한정되지 않지만, 이 표시부(350)는 예를 들어 마이크로 폴 방식의 디스플레이에 의해 실현된다. 또한, 여기서는, 영상 신호와 깊이 정보에 기초하여 입체 표시를 행하는 표시부를 상정했지만, 이것에 한정되는 것이 아니다. 일반적으로, 깊이 정보로부터 좌우 시차의 오프셋값으로 변환하는 것은 가능하기 때문에, 좌우 시차 방식(사이드 바이 사이드 방식)의 표시부에도 적용 가능하다.

[콘텐츠 기록 유닛(200)의 구성예]

도 2는, 본 발명의 실시 형태에 있어서의 콘텐츠 기록 유닛(200)의 구성예를 도시하는 도면이다. 이 콘텐츠 기록 유닛(200)은, 상술한 영상 파일의 기록 단위이다. 콘텐츠 기록 유닛(200)은, 영상 데이터#1 내지 N(210-1 내지 210-N)(이하, 간단히 「영상 데이터(210)」라고도 한다) 및 깊이 맵#1 내지 N(220-1 내지 220-N)(이하, 간단히 「깊이 맵(220)」이라고도 한다)을 유지한다.

영상 데이터(210) 및 깊이 맵(220)은, 예를 들어 GOP(Group Of Pictures)를 단위로서, 각각 대응시켜진다. 즉, 제1번째의 GOP를 기록하는 영상 데이터(210-1)에는 깊이 맵(220-1)이 대응하고, 제2번째의 GOP를 기록하는 영상 데이터(210-2)에는 깊이 맵(220-2)이 대응한다. GOP는 MPEG(Moving Pictures Experts Group) 규격에 있어서의 동화상의 프레임 군이다. 많은 경우, 1GOP에는 15프레임이 포함된다. 프레임 레이트로서 29.97프레임/초를 상정하면, 1GOP는 약 0.5초에 상당한다.

도 3은, 본 발명의 실시 형태에 있어서의 깊이 맵(220)의 예를 도시하는 도면이다. 깊이 맵(220)은, 프레임 화상의 각 화소에 대응하여 깊이값을 유지하는 것이다. 즉, 깊이 맵(220)은, 2차원의 XY 평면 상의 각 화소의 각각에 대하여 깊이값을 유지한다. 깊이값은, 예를 들어 8비트 폭에 의해 「0」부터 「255」의 범위의 값을 갖고, 시청자에게서 보았을 때 근거리에 존재할수록 큰 값을 갖는 것으로 한다. 이 도면의 예에서는, 앞쪽에 존재하는 인물 영역에 대응하는 깊이값은 「255」를 나타내고, 배경 영역에 대응하는 깊이값은 「0」을 나타내고 있다. 또한, 깊이 맵(220)은 일반적으로 깊이 맵(depth map) 또는 심도 맵이라고도 호칭한다.

도 4는, 본 발명의 실시 형태에 있어서의 깊이값과 거리의 관계예를 도시하는 도면이다. 도 4의 (a)로부터 알 수 있는 바와 같이, 렌즈부터 피사체까지의 거리가 0.5[m] 이하이면 깊이값은 「255」를 나타내고, 거리가 5.0[m]를 초과하는 경우에는 깊이값은 「0」을 나타낸다. 거리가 0.5[m]보다 크고, 5.0[m] 이하인 경우에는 도 4의 (a)와 같이 「0」부터 「255」의 범위의 값을 갖는다.

또한, 도 4의 (b)로부터 알 수 있는 바와 같이, 깊이값은 거리의 대수값과 선형 관계에 있도록 설정하고 있다. 이것은, 멀리보다 가까운 쪽이 더 자세하게 지각 가능한 인간의 감각을 고려한 것이다.

촬상 장치(300)에 있어서 깊이값을 설정하는 경우, 우선 와이드 단부에서 조리개 개방의 상태로 하여 렌즈 피사계 심도를 가장 얕게 제어하여, 렌즈 초점을 무한원(5.0[m] 초과)으로 설정한다. 이에 의해, 화면 내 영역의 합초하는 영상 영역을 파악하여, 그 영역을 배경 영역으로서 깊이값 「0」을 할당한다. 이어서, 와이드 단부에서 조리개 개방의 상태로 하여 렌즈 피사계 심도를 가장 얕게 제어한 채, 렌즈 초점을 근거리(0.5[m])로 설정한다. 이에 의해, 화면 내 영역의 합초하는 영상 영역을 파악하여, 그 영역을 최근거리점으로서 깊이값 「255」를 할당한다. 그리고, 와이드 단부에서 조리개 개방의 상태로 하여 렌즈 피사계 심도를 가장 얕게 제어한 채, 렌즈 초점을 근거리(0.5[m])로부터 무한원(5.0[m] 초과)까지 순차적으로 변화시켜, 렌즈 위치 제어에 의해 거리 측정을 행한다. 이것에 동기하여 순차적으로 화면 내 영역의 합초하는 영상 영역을 기억해 간다. 이와 같이 하여, 도 4의 (a)의 대응 관계가 할당된다.

이러한 초기 설정이 된 후는 피사체의 윤곽 인식이나 움직임 벡터 검출 해석에 기초하여, 각 화소에 대응하는 깊이값을 생성하는 것이 가능하게 된다. 깊이값은, 촬상 시에 실시간으로 생성되어도 좋고, 또한 카메라 정보로부터 사후적으로 생성되어도 좋다. 카메라 정보는, 촬영 시의 설정 조건 등의 정보로서 디지털 카메라 내부로부터 얻어지는 것이다. 예를 들어, F값, 노출 시간, 노광 보정값, AGC 게인값, 플래시의 유무, 렌즈 초점 거리, 화이트 밸런스, 피사체 거리, 손 떨림 보정, 얼굴 메타 정보, 디지털 줌 배율, 이펙트 촬영, 벤더명 등의 정보를 포함한다. 이 카메라 정보는, 예를 들어 AVCHD 규격이면, 모디파이드 디지털 비디오 팩(MDP : Modified Digital Video Pack)에 스트림 파일로서 기록하는 것이 가능하다. 얼굴 메타 정보에 의해 얼굴이 존재하는 좌표를 아는 경우, 그 좌표 위치에 있어서의 거리로서 카메라 정보의 피사체 거리를 이용할 수 있다. 얻어진 거리는, 도 4의 (a)의 대응표로부터 깊이값으로 변환할 수 있다.

도 5는, 본 발명의 실시 형태에 있어서의 영상 데이터(210)와 깊이 맵(220)의 관계를 도시하는 도면이다. 도 5의 (a)는 영상 데이터(210)의 일례를 나타내고 있다. 이 예에서는, 촬상 장치의 근방에 인물이 찍혀 있고, 그 배후에 배경이 찍혀 있다.

도 5의 (b)는 도 5의 (a)의 영상 데이터(210)에 대응하는 깊이 맵(220)의 일례를 나타내고 있다. 인물의 영역의 깊이값 221은, 16진수로 「B4」, 즉 10진수로 「180」을 나타내고 있다. 이것은, 촬상 장치로부터 1.0[m]의 거리에 인물이 위치하고 있는 것을 의미한다. 배경 영역의 깊이값 222는 「0」을 나타내고 있다. 이것은, 촬상 장치로부터 무한원(5.0[m] 초과)에 배경이 위치하고 있는 것을 의미한다. 깊이 맵(220)에 포함되는 각 깊이값은 영상 데이터(210)의 각 화소에 대응하고 있다.

[깊이값의 보정의 제1 형태]

도 6은, 본 발명의 실시 형태에 의한 깊이값의 보정의 제1 형태를 도시하는 도면이다. 도 6의 (a)와 같이, 챕터의 전환 시에 프레임 내의 영역의 깊이값이 급격하게 변화하는 경우를 상정한다. 여기에서는, 챕터#i의 종단부 부분에 있어서의 특정한 영역의 깊이값 711이, 챕터#(i+1)의 개시 부분에 있어서 깊이값 714로 변화하고 있다. 이 경우, 특정한 영역의 깊이값이 급격하게 변화하기 때문에, 시청자에게 위화감을 줄 우려가 있다. 또한, 이 경우의 특정한 영역은, 인물 등에 해당하는 프레임 내의 일부의 영역이 상정되지만, 프레임 전체이어도 좋다.

본 발명의 실시 형태에서는, 깊이값의 보정의 제1 형태로서, 도 6의 (b)와 같이 챕터의 전환 시에 전체의 깊이값을 일단 제로(무한원)로 보정한다. 이에 의해, 챕터의 전환 시에 있어서의 깊이값의 급격한 변화를 억제할 수 있다. 단, 깊이값을 제로로 하는 보정 자체를 급격하게 행하면, 보정에 의한 새로운 위화감을 발생시킬 우려가 있다. 따라서, 깊이값을 보정할 때에는, 예를 들어 0.5초 이상의 기간을 거쳐 소정의 표시 속도에 의해 깊이값을 천이시키는 것이 바람직하다. 도 6의 (b)의 예에서는, 챕터#i의 종단부 부분에 있어서의 원래의 깊이값 721로부터 종단부 프레임의 깊이값 722가 제로로 되도록 소정의 표시 속도에 의해 순차적으로 천이시키고 있다. 마찬가지로, 챕터#(i+1)의 개시 프레임의 깊이값 723을 제로로 하고, 개시 부분에 있어서의 원래의 깊이값 724까지 순차적으로 천이시키고 있다.

도 7은, 본 발명의 실시 형태에 의한 깊이값의 보정의 제1 형태의 챕터 전체를 도시하는 도면이다. 여기에서는, k프레임으로 이루어지는 챕터#j를 상정하고 있다. 이 챕터#j에서는, 개시 부분의 n프레임과 종단부 부분의 n프레임에 있어서 각각 깊이값이 보정되어 있다.

챕터#j의 개시 부분의 n프레임에서는 깊이값이 제로로부터 순차적으로 증가하고 있다. 이 예에서는, 깊이값이 제로로부터 (1/n)씩 증가하다가, 제(n+1) 프레임째에 있어서 보정이 실시되지 않은 값으로 수렴하는 것으로 하고 있다. 즉, 제(n+1) 프레임째의 깊이값을 A로 하면, 제i 프레임째(i는 1부터 n의 범위의 정수)의 깊이값은 A×((i-1)/n)이 된다.

또한, 챕터#j의 종단부 부분의 n프레임에서는 깊이값이 제로를 향하여 순차적으로 감소하고 있다. 이 예에서는, 깊이값이 (1/n)씩 감소하고, 제k 프레임째에 있어서 제로로 수렴하는 것으로 하고 있다. 즉, 제(k-n) 프레임째의 깊이값을 B로 하면, 제i 프레임째(i는 (k-(n-1))부터 k의 범위의 정수)의 깊이값은 B×((k-i)/n)이 된다.

[깊이값의 보정의 제1 형태의 기능 구성]

도 8은, 본 발명의 실시 형태에 있어서의 깊이값 보정 기구의 제1 기능 구성예를 도시하는 도면이다. 이 깊이값 보정 기구는, 장면의 전환 전후에 있어서 깊이값을 제로(망원측)로 원활하게 천이시키는 것이다. 촬상 장치(300)에 있어서는, 촬상되었을 때의 깊이값을 깊이 정보 설정부(332)에 의해 보정한 후에 깊이 맵(220)을 설정해도 좋고, 또한 보정되어 있지 않은 깊이 맵(220)의 깊이값을 깊이 정보 출력부(336)에 의해 보정하여 표시부(350)에 출력해도 좋다. 따라서, 촬상 장치(300)에 있어서는, 깊이 정보 설정부(332) 또는 깊이 정보 출력부(336)에 깊이값 보정 기구를 설치할 수 있다. 또한, 이 깊이값 보정 기구는, 촬상 장치뿐만 아니라, 영상 파일을 취급하는 화상 정보 처리 장치에 있어서도 실현할 수 있다.

이 깊이값 보정 기구는, 콘텐츠 공급부(110)와, 콘텐츠 판독 관리부(120)와, 천이 프레임수 설정부(130)와, 콘텐츠 선판독 관리부(140)와, 깊이값 보정부(150)를 구비하고 있다.

콘텐츠 공급부(110)는, 촬상된 콘텐츠를 공급하는 것이다. 촬상 장치(300)에 있어서는 촬상 소자(321) 내지 카메라 제어부(329) 등에 의해 콘텐츠가 공급된다. 화상 정보 처리 장치의 경우에는 콘텐츠를 기억하는 기억부로부터의 (도시하지 않음)판독부에 의해 콘텐츠가 공급된다.

콘텐츠 판독 관리부(120)는, 콘텐츠 공급부(110)로부터 공급되는 콘텐츠를 1 프레임씩 판독해 가는 관리를 행하는 것이다. 이 콘텐츠 판독 관리부(120)는, 현 프레임 번호 유지부(121)와, 현 프레임 깊이값 유지부(122)를 구비한다. 현 프레임 번호 유지부(121)는, 콘텐츠 공급부(110)로부터 판독된 현재의 프레임의 프레임 번호를 유지하는 것이다. 현 프레임 깊이값 유지부(122)는, 콘텐츠 공급부(110)로부터 판독된 현재의 프레임에 대응하는 깊이값을 유지하는 것이다.

천이 프레임수 설정부(130)는, 장면의 전환 전후에 있어서 보정 대상이 되는 프레임의 수를 미리 설정하는 것이다. 도 7의 예에서는, 장면의 전환 전후에 있어서, 각각 n프레임씩 천이 프레임수로서 설정된다.

콘텐츠 선판독 관리부(140)는 콘텐츠 판독 관리부(120)에 의한 판독에 앞서, 콘텐츠에 있어서의 현재의 프레임보다 앞의(미래의) 프레임을 선판독하는 관리를 행하는 것이다. 이 콘텐츠 선판독 관리부(140)는, 장면 전환 검출부(141)와, 최종 프레임 번호 생성부(142)를 구비한다. 장면 전환 검출부(141)는 선판독된 콘텐츠 중에서 장면 전환의 위치를 검출하는 것이다. 장면 전환으로서는, 예를 들어 챕터의 전환이 상정된다. 최종 프레임 번호 생성부(142)는 장면 전환 검출부(141)에 의해 검출된 장면 전환 위치에 기초하여, 현재의 장면의 최종 프레임 번호를 생성하는 것이다. 도 7의 예에서는, 제k 프레임째가 최종 프레임이 된다.

깊이값 보정부(150)는, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값을 보정하는 것이다. 도 7의 예에서는, 깊이값은 다음 식과 같이 보정된다.

보정 후 깊이값=보정 전 깊이값×m/n

단, n은 천이 프레임수 설정부(130)에 유지된 천이 프레임수이며, m은 장면 전환의 개시 부분 또는 종단부 부분 중 어느 하나에 따라 이하와 같이 설정된다.

장면 개시 n프레임의 경우; m=현 프레임 번호-1

장면 종단 n프레임의 경우; m=최종 프레임 번호-현 프레임 번호

또한, 현 프레임 번호는 현 프레임 번호 유지부(121)로부터 공급되고, 최종 프레임 번호는 최종 프레임 번호 생성부(142)로부터 공급된다.

[깊이값의 보정의 제1 형태의 동작예]

도 9는, 본 발명의 실시 형태에 있어서의 깊이값 보정의 제1 형태에 의한 처리의 흐름을 도시하는 도면이다. 여기에서는, 장면 전환의 일례로서, 챕터의 전환을 검출하는 예에 대하여 설명한다.

우선, 콘텐츠 판독 관리부(120)에 있어서, 현 프레임의 갱신이 행해진다(스텝 S911). 즉, 현 프레임 번호 유지부(121)에 유지되는 현 프레임 번호가 갱신됨과 함께, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값이 갱신된다.

현 프레임이 챕터의 개시 n프레임이면(스텝 S913), 변수 m에 「현 프레임 번호-1」이 설정된다(스텝 S914). 한편, 현 프레임이 챕터의 종단 n프레임이면(스텝 S916), 변수 m에는 「최종 프레임 번호-현 프레임 번호」가 설정된다(스텝 S917).

그리고, 현 프레임이 챕터의 개시 n프레임 또는 종단 n프레임이면, 깊이값 보정부(150)에 의해, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값이 「m/n」배로 보정된다(스텝 S918).

그 후, 현 프레임의 영상 데이터 및 깊이값에 기초하여 표시부(350)에 입체 화상이 표시된다(스텝 S919). 현 프레임이 챕터의 개시 n프레임 또는 종단 n프레임이면 상술한 바와 같이 보정된 깊이값이 사용되고, 그 이외의 프레임에 대해서는 보정되지 않은 깊이값이 사용된다. 또한, 여기에서는 표시부(350)를 갖는 촬상 장치(300)를 상정하여 동작을 설명했지만, 후에 표시하는 것을 전제로 하여 깊이값을 보정하여 기억해 두도록 해도 상관없다.

이와 같이, 본 발명의 실시 형태의 제1 형태에 의하면, 장면 전환 전후에 있어서 깊이값을 제로(망원측)로 원활하게 천이시킬 수 있어, 깊이값의 급격한 변화에 의한 위화감을 해소할 수 있다.

<2. 제2 실시 형태>

[깊이값의 보정의 제2 형태]

도 10은, 본 발명의 실시 형태에 의한 깊이값의 보정의 제2 형태를 도시하는 도면이다. 상술한 제1 형태에서는 깊이값을 일단 제로로 천이시키고 있었지만, 이 제2 형태에서는 장면 전환 전후에 있어서 깊이값을 소정의 표시 속도에 의해 직접 천이시키는 것을 상정한다.

도 10의 (a)는, 챕터의 종단부 부분에 있어서만 깊이값을 천이시키는 예이다. 즉, 이 예에서는, 챕터의 종단부 부분에 있어서 깊이값 731(a)로부터 깊이값 732로 천이시키고, 챕터의 개시 부분에 있어서는 깊이값 733(c)로부터 깊이값 734까지 일정한 값을 유지시키고 있다.

도 10의 (b)는, 챕터의 개시 부분에 있어서만 깊이값을 천이시키는 예이다. 즉, 이 예에서는, 챕터의 종단부 부분에 있어서 깊이값 741로부터 깊이값 742까지는 일정한 값(a)을 유지하고, 챕터의 개시 부분에 있어서 깊이값 743으로부터 깊이값 744(c)로 천이시키고 있다.

도 10의 (c)는, 챕터의 개시 부분 및 종단부 부분의 양자에 있어서 깊이값을 천이시키는 예이다. 즉, 이 예에서는, 챕터의 종단부 부분에 있어서 깊이값 751(a)로부터 깊이값 752로 천이시키고, 챕터의 개시 부분에 있어서도 깊이값 753(b)로부터 깊이값 754로 천이시키고 있다.

이와 같이, 깊이값을 직접 천이시키는 경우에는 챕터의 전환 전후의 어느 구간에 있어서 천이시켜도 좋다.

[깊이값의 보정의 제2 형태의 기능 구성]

도 11은, 본 발명의 실시 형태에 있어서의 깊이값 보정 기구의 제2 기능 구성예를 도시하는 도면이다. 이 깊이값 보정 기구는, 깊이값이 급격하게 변화하고 있는 경우에 그 변화를 원활하게 천이시키는 것이다. 이하에서는, 장면 전환의 일례로서, 챕터의 전환을 검출하는 예에 대하여 설명한다.

이 깊이값 보정 기구의 제2 기능 구성은, 콘텐츠 공급부(110)와, 콘텐츠 판독 관리부(120)와, 천이 프레임수 설정부(130)와, 콘텐츠 선판독 관리부(140)와, 깊이값 보정부(150)를 구비하는 점은, 도 8에 의해 설명한 제1 기능 구성과 마찬가지이다. 이 깊이값 보정 기구의 제2 기능 구성은, 제1 기능 구성 외에 개시 깊이값 유지부(160)를 구비한다. 또한, 콘텐츠 선판독 관리부(140)에 있어서 목표 깊이값 생성부(143)를 더 구비한다.

개시 깊이값 유지부(160)는, 깊이값을 천이시킬 때의 개시 프레임의 깊이값을 유지하는 것이다. 도 10의 (a)의 예에서는 챕터#i의 깊이값 731이 개시 프레임의 깊이값이 된다. 도 10의 (b)의 예에서는 챕터#(i+1)의 깊이값 743이 개시 프레임의 깊이값이 된다. 또한, 도 10의 (c)의 예에서는, 챕터#i의 깊이값 751 및 챕터#(i+1)의 깊이값 753이 개시 프레임의 깊이값이 된다. 개시 프레임은, 장면 전환 검출부(141)에 의해 검출된 장면 전환 위치 및 천이 프레임수 설정부(130)에 의해 설정된 천이 프레임수에 기초하여 정해진다.

목표 깊이값 생성부(143)는, 깊이값을 보정할 때의 목표 깊이값을 생성하는 것이다. 도 10의 (a)의 예에서는, 챕터#i의 깊이값 732가 목표 깊이값이 된다. 도 10의 (b)의 예에서는, 챕터#(i+1)의 깊이값 744가 목표 깊이값이 된다. 또한, 도 10의 (c)의 예에서는, 챕터#i의 깊이값 752 및 챕터#(i+1)의 깊이값 754가 목표 깊이값이 된다. 목표 깊이값에 해당하는 프레임은, 장면 전환 검출부(141)에 의해 검출된 장면 전환 위치 및 천이 프레임수 설정부(130)에 의해 설정된 천이 프레임수에 기초하여 정해진다. 또한, 도 10의 (b)의 예에 있어서의 깊이값 744 및 도 10의 (c)의 예에 있어서의 깊이값 754는, 현 프레임의 깊이값과 거의 동등하다고 생각할 수 있기 때문에, 현 프레임의 깊이값에 의해 대용하는 것이 가능하다. 또한, 목표 깊이값은 임의로 정하는 것이 가능하다. 예를 들어, 다음 챕터 전체의 다이내믹 레인지에 따라 목표 깊이값을 설정해도 좋다.

이 깊이값 보정 기구의 제2 기능 구성에 있어서, 깊이값 보정부(150)는 이하와 같이 깊이값을 보정한다. 도 10의 (a)와 같이 전환 전의 챕터에 있어서 천이를 행하는 경우에는 챕터의 종료 n프레임에 대하여 다음 수학식 1에 의해 깊이값을 보정한다.

단,

이다.

도 10의 (b)와 같이 전환 후의 챕터에 있어서 천이를 행하는 경우에는 챕터의 개시 n프레임에 대하여 다음 수학식 2에 의해 깊이값을 보정한다.

단,

이다.

도 10의 (c)와 같이 전환 전후의 챕터에 걸쳐 천이를 행하는 경우에는 챕터의 개시 n프레임에 대하여 상술한 수학식 2에 의해 깊이값을 보정한다. 또한, 챕터의 종료 n프레임에 대하여 상술한 수학식 1에 의해 깊이값을 보정한다.

[깊이값의 보정의 제2 형태의 동작예]

도 12는, 본 발명의 실시 형태에 있어서의 깊이값 보정의 제2 형태에 의한 제1 처리의 흐름을 도시하는 도면이다. 이 제1 처리는, 도 10의 (a)와 같이 전환 전의 챕터에 있어서 천이를 행하는 경우의 예를 나타내고 있다.

우선, 콘텐츠 판독 관리부(120)에 있어서, 현 프레임의 갱신이 행해진다(스텝 S921). 즉, 현 프레임 번호 유지부(121)에 유지되는 현 프레임 번호가 갱신됨과 함께, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값이 갱신된다. 또한, 목표 깊이값 생성부(143)에 있어서, 천이 시의 목표 깊이값이 생성되어, 설정된다(스텝 S922). 이 경우의 목표 깊이값은, 도 10의 (a)에 있어서의 깊이값 732이다.

현 프레임이 챕터의 종단 n프레임이면(스텝 S926), 변수 m에는 「최종 프레임 번호-현 프레임 번호」가 설정된다(스텝 S927). 그리고, 깊이값 보정부(150)에 의해, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값이 상술한 수학식 1에 의해 보정된다(스텝 S928).

그 후, 현 프레임의 영상 데이터 및 깊이값에 기초하여 표시부(350)에 입체 화상이 표시된다(스텝 S929). 현 프레임이 챕터의 종단 n프레임이면 상술한 바와 같이 보정된 깊이값이 사용되고, 그 이외의 프레임에 대해서는 보정되지 않은 깊이값이 사용된다. 또한, 여기에서는 표시부(350)를 갖는 촬상 장치(300)를 상정하여 동작을 설명했지만, 후에 표시하는 것을 전제로 하여 깊이값을 보정하여 기억해 두도록 해도 상관없다.

도 13은, 본 발명의 실시 형태에 있어서의 깊이값 보정의 제2 형태에 의한 제2 처리의 흐름을 도시하는 도면이다. 이 제2 처리는, 도 10의 (b)와 같이 전환 후의 챕터에 있어서 천이를 행하는 경우의 예를 나타내고 있다.

우선, 콘텐츠 판독 관리부(120)에 있어서, 현 프레임의 갱신이 행해진다(스텝 S931). 즉, 현 프레임 번호 유지부(121)에 유지되는 현 프레임 번호가 갱신됨과 함께, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값이 갱신된다.

현 프레임이 챕터의 개시 n프레임이면(스텝 S933), 변수 m에 「현 프레임 번호-1」이 설정된다(스텝 S934). 그리고, 깊이값 보정부(150)에 의해, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값이 상술한 수학식 2에 의해 보정된다(스텝 S935).

그 후, 현 프레임의 영상 데이터 및 깊이값에 기초하여 표시부(350)에 입체 화상이 표시된다(스텝 S939). 현 프레임이 챕터의 개시 n프레임이면 상술한 바와 같이 보정된 깊이값이 사용되고, 그 이외의 프레임에 대해서는 보정되지 않은 깊이값이 사용된다. 또한, 여기에서는 표시부(350)를 갖는 촬상 장치(300)를 상정하여 동작을 설명했지만, 후에 표시하는 것을 전제로 하여 깊이값을 보정하여 기억해 두도록 해도 상관없다.

도 14는 본 발명의 실시 형태에 있어서의 깊이값 보정의 제2 형태에 의한 제3 처리의 흐름을 도시하는 도면이다. 이 제3 처리는, 도 10의 (c)와 같이 전환 전후의 챕터에 걸쳐 천이를 행하는 경우의 예를 나타내고 있다.

우선, 콘텐츠 판독 관리부(120)에 있어서, 현 프레임의 갱신이 행해진다(스텝 S941). 즉, 현 프레임 번호 유지부(121)에 유지되는 현 프레임 번호가 갱신됨과 함께, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값이 갱신된다. 또한, 목표 깊이값 생성부(143)에 있어서, 천이 시의 목표 깊이값이 생성되어, 설정된다(스텝 S942). 이 경우의 목표 깊이값은, 도 10의 (c)에 있어서의 깊이값 752이다. 깊이값 752는, 예를 들어 챕터#i의 종단부 부분의 깊이값과 챕터#(i+1)의 개시 부분의 깊이값의 평균값(b)을 사용할 수 있다.

현 프레임이 챕터의 개시 n프레임이면(스텝 S943), 변수 m에 「현 프레임 번호-1」이 설정된다(스텝 S944). 그리고, 깊이값 보정부(150)에 의해, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값이 상술한 수학식 2에 의해 보정된다(스텝 S945).

한편, 현 프레임이 챕터의 종단 n프레임이면(스텝 S946), 변수 m에는 「최종 프레임 번호-현 프레임 번호」가 설정된다(스텝 S947). 그리고, 깊이값 보정부(150)에 의해, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값이 상술한 수학식 1에 의해 보정된다(스텝 S948).

그 후, 현 프레임의 영상 데이터 및 깊이값에 기초하여 표시부(350)에 입체 화상이 표시된다(스텝 S949). 현 프레임이 챕터의 개시 n프레임 또는 종단 n프레임이면 상술한 바와 같이 보정된 깊이값이 사용되고, 그 이외의 프레임에 대해서는 보정되지 않은 깊이값이 사용된다. 또한, 여기에서는 표시부(350)를 갖는 촬상 장치(300)를 상정하여 동작을 설명했지만, 후에 표시하는 것을 전제로 하여 깊이값을 보정하여 기억해 두도록 해도 상관없다.

이와 같이, 본 발명의 실시 형태의 제2 형태에 의하면, 장면 전환 전후에 있어서 깊이값을 원활하게 천이시킬 수 있어, 깊이값의 급격한 변화에 의한 위화감을 해소할 수 있다.

<3. 제3 실시 형태>

[정지 화상 데이터와 동화상 데이터의 관계]

도 15는 본 발명의 제3 실시 형태에 있어서의 정지 화상 데이터와 동화상 데이터의 관계를 도시하는 도면이다. 이 제3 실시 형태에서는, 정지 화상 데이터를 슬라이드 쇼 형식에 의해 입체 표시하는 것을 상정하고 있다. 여기에서는, 정지 화상 데이터의 각각을 n프레임씩 분배함으로써, 동화상 데이터를 생성하고 있다. 즉, 정지 화상 데이터 A를 n프레임 배치하고, 그 후 정지 화상 데이터 B를 n프레임 배치하고, 또한 정지 화상 데이터 C를 n프레임 배치하는 식의 요령으로 동화상 데이터의 각 프레임이 배치된다. 정지 화상 데이터는, 도 3에 의해 설명한 프레임 화상과 마찬가지로, 화상 데이터와 깊이값을 갖고 있으며, 입체 표시에 대응하고 있다.

이러한 정지 화상 데이터에 기초하는 동화상 데이터에 있어서도, 일반 동화상의 경우와 마찬가지로 깊이값이 급격하게 변화하는 것에 의한 위화감을 수반할 우려가 있다. 특히, 슬라이드 쇼 형식의 경우, 정지 화상 데이터의 전환 시에 깊이값이 급격하게 변화할 가능성이 높다.

[깊이값의 보정의 제3 형태]

도 16은, 본 발명의 실시 형태에 의한 깊이값의 보정의 제3 형태를 도시하는 도면이다. 도 16의 (a)와 같이, 정지 화상의 전환 시에, 정지 화상 내의 영역의 깊이값이 급격하게 변화하는 경우를 상정한다. 여기에서는, 정지 화상 A의 종단부 부분에 있어서의 특정한 영역의 깊이값 811(d)이, 정지 화상 B의 개시 부분에 있어서 깊이값 812(e)로 변화하고 있다. 이 경우, 특정한 영역의 깊이값이 급격하게 변화하기 때문에, 시청자에게 위화감을 줄 우려가 있다. 또한, 이 경우가 특정한 영역은, 인물 등에 해당하는 프레임 내의 일부의 영역이 상정되지만, 프레임 전체이어도 좋다.

본 발명의 실시 형태에서는, 깊이값의 보정의 제3 형태로서, 도 16의 (b)와 같이 정지 화상의 특정한 영역의 깊이값이 일정값 K가 되도록 보정한다. 이에 의해, 챕터의 전환 시에 있어서의 깊이값의 급격한 변화를 억제할 수 있다.

[깊이값의 보정의 제3 형태의 기능 구성]

도 17은, 본 발명의 실시 형태에 있어서의 깊이값 보정 기구의 제3 기능 구성예를 도시하는 도면이다. 이 깊이값 보정 기구는, 슬라이드 쇼 형식의 정지 화상 데이터를 포함하는 동화상 데이터에 있어서, 특정한 영역의 깊이값을 일정값으로 유지시키는 것이다. 이하에서는, 장면 전환의 일례로서, 챕터의 전환을 검출하는 예에 대하여 설명한다.

이 깊이값 보정 기구의 제3 기능 구성은, 콘텐츠 공급부(110)와, 콘텐츠 판독 관리부(120)와, 깊이값 보정부(150)를 구비하는 점은, 도 8에 의해 설명한 제1 기능 구성과 마찬가지이다. 이 깊이값 보정 기구의 제3 기능 구성은, 제1 기능 구성에 있어서 천이 프레임수 설정부(130) 및 콘텐츠 선판독 관리부(140)를 제거하고, 고정 깊이값 설정부(170)를 더 구비한다. 또한, 콘텐츠 판독 관리부(120)에 있어서, 기준 깊이값 특정부(123)를 더 구비한다.

기준 깊이값 특정부(123)는, 콘텐츠 공급부(110)로부터 공급된 정지 화상에 대해, 기준이 되는 깊이값(기준 깊이값)을 특정하는 것이다. 이 기준 깊이값을 특정하기 위해서는, 정지 화상에 있어서의 어떠한 특징량을 추출하고, 그 특징량에 기초하여 기준 깊이값을 특정하는 것을 생각할 수 있다. 예를 들어, 정지 화상에 있어서 얼굴을 추출하고, 그 중에서 가장 주목해야 할 우선 얼굴을 선택하여, 그 우선 얼굴의 깊이값을 기준 깊이값으로서 특정하는 것을 생각할 수 있다. 우선 얼굴로서는, 가장 중앙에 가까운 얼굴이나, 가장 큰 얼굴을 선택할 수 있다. 또한, 예를 들어, 가장 근거리에 위치하는 깊이값을 특정하도록 해도 좋다.

고정 깊이값 설정부(170)는, 정지 화상의 특정한 영역의 깊이값으로서 고정하고자 하는 일정값을 설정하는 것이다. 이 고정 깊이값 설정부(170)에 설정된 일정값을 고정 깊이값이라고 칭한다. 도 16의 (b)의 예의 경우, 일정값 K가 고정 깊이값으로서 설정되게 된다.

이에 의해, 깊이값 보정부(150)는, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값을 다음 식과 같이 보정한다.

보정 후 깊이값=보정 전 깊이값×K/y

단, K는 고정 깊이값 설정부(170)에 설정된 고정 깊이값이며, y는 기준 깊이값 특정부(123)에 의해 특정된 기준 깊이값이다.

[깊이값의 보정의 제3 형태의 동작예]

도 18은, 본 발명의 실시 형태에 있어서의 깊이값 보정의 제3 형태에 의한 처리의 흐름을 도시하는 도면이다. 여기에서는, 장면 전환의 일례로서, 챕터의 전환을 검출하는 예에 대하여 설명한다.

우선, 콘텐츠 판독 관리부(120)에 있어서, 현 프레임의 갱신이 행해진다(스텝 S951). 즉, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값이 갱신된다. 또한, 기준 깊이값 특정부(123)에 있어서, 현 프레임의 정지 화상으로부터 깊이값이 특정된다(스텝 S957). 여기에서는, 일례로서, 우선 얼굴을 검출하여, 그 우선 얼굴의 기준 깊이값 y를 특정하는 것을 상정한다.

그리고, 깊이값 보정부(150)에 의해, 현 프레임 깊이값 유지부(122)에 유지되는 깊이값이 「K/y」배로 보정된다(스텝 S958). 여기서, K는 고정 깊이값 설정부(170)에 설정된 고정 깊이값이며, y는 기준 깊이값 특정부(123)에 의해 특정된 기준 깊이값이다.

그 후, 현 프레임의 영상 데이터 및 깊이값에 기초하여 표시부(350)에 입체 화상이 표시된다(스텝 S959). 또한, 여기에서는 표시부(350)를 갖는 촬상 장치(300)를 상정하여 동작을 설명했지만, 후에 표시하는 것을 전제로 하여 깊이값을 보정하여 기억해 두도록 해도 상관없다.

이와 같이, 본 발명의 실시 형태의 제3 형태에 의하면, 슬라이드 쇼 형식의 정지 화상 데이터를 포함하는 동화상 데이터에 있어서, 특정한 영역의 깊이값을 일정값으로 유지시킬 수 있어, 깊이값의 급격한 변화에 의한 위화감을 해소할 수 있다.

<4. 변형예>

[슬라이드 쇼의 변형예]

도 19는, 본 발명의 실시 형태에 의한 깊이값의 보정의 제3 형태의 변형예를 도시하는 도면이다. 상술한 제3 형태에서는 깊이값을 일정값으로 유지시키고 있었지만, 이 변형예에서는 제2 형태와 마찬가지로, 장면 전환 전후에 있어서 깊이값을 천이시키는 것을 상정한다.

도 19의 (a)는, 정지 화상의 종단부 부분에 있어서만 깊이값을 천이시키는 예이다. 즉, 이 예에서는, 정지 화상 A의 종단부 부분에 있어서 깊이값 831로부터 깊이값 832로 천이시키고, 정지 화상 B의 개시 부분에 있어서는 깊이값 833으로부터 깊이값 834까지 일정한 값을 유지시키고 있다.

도 19의 (b)는, 정지 화상의 개시 부분에 있어서만 깊이값을 천이시키는 예이다. 즉, 이 예에서는, 정지 화상 A의 종단부 부분에 있어서 깊이값 841로부터 깊이값 842까지는 일정한 값을 유지하고, 정지 화상 B의 개시 부분에 있어서 깊이값 843으로부터 깊이값 844로 천이시키고 있다.

도 19의 (c)는, 정지 화상의 개시 부분 및 종단부 부분의 양자에 있어서 깊이값을 천이시키는 예이다. 즉, 이 예에서는, 정지 화상 A의 종단부 부분에 있어서 깊이값 851로부터 깊이값 852로 천이시키고, 정지 화상 B의 개시 부분에 있어서도 깊이값 853으로부터 깊이값 854로 천이시키고 있다.

이와 같이, 깊이값을 천이시키는 경우에는 정지 화상의 전환 전후의 어느 한 구간에 있어서 천이시켜도 좋다.

이러한 깊이값의 천이를 실현하기 위해서는, 도 11에 의해 설명한 기능 구성 및 도 12 내지 14에 의해 설명한 처리를 이용할 수 있다. 즉, 슬라이드 쇼 형식의 동화상 데이터는, 각 프레임은 정지 화상 데이터로 구성되어 있기는 하지만, 전체적으로 보면 일반 동화상 데이터와 차이는 없다. 따라서, 상술한 본 발명의 제2 실시 형태를 이용할 수 있다. 마찬가지로, 본 발명의 제2 실시 형태를 이용하여, 정지 화상의 전환 시에 전체의 깊이값을 일단 제로(무한원)로 보정하도록 해도 좋다.

또한, 여기서는, 입체 화상의 장면 전환에 착안하여 설명했지만, 입체 화상으로부터 평면 화상으로의 전환 혹은 평면 화상으로부터 입체 화상으로의 전환에 대해서도 마찬가지로 적용할 수 있는 것은 말할 필요도 없다. 또한, 정지 화상에 기초하는 슬라이드 쇼 형식의 동화상 데이터와 통상의 동화상 데이터를 혼재시킨 동화상 데이터에 있어서, 정지 화상과 동화상을 전환하는 경우에 대해서도 마찬가지로 적용할 수 있는 것은 말할 필요도 없다.

이와 같이, 본 발명의 실시 형태에 의하면, 입체 콘텐츠의 장면의 전환에 있어서 깊이값을 원활하게 천이시킬 수 있다.

또한, 본 발명의 실시 형태는 본 발명을 구현화하기 위한 일례를 기재한 것이며, 상술한 바와 같이 특허 청구 범위에 있어서의 발명 특정 사항과 각각 대응 관계를 갖는다. 단, 본 발명은 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에 있어서 다양한 변형을 실시할 수 있다.

또한, 본 발명의 실시 형태에 있어서 설명한 처리 수순은, 이들 일련의 수순을 갖는 방법으로서 취해도 좋고, 또한 이들 일련의 수순을 컴퓨터에 실행시키기 위한 프로그램 내지 그 프로그램을 기억하는 기록 매체로서 취해도 좋다. 이 기록 매체로서, 광 디스크, 하드 디스크, 반도체 디스크 이외에, 예를 들어 CD(Compact Disc), MD(Mini Disc), DVD(Digital Versatile Disk), 메모리 카드, 블루레이 디스크(Blu-ray Disc(등록 상표)) 등을 사용할 수 있다. 또한, 도 2에 있어서, 영상 음성 스트림으로서 기록되는 MPEG 압축의 GOP에 각각 대응하는 영상 깊이 맵값에 대하여 설명했다. 이것은, 예를 들어 광 디스크의 프로그램 스트림, Blu-Ray 규격이나 AVCHD 규격에서 사용되는 TS 스트림, MPEG2 스트림, H.264/AVC 스트림, MP4 스트림 등 각각의 영상 음성 압축 스트림과 그 장래의 확장 규격에 있어서 사용할 수 있다.

110 : 콘텐츠 공급부
120 : 콘텐츠 판독 관리부
121 : 현 프레임 번호 유지부
122 : 현 프레임 깊이값 유지부
123 : 기준 깊이값 특정부
130 : 천이 프레임수 설정부
140 : 콘텐츠 선판독 관리부
141 : 장면 전환 검출부
142 : 최종 프레임 번호 생성부
143 : 목표 깊이값 생성부
150 : 깊이값 보정부
160 : 개시 깊이값 유지부
170 : 고정 깊이값 설정부
200 : 콘텐츠 기록 유닛
210 : 영상 데이터
220 : 깊이 맵
300 : 촬상 장치
310 : 렌즈부
311 : 줌렌즈
312 : 포커스 렌즈
315, 316, 346 : 모터
319 : 모터 드라이버
321 : 촬상 소자
322 : 아날로그 처리부
323 : A/D 변환기
324 : 디지털 처리부
325 : 타이밍 생성기
329 : 카메라 제어부
331 : 영상 부호화부
332 : 깊이 정보 설정부
333 : 파일 생성부
334 : 파일 복호부
335 : 영상 복호부
336 : 깊이 정보 출력부
337 : 메모리
338 : 메모리 컨트롤러
339 : 시스템 제어부
341 : 에러 정정부
342 : 데이터 변복조부
343 : 자계 변조 드라이버
344 : 자계 헤드
345 : 서보 회로
347 : 광 픽업
349 : 드라이브 제어부
350 : 표시부
370 : 광 디스크
390 : 조작 접수부

Claims

콘텐츠에 있어서의 장면(scene)의 전환을 검출하는 장면 전환 검출부와,
입체 표시를 위한 깊이값(depth value)의 변화가 상기 장면의 전환 전후에 있어서 소정의 표시 속도에 의해 천이하도록 상기 깊이값을 보정하는 깊이값 보정부를 구비하는, 화상 정보 처리 장치.
제1항에 있어서, 상기 깊이값 보정부는, 상기 콘텐츠에 있어서의 어느 한 영역에 대응하는 깊이값의 변화가 상기 장면의 전환 전후에 있어서 소정의 표시 속도에 의해 천이하도록 상기 깊이값을 보정하는, 화상 정보 처리 장치.
제1항에 있어서, 상기 깊이값 보정부는, 상기 장면의 전환 전후에 있어서 화상 전체의 깊이값을 망원측으로 보정하는, 화상 정보 처리 장치.
제1항에 있어서, 상기 깊이값 보정부는, 상기 장면의 전환 전의 깊이값으로부터 상기 장면의 전환 후의 깊이값으로 소정의 표시 속도에 의해 천이하도록 상기 깊이값을 보정하는, 화상 정보 처리 장치.
제1항에 있어서, 상기 깊이값 보정부는, 상기 장면의 전환 전의 소정의 구간에 있어서 깊이값을 천이시키도록 보정하는, 화상 정보 처리 장치.
제1항에 있어서, 상기 깊이값 보정부는, 상기 장면의 전환 후의 소정의 구간에 있어서 깊이값을 천이시키도록 보정하는, 화상 정보 처리 장치.
제1항에 있어서, 상기 깊이값 보정부는, 상기 장면의 전환 전후에 걸친 소정의 구간에 있어서 깊이값을 천이시키도록 보정하는, 화상 정보 처리 장치.
제1항에 있어서, 상기 장면 전환 검출부는, 상기 장면의 전환으로서 입체 화상과 평면 화상의 전환을 검출하는, 화상 정보 처리 장치.
제1항에 있어서, 상기 장면 전환 검출부는, 상기 장면의 전환으로서 동화상과 정지 화상의 전환을 검출하는, 화상 정보 처리 장치.
콘텐츠를 구성하는 화상 데이터를 입체 표시하기 위한 깊이값에 대하여 일정한 값을 고정 깊이값으로서 설정하는 고정 깊이값 설정부와,
상기 화상 데이터 중 어느 한 영역을 선택하여 해당 영역에 대응하는 깊이값을 기준 깊이값으로서 특정하는 기준 깊이값 특정부와,
상기 화상 데이터의 각 영역에 대응하는 깊이값에 대하여 상기 기준 깊이값이 상기 고정 깊이값이 되는 비율에 의해 보정을 행하는 깊이값 보정부를 구비하는, 화상 정보 처리 장치.
화상을 촬상하여 촬상 화상 및 입체 표시를 위한 깊이값을 공급하는 촬상 화상 공급부와,
상기 촬상 화상에 있어서의 장면의 전환을 검출하는 장면 전환 검출부와,
상기 깊이값의 변화가 상기 장면의 전환 전후에 있어서 소정의 표시 속도에 의해 천이하도록 상기 깊이값을 보정하는 깊이값 보정부를 구비하는, 촬상 장치.
콘텐츠에 있어서의 장면의 전환을 검출하는 장면 전환 검출 수순과,
입체 표시를 위한 깊이값의 변화가 상기 장면의 전환 전후에 있어서 소정의 표시 속도에 의해 천이하도록 상기 깊이값을 보정하는 깊이값 보정 수순을 구비하는, 화상 정보 처리 방법.
콘텐츠에 있어서의 장면의 전환을 검출하는 장면 전환 검출 수순과,
입체 표시를 위한 깊이값의 변화가 상기 장면의 전환 전후에 있어서 소정의 표시 속도에 의해 천이하도록 상기 깊이값을 보정하는 깊이값 보정 수순을 컴퓨터에 실행시키는, 프로그램.