KR20190039774A

KR20190039774A - 가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램

Info

Publication number: KR20190039774A
Application number: KR1020197007474A
Authority: KR
Inventors: 다카시 하나모토; 도모요리 이와오
Original assignee: 캐논 가부시끼가이샤
Priority date: 2016-09-15
Filing date: 2017-08-09
Publication date: 2019-04-15
Also published as: JP6742869B2; KR102187974B1; CN109716751A; CN109716751B; US20190213791A1; WO2018051688A1; JP2018046448A

Abstract

가상 카메라의 고도나 이동 속도에 대해서도 임의로 설정할 수 있으며, 또한 용이한 조작으로 단시간에 자유 시점 영상을 얻는 것을 목적으로 한다. 복수의 카메라에 의해 얻어지는 복수 화상에 기초하여 생성되는 가상 시점 화상에 관한 가상 시점의 이동 경로를 설정하는 정보 처리 장치이며, 가상 시점의 이동 경로를 특정하는 특정 수단과, 상기 특정 수단에 의해 특정된 이동 경로에 따른 복수의 가상 시점 화상을 표시 화면 상에 표시시키는 표시 제어 수단과, 상기 표시 화면 상에 표시된 상기 복수의 가상 시점 화상 중 적어도 하나에 대한 조작을 접수하는 접수 수단과, 상기 접수 수단에 의한 상기 가상 시점 화상에 대한 조작의 접수에 따라, 상기 특정 수단에 의한 특정 완료된 상기 이동 경로를 변경하는 변경 수단을 갖는다.

Description

가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램

본 발명은 자유 시점 영상 생성 시에 있어서의 가상 카메라의 경로를 설정하는 기술에 관한 것이다.

복수대의 실제 카메라로 촬영된 영상을 이용하여, 3차원 공간 내에 가상적으로 배치된 실제로는 존재하지 않는 카메라(가상 카메라)로부터의 영상을 생성하는 기술로서, 자유 시점 영상 기술이 있다. 자유 시점 영상을 얻기 위해서는, 가상 카메라의 경로 등을 설정할 필요가 있고, 거기에는 가상 카메라의 위치(x,y,z), 회전 방향(φ), 화각(θ), 주시점(xo,yo,zo)과 같은 파라미터를 시간축(t)을 따라서 적절하게 제어할 필요가 있다. 이러한 많은 파라미터를 적절하게 설정·제어하기 위해서는 숙련이 필요하고, 훈련을 쌓은 전문가가 아니면 조작이 곤란하다. 이 점에 대해, 특허문헌 1에는, 대상이 되는 3차원 공간을 상부에서 바라 보았을 때의 평면도(예로서 미술관 내의 평면도)를 기초로 가상 카메라의 파라미터를 설정하고, 지정된 위치에 있어서의 자유 시점 영상을 확인하는 방법이 개시되어 있다.

일본 특허 공개 제2013-90257호 공보

그러나, 상기 특허문헌 1의 방법에서는, 평면도 상에서의 가상 카메라의 파라미터 설정, 당해 설정을 따른 자유 시점 영상의 전 시퀀스 확인, 파라미터의 수정(재설정)이라는 일련의 조작을 몇 번이고 반복할 필요가 있어, 작업 시간이 장대화된다는 문제가 있다. 또한, 이 방법에서는, 원래 가상 카메라의 고도나 이동 속도에 대해서는 설정을 할 수 없고, 이들 파라미터가 변경된 자유 시점 영상을 얻을 수 없다.

본 발명에 관한 정보 처리 장치는, 복수의 카메라에 의해 얻어지는 복수 화상에 기초하여 생성되는 가상 시점 화상에 관한 가상 시점의 이동 경로를 설정하는 정보 처리 장치이며, 가상 시점의 이동 경로를 특정하는 특정 수단과, 상기 특정 수단에 의해 특정된 이동 경로에 따른 복수의 가상 시점 화상을 표시 화면 상에 표시시키는 표시 제어 수단과, 상기 표시 화면 상에 표시된 상기 복수의 가상 시점 화상 중 적어도 하나에 대한 조작을 접수하는 접수 수단과, 상기 접수 수단에 의한 상기 가상 시점 화상에 대한 조작의 접수에 따라, 상기 특정 수단에 의한 특정 완료된 상기 이동 경로를 변경하는 변경 수단을 갖는다.

본 발명에 따르면, 가상 카메라의 고도나 이동 속도에 대해서도 임의로 설정할 수 있으며, 또한 용이한 조작으로 가상 시점 영상을 얻을 수 있다.

본 발명의 또 다른 특징은, 첨부된 도면을 참조하여 행하는 이하의 실시 형태의 설명에 의해 분명해진다.

도 1은 자유 시점 영상 시스템의 구성의 일례를 도시하는 도면이다.
도 2는 카메라 군을 구성하는 각 카메라의 배치예를 도시한 도면이다.
도 3a는, 실시 형태 1에 관한, 자유 시점 영상 생성 시에 사용하는 GUI 화면의 일례를 나타내는 도면이다.
도 3b는, 실시 형태 1에 관한, 자유 시점 영상 생성 시에 사용하는 GUI 화면의 일례를 나타내는 도면이다.
도 4는 실시 형태 1에 관한, 자유 시점 영상을 생성하는 처리의 개략적인 흐름을 나타낸 흐름도이다.
도 5는 실시 형태 1에 관한, 가상 카메라 설정 처리의 상세를 나타내는 흐름도이다.
도 6a는 피사체의 위치 및 3D 형상이 투영된 정적 2D 맵의 일례이다.
도 6b는 주시점 패스와 카메라 패스가 지정된 결과의 일례이다.
도 6c는 섬네일 배치 처리의 결과의 일례를 나타내는 도면이다.
도 7은 섬네일 배치 처리의 상세를 나타내는 흐름도이다.
도 8a는 섬네일 배치 처리의 과정을 설명하는 도면이다.
도 8b는 섬네일 배치 처리의 과정을 설명하는 도면이다.
도 8c는 섬네일 배치 처리의 과정을 설명하는 도면이다.
도 9는 카메라 패스 조정 처리의 상세를 나타내는 흐름도이다.
도 10a는 카메라 패스 조정 처리의 과정을 설명하는 도면이다.
도 10b는 카메라 패스 조정 처리의 과정을 설명하는 도면이다.
도 10c는 카메라 패스 조정 처리의 과정을 설명하는 도면이다.
도 11a는 그라데이션 아이콘이 부가된 상태를 나타내는 도면이다.
도 11b는 각 섬네일 화상, 가상 카메라의 이동 속도 및 자유 시점 영상의 재생 시간의 관계를 설명하는 도면이다.
도 12는 주시점 패스 조정 처리의 상세를 나타내는 흐름도이다.
도 13a는 주시점 패스 조정 처리의 과정을 설명하는 도면이다.
도 13b는 주시점 패스 조정 처리의 과정을 설명하는 도면이다.
도 13c는 주시점 패스 조정 처리의 과정을 설명하는 도면이다.
도 13d는 주시점 패스 조정 처리의 과정을 설명하는 도면이다.
도 14는 실시 형태 2에 관한, 자유 시점 영상 생성 시의 GUI 화면의 일례를 나타낸 도면이다.
도 15는 실시 형태 2에 관한, 자유 시점 영상을 생성하는 처리의 개략적인 흐름을 나타낸 흐름도이다.
도 16은 실시 형태 2에 관한, 가상 카메라 설정 처리의 상세를 나타내는 흐름도이다.
도 17a는 동적 2D 맵의 개시 프레임의 일례이다.
도 17b는 동적 2D 맵 상에 주시점 패스가 지정되는 모습을 시계열로 나타내는 도면이다.
도 17c는 동적 2D 맵 상에 주시점 패스가 지정되는 모습을 시계열로 나타내는 도면이다.
도 17d는 동적 2D 맵 상에 주시점 패스가 지정되는 모습을 시계열로 나타내는 도면이다.
도 18a는 주시점 패스의 지정을 종료한 후의 동적 2D 맵 상에 카메라 패스를 지정하는 모습을 시계열로 나타내는 도면이다.
도 18b는 주시점 패스의 지정을 종료한 후의 동적 2D 맵 상에 카메라 패스를 지정하는 모습을 시계열로 나타내는 도면이다.
도 18c는 주시점 패스의 지정을 종료한 후의 동적 2D 맵 상에 카메라 패스를 지정하는 모습을 시계열로 나타내는 도면이다.
도 19a는 카메라 패스를 지정할 때의 모드에 의한 차이를 설명하는 도면이다.
도 19b는 카메라 패스를 지정할 때의 모드에 의한 차이를 설명하는 도면이다.
도 20a는 피사체 정보를 공간적으로 좁힌 일례를 나타내는 도면이다.
도 20b는 피사체 정보를 공간적으로 좁힌 일례를 나타내는 도면이다.
도 21a는 주시점 패스 지정 접수 처리의 상세를 나타내는 흐름도이다.
도 21b는 주시점 패스 지정 접수 처리의 상세를 나타내는 흐름도이다.
도 22a는 카메라 패스 지정 접수 처리의 상세를 나타내는 흐름도이다.
도 22b는 카메라 패스 지정 접수 처리의 상세를 나타내는 흐름도이다.
도 23은 패스 조정 처리의 상세를 나타내는 흐름도이다.

이하, 본 발명의 실시 형태에 대해, 도면을 참조하여 설명한다. 또한, 이하의 실시 형태는 본 발명을 한정하는 것은 아니고, 또한, 본 실시 형태에서 설명되고 있는 특징의 조합 모두가 본 발명의 해결 수단에 필수인 것만은 아니다. 또한, 동일한 구성에 대해서는, 동일한 부호를 부여하여 설명한다.

<실시 형태 1>

도 1은, 본 실시 형태에서의 자유 시점 영상 시스템의 구성의 일례를 도시하는 도면이다. 도 1에 나타내는 자유 시점 영상 시스템은 화상 처리 장치(100)와 복수의 촬상 장치(카메라 군)(109)로 구성된다. 그리고, 화상 처리 장치(100)는, CPU(101), 메인 메모리(102), 기억부(103), 입력부(104), 표시부(105), 외부 I/F(106)를 구비하고, 각 부가 버스(107)를 통하여 접속되어 있다. 화상 처리 장치는 복수의 촬상 장치(카메라 군)에 의해 얻어지는 복수 화상에 기초하여 생성되는 가상 시점 화상에 관한 가상 시점의 이동 경로를 설정하는 장치이다. 먼저, CPU(101)는 화상 처리 장치(100)를 통괄적으로 제어하는 연산 처리 장치이며, 기억부(103) 등에 저장된 각종 프로그램을 실행하여 다양한 처리를 행한다. 메인 메모리(102)는, 각종 처리에서 사용되는 데이터나 파라미터 등을 일시적으로 저장하는 것 외에, CPU(101)에 작업 영역을 제공한다. 기억부(103)는, 각종 프로그램이나 GUI(그래피컬·사용자 인터페이스) 표시에 필요한 각종 데이터를 기억하는 대용량 기억 장치로서, 예를 들어 하드 디스크나 실리콘 디스크 등의 불휘발성 메모리가 사용된다. 입력부(104)는, 키보드나 마우스, 전자 펜, 터치 패널 등의 장치이며, 유저로부터의 조작 입력을 접수한다. 표시부(105)는 액정 패널 등으로 구성되어, 자유 시점 영상 생성시의 가상 카메라의 경로 설정을 위한 GUI 표시 등을 행한다. 외부 I/F부(106)는 카메라 군(109)을 구성하는 각 카메라와 LAN(108)을 통하여 접속되고, 영상 데이터나 제어 신호 데이터의 송수신을 행한다. 버스(107)는 상술한 각 부를 접속하고, 데이터 전송을 행한다.

카메라 군(109)은, LAN(108)을 경유하여 화상 처리 장치(100)와 접속되어 있고, 화상 처리 장치(100)로부터의 제어 신호를 바탕으로, 촬영의 개시나 정지, 카메라 설정(셔터 스피드, 조리개 등)의 변경, 촬영한 영상 데이터의 전송을 행한다.

또한, 시스템 구성에 대해서는 상기 이외에도, 다양한 구성 요소가 존재할 수 있지만, 그 설명은 생략된다.

도 2는, 카메라 군(109)을 구성하는 각 카메라의 배치예를 도시한 도면이다. 여기에서는, 럭비를 행하는 경기장에 10대의 카메라를 설치한 케이스에 대해 설명한다. 단, 카메라 군(109)을 구성하는 카메라의 수는 10대로 한정되지 않는다. 적으면 2 내지 3대인 경우도 있을 수 있고, 수백대의 카메라를 설치하는 경우도 있을 수 있다. 경기를 행하는 필드(201) 상에 피사체(202)로서의 선수와 볼이 존재하고, 10대의 카메라(203)가 필드(201)를 둘러싸도록 배치되어 있다. 카메라 군(109)을 구성하는 각각의 카메라(203)는 필드(201) 전체, 또는 필드(201)의 주목 영역이 화각 내에 수렴되도록, 적절한 카메라의 방향, 초점 거리, 노출 제어 파라미터 등을 설정하고 있다.

도 3a 및 도 3b는 본 실시 형태에 관한, 자유 시점 영상 생성 시에 사용되는 GUI 화면의 일례를 나타낸 도면이다. 도 3a는 당해 GUI 화면의 기본 화면이며, 부감 화상 표시 영역(300), 조작 버튼 영역(310), 가상 카메라 설정 영역(320)으로 구성된다.

부감 화상 표시 영역(300)은, 가상 카메라의 이동 경로나 가상 카메라가 주시하는 목표인 주시점의 이동 경로를 지정하기 위한 조작 및 확인에 이용된다. 또한, 부감 화상 표시 영역(300)은, 가상 카메라의 이동 경로 및 주시점의 이동 경로 중 어느 한쪽만의 설정을 위하여 사용되어도 된다. 예를 들어, 가상 카메라의 이동 경로가 부감 화상 표시 영역(300)을 사용하여 유저에 의해 지정되고, 주시점의 이동 경로는 선수 등의 움직임에 따라 자동으로 결정되게 해도 된다. 반대로, 가상 카메라의 이동 경로가 선수 등의 움직임에 따라 자동으로 결정되어, 주시점의 이동 경로가 부감 화상 표시 영역(300)을 사용하여 유저에 의해 지정되게 해도 된다. 조작 버튼 영역(310)에는, 다시점 영상 데이터의 읽어들이기, 자유 시점 영상의 생성 대상이 되는 다시점 영상 데이터의 범위(타임 프레임)의 설정, 가상 카메라의 설정을 행하기 위한 버튼(311 내지 313)이 존재한다. 또한, 조작 버튼 영역(310)에는, 생성된 자유 시점 영상을 확인하기 위한 확인 버튼(314)이 존재하고, 이것을 누름으로써, 도 3b에 나타내는 자유 시점 영상 프리뷰 윈도우(330)로 천이한다. 이에 의해, 가상 카메라에서 본 영상인 자유 시점 영상(가상 시점 영상)을 확인할 수 있게 된다.

가상 카메라 설정 영역(320)은, 가상 카메라 설정 버튼(313)의 누름에 따라 표시된다. 그리고, 그 영역(320) 내에는, 주시점의 이동 경로나 가상 카메라의 이동 경로를 지정하기 위한 버튼, 지정된 이동 경로를 따라서 자유 시점 영상의 생성 개시를 지시하기 위한 OK 버튼(321 내지 323)이 존재한다. 또한, 가상 카메라 설정 영역(320)에는, 가상 카메라(Camera) 및 주시점(Point of Interest)의 고도나 이동 속도를 표시하는 표시란(324 및 325)이 존재하고, 그 표시 대상을 전환하기 위한 드롭다운 리스트(326)가 존재한다. 또한, 도시되어 있지 않지만, 가상 카메라 설정 영역(320)에는, 가상 카메라의 촬상 방향에 관한 정보(예를 들어 각도 정보)를 표시하기 위한 표시란을 설치해도 된다. 이 경우, 드롭다운 리스트(326)에 대한 유저 조작에 따라 각도를 설정하는 것이 가능하다.

도 4는, 자유 시점 영상을 생성하는 처리의 개략적인 흐름을 나타낸 흐름도이다. 이 일련의 처리는, CPU(101)가 소정의 프로그램을 기억부(103)로부터 읽어들여서 메인 메모리(102)에 전개하고, 이것을 CPU(101)가 실행함으로써 실현된다.

스텝 401에서는, 다시점(여기서는, 10대의 카메라 각각에 대응하는 10 시점)으로부터 촬영된 영상 데이터가 취득된다. 구체적으로는, 유저가 전술한 다시점 영상 데이터 읽어들이기 버튼(311)을 누름으로써, 기억부(103)로부터 미리 촬영된 다시점 영상 데이터가 읽어들여진다. 단 영상 데이터의 취득 타이밍은 버튼(311)을 누름에 따른 타이밍에 한정되지 않고, 예를 들어 일정 시간마다 취득되도록 하는 등, 다양한 변형예가 생각된다. 또한, 미리 촬영한 다시점 영상 데이터가 없는 경우에는, 다시점 영상 데이터 읽어들이기 버튼(311)의 누름에 응답하여 촬영을 행함으로써 다시점 영상 데이터를 직접 취득해도 된다. 즉, 화상 처리 장치(100)로부터 카메라 군(109)에 대해, 촬영 시의 노광 조건 등의 촬영 파라미터와 촬영 개시의 신호를 카메라 군(109)에 송신하고, 각 카메라에서 촬영된 영상 데이터를 LAN(108)을 경유하여 직접 취득해도 된다.

스텝 402에서는, 취득한 다시점 영상 데이터의 촬영 씬(여기서는 럭비장의 필드)을 부감적으로 잡은 정지 화상의 2차원 화상(이하, 「정적 2D 맵」이라고 칭한다)이 생성된다. 이 정적 2D 맵은 취득한 다시점 영상 데이터에 있어서의 임의의 프레임을 이용하여 생성된다. 예를 들어, 다시점 영상 데이터 중 임의의 시점(카메라)으로부터 촬영된 하나의 영상 데이터의 특정 프레임을 사영 변환함으로써 얻을 수 있다. 또는 다시점 영상 데이터 중 임의의 2 이상의 시점에 대응하는 영상 데이터의 특정 프레임을 각각 사영 변환하여 얻어진 화상을 합성함으로써 얻을 수 있다. 나아가, 촬영 씬이 사전에 판명되어 있는 경우에는, 미리 제작해 둔 정적 2D 맵을 읽어들임으로써 취득해도 된다.

스텝 403에서는, 취득한 다시점 영상 데이터 중, 자유 시점 영상 생성의 대상 범위가 되는 타임 프레임이 설정된다. 구체적으로는, 유저는 별도의 모니터 등에 표시되는 영상을 확인하면서, 전술한 타임 프레임 설정 버튼(312)을 누르고, 자유 시점 영상을 생성하고 싶은 시간의 범위(개시 시각 및 종료 시각)를 설정한다. 예를 들어, 취득된 전체 영상 데이터가 120분 있고, 그 개시로부터 63분이 경과한 시점으로부터의 10초간을 설정하는 경우에는, 개시 시각 1:03:00, 종료 시각 1:03:10으로 하는 형식으로, 대상의 타임 프레임이 설정된다. 취득한 다시점 영상 데이터가 60fps로 촬영되어 있고, 상기와 같이 10초만큼의 영상 데이터가 대상 범위로서 설정된 경우에는, 60(fps)×10(sec)×10(대)=6000 프레임의 정지 화상 데이터를 기초로, 자유 시점 영상이 생성되게 된다.

스텝 404에서는, 설정된 대상 범위에 포함되는 전체 프레임에 있어서, 피사체(202)의 위치와 그 3차원 형상(이하, 3D 형상)이 추정된다. 추정의 방법으로는, 피사체의 윤곽 정보를 사용하는 Visual-hull 방법이나, 삼각 측량을 이용한 Multi-view stereo 방법 등의 기존의 방법을 사용한다. 추정한 피사체의 위치와 3D 형상의 정보는 피사체 정보로서 기억부(103)에 보존된다. 또한, 촬영 씬에 복수의 피사체가 존재하는 경우에는, 각 피사체에 대해 그 위치와 3D 형상의 추정이 이루어진다.

스텝 405에서는, 가상 카메라의 설정 처리가 행하여진다. 구체적으로는, 유저가 전술한 가상 카메라 설정 버튼(313)을 누름으로써, 가상 카메라 설정 영역(320)이 표시되고, 유저는 당해 영역(320) 내에 있는 버튼 등을 조작하여, 가상 카메라의 이동 경로나 주시점의 이동 경로를 설정한다. 이 가상 카메라 설정 처리의 상세에 관해서는 후술한다.

스텝 406에서는, 유저에 의해 전술한 OK 버튼(323)의 누름에 응답하여, 스텝 405로 이루어진 가상 카메라에 관한 설정 내용에 기초하여, 자유 시점 영상이 생성된다. 자유 시점 영상은, 피사체에 3D 형상에 대해, 가상 카메라로부터 본 영상을 컴퓨터그래픽스의 기술을 이용함으로써 생성할 수 있다.

스텝 407에서는, 가상 카메라의 설정 내용을 변경하여 새로운 자유 시점 영상을 생성할지 여부가 판정된다. 이 처리는, 자유 시점 영상 프리뷰 윈도우(330)에 표시된 자유 시점 영상을 보면서, 그 화질 등을 확인한 유저로부터의 지시에 기초하여 이루어진다. 유저가 자유 시점 영상을 다시 생성하고 싶다고 생각한 경우는, 가상 카메라 설정 버튼(313)을 다시 눌러, 재차 가상 카메라에 관한 설정을 행한다(스텝 405로 되돌아간다). 가상 카메라 설정 영역(320)에 있어서 설정 내용을 변경하고, 다시 「OK」 버튼이 눌러지면, 변경 후의 내용으로 자유 시점 영상이 생성된다. 한편, 생성된 자유 시점 영상에 문제가 없으면 본 처리를 종료한다. 이상이 본 실시 형태에 관한 자유 시점 영상이 생성될 때까지의 대략의 흐름이다. 또한, 본 실시 형태에서 도 1의 처리는, 모두 화상 처리 장치(100)에 의해 실행되는 예를 설명했지만, 복수의 장치에 의해 실행되도록 해도 된다. 예를 들어, 스텝 401과 스텝 402가 제1 장치에 의해 실행되고, 스텝 406이 제2 장치에 의해 실행되고, 그 이외의 처리가 제3 장치에 의해 실행되는 식으로 복수의 장치가 분담하여 도 4에 관한 처리를 실행하도록 해도 된다. 이것은 본 실시 형태의 다른 흐름도에 있어서도 동일하다.

계속해서, 전술한 스텝 405에 있어서의 가상 카메라 설정 처리에 대해 상세하게 설명한다. 도 5는, 본 실시 형태에 관한 가상 카메라 설정 처리의 상세를 나타내는 흐름도이다. 본 흐름은 전술한 가상 카메라 설정 버튼(313)을 누름으로써 실행된다.

스텝 501에서는, 설정된 타임 프레임에 있어서의 피사체 정보와 정적 2D 맵이 기억부(103)로부터 읽어 들여진다. 읽어 들인 피사체 정보와 정적 2D 맵은 메인 메모리(102)에 저장된다.

스텝 502에서는, 읽어 들인 피사체 정보와 정적 2D 맵에 기초하여, 도 3a에 나타내는 GUI 화면의 부감 화상 표시 영역(300) 상에 피사체의 위치 및 3D 형상이 투영된 정적 2D 맵이 표시된다. 도 6a는, 도 2에 나타내는 필드(201)의 정적 2D 맵 상에 볼을 유지하는 선수의 피사체(202)를 투영한 결과를 나타내고 있다. 피사체(202)의 위치와 형상은 시간축을 따라 천이하기 때문에, 유저에 의해 설정된 타임 프레임 내에 있어서의 피사체가 모두 투영된다. 이 경우에 있어서, 전체 프레임분의 전체 피사체를 투영하면, 투영 결과가 중첩되어, 시인성·열람성이 저하된다. 그래서, 전체 프레임을 일정한 간격(예를 들어 5sec)으로 샘플링하여, 소정의 프레임(도 6a의 예에서는 t0, t1, t2, t3)에 있어서의 피사체만이 투영된다. 또한, 도 6a의 예에서는, 시간의 경과와 함께 피사체가 투과되도록(투과율이 높아지도록) 표시되어 있다. 이에 의해 유저는 설정한 타임 프레임 내에서의 시간의 경과를 한눈에 파악할 수 있다. 또한, 본 실시 형태에서는, 피사체의 투과율을 상이하게 하고 있지만, 시간의 경과를 알 수 있는 표시이면 되며, 예를 들어 휘도를 단계적으로 낮추는 등의 다른 양태여도 된다. 이와 같이 하여 얻어진 투영 결과는, 부감 화상 표시 영역(300)에 표시된다.

스텝 503에서는, 자유 시점 영상 데이터에 있어서의 자유 시점을 특정하는 정보, 즉, 가상 카메라가 향하는 방향인 주시점이 이동하는 경로(이하, 주시점 패스)와, 가상 카메라가 이동하는 경로(이하, 카메라 패스)가 유저에 의해 지정된다. 유저는 가상 카메라 설정 영역(320) 내의 주시점 패스 지정 버튼(321) 또는 카메라 패스 지정 버튼(322)을 누른 후, 부감 화상 표시 영역(300) 내의 정적 2D 맵 상에 손가락, 마우스, 전자 펜 등으로 궤적을 그린다. 이에 따라, 주시점 패스 및 카메라 패스가 각각 지정된다. 도 6b는, 주시점 패스와 카메라 패스가 지정된 결과를 나타내고 있다. 도 6b에 있어서, 파선의 화살표(601)가 주시점 패스, 실선의 화살표(602)가 카메라 패스이다. 즉, 생성되는 자유 시점 영상은, 가상 카메라의 주시점이 파선 화살표(601)가 나타내는 곡선상을 이동하면서, 가상 카메라 자체는 실선 화살표(602)가 나타내는 곡선상을 이동한 경우의 가상적인 영상이 된다. 이 경우에 있어서, 주시점 및 가상 카메라의 필드(201)로부터의 고도는 각각 디폴트 값이 설정된다. 예를 들어, 촬영 씬이 도 2에 도시된 바와 같은 럭비 시합이면, 디폴트 값에는, 피사체인 선수 전체가 가상 카메라의 화각 내에 수렴되도록, 주시점의 고도가 1.5m, 가상 카메라의 고도가 10m가 되는 식으로 설정된다. 또한, 본 실시 형태에서는, 가상 카메라나 주시점의 높이를 각각 유저가 각각 자유롭게 지정할 수 있는 것을 상정하고 있지만, 주시점의 높이를 고정값으로 하고, 가상 카메라의 높이만을 유저를 지정할 수 있도록 하거나, 가상 카메라의 높이를 고정값으로 하고, 주시점의 높이만을 유저를 지정할 수 있도록 하거나 해도 된다. 또한, 디폴트 값을 유저가 임의로 변경할 수 있도록 하면, 경기나 이벤트의 종류에 따라 적절한 값을 설정할 수 있게 되어 유저의 편리성이 향상된다. 또한, 주시점과 가상 카메라 위치의 어느 하나를 고정으로 해 두고, 스텝 503에서는 다른 쪽만이 유저에 의해 지정되도록 해도 된다. 또한, 예를 들어 주시점 패스와 카메라 패스 중 어느 하나만 유저가 지정하면, 다른 쪽이 자동으로 결정되는 구성을 채용하는 것도 가능하다. 또한, 주시점 및 가상 카메라의 이동 속도는, 지정된 이동 경로의 이동 거리를 도 4의 플로우의 스텝 402에서 설정된 타임 프레임으로 나눈 값이 설정된다.

스텝 504에서는, 설정된 카메라 패스에 따라, 시간축 방향으로 일정한 간격으로 가상 카메라로부터 본 경우의 정지 화상(섬네일 화상)이 생성된다. 본 스텝에 있어서의 「일정한 간격」은, 상술한 스텝 502에 있어서의 「일정한 간격」과 동일해도 되고, 상이한 간격이어도 된다. 또한, 섬네일 화상은, 자유 시점 영상의 완성 결과를 예측하고, 주시점 패스나 카메라 패스의 수정 등의 참고로 함으로써, 그 목적이 달성 가능한 정도의 해상도(상대적으로 낮은 해상도)가 설정된다. 이에 의해 처리 부하가 경감되고, 고속 처리가 가능해진다.

스텝 505에서는, 생성된 섬네일 화상을 피사체(202)가 투영된 정적 2D 맵에 그려진 카메라 패스를 따라 배치하는 처리(섬네일 배치 처리)가 이루어진다. 즉, 스텝 505에 있어서, 화상 처리 장치(100)는 카메라 패스 및 주시점 패스 중 적어도 어느 것에 따른 복수의 가상 시점 화상을 표시 화면 상에 표시시킨다. 섬네일 배치 처리의 상세에 관해서는 후술한다. 도 6c는, 섬네일 배치 처리의 결과의 일례를 나타내는 도면이며, 지정된 카메라 패스(602)에 따라 5개의 섬네일 화상(603)이 배치되어 있다. 이와 같이 하여 부감 화상 표시 영역(300)에는, 정적 2D 맵 상에 그려진 카메라 패스에 따라 일정 간격으로 복수의 섬네일 화상이 배열된 상태가 표시되게 된다. 그리고, 섬네일 화상을 카메라 패스(=시간축)를 따라 열람함으로써, 유저는 어떤 자유 시점 영상이 생성되는지를 순간적으로 이해할 수 있다. 그 결과, 전술한 도 4의 플로우에 있어서의 스텝 404 내지 스텝 406의 반복 횟수의 대폭적인 삭감으로 연결된다.

이후의 스텝 506 내지 508은, 카메라 패스 또는 주시점 패스의 조정을 행하는 경우의 처리이다. 유저가 섬네일 화상으로부터 추측되는 자유 시점 영상에 만족하지 않고, 조정을 행하고 싶다고 생각한 경우에는, 부감 화상 표시 영역(300) 상에 표시된 복수의 섬네일 화상의 어느 것 또는 주시점 패스 상의 어느 위치를 선택한다. 본 실시 형태의 경우, 예를 들어 손가락 등으로 임의의 섬네일 화상(603)의 어느 것 또는 주시점 패스를 나타내는 파선 화살표(601)의 임의의 개소를 터치함으로써 이 선택이 이루어진다.

스텝 506에서는, 유저가 무엇인가 선택을 행하였는지 여부가 판정된다. 즉, 스텝 506에서, 화상 처리 장치(100)는 표시 화면 상에 표시된 복수의 가상 시점 화상의 적어도 하나에 대한 유저 조작을 접수한다. 유저에 의해 섬네일 화상이 선택된 경우에는 스텝 507로 진행되고, 주시점 패스 상의 임의의 개소가 선택된 경우에는 스텝 508로 진행한다. 한편, 어느 선택도 되지 않고 OK 버튼(323)이 눌러진 경우에는, 본 처리를 건너뛰어, 자유 시점 영상의 생성 처리(도 4의 플로우의 스텝 405)로 이행하게 된다.

스텝 507에서는, 선택된 섬네일 화상에 대한 유저 지시에 따라 가상 카메라의 이동 경로, 고도, 이동 속도를 조정하는 처리(카메라 패스 조정 처리)가 실행된다. 즉, 스텝 507에서, 화상 처리 장치(100)는 섬네일 화상(가상 시점 화상)에 대한 조작의 접수에 따라, 카메라 패스를 변경한다. 카메라 패스 조정 처리의 상세에 관해서는 후술한다.

스텝 508에서는, 주시점 패스 상의 선택 개소를 나타내는 마크(본 실시 형태에서는 × 표시)에 대한 유저 지시에 따라 주시점의 이동 경로, 고도, 이동 속도를 조정하는 처리(주시점 패스 조정 처리)가 실행된다. 주시점 패스 조정 처리의 상세에 관해서는 후술한다. 이상이 가상 카메라 설정 처리의 내용이다.

도 7은, 섬네일 배치 처리(스텝 505)의 상세를 나타내는 흐름도이다. 우선, 스텝 701에서는, 시간축 방향으로 일정 간격으로 샘플링하여 생성된 섬네일 화상이 스텝 503에서 설정된 카메라 패스에 따라 배치된다. 그리고, 스텝 702에서는, 섬네일 화상끼리의 간격이 적정화된다. 구체적으로는, 일정 간격으로 배치된 결과에 대해, 섬네일 화상끼리 밀집해 중첩이 생긴 개소에 대해서는, 중첩되지 않도록 씨닝하는 처리가 이루어진다. 또한, 카메라 패스의 시점이나 종점, 그리고 카메라 패스의 변화가 큰 변곡점에 대해, 새롭게 섬네일 화상을 생성해 추가하는 처리가 이루어진다. 그리고, 스텝 703에서는, 간격이 적정화된 각 섬네일 화상과, 투영되어 있는 피사체(투영 피사체)가 중첩되지 않도록, 섬네일 화상의 위치를 어긋나게 하는 보정 처리가 이루어진다. 이에 의해, 각 투영 피사체의 시인성이 확보되어, 유저는 그 후의 편집 작업을 원활하게 진행시킬 수 있다.

도 8a 내지 도 8c는, 섬네일 배치 처리의 과정을 설명하는 도면이다. 도 8a는 스텝 701의 결과이며, 생성된 섬네일 화상(801)의 모두가 카메라 패스를 따라 일정 간격으로 배치된 결과, 대부분의 섬네일 화상이 다른 섬네일 화상과 중첩된 상태로 되어 있다. 도 8b는 스텝 702의 결과이며, 카메라 패스의 종점에 새로운 섬네일 화상(802)이 추가된 후, 섬네일 화상끼리의 중첩이 해소되고 있다. 단, t1 내지 t3에 걸쳐 투영 피사체나 카메라 패스와 일부의 섬네일 화상이 중첩된 상태로되어 있다. 도 8c는 스텝 703의 결과이며, 투영 피사체나 카메라 패스와 중첩되어 있던 섬네일 화상이 이동하고, 모든 투영 피사체와 섬네일 화상의 시인성이 확보된 상태로 되어 있다. 이상이 섬네일 배치 처리의 내용이다.

계속해서, 카메라 패스 조정 처리에 대해 설명한다. 도 9는, 카메라 패스 조정 처리의 상세를 나타내는 흐름도이다. 전술한 바와 같이, 본 처리는 유저가 가상 카메라의 위치나 고도를 변경하고 싶은 개소의 섬네일 화상을 선택함으로써 개시된다. 도 10a 내지 도 10c는, 카메라 패스 조정 처리의 과정을 설명하는 도면이다. 도 10a에 나타내는 바와 같이, 유저가 선택한 섬네일 화상(1001)은, 예를 들어 굵은 프레임으로 강조 표시된다. 또한, 이 때 드롭다운 리스트(326)에서 「Camera」를 선택해 둠으로써, 선택에 관한 섬네일 화상에 대응하는 위치의 주목 프레임에 있어서의 가상 카메라의 고도와 이동 속도가 표시란(324 및 325)에 각각 표시된다. 물론, 주목 프레임뿐만 아니라, 자유 시점 영상을 생성하는 타임 프레임 전체에 대해, 가상 카메라의 고도와 이동 속도를 표나 그래프 등으로 표시해도 된다. 또한, 설정할 수 있는 가상 카메라의 파라미터는 고도나 이동 속도에 한정되지 않는다. 예를 들어, 카메라의 화각 등을 표시해도 된다. 이 상태에서 카메라 패스 조정 처리가 개시된다.

스텝 901에서는, 강조 표시된 유저 선택에 관한 섬네일 화상(이하, 「선택 섬네일」이라고 칭한다.)에 대한, 유저 지시가 이루어졌는지 여부가 판정된다. 본 실시 형태에서는, 유저 자신의 손가락을 이용한 터치 조작이 검지되면, 유저 지시가 있다고 판단되어, 스텝 902로 진행된다.

스텝 902에서는, 유저 지시의 내용에 따른 처리의 구분이 이루어진다. 유저 지시가 선택 섬네일에 대한 하나의 손가락으로 행해지는 드래그 조작이라면 스텝 903으로, 2개의 손가락으로 행해지는 핀치 조작이라면 스텝 904로, 2개의 손가락으로 행해지는 스와이프 조작이라면 스텝 905로 각각 진행한다.

스텝 903에서는, 하나의 손가락의 드래그 조작에 의한 선택 섬네일의 이동에 따라, 가상 카메라의 이동 경로를 변경한다. 도 10b는, 선택 섬네일(1001)이 드래그 조작에 의해 1001'의 위치로 이동된 결과에 따라 가상 카메라의 이동 경로가 변경되는 모습을 나타내는 도면이다. 도 10a에 있어서 실선 화살표(1010)와 같은 궤적을 나타내고 있던 카메라 패스가, 도 10b에서는 실선 화살표(1020)와 같은 다른 궤적의 카메라 패스로 변경되어 있는 것을 알 수 있다. 또한, 선택 중의 섬네일 화상과 인접하는 섬네일 화상의 사이의 카메라 패스는 스플라인 곡선 등으로 보간된다.

스텝 904에서는, 2개 손가락의 핀치 조작(2개의 손가락으로 간격을 벌리거나, 또는 좁히는)에 의한 선택 섬네일의 사이즈 변화에 따라, 가상 카메라의 고도를 변경한다. 도 10c에는, 핀치 조작에 의해 사이즈가 확대된 선택 섬네일(1002)이 나타나 있다. 핀치 조작에 의해, 선택 섬네일의 사이즈가 확대 또는 축소되므로, 예를 들어 사이즈가 커짐에 따라 고도가 낮아지고, 사이즈가 작아짐에 따라 고도가 높아지게 된다. 물론, 섬네일 화상 사이즈의 대소와 가상 카메라의 고도의 관계는 반대여도 되고, 예를 들어 사이즈가 커짐에 따라 고도가 높아지도록 해도 된다. 즉, 선택 섬네일의 사이즈와, 그 위치에서의 가상 카메라의 고도가 연동되도록 되어 있으면 된다. 이 때, 사이즈 변화에 따른 가상 카메라의 고도를 나타내는 수치가, 드롭다운 리스트(326)에서 「Camera」를 선택해 둠으로써, 표시란(324)에 표시된다. 또한, 선택 중인 섬네일 화상과 인접하는 섬네일 화상 사이의 카메라 패스는 스플라인 보간 등으로 수정된다.

스텝 905에서는, 2개의 손가락의 스와이프 조작에 의한 선택 섬네일에의 소정의 아이콘의 부가에 따라, 가상 카메라의 이동 속도를 변경한다. 도 11a는, 개시 시각으로부터 세어 4번째의 선택 섬네일에 대한 2개의 손가락의 스와이프 조작에 의해, 농도가 단계적으로 변화하는 그라데이션 아이콘(1100)이 부가된 상태를 나타내는 도면이다. 이 때, 그라데이션 아이콘(1100)의 형상과 이동 속도의 사이에 상관을 갖게 한다. 예를 들어, 그라데이션 아이콘(1100)의 길이가 길수록, 이동 속도가 빠르고, 그라데이션 아이콘의 길이가 짧을수록, 이동 속도가 느린 식이다. 이와 같이, 선택 섬네일에의 부가 아이콘의 형상이, 그 위치에 있어서의 가상 카메라의 이동 속도를 나타내도록 한다. 또한, 부가 아이콘의 형상 변화에 따른 가상 카메라의 이동 속도를 나타내는 수치가, 드롭다운 리스트(326)에서 「Camera」를 선택해 둠으로써, 표시란(325)에 표시된다. 도 11b는, 각 섬네일 화상, 가상 카메라의 이동 속도 및 자유 시점 영상의 재생 시간의 관계를 설명하는 도면이며, 상단은 이동 속도의 변경 전, 하단은 이동 속도의 변경 후의 상태를 나타내고 있다. 그리고, 원 표시는 도 11a에 있어서의 5개의 섬네일 화상을 나타내며, 상단에 있어서의 각 섬네일 화상은, 설정된 타임 프레임의 재생 시간을 균등하게 분할한 시각에 각각 대응하고 있다. 여기에서는, 개시 시각으로부터 4번째의 섬네일 화상이 선택되어 이동 속도가 조정된 예를 나타내고 있다. 이제, 선택 섬네일에 대한 스와이프 조작을 행하여 가상 카메라의 이동 속도를 높였다고 하자. 이 경우, 도 11b의 하단의 굵은 선 화살표(1101)로 나타내는 바와 같이, 선택 중의 4번째의 섬네일 화상과 그 미래에 해당되는 좌측 옆의 섬네일 화상 사이의 재생 시간이 단축된다. 이 결과, 양 섬네일 화상간에 대응하는 프레임에 있어서의 피사체의 움직임도 재생 시간에 맞춰 빨라진다. 또한, 최종적으로 완성되는 자유 시점 영상 전체의 재생 시간도 그만큼 단축된다. 이와는 반대로, 선택 섬네일의 이동 속도를 낮춘 경우는, 재생 시간이 그만큼 연장되게 된다. 또한 이 때, 양 섬네일 화상간에 대응하는 가상 카메라의 이동 속도와 주시점의 이동 속도가 상이하기 때문에, 대응하는 주시점의 이동 속도를 자동적으로 수정함으로써, 자유 시점 영상 전체의 재생 시간을 일치시켜도 된다. 또는, 후술하는 스텝 1205에서 주시점의 이동 속도를 변경한 후에, 가상 카메라의 이동 속도나 주시점의 이동 속도 중 어느 쪽을 수정해도 된다.

스텝 906에서는, 상기와 같은 변경 후의 내용으로 각 섬네일 화상이 갱신된다. 이상이 카메라 패스 조정 처리의 내용이다. 또한, 본 실시 형태에서는, 유저 지시를 유저 자신의 손가락을 사용한 터치 조작의 종류에 따라 처리를 구분하고 있지만, 전자 펜이나 마우스에 의한 경우에는, 예를 들어 「Ctrl」키나 「Shift」키를 누르면서 행해지는 조작인지 여부에 따라 처리를 구분하면 된다.

다음에, 주시점 패스 조정 처리에 대해 설명한다. 도 12는, 주시점 패스 조정 처리의 상세를 나타내는 흐름도이다. 전술한 바와 같이, 본 처리는 유저가 그 위치나 고도를 변경하고 싶은 주시점 패스 상의 임의의 개소를 선택함으로써 개시된다. 도 13a 내지 도 13d는, 주시점 패스 조정 처리의 과정을 설명하는 도면이다. 도 13a에 나타내는 바와 같이, 유저 선택에 관한 주시점 패스 상의 임의의 개소(선택 개소)는, 예를 들어 굵은 선의 ×표시(1301)로 강조 표시된다. 또한, 이 때 드롭다운 리스트(326)에서 「Point of Interest」를 선택해 둠으로써, 선택 개소에 대응하는 위치의 주시점의 고도와 이동 속도가, 표시란(324 및 325)에 각각 표시된다. 이 상태로부터, 주시점 패스 조정 처리가 개시된다.

스텝 1201에서는, 주시점 패스 상의 선택 개소를 나타내는 ×표시(1301)에 대해, 유저 지시가 이루어졌는지 여부가 판정된다. 본 실시 형태에서는, 유저 자신의 손가락을 사용한 터치 조작이 검지되면, 유저 지시가 있다고 판단되어, 스텝 1202로 진행한다.

스텝 1202에서는, 유저 지시의 내용에 따른 처리의 구분이 이루어진다. 유저 지시가, 선택 개소를 나타내는 ×표시(1301)에 대한 하나의 손가락으로 행해지는 드래그 조작이라면 스텝 1203으로, 2개의 손가락으로 행해지는 핀치 조작이라면 스텝 1204로, 2개의 손가락으로 행해지는 스와이프 조작이라면 스텝 1205로 각각 진행한다.

스텝 1203에서는, 하나의 손가락의 드래그 조작에 의한 ×표시(1301)의 이동에 따라, 주시점의 이동 경로를 변경한다. 도 13b는, ×표시(1301)가 드래그 조작에 의해(1301')의 위치로 이동된 결과에 따라, 주시점의 이동 경로가 변경되는 모습을 나타내는 도면이다. 도 13a 에 있어서 파선 화살표(1300)와 같은 궤적을 나타내고 있던 주시점 패스가 도 13b에서는 파선 화살표(1300')와 같은 다른 궤적의 주시점 패스로 변경되어 있는 것을 알 수 있다. 또한, 선택 중인 섬네일 화상과 인접하는 섬네일 화상 사이의 주시점 패스는 스플라인 곡선 등으로 보간된다.

스텝 1204에서는, 2개의 손가락의 핀치 조작에 의한 ×표시(1301)의 사이즈의 변화에 따라, 주시점의 고도를 변경한다. 도 13c에는, 핀치 조작에 의해 사이즈가 확대된 ×표시(1301")가 도시되어 있다. 핀치 조작에 의해, 선택 섬네일의 사이즈가 확대 또는 축소되므로, 예를 들어 사이즈가 커짐에 따라 고도가 낮아지고, 사이즈가 작아짐에 따라 고도가 높아지도록 한다. 물론, ×표시의 사이즈의 대소와 주시점의 고도의 관계는 반대여도 되고, 예를 들어 사이즈가 커짐에 따라 고도가 높아지도록 해도 된다. 즉, 선택 개소를 나타내는 ×표시의 사이즈와, 그 위치에서의 주시점의 고도가 연동하도록 되어 있으면 된다. 이 때, 사이즈 변화에 따른 주시점의 고도를 나타내는 수치가, 드롭다운 리스트(326)에서 「Point of Interest」를 선택해 둠으로써, 표시란(324)에 표시된다. 이 때, 고도 변화가 급격해지지 않도록, 선택 개소를 집는 소정 범위 내의 주시점 패스의 고도도 스플라인 보간 등으로 수정된다.

스텝 1205에서는, 2개의 손가락으로 행해지는 스와이프 조작에 의한 ×표시(1301)에의 소정 아이콘의 부가에 따라, 주시점의 이동 속도를 변경한다. 도 13d는, ×표시(1301)에 대한 2개의 손가락으로 행해지는 스와이프 조작에 의해, 농도가 단계적으로 변화하는 그라데이션 아이콘(1310)이 부가된 상태를 나타내는 도면이다. 이 때, 그라데이션 아이콘(1310)의 형상과 이동 속도 사이에 상관을 갖게 한다. 예를 들어, 그라데이션 아이콘(1310)의 길이가 길수록, 이동 속도가 빠르고, 그라데이션 아이콘의 길이가 짧을수록, 이동 속도가 느린 식이다. 이와 같이, 선택 개소를 나타내는 마크(여기서는 ×표시)에의 부가 아이콘의 형상이, 그 위치에 있어서의 주시점의 이동 속도를 나타내도록 한다. 또한, 부가 아이콘의 형상 변화에 따른 주시점의 이동 속도를 나타내는 수치가, 드롭다운 리스트(326)에서 「Point of Interest」를 선택해 둠으로써, 표시란(325)에 표시된다.

스텝 1206에서는, 상기와 같은 변경 후의 내용으로, 주시점 패스가 갱신된다. 이상이 주시점 패스 조정 처리의 내용이다.

이상과 같이 본 실시 형태에 따르면, 시각적으로 이해하기 쉽고, 간단하고 또한 단시간에 가상 카메라 패스 설정이 가능해진다. 또한, 종래 곤란했던, 2차원 화상 상에서의 가상 카메라의 고도나 이동 속도의 설정도 가능해진다. 즉, 본 실시 형태에 따르면, 가상 카메라의 고도나 이동 속도에 대해서도 임의로 설정할 수 있으며, 또한 용이한 조작으로 단시간에 자유 시점 영상을 얻을 수 있다.

<실시 형태 2>

실시 형태 1의 GUI 화면은, 정지 화상에 의한 2차원 화상 상에 가상 카메라의 이동 경로 등을 지정하는 양태였다. 다음에, 동화상에 의한 2차원 화상 상에서 가상 카메라의 이동 경로 등을 지정하는 양태에 대해, 실시 형태 2로서 설명한다. 또한, 화상 처리 장치(100)의 기본 구성 등, 실시 형태 1과 공통되는 부분은 설명을 생략하고, 이하에서는 차이점인, 동화상의 2차원 화상을 이용한 가상 카메라의 설정 처리를 중심으로 설명하기로 한다.

도 14는, 본 실시 형태에 관한, 자유 시점 영상 생성 시에 사용하는 GUI 화면의 일례를 나타낸 도면이다. 도 14는 본 실시 형태에 관한 GUI 화면의 기본 화면이며, 부감 화상 표시 영역(1400), 조작 버튼 영역(1410), 가상 카메라 설정 영역(1420)으로 구성된다. 또한, 본 실시 형태에서는, 주시점 패스나 카메라 패스의 지정과 같은 입력 조작이 전자 펜에 의해 행해지는 것으로서, 설명을 행하기로 한다.

부감 화상 표시 영역(1400)은 가상 카메라의 이동 경로나 주시점의 이동 경로를 지정하는 조작·확인에 이용되며, 촬영 씬을 부감적으로 파악한 동화상에 2차원 화상(이하, 「동적 2D 맵」이라고 칭한다.)이 표시된다. 그리고, 부감 화상 표시 영역(1400) 내에는, 대상 타임 프레임에 대응하는 동적 2D 맵의 재생·정지, 진행 상황을 표시하는 프로그레스 바(1401)나, 동적 2D 맵의 재생 속도를 조정하기 위한 조정 바(1402)가 존재한다. 또한, 가상 카메라의 이동 경로나 주시점의 이동 경로 등을 지정할 때의 모드를 표시하는 모드 표시란(1403)도 존재한다. 여기서, 모드에는, "Time-sync"와 "Pen-sync"의 2종류가 있다. "Time-sync"는, 동적 2D 맵의 재생이 진행됨에 따라, 가상 카메라나 주시점의 이동 경로를 입력하는 모드이다. "Pen-sync"는 전자 펜 등으로 입력된 이동 경로의 길이에 비례하여 동적 2D 맵의 재생이 진행되는 모드이다.

조작 버튼 영역(1410)에는, 다시점 영상 데이터의 읽어들이기, 자유 시점 영상 생성의 대상 타임 프레임의 설정, 가상 카메라의 설정을 행하기 위한 버튼(1411 내지 1413)이 존재한다. 또한, 조작 버튼 영역(1410)에는, 생성된 자유 시점 영상을 확인하기 위한 확인 버튼(1414)이 존재하고, 이것을 누름으로써, 자유 시점 영상 프리뷰 윈도우(실시 형태 1의 도 3b를 참조)로 천이한다. 이에 의해, 가상 카메라로부터 본 영상인 자유 시점 영상을 확인하는 것이 가능해진다.

가상 카메라 설정 영역(1420)은, 가상 카메라 설정 버튼(1413)의 누름에 따라 표시된다. 그리고, 그 영역(1420) 내에는, 주시점이나 가상 카메라의 이동 경로를 지정하기 위한 버튼, 이동 경로를 지정할 때의 모드 지정을 행하기 위한 버튼, 지정된 이동 경로를 따라서 자유 시점 영상의 생성 개시를 지시하기 위한 OK 버튼(1421 내지 1424)이 존재한다. 또한, 가상 카메라 설정 영역(1420)에는, 가상 카메라(Camera) 및 주시점(Point of Interest)의 고도와 이동 속도를 표시하는 그래프(1425)와, 그 표시 대상을 전환하기 위한 드롭다운 리스트(1426)가 존재한다. 그래프(1425)는 종축이 고도, 횡축이 프레임 수를 나타내며, 각 점은 설정 타임 프레임을 소정수로 분할했을 때의 각 시점(여기서는 t0 내지 t5)을 나타내고 있다. 이 경우에 있어서, t0은 개시 프레임에 대응하고, t5는 최종 프레임에 대응하고 있다. 가령, 개시 시각 1:03:00, 종료 시각 1:03:25와 같이 25초분의 대상 타임 프레임이 설정되었다고 하자. 다시점 영상 데이터가 60fps라면, 60(fps)×25(sec)=1500 프레임이, 이 때의 동적 2D 맵의 전체 프레임 수가 된다. 유저는, 그래프(1425) 상의 각 점을 전자 펜으로 선택하여 상하 방향으로 이동시킴으로써, 대상 타임 프레임에 있어서의 임의의 시점의 가상 카메라나 주시점의 고도를 변경할 수 있다.

도 15는, 본 실시 형태에 관한 자유 시점 영상을 생성하는 처리의 대략의 흐름을 나타낸 흐름도이다. 이하, 실시 형태 1의 도 4의 흐름도의 차이를 중심으로 설명을 행한다.

스텝 1501에서 다시점 영상 데이터가 취득되면, 계속되는 스텝 1502에서는, 취득한 다시점 영상 데이터 중 자유 시점 영상 생성의 대상 타임 프레임(개시 시각 및 종료 시각)이 설정된다. 동적 2D 맵은 대상 타임 프레임에 대응하는 촬영 씬을 부감적으로 본 경우에 2차원 동화상이기 때문에, 대상 타임 프레임의 설정을 기다려서 생성되게 된다.

스텝 1503에서는, 설정된 타임 프레임에 대응하는 동적 2D 맵을 생성하고, 기억부(103)에 보존한다. 구체적인 동적 2D 맵 제작 방법으로는, 다시점 영상 데이터 중, 임의의 하나의 시점에 대응하는 영상 데이터의 설정된 타임 프레임에 있어서의 영상을 사영 변환한다. 또는 다시점 영상 데이터 중 임의의 2 이상의 시점에 대응하는 영상 데이터의 설정된 타임 프레임에 있어서의 영상을 각각 사영 변환하고, 얻어진 복수의 영상 데이터를 합성함으로써도 얻을 수 있다. 이 경우, 후자쪽이 피사체 형상의 찌그러짐 등이 억제되어 고화질이 되지만, 그만큼 처리 부하가 증가한다. 전자라면 화질이 저하되기는 하지만 처리 부하가 가볍기 때문에 보다 고속 처리가 가능해진다.

스텝 1504 내지 스텝 1506은, 실시 형태 1의 도 4의 플로우에 있어서의 스텝 405 내지 스텝 407에 각각 대응한다. 단, 후술하는 바와 같이, 스텝 1504에서의 가상 카메라 설정 처리의 내용은 사용하는 2D맵이 정지 화상이 아니고 동화상이기 때문에, 이하에 설명하는 대로 상이한 개소가 많이 존재한다.

이상이 본 실시 형태에서의 자유 시점 영상이 생성될 때까지의 대략적인 흐름이다.

계속해서, 상술한 동적 2D 맵을 사용한 가상 카메라 설정 처리에 대해 설명한다. 도 16은, 본 실시 형태에 관한, 가상 카메라 설정 처리의 상세를 나타내는 흐름도이다. 본 플로우는, 전술한 가상 카메라 설정 버튼(1413)이 눌러짐으로써 실행된다.

스텝 1601에서는, 설정된 타임 프레임의 동적 2D 맵이 기억부(103)로부터 읽혀진다. 읽어 들인 동적 2D 맵은 메인 메모리(102)에 저장된다.

스텝 1602에서는, 읽어들인 동적 2D 맵의 개시 프레임(t0 시점의 프레임)이, 도 14에 나타내는 GUI 화면의 부감 화상 표시 영역(1400) 상에 표시된다. 도 17a는, 동적 2D 맵의 개시 프레임의 일례이다. 본 실시 형태에서는, 유저에 의해 설정된 타임 프레임을 일정한 간격(예를 들어 5sec)으로 샘플링된 개소(t0 내지 t5) 중, 현재 재생 중인 시점에서부터 소정의 시점까지의 프레임을 중첩해서 표시한다. 도 17a의 예에서는, 개시 프레임으로부터 15sec에 대응하는 t0 내지 t3까지의 프레임이 중첩되어 표시되어 있다. 이 때, 현재부터 먼 프레임에 있어서의 피사체일수록 투과하도록(투과율이 증가하도록) 표시하는 점은, 실시 형태 1과 동일하다. 이에 따라 유저는, 설정한 타임 프레임 내에서의 시간 경과를 한눈에 파악할 수 있고, 또한 표시 범위를 시간적으로 한정함으로써 열람성이 향상된다.

스텝 1603에서는, 주시점 패스나 카메라 패스를 지정할 때의 모드의 유저 선택을 접수하고, "Time-sync" 또는 "Pen-sync" 중 어느 것이 설정된다. 설정된 내용은 부감 화상 표시 영역(1400) 내의 Mode 표시란(1403)에 표시된다. 또한, 유저 선택이 없으면, 디폴트 설정의 내용(예를 들어 "Time-sync")으로 다음 처리로 이행하게 해도 된다.

스텝 1604에서는, 주시점 패스의 지정을 접수하는 처리(주시점 패스 지정 접수 처리)가 이루어진다. 유저는 전자 펜을 사용하여, 가상 카메라 설정 영역(1420) 내의 주시점 패스 지정 버튼(1421)을 누른 후, 부감 화상 표시 영역(1400) 내의 동적 2D 맵 상에 궤적을 그린다. 이에 의해 주시점 패스가 지정된다. 도 17b 내지 도 17d는, 도 17a에 나타내는 동적 2D 맵 상에 주시점 패스가 지정되는 모습을 시계열로 나타내는 도면이며, 파선의 화살표(1701)가 지정된 주시점 패스이다. 도 17b는 현재가 t0인 시점, 도 17c는 현재가 t1인 시점, 도 17d는 현재가 t2인 시점에 있어서의 동적 2D 맵의 상태를 각각 나타내고 있다. 예를 들어 도 17c에서는, 현재가 t1인 시점이므로, 과거가 된 t0 시점의 피사체(프레임)가 표시되지 않게 되는 대신, t4 시점의 피사체(프레임)가 표시되어 있다. 이와 같이 표시하는 피사체의 범위를 시간적으로 한정함으로써 열람성을 향상시킬 수 있다. 또한, 설정된 타임 프레임이 단시간인 경우 등의 일정한 조건 하에서, 시간적인 한정을 행하지 않고, 설정된 타임 프레임간의 전체 프레임을 표시하도록 해도 된다. 이 경우, 과거의 프레임에 대해서도 피사체를 투과시키는 등의 처리를 행하고, 시간의 경과를 유저가 파악할 수 있도록 해도 된다. 주시점 패스 지정 접수 처리는, 스텝 1603에서 지정된 모드에 의해 그 내용이 상이하다. 모드에 따른 주시점 패스 지정 접수 처리의 상세에 대해서는 후술한다.

스텝 1605에서는, 카메라 패스의 지정을 접수하는 처리(카메라 패스 지정 접수 처리)가 이루어진다. 상술한 주시점 패스와 마찬가지로, 유저는 전자 펜을 사용하여, 가상 카메라 설정 영역(1420) 내의 카메라 패스 지정 버튼(1422)을 누른 후, 부감 화상 표시 영역(1400) 내의 동적 2D 맵 상에 궤적을 그린다. 이에 의해 카메라 패스가 지정된다. 도 18a 내지 도 18c는, 주시점 패스의 지정을 종료한 후의 동적 2D 맵 상(도 17d를 참조)에, 카메라 패스를 지정하는 모습을 시계열로 나타내는 도면이다. 도 18a 내지 도 18c에 있어서, ×표시(1800)는 지정된 주시점 패스(1701) 상의 주시점의 현재 위치를 나타내고, 실선 화살표(1801)는 지정된 카메라 패스를 나타내고 있다. 도 18a는 현재가 t0인 시점, 도 18b는 현재가 t1인 시점, 도 18c는 현재가 t2인 시점에서의 동적 2D 맵의 상태를 각각 나타내고 있다. 예를 들어 도 18b에서는, 현재가 t1인 시점이므로, t0 시점의 피사체(프레임)가 표시되지 않게 되는 대신, t4 시점의 피사체(프레임)가 표시되어 있다. 카메라 패스 지정 접수 처리의 내용도, 스텝 1603에서 지정된 모드에 따라 그 내용이 상이하다. 모드에 따른 카메라 패스 지정 접수 처리의 상세에 대해서는 후술한다.

스텝 1606에서는, 유저가 조정을 위해 무엇인가 선택을 행하였는지 여부가 판정된다. 유저에 의해, 동적 2D 맵 상의 주시점 패스 또는 카메라 패스, 또는 그래프(1425) 상의 점이 선택된 경우에는, 스텝 1607로 진행한다. 한편, 어느쪽 선택도 하지 않고 OK 버튼(1424)을 누른 경우에는, 본 처리를 건너뛰어, 자유 시점 영상의 생성 처리(도 15의 플로우의 스텝 1505)로 이행하게 된다.

스텝 1607에서는, 선택된 주시점 패스 또는 카메라 패스에 대한 입력 조작에 따라, 가상 카메라의 이동 경로, 고도 및 이동 속도를 조정하는 처리(패스 조정 처리)가 실행된다. 패스 조정 처리의 상세에 관해서는 후술한다.

계속해서, 주시점 패스 지정 접수 처리(스텝 1604)) 및, 카메라 패스 지정 접수 처리(스텝 1605))에 대해 설명한다. 각 처리의 상세에 들어가기 전에, 카메라 패스를 지정할 때의 모드에 의한 차이를, 도 19a 및 도 19b를 참조하여 설명한다. 도 19a는 "Time-sync" 모드, 도 19b는 "Pen-sync" 모드의 경우를 각각 나타내고 있다. 도 19a 및 도 19b에 있어서, 실선의 화살표(1901 및 1902)가 지정된 이동 경로를 각각 나타내고 있다. 도 19a에 나타내는 "Time-sync"에서는, 동적 2D 맵이 5초 진행하는 사이에 유저가 전자 펜을 조작한 궤적이 패스(1901)가 된다. 이에 반하여, 도 19b에 나타내는 "Pen-sync"에서는, 유저가 전자 펜을 조작하여 그린 궤적(=패스(1902))의 길이가 5초인 것을 의미한다. 또한, 도 19a 및 도 19b에서는, 설명의 편의상, 다른 시간축의 피사체를 생략하고 있지만, 전술한 바와 같이, 실제의 GUI 화면에서는 예를 들어 투과율을 바꾸거나 하여 다른 시간축의 피사체도 표시된다. 또한, 카메라 패스의 지정을 접수할 때, 예를 들어 도 20a 및 도 20b에 나타내는 바와 같이, 현재 위치의 주시점을 중심으로 한 소정 범위 내(그 주시점의 주변만)를 표시하게 하여, 표시하는 피사체를 공간적으로 좁혀도 된다. 도 20a는 공간적인 좁히기를 행하기 전의 부감도(동적 2D 맵에서의 하나의 프레임)의 일례이며, 도 20b는 공간적인 좁히기를 행한 부감도의 일례이다. 이와 같이, 주시점으로부터 이격된 장소에 있는 피사체를 불가시 상태로 함으로써 열람성을 향상시킬 수 있다.

도 21a는 "Time-sync"인 경우, 도 21b는 "Pen-sync"인 경우의, 주시점 패스 지정 접수 처리의 상세를 나타내는 흐름도이다. 전술한 바와 같이, 본 처리는 유저가 주시점 패스 지정 버튼(1421)을 누름으로써 개시된다.

먼저, "Time-sync"의 경우에 대해, 도 21a의 플로우에 따라 설명한다. 스텝 2101에서는, 동적 2D 맵 상에서 유저가 행한 전자 펜에 의한 입력 조작을 접수한다. 스텝 2102에서는, 전자 펜의 입력 조작을 접수한 시점으로부터의 경과 시간이 화상 처리 장치 내(100)가 구비하는 타이머(도시되지 않음)에 기초하여 산출된다. 스텝 2103에서는, 유저에 의한 전자 펜의 입력 조작의 궤적을 표시하면서(전술한 도 17c 및 도 17d의 예에서는 파선 화살표), 산출된 경과 시간에 대응하는 프레임 수분, 동적 2D 맵이 진행된다. 이 때, 조정 바(1402)를 조정함으로써, 산출된 경과 시간에 대해, 어느 정도 동적 2D 맵을 진척시킬지 조정할 수 있다. 예를 들어, 조정 바(1402)에 의해, 재생 속도를 절반으로 하면, 산출된 전자 펜 입력의 경과 시간 5초에 대해, 동화상을 2.5초 전진하는 슬로우 재생을 할 수 있다. 이와 같이 하여 동적 2D 맵 상에 표시된 전자 펜으로의 입력 조작의 궤적이 주시점 패스가 된다. 스텝 2104에서는 설정된 타임 프레임 전체에 대해 주시점 패스의 지정이 이루어졌는지 여부가 판정된다. 미처리의 프레임이 있으면, 스텝 2102로 되돌아가서 처리를 반복한다. 한편, 대상 타임 프레임 전체에 대해 주시점 패스의 지정이 완료되어 있으면, 본 처리를 건너뛴다. 이상이 "Time-sync"인 경우의 주시점 패스 지정 접수 처리의 내용이다.

계속해서, "Pen-sync"의 경우에 대해, 도 21b의 플로우에 따라 설명한다. 스텝 2111에서는, 동적 2D 맵 상에서 유저가 행한 전자 펜에 의한 입력 조작을 접수한다. 스텝 2112에서는, 전자 펜의 입력 조작을 접수한 시점부터의, 전자 펜의 궤적 길이의 누적값(누적 궤적 길이)이 산출된다. 스텝 2113에서는 전자 펜의 입력 조작의 궤적을 표시하면서, 산출된 누적 궤적 길이에 대응하는 프레임 수만큼, 동적 2D 맵이 진행된다. 예를 들어, 누적 궤적 길이를 동적 2D 맵 상의 화소수로 환산하는 경우, 누적 궤적 길이 1 화소에 대해서 1 프레임분의 동화상이 진행되는 예가 생각된다. 또한 이 때, 조정 바(1402)를 조정함으로써, 재생 속도를 절반으로 하면, 누적 궤적 길이 2 화소에 대해, 동화상을 1 프레임 진행시키는 것 같은 슬로우 재생을 할 수 있다. 스텝 2114에서는, 설정된 타임 프레임 전체에 대해 주시점 패스의 지정이 이루어졌는지 여부가 판정된다. 미처리의 프레임이 있으면, 스텝 2112로 되돌아가서 처리를 반복한다. 한편, 대상 타임 프레임 전체에 대해 주시점 패스의 지정이 완료되었으면, 본 처리를 건너뛴다. 이상이 "Pen-sync"인 경우의 주시점 패스 지정 접수 처리의 내용이다.

도 22a는 "Time-sync"인 경우의, 도 22b는 "Pen-sync"인 경우의, 카메라 패스 지정 접수 처리의 상세를 나타내는 흐름도이다. 전술한 바와 같이, 본 처리는 유저가 카메라 패스 지정 버튼(1422)을 누름으로써 개시한다.

먼저, "Time-sync"의 경우에 대해, 도 22a의 플로우에 따라 설명한다. 스텝 2201에서는, 동적 2D 맵 상에 전술한 스텝 1604에서 지정된 주시점 패스와 당해 주시점 패스에 있어서의 개시점(초기 주시점)이 표시된다. 도 18a 내지 도 18c의 예에서는, 주시점 패스가 파선 화살표(1701), 초기 주시점이 ×표시(1800)이다. 스텝 2202에서는, 동적 2D 맵 상에서 유저가 행한 전자 펜에 의한 입력 조작을 접수한다. 스텝 2203에서는, 전술한 스텝 2102와 동일하게, 전자 펜의 입력 조작을 접수한 시점부터의 경과 시간이 산출된다. 스텝 2204에서는, 접수한 전자 펜의 입력 조작의 궤적을, 주시점 패스와의 혼동이 발생하지 않도록 표시하면서(예를 들어 선의 종류나 색을 바꾸는 등), 산출된 경과 시간에 대응하는 프레임 수만큼, 동적 2D 맵이 진행된다. 이 때, 주시점의 현재 위치도 시간의 경과에 맞춰서 이동한다. 이와 같이 하여, 전자 펜에서의 입력 조작의 궤적이 카메라 패스로서 표시된다. 전술한 도 18b 및 도 18c의 예에서는, 카메라 패스를 실선 화살표(1801)로 나타냄으로써, 파선 화살표(1701)로 나타내는 주시점 패스와 구별하고 있다. 스텝 2205에서는 설정된 타임 프레임 전체에 대해 카메라 패스의 지정이 이루어졌는지 여부가 판정된다. 미처리의 프레임이 있으면, 스텝 2203으로 되돌아가서 처리를 반복한다. 한편, 대상 타임 프레임 전체에 대해 카메라 패스의 지정이 완료되어 있으면, 본 처리를 건너뛴다. 이상이 "Time-sync"인 경우의 카메라 패스 지정 접수 처리의 내용이다.

계속해서, "Pen-sync"의 경우에 대해, 도 22b의 플로우에 따라 설명한다. 스텝 2211에서는, 동적 2D 맵 상에 전술한 스텝 1604)로 지정된 주시점 패스와 당해 주시점 패스의 초기 주시점이 표시된다. 스텝 2212에서는, 동적 2D 맵상에서 유저가 행한 전자 펜에 의한 입력 조작을 접수한다. 스텝 2213에서는, 전자 펜의 입력 조작을 접수한 시점부터의, 전자 펜의 궤적 길이의 누적값(누적 궤적 길이)이 산출된다. 스텝 2214에서는, 전자 펜의 입력 조작의 궤적을 주시점 패스와의 혼동이 발생되지 않도록 표시(예를 들어 선의 종류나 색을 바꾸는 등)하면서, 산출된 누적 궤적 길이에 대응하는 프레임 수만큼, 동적 2D 맵이 진행된다. 이 때, 주시점의 현재 위치도 동적 2D 맵의 진행에 맞춰서 이동한다. 이와 같이 하여 전자 펜으로의 입력 조작의 궤적이 카메라 패스로서 표시된다. 스텝 2215에서는, 전자 펜에 의한 입력 조작이 정지되었는지 여부가 판정된다. 예를 들어, 전자 펜의 위치 좌표를 현 프레임과 최근 프레임으로 비교하여, 변화가 없으면 전자 펜의 입력 조작이 정지되었다고 판정한다. 판정의 결과, 전자 펜의 입력 조작이 정지된 경우는 스텝 2216으로 진행하고, 정지되지 않은 경우는 스텝 2217로 진행한다. 스텝 2216에서는, 전자 펜의 입력 조작의 정지 상태가, 예를 들어 5sec 등 일정 시간 이상 계속되었는지 여부가 판정된다. 판정 결과, 정지 상태가 일정 시간 이상 계속된 경우는 스텝 2217로 진행하고, 정지 상태가 일정 시간 이상 계속되지 않은 경우는 스텝 2213으로 되돌아가서 처리를 속행한다. 스텝 2217에서는, 전자 펜의 입력 조작이 이루어진 시점까지의 자유 시점 영상의 생성이, 도 15의 플로우의 스텝 1505를 기다리지 않고 실행한다. 이 때에는, 입력 조작을 마친 분까지의 카메라 패스를 따라서 자유 시점 영상의 생성이 행하여진다. 리소스의 비어 있는 시간을 유효하게 활용하기 위해서이다. 스텝 2218에서는, 설정된 타임 프레임 전체에 대해 카메라 패스의 지정이 이루어졌는지 여부가 판정된다. 미처리의 프레임이 있으면, 스텝 2213으로 되돌아가서 처리를 반복한다. 한편, 대상 타임 프레임 전체에 대해 카메라 패스의 지정이 완료되어 있으면, 본 처리를 건너뛴다. 이상이 "Pen-sync"인 경우의 카메라 패스 지정 접수 처리의 내용이다.

계속해서, 본 실시 형태에 관한 패스 조정 처리에 대해 설명한다. 도 23은, 본 실시 형태의 패스 조정 처리의 상세를 나타내는 흐름도이다. 전술한 바와 같이 본 처리는 유저가 동적 2D 맵 상의 주시점 패스 또는 카메라 패스, 또는 그래프(1425) 상의 점을 선택함으로써 개시된다. 그래프(1425) 상의 점을 선택했을 때의 드롭다운 리스트(1426)가 「Camera」라면 카메라 패스에 대해, 「Point of Interest」라면 주시점 패스에 대한 조정 처리가 된다.

스텝 2301에서는, 유저 선택에 관한 카메라 패스 또는 주시점 패스 또는 그래프(1425) 상의 점에 대한, 유저 지시가 이루어졌는지 여부가 판정된다. 본 실시 형태에서는, 전자 펜에 의한 입력 조작이 검지되면, 유저 지시가 있다고 판단되어, 스텝 2302로 진행한다.

스텝 2302에서는, 유저 지시의 내용에 따른 처리의 구분이 이루어진다. 유저 지시가, 주시점 패스에 대한 드래그 조작이면 스텝 2303으로, 카메라 패스에 대한 드래그 조작이면 스텝 2304로, 그래프(1425) 상의 점에 대한 드래그 조작이면 스텝 2305로 각각 진행한다.

스텝 2303에서는, 드래그 조작에 의한 주시점 패스의 이동에 따라, 주시점의 이동 경로를 변경한다. 여기서, 패스 지정의 모드가 "Time-sync"였다고 하자. 이 경우에 있어서, 유저가 주시점 패스 상의 임의의 중간점을 선택한 경우에는, 그 개시점과 종료점을 유지한 채, 이동처에 따라 이동 경로가 변경된다. 이 때, 변경 후의 주시점 패스가 매끄러워지도록 스플라인 보간 등의 처리가 이루어진다. 한편, 유저가 주시점 패스의 개시점 또는 종료점을 선택한 경우에는, 이동처에 따라, 주시점 패스의 길이가 신축된다. 이 때, 주시점 패스의 길이가 늘어나는 경우는 주시점의 이동 속도가 빨라지는 것을 의미하며, 반대로 길이가 짧아지는 경우는 주시점의 이동 속도가 느려지는 것을 의미한다. 패스 지정의 모드가 "Pen-sync"인 경우도 기본적으로는 동일하지만, 주시점 패스의 길이를 변경하는 조정은 할 수 없다. "Pen-sync"에 있어서는 패스의 길이=재생 시간이기 때문이다. "Pen-sync"의 경우에 있어서의 주시점의 이동 속도의 조정은, 동적 2D 맵의 재생 속도를 조정하기 위한 조정 바(1402)에 의해 행하게 된다.

스텝 2404에서는, 드래그 조작에 의한 카메라 패스의 이동에 따라, 가상 카메라의 이동 경로를 변경한다. 그 내용은, 전술한 주시점 패스의 경로 변경과 같으므로 설명을 생략한다. 스텝 2405에서는, 드래그 조작에 의한 그래프 상의 점의 이동에 따라, 「Camera」를 선택 중이면 가상 카메라의 고도가, 「Point of Interest」를 선택중이면 주시점의 고도가, 그 이동처의 점 위치에 따라 변경된다. 이상이, 본 실시 형태에 관한 패스 조정 처리의 내용이다.

본 실시 형태에 따르면, 실시 형태 1의 효과 이외에도, 이하와 같은 이점이 있다. 먼저, 가상 카메라 설정을 위한 사전 처리(피사체의 위치와 3차원형의 추정)가 불필요하여 처리 부하가 가볍고, 카메라 패스나 주시점 패스의 설정을 보다 일찍 개시할 수 있다. 또한, 섬네일 화상을 이용하지 않기 때문에, 가상 카메라 등의 이동 경로를 지정할 때의 화면이 간단하여 피사체를 보기 쉽다. 또한, 동화상의 진행에 따라 가상 카메라 등의 이동 경로를 지정하기 때문에, 피사체의 움직임의 파악이 용이하고 예측하기 쉽다. 이러한 효과에 의해, 보다 사용하기 쉬운 유저 인터페이스가 된다.

(그밖의 실시 형태)

본 발명은 상술한 실시 형태 중 하나 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 하나 이상의 프로세서가 프로그램을 판독하고 실행하는 처리로도 실현 가능하다. 또한, 하나 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실현 가능하다.

이제까지 실시 형태를 참조하여 본 발명을 설명하였지만, 본 발명이 상술한 실시 형태에 한정되지 않는 것은 물론이다. 하기의 청구범위는 가장 넓게 해석되어서, 그러한 변형예 및 동등한 구조·기능 모두를 포함하는 것으로 한다.

본 출원은, 2016년 9월 15일에 출원된 일본 특허 출원 제2016-180527호 공보에 기초하여 우선권을 주장하고, 상기 일본 특허 출원은 이 참조에 의해 본 명세서에 포함된다.

Claims

복수의 카메라에 의해 얻어지는 복수 화상에 기초하여 생성되는 가상 시점 화상에 관한 가상 시점의 이동 경로를 설정하는 정보 처리 장치이며,
가상 시점의 이동 경로를 특정하는 특정 수단과,
상기 특정 수단에 의해 특정된 이동 경로에 따른 복수의 가상 시점 화상을 표시 화면 상에 표시시키는 표시 제어 수단과,
상기 표시 화면 상에 표시된 상기 복수의 가상 시점 화상 중 적어도 하나에 대한 조작을 접수하는 접수 수단과,
상기 접수 수단에 의한 상기 가상 시점 화상에 대한 조작의 접수에 따라, 상기 특정 수단에 의한 특정 완료된 상기 이동 경로를 변경하는 변경 수단
을 갖는 정보 처리 장치.
제1항에 있어서, 상기 표시 제어 수단은 상기 복수의 가상 시점 화상이 상기 표시 화면상에 있어서 중첩되지 않도록, 상기 표시 화면에 표시시키는 가상 시점 화상의 수를 결정하는 것을 특징으로 하는 정보 처리 장치.
제1항에 있어서, 상기 표시 제어 수단은 상기 이동 경로의 소정 간격마다 상기 복수의 가상 시점 화상을 표시시키는 2개 이상의 가상 시점 화상이 상기 표시 화면 상에서 중첩되는 경우, 상기 표시 화면에 표시시키는 가상 시점 화상의 수를 저감시키는 것을 특징으로 하는 정보 처리 장치.
제1항에 있어서, 상기 표시 제어 수단은, 상기 이동 경로의 시점 및 종점 중 적어도 어느 하나로부터의 소정 범위가 상기 이동 경로 상의 다른 부분보다도 가상 시점 화상을 많이 표시시키는 것을 특징으로 하는 정보 처리 장치.
제1항에 있어서, 상기 표시 제어 수단은, 상기 이동 경로 중 가상 시점의 변화가 큰 점에서부터의 소정 범위가 상기 이동 경로 상의 다른 부분보다도 가상 시점 화상을 많이 표시시키는 것을 특징으로 하는 정보 처리 장치.
제1항에 있어서, 상기 표시 제어 수단은, 상기 복수의 가상 시점 화상이 상기 표시 화면 상에 있어서 중첩되지 않도록, 상기 복수의 가상 시점 화상의 각각의 상기 표시 화면 상에 있어서의 표시 위치를 결정하는 것을 특징으로 하는 정보 처리 장치.
제1항에 있어서, 상기 접수 수단이, 상기 가상 시점 화상의 이동 조작을 접수한 경우,
상기 변경 수단은, 상기 가상 시점 화상의 상기 이동 조작에 의한 이동 후의 위치에 기초하여, 상기 이동 경로의 형상을 변경하는 것을 특징으로 하는 정보 처리 장치.
제1항에 있어서, 상기 접수 수단이 상기 가상 시점 화상의 사이즈 변경 조작을 접수한 경우,
상기 변경 수단은, 상기 가상 시점 화상의 상기 사이즈 변경 조작에 의한 변경 후의 사이즈에 기초하여, 상기 이동 경로에 있어서의 가상 시점의 높이를 변경하는 것을 특징으로 하는 정보 처리 장치.
제1항에 있어서, 상기 접수 수단이 상기 가상 시점 화상에 대한 소정의 유저 조작을 접수한 경우,
상기 변경 수단은, 상기 이동 경로 중, 상기 소정의 유저 조작에 대응하는 가상 시점 화상에 기초하여 특정되는 기간에 있어서의 가상 시점의 이동 속도를 변경하는 것을 특징으로 하는 정보 처리 장치.
복수의 카메라에 의해 얻어지는 복수 화상에 기초하여 생성되는 가상 시점 화상에 관한 가상 시점의 이동 경로를 설정하는 방법이며,
가상 시점의 이동 경로를 특정하는 것과,
상기 특정된 이동 경로에 따른 복수의 가상 시점 화상을 표시 화면 상에 표시시키는 것과,
상기 표시 화면 상에 표시된 상기 복수의 가상 시점 화상 중 적어도 하나에 대한 조작을 접수하는 것과,
상기 가상 시점 화상에 대한 조작의 접수에 따라, 상기 특정된 상기 이동 경로를 변경하는 것을 갖는 방법.
컴퓨터에,
복수의 카메라에 의해 얻어지는 복수 화상에 기초하여 생성되는 가상 시점 화상에 관한 가상 시점의 이동 경로를 설정하는 방법이며,
가상 시점의 이동 경로를 특정하는 것과,
상기 특정된 이동 경로에 따른 복수의 가상 시점 화상을 표시 화면 상에 표시시키는 것과,
상기 표시 화면 상에 표시된 상기 복수의 가상 시점 화상 중 적어도 하나에 대한 조작을 접수하는 것과,
상기 가상 시점 화상에 대한 조작의 접수에 따라, 상기 특정된 상기 이동 경로를 변경하는 것을 갖는 방법을 실행시키기 위한 프로그램.