KR20190027323A - 정보 처리장치, 정보 처리방법, 및 프로그램 - Google Patents

정보 처리장치, 정보 처리방법, 및 프로그램 Download PDF

Info

Publication number
KR20190027323A
KR20190027323A KR1020180103169A KR20180103169A KR20190027323A KR 20190027323 A KR20190027323 A KR 20190027323A KR 1020180103169 A KR1020180103169 A KR 1020180103169A KR 20180103169 A KR20180103169 A KR 20180103169A KR 20190027323 A KR20190027323 A KR 20190027323A
Authority
KR
South Korea
Prior art keywords
time
information
virtual
image
material data
Prior art date
Application number
KR1020180103169A
Other languages
English (en)
Other versions
KR102132331B1 (ko
Inventor
카즈후미 오누마
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20190027323A publication Critical patent/KR20190027323A/ko
Priority to KR1020200081942A priority Critical patent/KR102320934B1/ko
Application granted granted Critical
Publication of KR102132331B1 publication Critical patent/KR102132331B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26241—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Abstract

정보 처리장치는, 가상 시점 콘텐츠를 생성하기 위한 복수의 소재 데이터를 기억하는 기억장치에 어떤 시각의 가상 시점 콘텐츠를 생성하기 위한 소재 데이터가 기억되었는지를 특정하고, 가상 시점 콘텐츠를 생성할 수 있는 시각을 나타내는 화상을 표시시키기 위한 정보를, 특정 결과에 근거하여 출력한다.

Description

정보 처리장치, 정보 처리방법, 및 프로그램{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM}
본 발명은, 콘텐츠를 생성하는 시스템에 관한 것이다.
각각 다른 위치에 설치된 복수의 카메라에 의해 피사체를 다시점에서 동기 촬영하고, 그 촬영에서 얻어진 복수 시점의 화상을 사용해서 자유 시점 콘텐츠(가상 시점 콘텐츠)를 생성하는 기술이 주목받고 있다. 일본국 특개 2015-204512호 공보에는, 복수 시점의 화상에 근거하여 자유 시점 콘텐츠를 생성하여 이 콘텐츠를 보존하는 시스템에 있어서, 영상 수신장치가, 생성한 시점 정보에 근거하여 영상 데이터를 판독함으로써, 임의의 자유 시점 콘텐츠를 취득하는 기술이 기재되어 있다.
가상 시점 콘텐츠의 생성은, 1개 이상의 피사체의 3차원 모델을 조합해서 행할 수 있다. 복수의 카메라에서 촬영된 피사체의 3차원 모델을 생성하는 방법은, "Virtual View generation for 3D Digital Video", IEEE MULTIMEDIA, Vol.4, No.1, pp.18-26, 1997년에 개시되는 시체적 교차법일 수 있다. 시체적 교차법에서는, 복수의 카메라에서 촬영되는 측정 대상의 공간이, 작은 입방체 또는 직방체(이하에서는, "복셀"이라고 부른다)에 의해서 분할된다. 각 복셀이 기하학적으로 변환되어서 카메라 화상에 투영되고, 카메라 화상에 있어서, 모델화 대상 물체의 실루엣 내에, 그 복셀이 투영되었는지 아닌지가 판정된다. 모든 카메라 화상에서 실루엣 내에 투영되었다고 판정된 복셀은, 대상 물체를 구성하는 복셀로서 등록되고, 복셀의 집합체가 3차원 모델로서 출력된다.
3차원 모델을 사용한 가상 시점 콘텐츠의 생성에서는, 3차원 모델을 생성할 수 있는 전제에 근거한다. 그렇지만, 어떤 시점에 있어서의 가상 시점 콘텐츠를 생성할 때에, 일부의 3차원 모델을 생성할 수 없어, 가상 시점 콘텐츠를 생성할 수 없는 경우가 있다. 이 경우, 3차원 모델의 생성을 할 수 없는 것을 판정하는데 시간이 걸려, 가상 시점 콘텐츠를 생성할 수 없는 것을 유저가 인식하는데 시간이 걸린다. 이것은 유저의 편리성을 저하시킨다.
본 발명은, 콘텐츠를 생성/표시할 때의 유저의 편리성을 향상시키는 기술을 제공한다.
본 발명의 일면에 따르면, 가상 시점 콘텐츠를 생성하기 위한 복수의 소재 데이터를 기억하는 기억부에 어떤 시각의 가상 시점 콘텐츠를 생성하기 위한 소재 데이터가 기억되어 있는지를 특정하는 특정 수단과, 가상 시점 콘텐츠를 생성할 수 있는 시각을 나타내는 화상을 표시시키기 위한 정보를, 상기 특정 수단으로부터의 특정 결과에 근거하여 출력하는 출력 수단을 구비한 정보 처리장치가 제공된다.
본 발명의 또 다른 특징은 첨부도면을 참조하여 주어지는 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.
명세서에 포함되고 명세서의 일부를 구성하는 다음의 첨부도면은, 본 발명의 예시적인 실시형태, 특징 및 국면을 예시하며, 상세한 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다.
도 1은, 시스템의 구성 예를 도시한 도면이다.
도 2는, 촬상부의 배치 예를 도시한 도면이다.
도 3은, 조작부에 표시되는 화면의 예를 나타낸 도면이다.
도 4는, 소재 데이터의 종별과 취득되는 데이터 군의 대응관계의 예를 나타낸 도면이다.
도 5는, 시간 범위 관리 정보의 예를 나타낸 도면이다.
도 6a 내지 도 6c는, 시간 지시부에 있어서의 유효 시간 범위의 표시 예를 도시한 도면이다.
도 7a 및 도 7b는, 불연속인 2개의 유효 시간 범위에 걸치는 영상 표시의 예를 나타낸 도면이다.
도 8은, 시간 지시부에 있어서의 유효 시간 범위의 다른 표시 예를 도시한 도면이다.
도 9는, 시스템의 다른 구성 예를 도시한 도면이다.
이하, 첨부도면을 참조하여 본 발명의 실시형태를 더욱 상세히 설명한다. 이때, 본 실시형태에서 설명하는 구성요소들의 상대적인 배치, 수식 및 수치는 달리 구체적으로 언급하지 않는 한 본 발명의 보호범위를 제한하는 것이 아니라는 점에 주목하기 바란다.
설명되는 각 실시형태에 있어서는, 복수의 촬상장치(카메라)에 의해 촬상된 복수의 화상으로부터 1개 이상의 피사체의 3차원 모델을 생성하고, 그 3차원 모델에 근거하여 자유 시점 콘텐츠(가상 시점 콘텐츠)를 생성하는 시스템에 대해 설명한다. 복수의 카메라에 의해 촬상된 화상으로부터의 3차원 모델의 생성은, 일반적으로, 많은 계산량 및 시간을 요한다. 특히 고해상도의 3차원 모델을 생성할 경우, 복셀의 크기를 작게 해야만 한다. 따라서, 복셀의 수가 증가하여, 실루엣 내에 각 복셀이 투영될 것인지 아닌지의 판정 횟수도 증대한다. 이 때문에, 본실시형태에서는, 3차원 모델이나 그 3차원 모델의 각 복셀의 색 정보를 유지하는 텍스처 데이터 등을, 소재 데이터로서 미리 생성해서 미리 보존하는 화상처리 서버 등의 소재 데이터 생성 장치를 사용해서 시스템을 구성한다. 이러한 시스템은, 가상 시점 콘텐츠를 생성할 때마다 3차원 모델을 생성하는 처리가 행해지는 것을 방지하여, 처리를 효율화할 수 있다.
이때, 예를 들면, 라이브 스트리밍용으로 비교적 처리 시간이 짧은 저해상도의 3차원 모델이 생성되고, 하이라이트 씬의 리플레이 영상 등을 위해 고해상도의 3차원 모델이 생성되는 것 등의 용도에 따라 복수 단계의 해상도를 갖는 3차원 데이터가 생성될 수 있다. 이 경우, 소재 데이터의 1개인 텍스처가, 고해상도 모델과 저해상도 모델의 각각에 대하여 생성될 수 있다. 또한, 폴리곤 데이터를 생성할 수도 있다. 즉, 동일한 피사체에 대하여, 복수의 다른 소재 데이터가 생성될 수 있다.
이 시스템에서는 소재 데이터로부터 가상 시점 콘텐츠를 생성하는 영상 생성장치가 가상 시점 콘텐츠를 생성할 때에, 미리 생성되어서 미리 보존되어 있는 소재 데이터를 소재 데이터 생성 장치로부터 취득함으로써 영상 생성을 행할 수 있다. 이 경우, 영상 생성장치는, 가상 시점 콘텐츠를 생성하는데 필요한 소재 데이터가 존재하는지 아닌지를 사전에 알 수는 없다. 예를 들면, 3차원 모델을, 촬상장치에 의해 촬상된 화상의 품질이나 촬상장치의 가동 상황 등에 따라서는, 생성하는 것이 곤란한 경우가 있을 수 있다. 즉, 어떤 시점에 있어서 특정한 피사체에 관한 소재 데이터가 존재하지 않는 경우가 있을 수 있다. 또한, 전술한 바와 같이, 동일한 피사체에 대하여 복수의 다른 소재 데이터가 생성될 경우, 소재 데이터마다, 생성의 완료로부터 보존까지 필요한 시간이 변한다. 즉, 유저가 데이터를 요구할 때 일부의 소재 데이터의 생성이 완료하지 않는 경우가 있을 수 있다. 또한, 예를 들어, 축구의 하프타임에서는, 전체 또는 다수의 촬상장치가 촬상을 정지한다. 이 시간 범위에 있어서는, 소재 데이터가 전혀 보존되지 않을 수도 있다.
이 때문에, 영상 생성장치는, 유저에 의해 지정된 시간에 있어서의 가상 시점 콘텐츠를 생성할 때에, 그 지정 시간에 있어서 필요한 각 소재 데이터가 보존되어 있는지를 소재 데이터 생성 장치에 문의하면서, 가상 시점 콘텐츠를 생성하여도 된다. 이때, 지정 시간에 있어서 필요한 소재 데이터의 일부가 보존되지 않은 경우, 그 지정 시간에서는 가상 시점 콘텐츠를 생성할 수 없다. 즉, 유저에 의해 시간이 지정된 후에, 그 지정 시간에 있어서는 가상 시점 콘텐츠를 생성할 수 없는 것이 유저에게 통지된다. 이것은 유저의 편리성을 손상시킬 수 있다.
이 때문에, 본 실시형태에 따른 시스템은, 소재 데이터가 이용 가능한 시간에 관한 정보를 생성한다. 유저가 가상 시점 콘텐츠를 생성할 때에, 그 가상 시점 콘텐츠를 생성하는데 필요한 소재 데이터의 집합을 이용 가능한 기간의 정보를 영상 생성장치에게 통지한다. 이 시스템에서는, 유저는, 가상 시점 콘텐츠를 생성할 수 있는 시간 구간을 명확하게 인식할 수 있다. 이에 따라, 시각을 지정하고, 그 지정된 시각에 있어서 소재 데이터가 존재하는지를 확인할 필요가 없어진다. 이때, 이러한 처리를 실행하는 시스템의 상세와 및 처리의 상세에 대해서, 경기장(스타디움)에 있어서의 경기를 촬상해서 라이브 스트리밍이나 리플레이용의 가상 시점 영상을 생성하는데 이 화상을 사용하는 예를 들어 설명한다. 단, 본 발명은 이것에 한정되지 않고, 예를 들면, 콘서트회장, 씨름 등의 격투기 또는 촬영 스튜디오에 있어서 촬상된 화상에 근거하여 가상 시점 영상을 생성할 수 있다. 이때, 이하에서 설명하는 태양은 일례에 지나지 않고, 본 발명의 사상 및 범위를 벗어나지 않고 같은 처리를 실행가능한 임의의 구성 및 임의의 절차를 사용할 수 있다.
(시스템 구성)
본 실시형태에 따른 시스템의 구성 예를 도 1에 나타낸다. 이 시스템은, 예를 들면, 촬상부(1), 동기부(2), 소재 데이터 생성부(3), 보존부(4), 시간 정보 관리부(5), 영상 생성부(6), 영상 출력부(7), 데이터 군 선택부(8), 및, 조작부(10)를 포함한다. 이때, 본 시스템은, 1개의 전자기기로 구성되어도 되고, 또는 복수의 전자기기로 구성되어도 된다.
본 시스템에서는, 복수의 촬상부(1)가, 동기부(2)로부터의 동기신호에 근거하여 서로 고정밀도로 동기해서 촬상을 행한다. 이때, 복수의 촬상부(1)는, 도 2에 나타낸 것과 같이, 그라운드나 피사체를 둘러싸도록 배치될 수 있다. 촬상부(1)의 각각은, 촬상한 화상을, 소재 데이터 생성부(3)에 송신한다. 소재 데이터 생성부(3)는, 촬상부(1)로부터 수신된 복수 시점에서의 화상을 사용하여, 가상 시점 영상을 생성할 때에 사용되는 소재 데이터를 생성하여, 이 소재 데이터를 보존부(4)에 출력한다. 이 경우, 소재 데이터 생성부(3)는, 소재 데이터의 생성에 사용한 촬상 화상의 촬상 시각에 근거하는 시간 정보를, 소재 데이터와 함께 보존부(4)에 출력한다. 이때, 시간 정보는, 시각에 관한 정보일 수 있지만, 프레임 번호 등의 시간에 관련되는 임의의 정보일 수 있다.
소재 데이터는, 예를 들면, 피사체의 3차원 형상을 나타내는 복셀 데이터인 피사체 3차원 모델과, 피사체 3차원 모델의 각 복셀을 착색하기 위한 피사체 텍스처의 어느 한개 또는 양쪽을 포함한다. 또한, 소재 데이터는, 피사체 이외의 배경을 투영하기 위한 폴리곤 데이터인 배경 3차원 모델과, 배경 3차원 모델의 폴리곤에 붙일 배경 텍스처 화상의 어느 한개 또는 양쪽을 포함할 수 있다. 더구나, 소재 데이터는, 데이터 전송량을 적게 하기 위한 피사체 폴리곤 모델과, 피사체 폴리곤 모델에 붙일 피사체 폴리곤용 텍스처의 적어도 중 한개를 포함할 수 있다. 또한, 소재 데이터는, 예를 들어, 선수의 이동의 해석에 사용할 수 있는 피사체 위치 정보를 포함할 수 있다. 이때, 소재 데이터의 3차원 모델은, 예를 들면, 시체적 교차법을 사용해서 생성될 수 있지만, 이 이외의 방법도 사용가능하므로, 다른 임의의 방법에 의해 3차원 모델이 생성될 수 있다. 또한, 다른 소재 데이터가 임의의 방법에 의해 생성될 수 있다.
보존부(4)는, 소재 데이터 생성부(3)로부터 취득한 1개 이상의 종별 정보의 소재 데이터를, 시간 정보와 관련시켜 보존한다. 이렇게 시간 정보와 관련시켜 각 소재 데이터를 보존함으로써, 보존부(4)는, 시간 정보와 소재 데이터의 종별 정보에 근거하여, 특정한 소재 데이터를 판독할 수 있다. 보존부(4)는, 보존이 완료한(기억된) 소재 데이터의 종별 정보와 시간 정보를 시간 정보 관리부(5)에 출력한다.
시간 정보 관리부(5)는, 보존부(4)로부터 취득한 소재 데이터의 종별 정보와 시간 정보에 근거하여, 시간 범위 관리 정보의 생성 또는 갱신을 행한다. 시간 범위 관리 정보는, 소재 데이터의 종별마다, 보존부(4)에 연속해서 보존되어 있는 시간 범위를 기록한다. 즉, 시간 정보 관리부(5)는, 어떤 시각의 가상 시점 콘텐츠를 생성하기 위한 소재 데이터가 보존부(4)에 기억되었는지를 특정하고, 그 결과를 기록한다. 이때, 상기한 시간 범위는, 보존부(4)로부터 취득한 시간 정보에 근거하여, 소재 데이터가 연속해서 보존되어 있는 시간 범위의 개시 시간과 종료 시간의 조합으로서 정해질 수 있다. 예를 들면, 시간 정보 관리부(5)는, 그때까지 보존되지 않고 있는 소재 데이터가 신규로 보존된 경우에는, 그 소재 데이터에 대응하는 시간 정보를 개시 시간 및 종료 시간으로서 보존한다. 또한, 시간 정보 관리부(5)는, 이미 보존되어 있는 소재 데이터에 대응하는 시간 정보가 나타내는 시각으로부터 소정 기간 내의 새로운 시각에 대응하는 새로운 데이터가 보존되었을 경우, 그 소재 데이터의 종료 시간을 갱신하여, 시간 범위를 확대한다. 시간 정보 관리부(5)는, 이미 보존되어 있는 소재 데이터의 시간 정보가 나타내는 시각으로부터 소정 시간이 경과하면, 이미 보존된 소재 데이터의 시간 범위의 정보의 갱신을 종료한다. 따라서, 시간 정보 관리부(5)는, 이미 보존되어 있는 소재 데이터의 최신의 종료 시간으로부터 소정 기간 이상의 기간이 경과한 시간을 나타내는 시간 정보와 함께 새로운 데이터가 보존되었을 경우, 그 시각을 개시 시각으로 사용하여 새로운 시간 범위의 정보를 생성한다. 이때, 이 경우, 1종류의 소재 데이터에 대하여 복수의 시간 범위를 특정하는 시간 범위 관리 정보가 생성된다. 이때, 여기에서 언급한 소정 기간은, 예를 들면, 1 프레임 기간일 수 있지만, 그것보다 긴 임의의 기간일 수 있다.
영상 생성부(6)는, 영상 생성부(6)에 접속된 조작부(10)로부터의 지시에 근거하여, 보존부(4)로부터 소재 데이터를 취득하여, 가상 시점 영상을 생성한다. 생성된 가상 시점 영상은, 조작부(10)의 표시부(11) 및 영상 출력부(7)에 출력되어, 표시된다.
조작부(10)는, 터치패널이나, 버튼, 키보드 등과 디스플레이의 조합 등, 유저로부터의 입력의 접수를 행하고 유저에게의 정보의 제시를 행하기 위한, 유저 인터페이스를 제공한다. 조작부(10)는, 예를 들면, 그 기능으로서, 표시부(11), 영상 종별 선택부(12), 및 시간 지시부(13)를 포함한다. 조작부(10)는, 예를 들면, 도 3에 나타낸 것과 같은 화면을 표시하여, 유저 조작의 접수를 행한다. 도 3에 있어서, 표시부(11)는, 생성된 가상 시점 영상을 표시한다. 영상 종별 선택부(12)는, 출력할 가상 시점 영상의 영상 종별을 선택한다. 시간 지시부(13)는, 생성할 가상 시점 영상의 시간을 지정한다. 영상 종별 선택부(12)는, "라이브 스트리밍", "저화질 리플레이", "고화질 리플레이", "휴대 단말용" 및 "선수 위치 해석" 등의 종별의 선택의 접수를 행한다. "라이브 스트리밍"은, 화질이 낮은 것이 허용되는 즉시 브로드캐스팅용의 가상 시점 영상을 생성할 경우에 선택된다. "저화질 리플레이"는, 라이브 스트리밍과 동등한 화질로 리플레이 재생을 행하기 위한 가상 시점 영상을 생성할 경우에 선택된다. "라이브 스트리밍"과 "저화질 리플레이"에서는, 가상 시점 영상의 생성을 위해 저해상도의 3차원 모델이 사용된다. "고화질 리플레이"는, 하이라이트 씬 리플레이 등, 반복 시청되는 것을 전제로 한 고화질의 가상 시점 영상을 생성할 경우에 선택된다. "고화질 리플레이"에서는, 가상 시점 영상의 생성을 위해 고해상도의 3차원 모델이 사용된다. "휴대 단말용"은, 데이터량이 적은 가상 시점 영상을 생성할 경우에 선택된다. "휴대 단말용"에서는, 복셀 대신에 폴리곤 등의 3차원 모델을 사용해서 가상 시점 영상이 생성된다. "선수 위치 해석"은, 예를 들면, 필드 상에서 선수들이 어떻게 이동하는지를 확인할 때에 선택된다. "선수 위치 해석"에서는, 위치 정보만 사용되고, 피사체인 선수의 3차원 모델은 사용되지 않는다. 선택된 영상 종별의 정보는, 예를 들면, 영상 생성부(6)를 거쳐, 데이터 군 선택부(8)에 입력된다.
데이터 군 선택부(8)는, 입력된 영상 종별에 근거하여, 그 영상 종별의 가상 시점 영상 생성에 필요한 소재 데이터의 조합인 데이터 군을 선택한다. 예를 들면, 상기한 영상 종별마다 선택되는 데이터 군은, 도 4에 나타내는 표의 조합의 한개일 수 있다. 예를 들면, "고화질 리플레이"가 선택되었을 경우, 대응하는 데이터 군으로서, 고해상도의 피사체 3차원 모델, 고해상도의 피사체 텍스처, 배경 3차원 모델, 및 고해상도의 배경 텍스처가 선택된다. "선수 위치 해석"이 선택된 경우에는, 선수의 배치 및 움직임 만을 특정가능한 것만 필요하므로, 대응하는 데이터 군으로서 피사체 위치 정보와 배경 3차원 모델이 선택된다. 데이터 군 선택부(8)는, 선택한 데이터 군을 영상 생성부(6)에 통지한다. 영상 생성부(6)는, 통지된 데이터 군에 근거하여, 보존부(4)에 그 데이터 군이 모든 성분이 보존되어 있는 시간 범위를 나타내는 유효 시간 범위(20)를, 시간 정보 관리부(5)에 문의한다.
시간 정보 관리부(5)는, 도 5에 나타낸 것과 같이, 보존부(4)에 보존되어 있는 소재 데이터의 각각의 시간 범위를 특정하는 시간 범위 관리 정보를 관리하고 있다. 시간 정보 관리부(5)는, 영상 생성부(6)로부터 데이터 군을 지정하는 문의를 수신하면, 그 지정된 데이터 군의 모든 성분이 보존되어 있는 시간 범위를 특정하여, 이 시간 범위를 조작부(10)에 회신한다.
시간 정보 관리부(5)는, 예를 들면, 영상 종별이 고화질용 데이터 군인 경우, 고해상도의 피사체 3차원 모델, 고해상도의 피사체 텍스처, 배경 3차원 모델, 및 고해상도의 배경 텍스처의 모두가 보존되어 있는 시간 범위를 특정한다. 즉, 이 경우, 시간 정보 관리부(5)는, 고화질용 데이터의 시간 범위의 논리곱인 시간 범위 20h를 특정한다. 시간 정보 관리부(5)는, 영상 종별이 선수 위치 해석용 데이터 군인 경우, 선수 위치 정보가 보존되어 있는 시간 범위에 대응하는 시간 범위 20p를 특정한다. 영상 종별이 라이브 스트리밍일 경우, 도 5에 나타낸 것과 같이, 시간 정보 관리부(5)는, 모든 필요한 데이터가 이용가능한 시간인 최신 시간 정보(21)를, 유효 시간 범위(20)로서 특정한다. 그리고, 시간 정보 관리부(5)는, 유효 시간 범위(20)의 특정 결과를 출력한다. 이때, 시간 정보 관리부(5)는, 가상 시점 콘텐츠를 생성할 수 시각을 나타내는 화상을 표시시키기 위한 정보 만을 출력할 필요가 있으며, 이 정보의 내용은 유효 시간 범위(20)의 특정 결과에 한정되지 않는다. 예를 들면, 시간 정보 관리부(5)는, 가상 시점 콘텐츠를 생성할 수 있는 시각을 나타내는 화상 데이터를 출력해도 된다.
특정된 유효 시간 범위(20)는, 영상 생성부(6)를 거쳐 조작부(10)에 통지되고, 시간 지시부(13)는 그 정보를 표시한다. 이때, 시간 범위 20h 및 20p 등의 복수의 시간 범위가 유효 시간 범위로서 특정되었을 경우, 그 복수의 시간 범위의 모두 또는 일부(예를 들면, 소정수의 시간 범위)가, 조작부(10)에 통지된다.
가상 시점을 생성하는 영상의 시간을 유효 시간 범위(20)의 범위 내에서 유저가 지정하면, 그 지정 시간이 영상 생성부(6)에 전해진다. 이 경우, 묘화해야 할 가상 시점의 위치, 자세 및 그 화각 등을 포함하는 시점 정보가 3D 마우스를 사용해서 결정되어, 영상 생성부(6)에 전해진다. 이때, 3D 마우스를 사용할 필요는 없고, GUI를 통해 행해진 조작이나, 전용의 조작부 상에서 행해진 조작을 접수함으로써, 시점 정보가 결정되어도 된다. 영상 생성부(6)는, 얻어진 지정 시간과 미리 설정되어 있는 데이터 종별 군에 근거하여, 보존부(4)로부터 필요한 소재 데이터를 요구해서 취득한다. 이 경우, 유효 시간 범위(20)의 정보에 근거하여, 영상 생성부(6)가 요구하는 지정 시간에 대응하는 데이터 군이 보존부(4)에 보존되어 있는 것을 사전에 확인한다. 이 때문에, 영상 생성부(6)는, 데이터의 유무의 확인을 행하지 않고, 확실하게 대상의 데이터를 취득할 수 있다. 영상 생성부(6)는, 얻어진 소재 데이터와 시점 정보에 근거하여, 가상 시점 영상을 생성하고, 그 가상 시점 영상을 조작부(10)의 표시부(11) 및 영상 출력부(7)에 출력한다.
이러한 구성에 의해, 보존부(4)에 보존되어 있는 소재 데이터를 사용해서 적절한 가상 시점 영상이 생성가능한 시간 범위의 정보를 유저에게 통지할 수 있다. 그리고, 유저는, 통지된 시간 범위로부터 가상 시점 영상의 생성 시간을 지정할 수 있다. 이에 따라 지정한 시간에 있어서 가상 시점 영상을 생성할 수 없는 가능성이 없어진다. 이에 따라, 가상 시점 영상의 생성/표시시의 유저의 편리성을 향상시킬 수 있다.
(유효 시간 범위의 표시와 영상 재생 제어의 예)
이어서, 시간 지시부(13)가 유효 시간 범위(20)를 표시하고, 유저에 의한 시간 지정을 접수하는 수법의 예에 대해 설명한다. 시간 지시부(13)는, 일례로서, 도 6a 및 도 6b와 같이, 바 형상의 GUI(Graphical User Interface)인 시크(seek) 바(13a)를 사용하여, 유효 시간 범위(20)를 표시한다. 이 예에서는, 2개의 유효 시간 범위, 즉 제1 유효 시간 범위(20a)와 제2 유효 시간 범위(20b)가 표시된다. 이때, 여기에서 설명하는 예는 일례에 지나지 않고, 유효 시간 범위와 그 이외의 시간 범위가 식별 가능하고, 또한 유효 시간 범위 내의 임의의 시각을 특정가능한 임의의 표시 수법이 사용될 수 있다. 예를 들면, 물리적인 조그 다이얼 등을 사용해서 시각을 카운터 값으로 지정하는 구성을 사용할 수 있다. 이 경우, 유효 시간 범위의 표시는, 개시 시각과 종료 시각에 의해 1개의 시간 범위를 나타내는 데이터의 리스트 등이어도 된다.
도 6a의 예에서는, 시간 지시부(13)는, 1개의 시크 바(13a) 내에, 취득한 2개의 유효 시간 범위 20a 및 20b를, 시크 바(13a)의 일부의 색을 바꾸어서 유효한 범위로서 표시한다. 이 경우, 시크 바(13a)의 전체 범위는 상정되는 콘텐츠 전체의 길이에 대응한다. 콘텐츠가 축구 등의 스포츠의 경우, 시합 개시로부터 종료까지의 시간 범위를 시크 바(13a) 전체가 표시한다.
도 6b의 예에서는, 시간 지시부(13)는, 원하는 가상 시점 영상을 생성할 수 없는 시간 범위를, 실제의 시간 범위의 길이에 대응하는 길이보다도 짧게 표시한다. 이때, 도 6b의 예에서는, 제1 및 제2 유효 시간 범위 20a 및 20b 사이의 기간이 표시되어 있지만, 이 기간이 반드시 표시되지 않아도 된다. 이 경우, 도 6b에 나타낸 것과 같이, 유효 시간 범위(20)의 개시 시간과 종료 시간을 나타내는 수치를 시크 바(13a)가 표시하여도 된다.
이때, 도 6a의 예는, 콘텐츠 전체의 시간 범위와, 그 시간 범위 중 유효 시간 범위(20)의 비율과 현재의 재생 위치를 유저가 쉽게 인식할 수 있다는 점에서 유용하다. 한편, 예를 들면, 유효 시간 범위(20)의 콘텐츠 전체의 시간 범위에 대한 비율이 낮은 경우에는, 도 6b의 예와 같은 표시가, 이 표시가 유저의 조작을 용이하게 하기 때문에 유용하다. 두가지 표시 수법은 전술한 것과 같이 다른 이점을 갖는다. 이 때문에, 이들 2개의 표시방식을 전환 가능하게 구성하여, 유저가 이들의 표시방식 중 한 개를 사용하도록 선택하게 하고, 시간 지시부(13)가 이 선택을 접수하는 것도 가능하다. 시간 지시부(13)는, 예를 들면, 콘텐츠 전체의 시간 범위의 길이에 대한 유효 시간 범위(20)의 비율 등의 파라미터에 근거하여, 사용할 표시방식의 선택을 자동적으로 실행해도 된다.
유저는, 시간 지시부(13)가 표시한 유효 시간 범위 20a 및 20b 중 한개의 주어진 위치에 커서(14)를 이동시킴으로써, 그 위치에 대응하는 시각을, 가상 시점 영상 생성/표시 시각으로서 지정할 수 있다. 영상 생성부(6)는, 그 지정된 시각에 대응하는 소재 데이터를 보존부(4)로부터 취득하고, 가상 시점 영상을 생성하여, 그 영상을 영상 출력부(7) 및 조작부(10)에 출력한다. 이때, 커서(14)는, 시간 지정시에, 커서(14)가 시크 바(13a) 위의 유효 시간 범위 20a 및 20b에 있어서만 이동 가능하게, 즉, 커서(14)가 유효 시간 범위 이외의 시간을 선택할 수 없도록 설계될 수 있다. 커서(14)가 이와 같이 설계된 예를 도 6c를 사용하여 설명한다. 도 6c는, 포인터(15)를 사용하여 시크 바(13a) 위의 커서(14)를 드래그해서 이동시키는 인터페이스를 사용하는 예를 나타내고 있다. 도 6c에 나타낸 것과 같이, 유저는, 커서(14)를 드래그하면서, 제1 유효 시간 범위(20a) 내의 위치 15a나 15b에 포인터(15)를 이동시킴으로써, 커서(14)를 위치 14a나 14b로 이동시킬 수 있다. 한편, 유저가 커서(14)를 드래그한 채 포인터(15)를 위치 15c로 이동시키더라도, 제1 유효 시간 범위(20a)의 종료 시간인 위치 14c에 커서(14)가 고정된다. 즉, 시간 지시부(13)는, 제1 유효 시간 범위(20a) 밖에 커서(14)를 이동시키는 것을 허용하지 않는다. 한편, 유저가, 커서(14)를 드래그한 채, 제2 유효 시간 범위(20b) 내부 또는 제2 유효 시간 범위(20b)로부터 소정의 범위 내의 위치 15d로 포인터(15)를 이동시켰을 경우, 커서(14)가 제2 유효 시간 범위(20b)의 개시 시간 14d로 이동된다. 이렇게, 커서(14)를 제1 및 제2 유효 시간 범위 20a 및 20b 사이의 시간 범위로 이동시키는 것을 막는 것에 의해, 가상 시점 영상을 생성할 수 없는 시각이 선택되는 것을 방지할 수 있다. 이때, 시간 지시부(13)는, 유효 시간 범위(20)가 아닌 부분을 선택 또는 지정할 수 있게 구성되어도 된다. 또한, 유효 시간 범위 이외의 시간을 유저가 지정할 수 없도록 하는 구성 대신에, 유효 시간 범위 이외의 시간을 유저가 지정해도, 이 지정을 무효로 하는 구성을 채용할 수 있다.
유저가 유효 시간 범위(20) 내의 1개의 시간을 지정했을 경우, 영상 생성부(6)는, 그 지정 시간에 대해서만 가상 시점 영상을 생성할 수 있지만, 그 지정 시각 이후의 연속하는 프레임에 있어서 가상 시점 영상을 생성하고 재생할 수도 있다. 이 경우, 유효 시간 범위 20a 내의 시각으로부터의 연속한 프레임에서 재생이 개시되고 유효 시간 범위 20a의 종료후에 재생이 계속되면, 유효 시간 범위 20a 및 20b 사이의 유효 시간 범위 외의 시간 범위에 있어서도 이 재생이 계속되어 버릴 수 있다. 이 때문에, 떤 유효 시간 범위(제1 유효 시간 범위(20a))의 종료 시간까지 영상 생성 및 재생이 완료한 경우에, 다음의 유효 시간 범위(제2 유효 시간 범위(20b))의 개시 시간으로부터 계속해서 가상 시점 영상의 생성 및 재생을 할 수 있다. 가상 시점 영상의 생성과 출력이 중지되지 않기 때문에, 유저에 대하여 조작을 행하도록 요구하지 않아, 연속한 가상 시점 영상을 시청할 수 있다. 또한, 복수의 유효 시간 범위에 걸쳐서 가상 시점 영상의 재생이 행해질 경우, 도 7a에 나타낸 것과 같이, 유효 시간 범위의 전환시에, 재생 대상인 가상 시점 영상이 불연속의 시간에 관한 것이라는 것을 나타내는 표시 화면(22)을 삽입할 수 있다. 이와 달리, 도 7b에 나타낸 것과 같이, 전환후의 유효 시간 범위의 재생 개시시에, 재생 대상인 가상 시점 영상이 불연속인 시간에 관한 것이라는 것을 나타내는 정보(23)가 중첩될 수 있다. 이들 처리는, 현재 재생되고 있는 프레임이 그때까지 재생되고 있었던 프레임으로부터 불연속인 시간에 관한 것이라는 것을 유저에게 나타낼 수 있다. 이때, 복수의 유효 시간 범위 중 최후의 유효 시간 범위의 종료 시간까지 재생이 완료한 경우에는, 그 시점에서 재생이 정지될 수 있다. 이때, 반복 재생의 설정을 하고, 그 설정이 선택되었을 때 최초의 유효 시간 범위의 개시 시간으로부터 다시 재생을 개시하는 것도 가능하다.
또한, 예를 들면, "라이브 스트리밍"이 선택되었을 경우, 실시간의 영상을 생성해야 할 경우에는, 영상 생성부(6)는, 최신 시간 정보(21)를 취득하고, 그 최신 시간 정보(21)에 대응하는 시간의 소재 데이터를 보존부(4)로부터 취득하고, 가상 시점 영상을 생성할 수 있다. 이때, 이 경우, 시간 지시부(13)는 최신 시간 정보(21)에 의해 표시되는 시각을 항상 표시할 필요는 없다. 또한, 라이브 스트리밍 등이 선택된 경우에는, 최신 시각의 영상만 표시할 필요가 있으며, 시각 정보는 명시할 필요는 없다. 예를 들면, 영상 생성부(6)는, 영상 종별로서 라이브 스트리밍 등이 선택되었을 경우에, 특정한 시각을 지정하지 않고 "최신 시각"의 데이터 군의 취득 요구를 시간 정보 관리부(5)에 대하여 발행한다. 시간 정보 관리부(5)는, 요구된 데이터 군이 이미 보존되어 있는 최신의 시각을 특정하고, 그 시각에 있어서의 데이터 군을 보존부(4)로부터 판독하여, 판독된 데이터 군을 영상 생성부(6)에 전송한다. 이때, 시간 정보 관리부(5)는, 보존부(4)로부터 데이터 군을 판독하지 않고, 영상 생성부(6)에 데이터 군을 송신하도록 보존부(4)에 대하여 지시해도 된다. 영상 생성부(6)는, 얻어진 소재 데이터 군을 사용해서 가상 시점 영상을 생성한다. 이 경우, 영상 생성부(6)는, 최신 시각의 정보를 명시적으로 취득할 필요는 없다. 예를 들면, 조작부(10)의 표시부(11)에 시각 정보를 표시하고 싶을 경우에는, 소재 데이터 군과 함께 시각 정보를 취득하여도 된다.
(변형예)
상기한 구성 및 처리는 일례에 지나지 않고, 다양한 종류의 장치 구성을 사용하고, 또한, 같은 처리를 다른 절차와 다른 표시 내용을 사용하여 행할 수 있다. 또한, 도 1에 도시된 1개의 기능 블록이 복수의 전자기기에 의해 실현되어도 되고, 1개 이상의 기능 블록이 1개의 전자기기에 의해 실현되어도 된다. 예를 들면, 도 1은 소재 데이터 생성부(3)와 보존부(4)가 독립된 기능 블록인 것으로 나타내고 있다. 그러나, 이들 유닛은 동일한 처리장치의 내부에 포함되거나, 이들 기능 블록과 영상 생성부(6)를 1개의 장치 내에 포함시켜서 가상 시점 영상 분배 서버 등을 얻어도 된다. 이때, 본 실시예에 따른 기능 블록의 적어도 일부가, CPU나 MPU 등의 프로세서에 의해 ROM이나 RAM 등의 메모리에 기억된 프로그램이 실행됨으로써 실현될 수 있다. 예를 들면, 조작부(10)는, PC(퍼스널컴퓨터), 태블릿, 스마트폰 등의 프로세서에 있어서 소정의 애플리케이션 프로그램을 실행시켜 표시시키는, GUI(Graphical User Interface)에 의해 실현될 수 있다. 또한, 영상 생성부(6)와 조작부(10)가, PC, 태블릿, 및/또는 스마트폰 등에 있어서의 프로세서에 의해, 애플리케이션 프로그램이 실행됨으로써 실현될 수 있다.
또한, 도 1은, 촬상부(1)에 의한 촬상으로부터, 조작부(10)에 의한 조작 하에서의 영상 생성부(6)에 의해 행해진 가상 시점 콘텐츠의 생성까지의 일련의 처리 전체를 행하는 시스템의 구성 예를 나타내지만, 본 발명은 이것에 한정되지 않는다. 예를 들면, 촬상, 소재 데이터의 보존 및 시간 범위 관리 정보의 생성을 행하는 시스템과, 가상 시점 영상의 생성을 행해하는 시스템을 별개로 준비하는 것도 가능하다. 즉, 가상 시점 영상의 생성시에는, 소재 데이터와 시간 범위 관리 정보를 보존하고 이들 정보를 제공가능한 정보 제공 장치만 존재할 필요가 있으며, 시스템 내에 이들 정보를 생성하는 기구가 존재할 필요는 없다.
이때, 상기한 설명에서는, 시간 정보 관리부(5)는, 보존부(4)에 소재 데이터가 보존되었을 때에, 시간 범위 관리 정보를 생성 또는 갱신하는 것으로 했지만, 시간 범위 관리 정보는 반드시 생성되지 않아도 된다. 예를 들면, 시간 정보 관리부(5)는, 영상 생성부(6)로부터 유효 시간 범위의 문의를 수신할 때마다, 보존부(4)에 보존되어 있는 소재 데이터의 시간 정보를 추출하고, 유효 시간 범위에 관한 정보를 생성해서, 이 정보를 영상 생성부(6)에 송신할 수 있다. 이에 따르면, 그 시점에서 보존되어 있는 소재 데이터에 근거해서 정확한 시간 정보를 추출할 수 있다. 또한, 시간 정보 관리부(5)는, 영상 생성부(6)로부터의 유효 시간 범위의 문의를 수신하면, 그 문의에서 지정된 영상 종별의 가상 시점 영상을 생성하기 위한 소재 데이터 군에 관한 유효 시간 범위를 특정한다. 그러나, 본 발명은 이것에 한정되지 않는다. 예를 들면, 시간 정보 관리부(5)는, 복수의 데이터 군의 각각에 관한 유효 시간 범위의 데이터를 미리 생성해 두고, 영상 생성부(6)로부터의 문의에 응답하여, 대응하는 종별에 관해서 미리 생성된 유효 시간 범위의 정보를 영상 생성부(6)에 송신할 수 있다. 또한, 시간 정보 관리부(5)는, 각 소재 데이터에 관한 시간 범위 관리 정보를 생성하는 것 대신에, 종별마다의 소재 데이터 군에 포함되는 데이터의 모두가 보존되어 있는 시간 범위를 시간 범위 관리 정보로서 생성해도 된다. 또한, 시간 정보 관리부(5)는, 다른 방식에 의해 시간 범위 관리 정보를 생성해도 된다. 또한, 시간 정보 관리부(5)는, 지정된 소재 데이터 군에 관한 시간 범위 관리 정보로 표시되는 시간 범위의 논리곱을 유효 시간 범위(20)로서 영상 생성부(6)에 통지하는 것으로 했지만, 본 발명은 이것에 한정되지 않는다. 예를 들면, 시간 정보 관리부(5)는, 소재 데이터마다의 시간 범위 관리 정보를 영상 생성부(6)에 송신하고, 영상 생성부(6) 또는 조작부(10)가, 그 정보가 나타내는 시간 범위의 논리곱을 계산하여 그 계산 결과를 유효 시간 범위로서 특정할 수 있다. 또한, 영상 생성부(6) 또는 조작부(10)는, 예를 들어, 복수의 영상 종별의 각각에 관한 복수의 유효 시간 범위를 특정하고, 조작부(10)의 시간 지시부(13)에 그 복수의 유효 시간 범위를 병렬 표시하는 처리를 실행할 수 있다. 또한, 조작부(10)는, 영상 생성부(6)를 거쳐 시간 범위 관리 정보를 취득하지만, 시간 정보 관리부(5)로부터 이 시간 범위 관리 정보를 직접 취득해도 된다.
상기한 설명에서는, 조작부(10)가 영상 종별 선택부(12)를 포함하고, 영상 종별 선택부(12)가 영상 종별을 선택한다. 그러나, 본 발명이 반드시 이러한 구에 제한되는 것은 아니다. 예를 들면, 영상 생성부(6) 및/또는 조작부(10)의 종별이나 성능에 따라, 영상 종별이 자동적으로 결정되어도 된다. 예를 들면, 조작부(10)를 조작하는 유저의 권한에 근거하여 영상 종별이 자동적으로 선택되도록 시스템이 구성되어도 된다. 이때, 예를 들어, 영상 생성부(6)의 종별이나 성능 등에 따라 영상 종별이 결정될 경우에는, 데이터 군 선택부(8)는 존재하지 않아도 된다. 예를 들면, 영상 생성부(6)는, 고정의 데이터의 조합의 정보를 유지하는 것에 의해, 데이터 군 선택부(8)에 대한 문의를 행할 필요가 없어진다. 또한, 영상 생성부(6)의 성능 등에 근거하여 영상 종별이 결정될 경우, 데이터 군 선택부(8)는, 보존부(4) 또는 시간 정보 관리부(5)에 접속될 수 있다. 이 경우, 영상 생성부(6)는, 데이터 군의 지정을 하지 않고, 예를 들면, 자 장치의 종별, 성능 등의 정보 또는 자 장치의 기종 정보나 식별 정보 등의 종별, 성능 등의 정보를 특정가능한 정보를 포함하는 문의를, 시간 정보 관리부(5)에 송신할 수 있다. 시간 정보 관리부(5)는, 이 문의에 포함되는 정보에 근거하여, 대응하는 소재 데이터 군을 특정하고, 그 특정된 데이터 군에 대응하는 유효 시간 범위의 정보를, 영상 생성부(6)에 통지한다.
상기한 설명에서는, 소재 데이터의 모두가 시간 정보와 관련시켜 보존되지만, 본 발명이 반드시 이것에 한정되지 않는다. 예를 들면, 보존부(4)는, 배경의 3차원 모델 등은 변화가 없으면 단일의 데이터 만을 보존할 수 있다. 유효 시간 범위의 문의에 응답하여, 보존부(4)는, 모든 시각에 있어서 데이터를 유효로 간주하고, 취득 요구를 수신할 때마다 동일한 데이터를 영상 생성부(6)에 출력할 수 있다. 또한, 이러한 소재 데이터는, 유효 시간 범위의 문의의 대상으로 간주하지 않아도 된다. 영상 생성부(6)는, 이 소재 데이터를 한번 취득하면, 그 소재 데이터를 계속해서 이용할 수 있다.
보존부(4) 및 시간 정보 관리부(5)에 영상 생성부(6)가 접속되어서 소재 데이터를 이용하는 구성에 대해 설명하였다. 그러나, 영상 생성부(6) 이외의 기능부기 소재 데이터를 이용하여도 된다. 예를 들면, 영상은 생성하지 않고 피사체의 위치와 속도를 계측하는 피사체 해석장치가, 소재 데이터인 피사체 위치 정보를 사용하도록 시스템이 구성될 수 있다.
상기한 설명에서는, 조작부(10)의 영상 종별 선택부(12)가, "라이브 스트리밍", "저화질 리플레이", "고화질 리플레이", "휴대 단말용", "선수 위치 해석"의 5종류의 영상 종별 중 1개를 선택하는 예에 대해 설명했지만, 영상 종별은 이것들에 한정되지 않는다. 예를 들면, "Full HD", "4K", "방송용", "온라인 배포용", "모바일 단말용" 등의 새로운 영상 종별을 설정하거나, 이들 영상 종별의 일부를 생략하여도 된다. 더구나, 영상 생성시에, 영상 종별을 특정하지 않고, 취득하는 소재 데이터의 종별을 직접 지정하는 것도 가능하다.
또한, 조작부(10)의 영상 종별 선택부(12)는, "고화질 우선 리플레이" 등의 우선도를 가진 영상 종별을 선택 가능하게 구성될 수 있다. 상기한 "고화질 리플레이"에서는, 고화질의 가상 시점 영상을 생성할 수 있는 유효 시간 범위 만이 취득되고, 고화질의 가상 시점 영상 만이 생성된다. 그러나, "고화질 우선 리플레이"에서는, 고화질의 가상 시점 영상을 생성할 수 있는 시간 범위에서는 고화질의 가상 시점 영상을 생성하고, 다른 시간 범위인, 저화질의 가상 시점 영상을 생성할 수 있는 시간 범위에 있어서는, 저화질의 가상 시점 영상을 생성한다. 이것에 따르면, 영상의 인터럽션에 의해 시청자에게 위화감을 주는 것을 막을 수 있다. 이 경우, 데이터 군 선택부(8)는, 지정된 영상 종별에 근거하여, 필수 데이터 군, 고우선도 데이터 군, 저우선도 데이터 군 등의 복수의 우선도가 부여된 데이터 군을 특정하고, 특정한 데이터 군을 영상 생성부(6)에 통지한다. "고화질 우선 리플레이"의 예에서는, 고우선도 데이터 군은, 고해상도의 영상을 생성하기 위한, 고해상도의 피사체 3차원 모델, 고해상도의 피사체 텍스처, 고해상도 배경 텍스처를 포함할 수 있다. 한편, 저우선도 데이터 군은, 저해상도의 영상이 생성가능한, 저해상도의 피사체 모델, 저해상도의 피사체 텍스처, 저해상도의 배경 텍스처를 포함할 수 있다. 또한, 필수 데이터 군은 배경 모델일 수 있다. 이때, 데이터에 고우선도 또는 저우선도를 부여할지의 판정방법은 이것에 한정되지 않는다. 예를 들면, 통신회선의 용량이 작을 경우에는, 저해상도의 데이터가 고우선도를 부여하고, 고해상도의 데이터에 저우선도를 부여하도록 설정이 행해져도 된다.
영상 생성부(6)는, 이들 데이터 군에 근거하여, 유효 시간 범위를 시간 정보 관리부(5)에 문의한다. 시간 정보 관리부(5)는, 이 문의에 응답하여, 필수 데이터 군과 고우선도 데이터 군이 함께 보존되어 있는 시간 범위를, 도 8의 20c에 의해 나타낸 것과 같은 고우선도 데이터 군이 얻어지는 고우선 범위로서 특정한다. 또한, 시간 정보 관리부(5)는, 고우선 범위(20c) 이외의 시간 범위 중, 필수 데이터 군과 저우선도 데이터 군이 얻어지는 시간 범위를, 도 8의 20d에 의해 나타낸 것과 같은 저우선 범위로서 특정한다. 그리고, 시간 정보 관리부(5)는, 특정한 고우선 범위(20c) 및 저우선 범위(20d)의 정보를, 영상 생성부(6)에 송신한다. 조작부(10)는, 수신한 유효 시간 범위(20)를, 고우선 범위(20c)와 저우선 범위(20d)를 식별 가능하게(예를 들면, 다른 색으로) 표시한다. 이러한 표시에 의해, 유저는, 주로 고우선 범위(20c) 내에서 시간을 지정해서 고해상도의 가상 시점 영상을 생성하지만, 유저가 어떤 시간의 영상을 해상도가 낮더라도 생성하고 싶을 경우에는 저우선 범위(20d) 내의 시간을 지정하는 판단을 행할 수 있게 된다. 이때, 저우선 범위는, 고우선 범위(20c)와는 무관계로 특정되어도 된다. 이 경우, 영상 생성부(6) 또는 조작부(10)는, 고우선 범위와 저우선 범위가 중첩하는 범위를 고우선 범위로서 특정할 수 있다. 또한, 조작부(10)는, 고우선 범위와 저우선 범위를 병렬 표시할 수도 있다. 또한, 예를 들면, 고우선 범위(20c)도 저우선 범위(20d)도 아닌 시간 범위는, 도 6a 또는 도 6b의 예와 같은 표시가 행해질 수 있다.
이때, 영상 생성부(6)는, 데이터 종별마다 설정된 우선도를 시간 정보 관리부(5)에 문의하지만, 본 발명은 이것에 한정되지 않는다. 예를 들면, 영상 생성부(6)가 우선도마다 시간 정보 관리부(5)에 문의를 행하고, 조작부(10) 또는 영상 생성부(6)가, 우선도마다 얻어진 유효 시간 범위(20)를 통합하고, 시간 지시(13)에 통합된 유효 시간 범위(20)를 표시할 수 있다.
또한, 고해상도 영상을 생성하기 위한 고우선도 데이터 군과 저해상도 영상을 생성 가능한 저우선도 데이터 군을 분류해서 유효 시간 범위(20)가 특정되고, 영상 생성부(6)는, 유효 시간 범위(20)에 근거하여 소재 데이터를 취득한다. 그러나, 본 발명은 이것에 한정되지 않는다. 예를 들면, 고해상도 피사체의 모델 및 고행상도 피사체 텍스처를 취득할 수 있지만, 저해상도고 배경 텍스처만 취득할 수 있는 경우에, 배경 텍스처에 따라 피사체에 대해 저해상도 데이터를 사용할 필요는 없다. 이러한 경우, 영상 생성부(6)은, 배경 텍스처로서는 저해상도 데이터를 이용하도록 영상 생성부(6)가 구성되어도 된다. 이러한 구성을 위해, 3차원 모델이나 텍스처 등의 데이터 종별의 분류마다 우선도의 조합이 작성되고, 영상 생성부(6)가, 데이터 종별의 분류마다 고우선도의 소재 데이터를 우선해서 취득하게 할 수 있다. 이 경우, 시간 지시부(13)는, 모든 종별에 대해 높은 우선도를 취득할 수 있는 유효 시간 범위와, 적어도 일부의 데이터 종별에 대해 저우선도의 데이터만 취득할 수 있는 유효 시간 범위를 식별 가능하게 표시할 수 있다.
상기한 예에서는, 복수의 촬상부(1)에서 촬상된 화상이 소재 데이터 생성부(3)에 입력되고, 보존부(4)는 소재 데이터 생성부(3)가 생성한 소재 데이터를 보존한다. 그러나, 본 발명은 이것에 한정되지 않는다. 예를 들면, 복수의 촬상부(1)에서 촬상된 모든 화상을 한번, 보존부(4)에 보존하고, 소재 데이터 생성부(3)가 그 보존된 화상을 사용해서 소재 데이터를 생성하게 하는 것도 가능하다. 이 구성 예를 도 9에 나타낸다. 도 9의 구성에서는, 소재 데이터 생성부(3)는, 보존부(4)에 보존된 복수의 화상을 사용해서 소재 데이터를 생성하고, 그 생성한 소재 데이터와, 그 소재 데이터에 대응하는 시간 정보를 보존부(4)에 출력한다. 이것에 따르면, 예를 들면, 소재 데이터 생성부(3)가, 고화질의 소재 데이터의 생성시에, 수동 보정 등의 편집/수정이 행해진 소재 데이터나, 편집/수정이 행해진 화상에 근거한 소재 데이터를 생성할 수 있다.
이러한 구성으로 함으로써, 복수의 촬상부(1)에 의해 촬상된 화상이 보존부(4)에 보존되므로, 이들 화상에 근거하여, 긴 시간을 사용하는 것에 의해 더 높은 화상 품질을 갖는 소재 데이터를 생성할 수 있게 된다. 그 결과, 한층 더 고품위의 가상 시점 영상을 생성하는 것도 가능해 진다. 이때, 고품질의 소재 데이터를 만들기 위해서는 비용이 들기 때문에, 전체 시간 범위에 있어서 고품위의 소재 데이터가 작성되지 않을 경우가 있을 수 있다. 이러한 경우에는, 전술한 바와 같은 우선도를 이용함으로써, 고품질의 가상 시점 영상을 생성할 수 있는 시간 범위에 있어서는 고품질의 가상 시점 영상을 생성하고, 그 이외의 부분에서는 저품질의 가상 시점 영상을 생성할 수 있다.
이때, 상기한 실시형태는, 가상 시점 영상을 생성하기 위한 시스템에 대해 설명했다. 그러나. 전술한 기술은, 자유 청취점 음향 등의, 가상 시점 영상 이외의 콘텐츠를 생성하기 위한 정보 처리 시스템에 적용할 수 있다. 즉, 1개 이상의 소재 데이터를 취득하고, 그 소재 데이터로부터 임의의 콘텐츠를 생성하는 임의의 정보 처리장치에, 상기한 논의가 적용될 수 있다. 즉, 정보 처리장치는, 콘텐츠를 생성하기 위한 1개 이상의 소재 데이터가 존재하고 있을 경우에, 그 각각의 소재 데이터가 대응하는 시각에 관한 정보를 취득한다. 그리고, 정보 처리장치는, 그 정보에 근거하여, 콘텐츠를 생성가능한 유효 시간 범위를 특정하고, 이 범위 내의 시간에 대해서 소재 데이터를 취득해서 콘텐츠를 생성한다. 이 경우, 정보 처리장치는, 유효 시간 범위와, 콘텐츠를 생성할 수 없는 시간 범위를 식별 가능하게 표시할 수 있다. 이때, 상기한 실시형태에서는, 우선도에 따라 시간 범위를 착색하는 것에 의해, 예를 들면, 고우선도의 콘텐츠를 생성가능한 시간 범위를 다른 시간 범위와 식별 가능하게 표시하는 수법에 대해 설명했다. 그러나, 이 방법을 확장할 수 있다. 예를 들면, 생성가능한 콘텐츠의 종류/조합을 식별 가능하게 표시하는 수법이 사용될 수 있다. 예를 들면, 가상 시점 영상과 자유 청취점 음향이 함께 생성가능한 시간 범위와, 가상 시점 영상만 생성가능한 시간 범위와, 자유 청취점 음향만 생성가능한 시간 범위와, 그 모두를 생성할 수 없는 시간 범위를, 착색 등에 의해 식별 가능하게 표시할 수 있다. 또한, 해상도 등에 근거하여 콘텐츠를 분류하고, 분류에 따라 식별가능한 표시를 행해할 수 있다. 이때, 콘텐츠의 각각의 종류에 대응하는 유효 시간 범위를 병렬 표시하여도 된다. 이렇게, 유저가 식별할 수 있도록 생성가능한 콘텐츠의 종류를 표시함으로써, 유저가 콘텐츠를 생성할 때의 유저의 편리성을 향상시킬 수 있다.
기타 실시형태
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims (20)

  1. 가상 시점 콘텐츠를 생성하기 위한 복수의 소재 데이터를 기억하는 기억부에 어떤 시각의 가상 시점 콘텐츠를 생성하기 위한 소재 데이터가 기억되어 있는지를 특정하는 특정 수단과,
    가상 시점 콘텐츠를 생성할 수 있는 시각을 나타내는 화상을 표시시키기 위한 정보를, 상기 특정 수단으로부터의 특정 결과에 근거하여 출력하는 출력 수단을 구비한 정보 처리장치.
  2. 제 1항에 있어서,
    상기 기억부에 기억되는 소재 데이터는, 오브젝트의 3차원 형상의 데이터 및 해당 3차원 형상의 색 정보를 갖는 텍스처 데이터를 포함하는 복수의 종별의 소재 데이터인 정보 처리장치.
  3. 제 1항에 있어서,
    상기 출력 수단으로부터 출력되는 상기 정보는, 가상 시점 콘텐츠가 생성될 수 있는 시각을 나타내는 정보인 정보 처리장치.
  4. 제 1항에 있어서,
    상기 출력 수단으로부터 출력되는 상기 정보는, 가상 시점 콘텐츠를 생성하기 위해서 사용되는 소재 데이터의 데이터 종별마다, 어떤 시각의 가상 시점 콘텐츠를 생성하기 위한 데이터 종별을 갖는 소재 데이터가 상기 기억부에 기억되었는지를 나타내는 정보인 정보 처리장치.
  5. 제 1항에 있어서,
    가상 시점 콘텐츠를 생성할 수 있는 시각을 나타내는 상기 화상은, 가상 시점 콘텐츠를 생성하기 위해서 사용되는 복수의 소재 데이터에 대해서, 어떤 시각의 가상 시점 콘텐츠를 생성하기 위한 복수의 소재 데이터가 상기 기억부에 기억되어 잇는지를 나타내는 화상인 정보 처리장치.
  6. 제 1항에 있어서,
    가상 시점 콘텐츠를 생성할 수 있는 시각을 나타내는 상기 화상은, 가상 시점 콘텐츠를 생성할 수 있는 시간 범위와 가상 시점 콘텐츠를 생성할 수 없는 시간 범위를 식별 가능하게 나타내는 화상인 정보 처리장치.
  7. 제 1항에 있어서,
    복수의 종류의 가상 시점 콘텐츠 중 1개 이상의 종류를, 유저 조작 및 유저 속성의 적어도 어느 한개에 근거하여 선택하는 선택 수단을 더 구비하고,
    상기 출력 수단은, 상기 선택 수단에 의해 선택된 종류에 대응하는 가상 시점 콘텐츠로서 가상 시점 콘텐츠를 생성할 수 있는 시각을 나타내는 화상을 표시시키기 위한 정보를 출력하는 정보 처리장치.
  8. 제 1항에 있어서,
    상기 출력 수단으로부터 출력되는 상기 정보는, 1 이상의 시각에 대해서, 해당 시각의 가상 시점 콘텐츠로서 복수의 종류의 가상 시점 콘텐츠 중 어느 것을 생성할 수 있는지를 나타내는 정보인 정보 처리장치.
  9. 제 1항에 있어서,
    상기 출력 수단은, 복수의 종류의 가상 시점 콘텐츠의 각각에 대해서, 해당하는 종류의 가상 시점 콘텐츠로서, 가상 시점 콘텐츠를 생성할 수 있는 시각을 나타내는 화상을 표시시키기 위한 정보를 출력하는 정보 처리장치.
  10. 제 7항에 있어서,
    상기 복수의 종류의 가상 시점 콘텐츠는, 화질이 다른 복수의 가상 시점 콘텐츠를 포함하는 정보 처리장치.
  11. 제 1항에 있어서,
    상기 출력 수단에 의해 출력된 정보의 출력에 따라 표시된 화상에 대한 유저 조작에 근거하는 지시 정보로서, 가상 시점 콘텐츠를 생성하려는 시각을 지정하는 지시 정보를 접수하는 접수수단과,
    상기 접수수단에 의해 접수된 상기 지시 정보에 의해 지정되는 시각에 대응하는 복수의 소재 데이터를 상기 기억부로부터 취득하고, 취득한 복수의 소재 데이터를 사용해서 가상 시점 콘텐츠를 생성하는 생성 수단을 더 구비한 정보 처리장치.
  12. 제 11항에 있어서,
    가상 시점 콘텐츠를 생성할 수 없는 시각을 유저 조작이 지정하는 것을, 상기 특정 수단으로부터의 특정 결과에 근거하여 제한하는 제한 수단을 더 구비한 정보 처리장치.
  13. 제 11항에 있어서,
    상기 생성 수단은, 가상 시점 콘텐츠를 생성할 수 있는 시각이 복수의 불연속인 시간 범위에 걸쳐 존재하고 상기 복수의 시간 범위에 걸쳐 가상 시점 콘텐츠가 재생되는 경우에, 가상 시점 콘텐츠에 대응하는 시각이 불연속인 것을 나타내는 표시가 재생되도록 가상 시점 콘텐츠를 생성하는 정보 처리장치.
  14. 제 1항에 있어서,
    상기 기억부에 기억되어 있는 소재 데이터의 생성을 위해 사용된 촬상 화상의 촬상 시각에 관한 정보를 취득하는 취득 수단을 더 구비하고,
    상기 특정 수단은, 상기 기억부에 어떤 시각의 가상 시점 콘텐츠를 생성하기 위한 소재 데이터가 기억되었는지를, 상기 취득 수단에 의해 취득되는 정보에 근거해서 특정하는 정보 처리장치.
  15. 제 1항에 있어서,
    상기 출력 수단은, 가상 시점 콘텐츠를 생성할 수 있는 시각을 나타내는 화상을 표시시키기 위한 상기 정보를, 표시장치 또는 다른 정보 처리장치에 출력하는 정보 처리장치.
  16. 제 15항에 있어서,
    상기 다른 정보 처리장치는, 가상 시점 콘텐츠를 생성하려는 시각을 나타내는 지시를 접수하는 접수수단을 구비하고,
    상기 출력 수단은, 가상 시점 콘텐츠를 생성할 수 있는 시각을 나타내는 화상을 표시시키기 위한 상기 정보를 상기 다른 정보 처리장치에 출력하는 정보 처리장치.
  17. 가상 시점 콘텐츠를 생성하기 위한 복수의 소재 데이터를 기억하는 기억부에 어떤 시각의 가상 시점 콘텐츠를 생성하기 위한 소재 데이터가 기억되었는지를 특정하는 단계와,
    가상 시점 콘텐츠를 생성할 수 있는 시각을 나타내는 화상을 표시시키기 위한 정보를, 상기 특정 단계에 있어서의 특정 결과에 근거하여 출력하는 단계를 포함하는 정보 처리방법.
  18. 제 17항에 있어서,
    상기 출력 단계에 있어서 출력되는 상기 정보는, 가상 시점 콘텐츠를 생성하기 위해서 사용되는 소재 데이터의 데이터 종별마다, 어떤 시각의 가상 시점 콘텐츠를 생성하기 위한 데이터 종별을 갖는 소재 데이터가 상기 기억부에 기억되어 있는지를 나타내는 정보인 정보 처리방법.
  19. 제 17항에 있어서,
    복수의 종류의 가상 시점 콘텐츠 중 1 이상의 종류를, 유저 조작 및 유저 속성의 적어도 어느 한개에 근거하여 선택하는 단계를 더 포함하고,
    상기 출력 단계에 있어서, 상기 선택 단계에서 선택된 종류에 대응하는 가상 시점 콘텐츠로서 가상 시점 콘텐츠를 생성할 수 있는 시각을 나타내는 화상을 표시시키기 위한 정보를 출력하는 정보 처리방법.
  20. 컴퓨터를, 청구항 1 내지 16 중 어느 한 항에 기재된 정보 처리장치의 각 수단으로서 기능시키기 위해 매체에 기억된 프로그램.
KR1020180103169A 2017-09-06 2018-08-31 정보 처리장치, 정보 처리방법, 및 프로그램 KR102132331B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200081942A KR102320934B1 (ko) 2017-09-06 2020-07-03 정보 처리장치, 제어 방법, 및 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2017-171378 2017-09-06
JP2017171378A JP6409107B1 (ja) 2017-09-06 2017-09-06 情報処理装置、情報処理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200081942A Division KR102320934B1 (ko) 2017-09-06 2020-07-03 정보 처리장치, 제어 방법, 및 프로그램

Publications (2)

Publication Number Publication Date
KR20190027323A true KR20190027323A (ko) 2019-03-14
KR102132331B1 KR102132331B1 (ko) 2020-08-05

Family

ID=63855207

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180103169A KR102132331B1 (ko) 2017-09-06 2018-08-31 정보 처리장치, 정보 처리방법, 및 프로그램
KR1020200081942A KR102320934B1 (ko) 2017-09-06 2020-07-03 정보 처리장치, 제어 방법, 및 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020200081942A KR102320934B1 (ko) 2017-09-06 2020-07-03 정보 처리장치, 제어 방법, 및 프로그램

Country Status (5)

Country Link
US (2) US10659822B2 (ko)
EP (1) EP3454562A1 (ko)
JP (1) JP6409107B1 (ko)
KR (2) KR102132331B1 (ko)
CN (2) CN109462749B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
JP7271099B2 (ja) 2018-07-19 2023-05-11 キヤノン株式会社 ファイルの生成装置およびファイルに基づく映像の生成装置
JP7249755B2 (ja) * 2018-10-26 2023-03-31 キヤノン株式会社 画像処理システムおよびその制御方法、プログラム
CN113473161A (zh) * 2020-03-31 2021-10-01 腾讯科技(成都)有限公司 直播方法、装置、设备及计算机存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126425A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 自由視点画像生成装置、方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
JP2004280250A (ja) * 2003-03-13 2004-10-07 Canon Inc 情報処理装置および方法
JP2006053694A (ja) * 2004-08-10 2006-02-23 Riyuukoku Univ 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
KR101363559B1 (ko) 2010-07-23 2014-02-17 주식회사 팬택 부가 데이터를 이용한 증강 현실 제공 장치 및 증강 현실 제공 방법
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
CN103458310A (zh) * 2013-09-06 2013-12-18 乐视致新电子科技（天津）有限公司 一种信息展示方法及装置
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP2015204512A (ja) 2014-04-14 2015-11-16 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
JP6299492B2 (ja) * 2014-07-03 2018-03-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6674247B2 (ja) * 2015-12-14 2020-04-01 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
US10204448B2 (en) * 2016-11-04 2019-02-12 Aquifi, Inc. System and method for portable active 3D scanning
US10542300B2 (en) * 2017-05-31 2020-01-21 Verizon Patent And Licensing Inc. Methods and systems for customizing virtual reality data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126425A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 自由視点画像生成装置、方法およびプログラム

Also Published As

Publication number Publication date
KR102320934B1 (ko) 2021-11-03
EP3454562A1 (en) 2019-03-13
JP2019047432A (ja) 2019-03-22
CN109462749B (zh) 2020-08-04
JP6409107B1 (ja) 2018-10-17
CN111770327A (zh) 2020-10-13
CN111770327B (zh) 2022-01-11
US10659822B2 (en) 2020-05-19
US11202104B2 (en) 2021-12-14
US20190075332A1 (en) 2019-03-07
US20200245003A1 (en) 2020-07-30
KR102132331B1 (ko) 2020-08-05
CN109462749A (zh) 2019-03-12
KR20200085697A (ko) 2020-07-15

Similar Documents

Publication Publication Date Title
KR102132331B1 (ko) 정보 처리장치, 정보 처리방법, 및 프로그램
US10762653B2 (en) Generation apparatus of virtual viewpoint image, generation method, and storage medium
US20210150223A1 (en) Information processing apparatus, information processing method, and storage medium
JP2020024619A (ja) 情報処理装置、情報処理方法、及びプログラム
JP5910447B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5966834B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2013210989A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2013129188A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6600399B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020137994A1 (ja) 映像配信装置、映像配信システム、映像配信方法及び映像配信プログラム
JP2020102687A (ja) 情報処理装置、画像処理装置、画像処理方法、及びプログラム
KR20230017745A (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
JP6910405B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5920152B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2013211821A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2020136821A (ja) 情報処理装置及びその制御方法、プログラム
JP5983259B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5910446B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2013129187A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2013129190A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2023111640A (ja) 情報処理装置、情報処理方法、データ構造及びプログラム
CN117768766A (zh) 拍摄方法、视频处理方法和拍摄设备
JP2021026435A (ja) 仮想視点映像を生成する装置、システム、方法、及びプログラム
JP2013211819A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2013211820A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right