KR20190111770A - 정보 처리장치 및 그 제어방법 - Google Patents

정보 처리장치 및 그 제어방법 Download PDF

Info

Publication number
KR20190111770A
KR20190111770A KR1020190027844A KR20190027844A KR20190111770A KR 20190111770 A KR20190111770 A KR 20190111770A KR 1020190027844 A KR1020190027844 A KR 1020190027844A KR 20190027844 A KR20190027844 A KR 20190027844A KR 20190111770 A KR20190111770 A KR 20190111770A
Authority
KR
South Korea
Prior art keywords
time
virtual viewpoint
image
inquiry
viewpoint image
Prior art date
Application number
KR1020190027844A
Other languages
English (en)
Other versions
KR102353828B1 (ko
Inventor
야스오 오쿠타니
하지메 카와니시
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20190111770A publication Critical patent/KR20190111770A/ko
Application granted granted Critical
Publication of KR102353828B1 publication Critical patent/KR102353828B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/2625—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for delaying content or additional data distribution, e.g. because of an extended sport event
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6615—Methods for processing data by generating or executing the game program for rendering three dimensional images using models with different levels of detail [LOD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Generation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

복수의 카메라에 의한 복수의 방향에서의 촬영에 의해 얻어지는 복수의 화상에 근거한 가상 시점 화상을 생성하는 화상 생성장치와 통신하도록 구성된 정보 처리장치는, 가상 시점 화상을 생성하기 위한 데이터 세트를 취득중인 화상 생성장치에 문의를 송신하는 송신부와, 화상 생성장치가 생성가능한 가상 시점 화상에 대응하는 시각에 관한 시각 정보를, 송신부에 의해 송신된 문의에 대한 응답에 근거하여 취득하는 취득부와, 취득부에 의해 취득된 시각 정보에 근거하여 결정된 시각에 대응하는 가상 시점 화상을 생성하도록 하는 생성 지시를 화상 생성장치에 출력하는 출력부를 구비한다.

Description

정보 처리장치 및 그 제어방법{INFORMATION PROCESSING APPARATUS AND CONTROL METHOD THEREOF}
본 발명은, 가상 시점에 근거한 가상 시점 화상을 생성하는 기술에 관한 것이다.
최근, 복수의 카메라를 다른 위치에 배치해서 다시점에서 동기 촬영하고, 해당 촬영에 의해 얻어진 복수 시점의 화상을 사용하여, 가상 시점에서의 가상 시점 화상을 생성하는 기술이 주목받고 있다. 복수 시점의 화상에 근거한 가상 시점 화상의 생성 및 열람은, 복수의 카메라가 촬영한 화상을 서버 등의 화상처리부에 집약하고, 화상처리부에 의해 가상 시점에 근거한 렌더링 등의 처리를 실시해서 가상 시점 화상을 생성하고, 생성된 화상을 유저 단말에 표시하는 것으로 실현할 수 있다. 가상 시점 화상을 사용한 서비스에서는, 예를 들면, 영상 제작자가 축구나 농구의 시합의 촬영 영상을 사용하여, 인상적인 가상 시점의 콘텐츠를 제작한다. 또한, 콘텐츠를 시청하고 있는 유저 자신이, 예를 들어 자유롭게 가상 시점을 변경하면서, 시합을 관전할 수 있다. 이렇게 해서, 일반적인 촬영 화상의 관찰과 비교해서, 유저에게 고임장감을 줄 수 있다.
일본국 특개 2006-310936호 공보에는, 촬상 데이터를 임시 축적하고, 데이터를 지연시킨 후, 가상 시점 화상을 생성하는 기술이 개시되어 있다.
복수의 카메라에서 동기 촬영한 화상을 화상처리함으로써 가상 시점 화상을 생성할 경우, 촬영으로부터 가상 시점 화상을 생성할 수 있는 상태가 될 때까지의 준비 시간이 짧지 않다. 따라서, 가상 시점 화상을 재생할 경우, 이 준비 시간이 미치는 영향을 고려하는 것이 바람직하다. 즉, 이 준비 시간을 고려하여, 생성되는 가상 시점 화상의 타임 코드를 결정하는 것이 바람직하다. 준비 시간에 재량을 갖게 해서 가상 시점 화상의 타임 코드를 결정하면, 가상 시점 화상의 생성은 성공하지만, 복수의 카메라에서 촬영되고 있는 화상과의 타임 래그가 커져 버린다. 한편, 준비 시간을 지나치게 짧게 설정하면, 가상 시점 화상의 생성이 제 시간에 완료되지 않을 가능성이 생긴다. 이렇게, 가상 시점 화상의 생성에 필요한 시간을 파악할 수 있으면, 예를 들어, 적절한 타임 코드를 설정할 수 있게 되는 이점이 있다.
일본국 특개 2006-310936호 공보에서는, 촬영 데이터를 임시 축적하고 지연시킨 후 가상 시점 화상을 생성할 수 있다. 그렇지만, 일본국 특개 2006-310936호 공보에서는, 지연시간의 구체적인 지정 방법은 전혀 언급하고 있지 않고, 또한, 라이브 중계에 있어서 가상 시점 화상이 생성가능한 상태가 될 때까지의 준비 시간을 취득하는 방법에 관해서도 전혀 언급되지 않고 있다.
본 발명의 일 측면은, 가상 시점 화상의 생성에 요하는 시간을 파악가능한 정보 처리장치를 제공한다.
본 발명의 일면에 따르면, 복수의 카메라에 의한 복수의 방향에서의 촬영에 의해 얻어지는 복수의 화상에 근거한 가상 시점 화상을 생성하는 화상 생성장치와 통신하도록 구성된 정보 처리장치로서, 가상 시점 화상을 생성하기 위한 데이터 세트를 취득중인 상기 화상 생성장치에 문의를 송신하도록 구성된 송신부와, 상기 화상 생성장치가 생성가능한 가상 시점 화상에 대응하는 시각에 관한 시각 정보를, 상기 송신부에 의해 송신된 문의에 대한 응답에 근거하여 취득하도록 구성된 취득부와, 상기 취득부에 의해 취득된 시각 정보에 근거하여 결정된 시각에 대응하는 가상 시점 화상을 생성하도록 하는 생성 지시를 상기 화상 생성장치에 출력하도록 구성된 출력부를 구비한 정보 처리장치가 제공된다.
본 발명의 또 다른 일면에 따르면, 복수의 카메라에 의한 복수의 방향에서의 촬영에 의해 얻어지는 복수의 화상에 근거한 가상 시점 화상을 생성하는 화상 생성장치와 통신하도록 구성된 정보 처리장치의 제어방법으로서, 가상 시점 화상을 생성하기 위한 데이터 세트를 취득중인 상기 화상 생성장치에 문의를 송신하는 단계와, 상기 화상 생성장치가 생성가능한 가상 시점 화상에 대응하는 시각에 관한 시각 정보를, 송신된 상기 문의에 대한 응답에 근거하여 취득하는 단계와, 취득된 상기 시각 정보에 근거하여 결정된 시각에 대응하는 가상 시점 화상을 생성하도록 하는 지시를 상기 화상 생성장치에 출력하는 단계를 포함하는 제어방법이 제공된다.
본 발명의 또 다른 일면에 따르면, 복수의 카메라에 의한 복수의 방향에서의 촬영에 의해 얻어지는 복수의 화상에 근거한 가상 시점 화상을 생성하는 화상 생성장치와 통신하는 컴퓨터에게, 가상 시점 화상을 생성하기 위한 데이터 세트를 취득중인 상기 화상 생성장치에 문의를 송신하는 단계와, 상기 화상 생성장치가 생성가능한 가상 시점 화상에 대응하는 시각에 관한 시각 정보를, 송신된 상기 문의에 대한 응답에 근거하여 취득하는 단계와, 취득된 상기 시각 정보에 근거하여 결정된 시각에 대응하는 가상 시점 화상을 생성하도록 하는 지시를 상기 화상 생성장치에 출력하는 단계를 포함하는 제어방법을 실행시키기 위해, 기억매체에 기억된 컴퓨터 프로그램이 제공된다.
본 발명의 또 다른 특징은 첨부도면을 참조하여 주어지는 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.
도1은, 제1실시형태에 있어서의 정보 처리장치의 하드웨어 구성 예를 나타낸 블록도다.
도2a는, 제1실시형태에 있어서의 정보 처리장치의 기능 구성 예를 나타낸 블록도다.
도2b는, 제1실시형태에 있어서의 화상 생성장치의 기능 구성 예를 나타낸 블록도다.
도3은, 제1실시형태에 있어서의 정보 처리장치의 처리를 나타내는 흐름도다.
도4는, 제1실시형태에 있어서의 라이브 시각의 설정 처리를 나타내는 흐름도다.
도5a 및 도 5b는, 제1실시형태에 있어서의 라이브 시각의 설정 처리의 흐름을 나타내는 모식도다.
도6은, 제2실시형태에 있어서의 라이브 시각의 설정 처리를 나타내는 흐름도다.
도7a 및 도 7b는, 제2실시형태에 있어서의 화상 생성장치의 데이터 준비 상황을 나타내는 모식도다.
도8은, 제2실시형태에 있어서의 화상 생성장치의 기능 구성 예를 나타낸 블록도다.
도9는, 제2실시형태에 있어서의 화상 생성장치의 처리를 나타내는 흐름도다.
도10은, 제3실시형태에 있어서의 라이브 시각의 설정 처리를 나타내는 흐름도다.
도11a 내지 도11c는, 제3실시형태에 있어서의 라이브 시각의 입력 방법을 나타내는 모식도다.
도12a 내지 12c는, 제3실시형태에 있어서의 송수신 메시지의 일례를 나타낸 모식도다.
도13a는, 제4실시형태에 있어서의 정보 처리장치의 기능 구성 예를 나타낸 블록도다.
도13b는, 제4실시형태에 있어서의 화상 생성장치의 기능 구성 예를 나타낸 블록도다.
도14는, 제4실시형태에 있어서의 정보 처리장치의 처리를 나타내는 흐름도다.
도15a 및 도15b는, 제4실시형태에 있어서의 송수신 메시지의 일례를 나타낸 모식도다.
이하, 도면을 참조하면서 본 발명의 바람직한 실시형태에 대해 설명한다. 단, 이하의 실시형태에 기재되어 있는 구성요소는 어디까지나 예시이며, 본 발명의 범위를 그것들에만 한정하는 취지의 것은 아니다.
제1실시형태
도1은 제1실시형태에 따른 정보 처리장치의 하드웨어 구성의 일례를 나타낸 블럭도다. 점선으로 둘러싼 영역이 제1실시형태에 따른 정보 처리장치(10)를 나타낸다. 정보 처리장치(10)의 외부장치로서 화상 생성장치(110)가 접속되어 있다. 화상 생성장치(110)는, 복수의 카메라(109)에 의한 복수의 방향에서의 촬영(촬상)에 의해 얻어진 복수의 화상(복수 시점의 화상)을 사용하여, 정보 처리장치(10)로부터 출력된 가상 시점에 대응하는 가상 시점 화상을 생성한다. 정보 처리장치(10), 화상 생성장치(110), 및, 복수의 카메라(109)에 의해, 임의의 가상 시점의 화상을 생성하는 화상 생성 시스템이 구성된다.
정보 처리장치(10)에 있어서, CPU(101)(Central Processing Unit)은, 각종처리를 위한 연산, 논리판단 등을 행하여, 시스템 버스(108)에 접속된 각 구성요소를 제어한다. 정보 처리장치(10)에는, 프로그램 메모리와 데이터 메모리를 포함하는 메모리가 탑재되어 있다. ROM(Read Only Memory)(102)은, 프로그램 메모리로서, 후술하는 각종 처리 절차를 포함하며 CPU(101)에 의해 행해지는 제어를 위한 프로그램을 격납한다. RAM(Random Access Memory)(103)은, 데이터 메모리이며, CPU(101)이 실행하는 프로그램의 워크 영역, 에러 처리시에 사용되는 데이터 보존 영역, 프로그램의 로드 영역 등을 가진다.
이때, 정보 처리장치(10)에 접속된 외부 기억장치 등으로부터 RAM(103)에 프로그램을 로드함으로써, 프로그램 메모리를 실현해도 된다. HDD(104)은, 본 실시형태에 따른 복수의 전자 데이터와 프로그램을 기억해 두기 위한 하드디스크다. 유사한 역할을 하는 것으로서 외부 기억장치를 사용해도 된다. 여기에서, 외부 기억장치는, 예를 들면, 미디어(기록 매체)와, 해당 미디어에의 액세스를 실현하기 위한 외부 기억 드라이브로 실현할 수 있다. 이러한 미디어의 예로는, 플렉시블 디스크(FD), CD-ROM, DVD, USB메모리, MO, 플래시 메모리 등이 알려져 있다. 또한, 외부 기억장치는, 네트워크를 거쳐 접속된 서버 장치 등이어도 된다.
표시부(105)는, 가상 시점과 라이브 시각을 설정하는 설정 화면을 표시하기 위한, 디스플레이, 프로젝터, HMD(헤드마운트 디스플레이) 등의 표시 디바이스다. 가상 시점을 설정하는 설정 화면 상에는, 화상 생성장치(110)가 생성한 가상 시점 화상이 표시된다. 통신 I/F(106)는, 공지의 통신기술에 의해, 화상 생성장치(110)d와 외부 기억장치와 유선 혹은 무선으로 접속하고, 양방향으로 정보의 송수신을 행하는 것을 가능하게 한다. 조작부(107)는, 오퍼레이터가 가상 시점을 정보 처리장치(10)에 입력하기 위한 디바이스이며, 조이스틱, 게임 패드, 터치패널, 키보드, 마우스 등의 입력 디바이스를 구비한다.
도2a는, 제1실시형태에 따른 정보 처리장치(10)의 기능 구성의 일례를 나타낸 블럭도다. 정보 처리장치(10)는, 복수의 카메라(109)를 사용하여 촬영한 복수의 화상에 근거한 가상 시점 화상을 생성하는 화상 생성장치(110)에 대하여 가상 시점을 출력한다. 정보 처리장치(10)는, 가상 시점 취득부(201), 현재 시각 취득부(202), 생성 가능 시각 취득부(203), 타임 래그 유지부(204), 라이브 시각 설정부(205) 및 화상 취득부(206)를 가진다. 이들 각 기능부는, CPU(101)이, R0M(102)에 격납된 프로그램을 RAM(103)에 전개하고, 후술하는 각 흐름도에 근거한 처리를 실행함으로써 실현되고 있다.
가상 시점 취득부(201)는, 조작부(107)를 거쳐 입력된 입력 디바이스의 신호를 가상 시점의 정보(가상 시점의 위치, 자세 등을 나타내는 정보)로 변환한다. 현재 시각 취득부(202)는, 외부장치 또는 정보 처리장치(10)의 내부 시계로부터, 현재 시각을 취득한다. 예를 들면, 현재 시각 취득부(202)는, 통신 I/F(106)를 거쳐, 외부장치인 타임서버로부터 현재 시각을 취득한다. 또한, 화상 생성장치(110)가 타임서버 기능을 갖고 있고, 현재 시각 취득부(202)가 화상 생성장치(110)로부터 현재 시각을 취득하여도 된다.
생성 가능 시각 취득부(203)는, 통신 I/F(106)를 거쳐 화상 생성장치(110)에 문의를 행하고, 화상 생성장치(110)로부터의 응답에 근거하여 가상 시점 화상을 생성가능한 시각(생성 가능 시각)을 취득한다. 타임 래그 유지부(204)는, 현재 시각과 생성 가능 시각의 차이인 타임 래그를 유지한다. 라이브 시각 설정부(205)는, 현재 시각 취득부(202)가 취득하는 현재 시각과 타임 래그 유지부(204)가 유지하는 타임 래그에 근거하여, 라이브 방송용의 가상 시점 화상을 생성할 시각(이하, 라이브 시각으로 부른다)을 결정한다. 라이브 시각은, 현재 시각이 진행함에 따라 갱신된다. 화상 취득부(206)는, 가상 시점 취득부(201)가 취득한 가상 시점과 라이브 시각 설정부(205)가 설정한 라이브 시각을, 통신 I/F(106)를 거쳐, 화상 생성장치(110)에 송신한다. 화상 생성장치(110)는, 가상 시점과 라이브 시각에 대한 가상 시점 화상을 생성한다. 화상 취득부(206)는, 송신한 가상 시점과 라이브 시각에 대한 가상 시점 화상을 화상 생성장치(110)로부터 취득한다.
도2b는, 제1실시형태에 따른 화상 생성장치(110)의 기능 구성 예를 나타낸 블럭도다. 화상 데이터 취득부(801)는, 카메라(109)로부터 화상 데이터를 취득한다. 화상처리부(802)는, 화상 데이터 취득부(801)가 취득한 화상 데이터에 대하여, 전경/배경 분리, 전경/배경 모델 생성 등의 화상처리를 행한다. 해당 화상처리를 거쳐, 가상 시점 화상을 생성하기 위한 데이터 세트가 생성된다. 데이터 유지부(803)는, 화상처리부(802)가 행한 처리 결과를 데이터 세트마다 그리고 프레임마다 유지한다. 판정부(811)는, 데이터 유지부(803)에 유지된 데이터 세트의 상황(화상처리의 상황)에 근거하여, 정보 처리장치(10)로부터 지정된 시각에 대한 가상 시점 화상의 생성이 가능한가 아닌지를 판정한다. 예를 들면, 제2실시형태에서 설명하는 구성에서 가상 시점 화상의 생성의 가부를 판정할 수 있다. 물론, 실제로 가상 시점 화상의 생성을 시도하고, 가상 시점 화상을 생성할 수 있었는지 아닌지에 따라 판정하는 것도 가능하다.
송수신부(806)는, 외부장치와의 사이에서 메시지의 송수신 등을 행한다. 본실시형태에서는, 송수신부(806)는, 정보 처리장치(10)로부터, 가상 시점 화상을 생성하기 위한 시각(생성 시각)을 나타내는 메시지를 수신하고, 판정부(811)가, 그 메시지가 나타내는 생성 시각에 대해 가상 시점 화상을 생성할 수 있는지 아닌지를 판정한다. 그 판정 결과는, 송수신부(806)로부터 정보 처리장치(10)에 송신된다. 가상 시점 화상 생성부(812)는, 외부장치인 정보 처리장치(10)로부터 수신한 라이브 시각과 가상 시점에 근거하여, 데이터 유지부(803)에 유지되어 있는 데이터 세트를 사용해서 가상 시점 화상을 생성한다. 생성된 가상 시점 화상은, 송수신부(806)로부터 정보 처리장치(10)에 송신된다.
도3은 제1실시형태에 따른 정보 처리장치의 처리를 나타내는 흐름도다. 도3의 흐름도는, 가상 시점의 설정용 어플리케이션이 기동한 후 어플리케이션이 종료할 때까지의 처리를 나타낸다. 스텝 S302 내지 S307의 처리는, 생성할 가상 시점 화상의 프레임 레이트에 따라, 각각의 프레임에 대해서 1회 루프된다. 예를 들면, 60fps(프레임/초)에서 가상 시점 화상을 생성할 경우, 이 루프는 초당 60회 반복된다.
스텝 S301에 있어서, 생성 가능 시각 취득부(203)는 가상 시점 화상을 생성가능한 시각(생성 가능 시각)을 취득하고, 타임 래그 유지부(204)는, 현재 시각 취득부(202)가 취득한 현재 시각과 생성 가능 시각의 차분을 타임 래그로서 유지한다. 생성 가능 시각은, 현재 시각보다도 이른 시각이다. 본 실시형태의 화상 생성장치(110)는, 현재 시각에 있어서, 생성 가능 시각보다도 이전의 촬상 시각에 대응하는 가상 시점 화상을 생성할 수는 있지만, 생성 가능 시각보다도 이후의 촬상 시각에 대응하는 가상 시점 화상을 생성할 수는 없다. 따라서, 본 실시형태의 생성 가능 시각 취득부(203)는, 현재 시각보다도 이전이며 화상 생성장치(110)가 생성가능한 가상 시점 화상에 대응하는 시각에 관한 시각 정보(생성 가능 시각)를 취득한다. 라이브 시각 설정부(205)는, 취득된 현재 시각으로부터 타임 래그 유지부(204)에 유지되어 있는 타임 래그를 빼서, 그 결과를 라이브 방송용의 가상 시점 화상을 생성하는 생성 시각(라이브 시각)으로 설정한다. 또한, 후술하는 스텝 S307에서는, 타임 래그 유지부(204)에 유지되어 있는 타임 래그를 사용해서 화상 생성장치(110)가 가상 시점 화상의 생성을 요구하는 시각(생성 시각)이 결정된다. 스텝 S301의 처리에 관해서는, 도4를 참조해서 후술한다.
스텝 S302에 있어서, 가상 시점 취득부(201)는, 조작부(107)를 거쳐 입력된 조작 신호를 가상 시점에 관한 정보로 변환함으로써 가상 시점을 결정한다. 가상 시점에는, 가상 시점의 3차원 위치, 방향 및 화각이 포함된다. 단, 가상 시점은, 반드시 이것들 모두를 포함할 필요는 없고, 이것들 중 한 개를 포함하여도 되고, 피사계 심도 등 그 밖의 정보를 포함하여도 된다.
스텝 S303에 있어서, 화상 취득부(206)는, 라이브 시각 설정부(205)가 설정한 라이브 시각과, 가상 시점 취득부(201)가 취득한 이 라이브 시각에 대응하는 가상 시점의 위치 및 방향을 포함하는, 가상 시점 화상을 생성하도록 하는 지시(생성 지시)를, 통신 I/F(106)를 거쳐, 화상 생성장치(110)에 송신한다. 화상 생성장치(110)에서는, 가상 시점 화상 생성부(812)가, 수신한 라이브 시각과 가상 시점을 사용하여, 가상 시점으로부터의 라이브 시각에 시청된 가상 시점 화상을 생성한다. 송수신부(806)는, 생성된 가상 시점 화상을 정보 처리장치(10)에 송신한다. 스텝 S304에 있어서, 화상 취득부(206)는, 통신 I/F(106)를 거쳐, 화상 생성장치(110)가 생성한 가상 시점 화상을 수신 및 취득한다. 스텝 S305에 있어서, 화상 취득부(206)는, 스텝 S304에서 취득한 가상 시점 화상을 표시부(105)에 표시한다. 스텝 S306에 있어서, 가상 시점의 설정용 어플리케이션의 종료 지시가 조작부(107)를 거쳐 수리된 경우에는, 본처리를 종료한다.
스텝 S306에 있어서 종료 지시를 수리하고 않았다고 판정된 경우에는, 스텝 S307에 있어서 라이브 시각 설정부(205)가 라이브 시각을 다음의 라이브 시각(다음에 취득되는 가상 시점 화상의 시각)으로 갱신하고, 절차를 스텝 S302로 되돌린다. 스텝 S307에 있어서의 라이브 시각의 갱신 방법의 예에 대해 설명한다. 라이브 시각 설정부(205)는, 현재 시각 취득부(202)에게 현재 시각을 취득하게 하고, 이 취득한 현재 시각으로부터 타임 래그 유지부(204)가 유지하고 있는 타임 래그를 빼서 얻어진 결과를 라이브 시각으로서 설정한다. 이때, 본 실시형태와 같이, 스텝 S304 내지 S307의 처리를 프레임 레이트에 따라 반복할 경우, 라이브 시각 설정부(205)가, 생성할 가상 시점 화상의 프레임 레이트를 현재의 라이브 시각에 가산해서 가산한 결과를 라이브 시각으로서 설정하여도 된다. 예를 들면, 가상 시점 화상의 프레임 레이트가 60fps인 경우, 라이브 시각 설정부(205)는, 현시점의 라이브 시각에 1/60초를 가산하여 얻어진 결과를 새로운 라이브 시각으로서 설정하여도 된다. 이렇게 해서, 정보 처리장치(10)는, 스텝 S302 내지 S307의 처리를 반복함으로써, 라이브 시각 설정부(205)가 설정한 라이브 시각에 대응하는 가상 시점 화상을 취득한다.
다음에, 스텝 S301에 있어서의 라이브 시각의 설정의 처리에 대해 설명한다. 도4는, 도3의 스텝 S301에 있어서의 라이브 시각을 설정하는 처리의 흐름을 나타내는 흐름도다. 본실시형태에서는, 생성 가능 시각 취득부(203)는, 화상 생성장치(110)에 대하여, 현재 시각에 근거하여 산출한 문의용 시각을 송신한다. 생성 가능 시각 취득부(203)는, 문의용 시각의 송신에 대한 화상 생성장치(110)로부터의 응답이 가상 시점 화상의 생성 가능을 표시하는 경우에, 송신한 문의용 시각에 근거하여 가상 시점 화상의 생성 시각을 결정한다. 이하, 흐름도를 참조하여 상세하게 설명한다.
스텝 S401에 있어서, 현재 시각 취득부(202)가 현재 시각을 취득한다. 현재 시각의 취득 방법으로서는, 공지의 기술을 사용할 수 있다. 예를 들면, 현재 시각 취득부(202)는 정보 처리장치(10)의 내부 시계로부터 현재 시각을 취득하거나, 정보 처리장치(10)의 외부에 설치된 타임서버로부터 현재 시각을 취득해도 된다. 이때, 외부에 설치된 타임서버의 시각이 정보 처리장치(10), 화상 생성장치(110), 카메라(109) 및 카메라(109) 이외의 방송용 카메라의 시각은 동기하고 있는 것이 바람직하다.
스텝 S402에 있어서, 생성 가능 시각 취득부(203)가, 통신 I/F(106)를 거쳐, 현재 시각 취득부(202)가 취득한 현재 시각에 근거하여 산출한 문의용 시각을 화상 생성장치(110)에 송신한다. 문의용 시각의 초기값으로는 현재 시각 취득부(202)가 취득한 현재 시각이 사용되고, 그후에는, 스텝 S404에서 산출되는 시각이 사용된다. 화상 생성장치(110)에서는, 송수신부(806)가 문의용 시각을 받으면, 판정부(811)가 그 시각에 대응하는 가상 시점 화상의 생성이 가능한지 아닌지를 판정한다. 송수신부(806)는, 그 판정 결과를 정보 처리장치(10)(통신 I/F(106))에 송신한다.
스텝 S403에 있어서, 생성 가능 시각 취득부(203)는, 통신 I/F(106)를 거쳐, 가상 시점 화상이 생성 가능한지 아닌지의 판정 결과를 수신하고, 판정 결과에 따라 절차를 분기한다. 판정 결과가 생성이 가능하지 않은 것을 나타낼 경우, 절차는 스텝 S403으로부터 스텝 S404로 진행한다. 스텝 S404에 있어서, 생성 가능 시각 취득부(203)는, 문의용 시각으로부터 1/60초를 빼서 얻어진 시각을 새로운 문의용 시각으로서 설정하고, 이것을 화상 생성장치(110)에 송신한다(스텝 S402). 스텝 S404와 S402의 처리는, 현재 시각으로부터 시간값을 빼서 얻어진 시각을 문의용 시각으로서 설정하고, 이 차분용의 시간값을 서서히(루프마다) 크게 하면서 문의를 반복하는 것과 동등하다. 특히, 본실시형태에서는, 생성되는 가상 시점 화상의 프레임 레이트에 있어서의 프레임 간격의 시간(1/60초)을 차분용의 시간값에 가산함으로써 시간값을 서서히 크게 하고 있다.
한편, 스텝 S403에 있어서 판정 결과가 생성 가능하다는 것을 나타낼 경우, 절차가 스텝 S405로 진행한다. 스텝 S405에 있어서, 라이브 시각 설정부(205)는, 스텝 S402에서 생성 가능 시각 취득부(203)가 문의용 시각으로서 송신한 시각을 라이브 시각으로서 설정한다. 또한, 타임 래그 유지부(204)는, 현재 시각 취득부(202)이 취득한 현재 시각과 설정된 라이브 시각의 차분을 타임 래그로서 유지한다. 이것은, 전술한 차분용의 시간값을 타임 래그로서 유지하는 것과 등가이다. 이렇게 해서, 가상 시점 화상의 생성의 라이브 시각이 설정되고, 타임 래그가 타임 래그 유지부(204)에 유지된다.
이때, 스텝 S404에 있어서, 생성 가능 시각 취득부(203)는 매번 문의용 시각으로부터 1/60초를 빼지만, 이것에 한정되는 것은 아니고, 임의의 크기의 시간을 문의용 시각에서 빼도 된다. 빼는 시간의 크기가 크면, 루프의 수가 감소하므로, 라이브 시각의 설정에 필요한 시간을 단축할 수 있다. 그렇지만, 빼는 시각이 클수록, 실제로 가상 시점 화상을 생성가능한 시각과의 차이가 커진다. 이들 사실들을 고려함으로써, 스텝 S404에 있어서 사용되고 문의용 시각으로부터 빼는 시간으로서, 적절한 값이 설정될 수 있다.
또한, 제1실시형태에서는, 스텝 S401에서 현재 시각 취득부(202)가 현재 시각을 1번만 취득할 경우에 대해 설명했지만, 이것에 한정되는 것은 아니다. 화상 생성장치(110)에 가상 시점 화상의 생성이 가능한지 아닌지를 문의할 때마다 현재 시각을 취득하는 구성을 채용해도 된다. 스텝 S402 내지 스텝 S404의 처리를 다수회 루프하고 있는 동안에 현재 시각이 현재 시각이 아니게 되고, 화상 생성장치(110)에서도, 가상 시점 화상이 생성가능한 시각도 진행하기 때문이다. 현재 시각을 문의할 때마다 취득하는 경우에는, 스텝 S404의 처리의 후에 스텝 S401로 절차를 되돌아가도록 하면 된다. 또한, 이 경우, 스텝 S404에서는, 타임 래그 값을 0으로부터 1/60초씩 루프마다 증가시키고, 스텝 S402에서는, 최신의 현재 시각으로부터 이 타임 래그 값을 빼서 얻어진 시각을 문의용 시각으로서 사용한다. 그리고, 이 루프를 1/60초마다 1회씩 실시함으로써, 보다 적절한 라이브 시각을 구하는 것이 가능하게 된다.
도5a 및 도5b는, 제1실시형태에 있어서의 라이브 시각의 설정 처리를 설명하는 모식도다. 도5a에 있어서, Tnow는 현재 시각을 나타내고, Tready는 현재 시각 Tnow에 있어서 최신의 가상 시점 화상이 생성가능한 시각을 나타낸다. Tprep은, 가상 시점 화상이 생성가능한 상태에 진입하는데 필요한 준비 시간을 표시하고 있다. 현재 시각 Tnow에 있어서, 시각 T1의 가상 시점 화상을 생성하도록 지시가 행해지면, 화상 생성장치(110)는 대응하는 가상 시점 화상을 생성할 수 없다. 이것은, 스포츠 중계에 있어서는 방송중에 영상이 표시되지 않을 가능성이 생기기 때문에, 피할 필요가 있다. 한편, 시각 T3에 해당하는 가상 시점 화상을 생성하도록 지시를 행하면, 화상 생성장치(110)는 화상을 생성할 수 있다. 그렇지만, 다른 방송용 카메라의 화상으로부터의 타임 래그가 커져, 화상 전환 중에 주의가 필요하게 된다. 한편, 시각 T2에 해당하는 가상 시점 화상을 생성하도록 지시를 행하면, 화상 생성장치(110)는 화상을 생성할 수 있고, 다른 방송용 카메라의 화상으로부터의 타임 래그가 작아진다. 따라서, 가능한 한 T2에 가까운 시각을 라이브 시각으로서 설정하는 것이 바람직하다.
도5b는, 도4의 라이브 시각을 설정하는 처리를 모식적으로 나타낸 도면이다. Tnow은 현재 시각을 나타내고, Tready는 현재 시각 Tnow에 있어서 최신의 가상 시점 화상이 생성가능한 시각(생성 가능 시각)을 나타낸다. 현재 시각 Tnow에 있어서, 생성 가능 시각 취득부(203)는, 문의용 시각을 t1, t2, t3으로 순서대로 설정하고, 이것들을 화상 생성장치(110)에 보내, 생성 가능한지 아닌지의 판정 결과를 얻는다(스텝 S402 내지 스텝 S404). 각 시각의 차분은 1/60초다. 시각 t4까지는, 가상 시점 화상이 생성 가능하지 않다고 하는 것을 나타내는 판정 결과를 받지만, Tready보다도 이른 시각 t5을 송신할 때는, 가상 시점 화상이 생성가능하다고 하는 것을 나타내는 판정 결과를 받는다. 그 결과, 절차는, 스텝 S402 내지 스텝 S404의 루프를 벗어나고, 라이브 시각 설정부(205)는 시각 t5를 가상 시점 화상이 생성가능한 시각(생성 가능 시각)으로서 설정한다(스텝 S405).
이때, 스텝 S405에 있어서, 라이브 시각 설정부(205)는, 스텝 S403에서 생성 가능 시각 취득부(203)가 사용한 문의용 시각을 라이브 시각으로서 설정하지만, 이것에 한정되는 것은 아니다. 실제로, 가상 시점 화상이 생성가능한 상태에 진입하는데 필요한 준비 시간은 일정하지 않다. 이것은, 가동하고 있는 카메라(109)의 대수, 그 때의 네트워크 대역 부하, 및 화상처리를 행하는 서버의 가동 상태에 따라서, 다소의 격차가 생기는 일이 있다. 따라서, 문의용 시각으로부터 소정의 마진을 더 빼서 얻어진 시각을 라이브 시각으로서 사용하여도 된다. 이것은, 생성 가능을 표시하는 응답을 화상 생성장치(110)로부터 수신했을 때 설정되어 있었던 차분용의 시간값에 소정의 마진을 가산해서 타임 래그를 설정하는 것과 동등하다. 예를 들면, 타임 래그 유지부(204)는, 라이브 시각과 현재 시각의 차분에 소정의 마진을 가산하여 얻어진 값을 타임 래그로서 유지하여도 된다.
예를 들면, 프레임 레이트가 60fps인 것을 보증하고 있을 경우에는, 격차는 1/60초 이내가 되어야 한다. 따라서, 이 격차 량을 담보하기 위해서, 예를 들면, 1/60초 정도의 마진을 준비하는 것이 바람직하다. 즉, 다음 식이 참이면 된다:
라이브 시각=가상 시점 화상을 생성가능한 시각 - Tα
이때, Tα은 상기한 마진으로, 상기한 바와 같이 1/60초 정도로 설정된다. 또한, 그 경우, 타임 래그 유지부(204)에 유지하는 타임 래그를 다음과 같이 설정하면 된다:
타임 래그=현재 시각 - (가상 시점 화상을 생성가능한 시각 - Tα).
또는, 격차를 소정 시간 또는 소정 횟수 계측을 행한 결과에 근거하여 결정하여도 된다. 본 실시형태에서는, 도4의 처리를 1회만 행할 경우에 대해 설명했지만, 이것에 한정되는 것은 아니고, 격차를 검출하기 위해서 도4의 처리가 복수회 행해져도 된다. 예를 들면, 복수회, 가상 시점 화상이 생성가능한 상태에 진입하는데 필요한 준비 시간을 계측하고, 이 계측된 준비 시간들 중에서 최대의 준비 시간을 타임 래그로 설정해도 된다. 즉, 타임 래그의 취득을 복수회 행하고, 취득된 타임 래그 중 가장 큰 타임 래그를 채용하는 구성을 사용하여도 된다.
이상에서 설명한 바와 같이, 제1실시형태에 따르면, 현재 시각으로부터 거슬러 올라가는 시간에 대해 순차적으로 문의하는 것에 의해, 화상 생성장치(110)가 가상 시점 화상을 생성가능한 시각을 취득한다. 따라서, 가상 시점 화상을 생성가능한 시각을 취득함으로써, 확실하게 가상 시점 화상을 생성가능하고, 또한, 현재 시각으로부터의 지연이 적은 가상 시점 화상을 생성할 수 있다. 따라서, 스포츠의 라이브 중계 등에 있어서, 가상 시점 화상을 확실하게 계속해서 작성하는 것이 가능하며, 또한, 다른 방송용 카메라의 라이브 화상으로부터의 타임 래그를 작게 하는 것이 가능하게 된다. 또한, 방송용 카메라로 촬영한 영상과 가상 시점 화상의 전환으로부터의 영향을 저감하는 것이 가능하게 된다.
제2실시형태
제1실시형태에서는, 정보 처리장치(10)가 현재 시각으로부터의 타임 래그를 연속적으로 크게 하면서 가상 시점 화상의 생성 가부를 문의하는 것에 의해, 화상 생성장치(110)가 가상 시점 화상을 생성가능한 시각을 취득하는 구성을 설명했다. 제2실시형태에서는, 정보 처리장치(10)로부터의 문의에 응답하여, 화상 생성장치(110)가 가상 시점 화상을 생성가능한 시각을 되돌리는 구성에 대해 설명한다. 화상 생성 시스템 및 정보 처리장치(10)의 구성은 제1실시형태(도1 및 도2a)와 유사하다.
도6은, 제2실시형태에 있어서의, 도3의 스텝 S301에 있어서의 라이브 시각을 설정하는 처리를 나타내는 흐름도다. 도4와 같은 처리를 행하는 스텝에는 같은 번호를 붙이고 있다. 제2실시형태에서는, 생성 가능 시각 취득부(203)가 화상 생성장치(110)에 대하여 가상 시점 화상이 생성가능한 시각을 문의하면, 화상 생성장치(110)는 이 문의에 응답하여 가상 시점 화상을 생성가능한 시각을 되돌린다. 생성 가능 시각 취득부(203)는, 화상 생성장치(110)로부터의 이 응답에 포함되는 시각에 근거하여, 가상 시점 화상의 생성 시각을 결정한다. 이하, 도6의 흐름도를 참조하여 설명한다.
스텝 S401에 있어서, 현재 시각 취득부(202)는 현재 시각을 취득한다. 이 처리는, 제1실시형태에서 설명한 바와 같다. 다음에, 스텝 S601에 있어서, 생성 가능 시각 취득부(203)는, 통신 I/F(106)를 거쳐, 화상 생성장치(110)에 가상 시점 화상을 생성가능한 시각을 문의한다. 화상 생성장치(110)는, 이 문의에 응답하여 가상 시점 화상을 생성가능한 시각을 정보 처리장치(10)에 송신한다. 스텝 S602에 있어서, 생성 가능 시각 취득부(203)는, 통신 I/F(106)를 거쳐, 가상 시점 화상을 생성가능한 시각을 화상 생성장치(110)로부터 수신한다. 스텝 S405에 있어서, 라이브 시각 설정부(205)는, 생성 가능 시각 취득부(203)가 스텝 S602에서 취득한 시각을 라이브 시각으로서 설정한다. 또한, 타임 래그 유지부(204)는, 현재 시각 취득부(202)가 스텝 S401에서 취득한 현재 시각(문의를 행한 시각)과 설정된 라이브 시각(응답에 포함되어 있는 시각)의 차분에 근거하여 타임 래그를 설정하고, 이 타임 래그를 보존한다. 이때, 이 차분을 타임 래그로서 사용해도 되지만, 제1실시형태에서 설명한 것 마진을 고려해서 타임 래그를 설정해도 된다. 또한, 제1실시형태와 마찬가지로, 화상 생성장치(110)로부터의 가상 시점 화상을 생성가능한 시각의 취득을 복수회 행하고, 복수의 시각 중에서 1개(예를 들면, 차분이 최대가 되는 시각)를 채용하는 구성을 사용해도 된다.
제2실시형태에서는, 화상 생성장치(110)가, 문의를 받은 시점에서, 가상 시점 화상을 생성가능한 시각을 검지하는 기능을 갖고 있다. 도7a 및 도 7b를 참조하여, 화상 생성장치(110)가 가상 시점 화상을 생성가능한 시각을 검지 및 송신하는 방법을 설명한다.
도7a 및 도7b는, 제2실시형태에 있어서의 화상 생성장치(110)의 데이터 준비 상황을 나타내는 모식도다. 도7a에 있어서, 화상 생성장치(110)는 데이터베이스(702)를 가진다. 데이터베이스(702)에는, 카메라(109)로 촬상된 화상 데이터, 화상 데이터에 대해 화상처리를 행해서 얻어진 전경 및 배경의 모델 데이터 등을 포함하는 데이터 세트가 격납되어 있다. 데이터 세트(703)는 각 시각(프레임)의 데이터 준비 상황을 표시하고 있다. 데이터 세트(703)는, 시각 t1으로부터 t5까지는 가상 시점 화상을 생성하기 위해서 필요한 데이터가 준비되고, 시각 t6에서는 준비중인 것을 나타내고 있다. 즉, 데이터 세트를 취득중인 화상 생성장치(110)는, 취득된 데이터 세트에 근거하여 시각 t5까지는 가상 화상을 생성가능하고, 시각 t6에서는 가상 화상을 생성할 수 없다. 데이터가 준비될 때, 플래그를 설정하는 것 등의 처리를 행하는 경우, 준비 상황의 검지는 용이하게 실현가능하다.
문의 메시지(721)는, 가상 시점 화상을 생성가능한 시각을 문의하기 위한 메시지의 예다. 제2실시형태에서는, JSON포맷에 준거한 경우의 일례를 설명한다. 여기에서는, 키로서 "inquiry"가 설정되고, 값으로서 "available time"이 설정되어 있다. 정보 처리장치(10)는, 이 문의 메시지(721)를 사용하여 가상 시점 영상을 생성가능한 시각을 화상 생성장치(110)에 문의한다. 한편, 응답 메시지(722)는, 문의에 대한 응답으로서 송신되는 메시지의 예다. 응답 메시지(722)는, 화상 생성장치(110)로부터 정보 처리장치(10)에 송신된다. 응답 메시지(722)에는, 문의한 내용이 키로서 기재되고, 그 값으로서 가상 시점 화상을 생성가능한 시각이 기재되어 있다. 응답 메시지(722)의 예에서는, 가상 시점 화상을 생성가능한 시각 t5가 기재되어 있다. 이때, 도7a에서는, 시각을 t1, t2 등의 변수로 표시하고 있지만, "12:34:56:12"와 같이, 시, 분, 초, 프레임 번호로 표현하는 것이 일반적이다. 이러한 형식은 타임 코드로 불린다. 말할 필요도 없는 것이지만, 화상 생성장치(110)과의 통신에서 사용하는 메시지는, 화상 생성장치110)와 정보 처리장치(10) 모두가 이 메시지를 해석가능하면 임의의 데이터 포맷이어도 된다.
도7b는, 가상 시점 화상을 동시에 복수 작성할 경우의 모식도다. 시점을 설정하는 정보 처리장치가 2개(10 및 10a) 존재하고 있다. 화상 생성장치(110)의 데이터베이스(702)에는, 데이터 세트가 3개(703, 704, 705) 존재하고 있다. 복수의 데이터 세트가 존재하는 이유는, 카메라(109)가 서로 다른 에어리어를 촬상하기 때문이다. 축구의 경우를 예로 설명하면, 홈팀측의 골 부근을 촬상하는 카메라(109)와, 어웨이팀측의 골 부근을 촬상하는 카메라(109)와 같이 2조의 카메라 세트를 준비하는 일이 있다. 홈팀측에서 행해진 플레이의 가상 시점 화상을 생성하는 경우에는 데이터 세트 703을 사용하고, 어웨이팀측에서 행해진 플레이의 가상 시점 화상을 생성하는 경우에는 데이터 세트 704를 사용한다.
이때, 시점이 다른 가상 시점 화상을 복수 생성할 경우, 데이터베이스에의 액세스가 보틀넥이 되어 화상 생성이 지연되는 경우가 있다. 이것을 회피하기 위해서, 데이터베이스를 병렬화하는 것이 유효하다. 병렬화의 처리로 인해, 데이터 세트 703과 데이터 세트 704와 데이터 세트 705 사이에서, 가상 시점 화상을 생성할 수 있는 시각이 약간 다를 수 있다. 도7b에서는, 데이터 세트 703은 t5까지 가상 시점 화상을 생성하기 위한 데이터가 준비되는 것을 표시하고, 데이터 세트 704는 t6까지 가상 시점 화상을 생성하기 위한 데이터가 준비되는 것을 표시하고, 데이터 세트 705는 t4까지 가상 시점 화상을 생성하기 위한 데이터가 준비되는 것을 표시한다.
라이브 중계에서의 각 카메라가 출력하는 화상은 시각 동기되어 있는 것이 바람직하다. 마찬가지로, 다른 정보 처리장치가 설정하는 라이브 시각은 동기하고 있는 것이 바람직하다. 이와 같은 구성으로 함으로써, 생성되는 가상 시점 화상이 시각 동기하게 된다. 이것의 실현 방법으로서, 데이터 세트 중에서 가장 데이터의 준비 상황이 느린 데이터 세트의 시각에 일치하도록 라이브 시각을 조정하는 것이 생각된다. 이것을 실현하기 위해서, 화상 생성장치(110)는, 각 데이터 세트의 준비 상황을 파악하고, 준비 상황이 가장 느린 데이터 세트의 시각을 되돌린다. 도7b에서는, 화상 생성장치(110)는, 가장 데이터의 준비 상황이 느린 데이터 세트 705의 시각 t4를 되돌린다.
정보 처리장치(10)가 문의 메시지 731을 화상 생성장치(110)에 보내면, 화상 생성장치(110)는 응답 메시지 732를 되돌린다. 문의 메시지 731은, 도7a의 문의 메시지(721)와 같다. 응답 메시지 732에는, "available time"으로서 t4가 설정되어 있다. 마찬가지로, 정보 처리장치 10a가 문의 메시지 733을 화상 생성장치(110)에 보내면, 화상 생성장치(110)는, 응답 메시지 734를 되돌린다. 이 경우도, 응답 메시지 734에는, "available time"으로서 t4가 설정되어 있다.
이상과 같은 동작을 행하는 제2실시형태의 화상 생성장치(110)에 관하여 설명한다. 이때, 이하에서는, 도7b에 나타낸 것과 같이, 복수의 가상 시점 화상을 동시에 생성할 경우의 구성을 설명한다. 도8은, 제2실시형태에 따른, 화상 생성장치(110)가 가상 시점 화상을 동시에 복수 작성할 경우의 처리의 기능 구성을 나타내는 블록도다. 제1실시형태(도2b)와 유사한 구성에는 동일한 참조번호를 붙이고 있다. 이때, 도8에서는, 가상 시점 화상 생성부(812)의 도시가 생략되어 있다.
화상 데이터 취득부(801)는, 카메라(109)로부터 화상 데이터를 취득한다. 화상처리부(802)는, 화상 데이터 취득부(801)가 취득한 화상 데이터에 대하여, 전경/배경 분리 및 전경/배경 모델 생성 등의 화상처리를 행한다. 데이터 유지부(803)는, 화상처리부(802)의 처리 결과를 데이터 세트마다 프레임마다 유지한다. 준비 상황 검출부(804)는 데이터 세트의 준비 상황을 검지한다. 본예에서는, 데이터 세트는 복수 존재하고 있고, 준비 상황 검출부(804)는, 각 데이터 세트의 어느 프레임까지가 가상 시점 화상을 생성가능한지를, 데이터 유지부(803)의 내용을 확인함으로써 검지한다. 준비 상황 유지부(805)는, 준비 상황 검출부(804)에 의한 준비 상황의 검지 결과를 유지한다. 송수신부(806)는, 정보 처리장치 10 및 10a로부터의 문의 메시지를 수신하는 동시에, 이 문의에 대한 응답 메시지를 정보 처리장치 10 및 10a에 송신한다.
도9는, 화상 생성장치(110)가 복수의 가상 시점 화상을 동시에 작성하는 처리를 나타내는 흐름도다. 화상 생성장치(110)는, 데이터 세트 중에서 가장 데이터의 준비 상황이 가장 느린 데이터 세트의 시각을 가상 시점 화상이 생성가능한 시각으로서 검지하고, 이 검지된 시간을 송신한다.
스텝 S901에 있어서, 화상 데이터 취득부(801)는, 카메라(109)로부터의 화상 데이터를 수신한다. 화상 데이터에는, 복수의 카메라(109)로 촬상된 화상 데이터가 포함된다. 스텝 S902에 있어서, 화상처리부(802)는, 화상 데이터 취득부(801)가 취득한 화상 데이터에 대하여, 전경/배경 분리 및 전경/배경 모델 생성 등의 화상처리를 행한다. 스텝 S903에 있어서, 데이터 유지부(803)는, 화상처리부(802)의 처리 결과를 데이터 세트마다 프레임마다 유지한다.
스텝 S904에 있어서, 준비 상황 검출부(804)는, 데이터 유지부(803)가 유지하는 각 데이터 세트의 각 프레임의 데이터 준비 상황을 확인한다. 데이터 준비 상황은, 어떤 프레임의 가상 시점 화상을 생성하기 위해서 필요하게 되는 전경/배경 모델 등의 데이터가 준비되어 있는지 아닌지를 나타낸다. 어떤 데이터 세트의 어떤 프레임의 데이터 준비가 새롭게 완료하고 있는 것을 검지한 경우에는(스텝 S904에서 YES), 절차가 스텝 S905로 진행한다. 한편, 데이터 준비 상황에 변화가 없는 경우에는(스텝 S904에서 NO), 절차가 스텝 S906으로 진행한다.
스텝 S905에 있어서, 준비 상황 검출부(804)는, 새롭게 데이터 준비가 완료한 프레임의 준비 상황을 "완료"로 설정하고, 준비 상황을 준비 상황 유지부(805)에 유지한다. 더구나, 준비 상황 검출부(804)는, 모든 데이터 세트 중에서 가장 느린 데이터 세트에 있어서의 준비 상황(데이터 준비가 완료하고 있는 프레임)을, 가상 시점 화상이 생성가능한 시각으로서 준비 상황 유지부(805)에게 유지하게 한다.
스텝 S906에 있어서, 송수신부(806)가, 정보 처리장치(10)로부터의 문의를 검지했을 경우, 절차는 스텝 S907로 진행한다. 스텝 S907에 있어서, 송수신부(806)는, 준비 상황 유지부(805)에 유지되어 있는 가상 시점 화상이 생성가능한 시각을 취득한다. 스텝 S908에 있어서, 송수신부(806)는, 문의를 송신한 정보 처리장치(10)에, 스텝 S907에서 취득한 시각을 송신한다. 그후, 절차는 S801로 되돌아온다. 한편, 스텝 S906에서 문의를 검지하지 않았다고 판정되었을 경우, 절차는 그대로 스텝 S901로 되돌아온다.
이때, 제1실시형태의 스텝 S405에서는, 정보 처리장치(10)가 격차를 억제할 수 있도록 하는 마진 Tα를 설치할 경우의 설명을 했다. 제2실시형태에서 설명한 바와 같이, 화상 생성장치(110)가 복수의 데이터 세트를 유지할 경우에 있어서도, 화상 생성장치(110)의 준비 상황 검출부(804)가 마진 Tα를 결정하는 것이 바람직하다. 복수의 정보 처리장치(10)가 각각 마진을 설정해 버리면, 라이브 시각이 마진으로 인해 변동하기 때문에, 시각 동기가 담보되지 않는다. 준비 상황 검출부(804)에서 공통인 마진 Tα를 설치함으로써 시각 동기를 담보하는 것이 가능하다.
이상에서 설명한 바와 같이, 제2실시형태에서는, 가상 시점 화상을 생성가능한 시각이, 정보 처리장치(10)가 화상 생성장치(110)에게 문의한 결과로서 취득된다. 이에 따라, 제1실시형태보다도 단시간에 가상 시점 화상을 생성가능한 시각을 얻을 수 있다.
제3실시형태
제1실시형태 및 제2실시형태에서는, 정보 처리장치(10)와 화상 생성장치(110)가 협조한 결과로써 가상 시점 화상을 생성가능한 시각을 취득할 경우에 대해 설명했지만, 이것에 한정되는 것은 아니다. 제3실시형태에서는, 유저가 가상 시점 화상의 생성 시각(문의용 시각)을 입력하고, 화상 생성장치(110)가 지정된 시각에서 가상 시점 화상을 생성가능한지 아닌지를 정보 처리장치(10)에 회신하는 구성을 설명한다. 이때, 정보 처리장치(10) 및 화상 생성장치(110)의 기능 구성은, 제1실시형태(도2a)와 유사하다. 단, 생성 가능 시각 취득부(203) 및 타임 래그 유지부(204)는 이하와 같이 기능한다.
도10은, 제3실시형태에 따른 라이브 시각의 설정 처리(도3의 스텝 S301의 처리)를 나타내는 흐름도다. 스텝 S1001에 있어서, 생성 가능 시각 취득부(203)는 조작부(107)를 거쳐 유저가 의한 시각을 입력하는 것을 대기하고, 시각 입력을 검지하면 절차를 스텝 S1002로 진행한다. 스텝 S1002에 있어서, 생성 가능 시각 취득부(203)는, 조작부(107)를 거쳐 입력된 시각을 취득한다. 스텝 S1003에 있어서, 라이브 시각 설정부(205)는, 생성 가능 시각 취득부(203)가 취득한 시각을 라이브 시각으로서 설정하고, 타임 래그 유지부(204)는, 라이브 시각과 현재 시각의 차분을 타임 래그로서 유지한다. 스텝 S1004에 있어서, 화상 취득부(206)는, 라이브 시각 설정부(205)가 설정한 라이브 시각과 시점을, 통신 I/F(106)를 거쳐, 화상 생성장치(110)에 송신한다(시험 송신). 이 시험 송신은, 화상 생성장치(110)에 송신되는 문의의 일례다. 여기에서 송신되는 시점은, 시험 송신용으로 사전에 준비해 둔 시점이거나, 기동시의 초기값 등 임의의 시점이어도 된다.
스텝 S1005에 있어서, 라이브 시각 설정부(205)는, 통신 I/F(106)에 있어서 화상 생성장치(110)가 생성한 가상 시점 화상이 수신되었는지를 판정한다. 화상 생성장치(110)가 가상 시점 화상을 생성할 수 없었던 경우에는, 생성 에러의 신호가 수신된다. 스텝 S1006에 있어서, 라이브 시각 설정부(205)는, 스텝 S1005에 있어서의 수신 결과를 판정하여, 화상 생성을 할 수 있었던 경우에는 본처리를 종료한다. 이 경우, 스텝 S1003에서 유지된 타임 래그가, 이후의 가상 시점 화상의 생성 시각의 산출에 사용된다. 즉, 화상 생성장치(110)로부터 생성 가능을 표시하는 응답을 수신했을 때의 유저 입력 시각과, 이 유저 입력 시각을 송신했을 때의 현재 시각과의 시간차에 근거하여 타임 래그가 설정된다. 이후, 라이브 시각 설정부(205)는, 타임 래그를 현재 시각으로부터 빼는 것에 의해 라이브 시각(가상 시점 화상의 생성 시각)을 갱신한다. 한편, 화상 생성을 할 수 없었던 경우에는 절차를 스텝 S1001로 되돌린다. 이때, 후술하는 바와 같이, 라이브 시각 설정부(205)는, 조작부(107)에, 지정된 시각에 대해서는 가상 시점 화상을 생성할 수 없다는 것을 나타내는 메시지를 표시한다.
도11a 내지 도 11c는, 조작부(107)에 의해 실현되는, 유저가 가상 시점 화상을 생성하는 시각의 지정을 접수하기 위한 GUI와 입력 디바이스의 예를 나타낸 모식도다.
도11a는, GUI의 폼으로 시각을 문자로 입력할 경우의 모식도다. 참조번호 1101은 시각 설정용의 윈도우를 나타내고, 참조번호 1102는 현재 시각의 표시 영역을 나타내고, 참조번호 1103은 시각의 입력 폼을 나타내고, 참조번호 1104는 유저가 입력한 시각에 대해 가상 시점 화상을 생성할 수 있는지 아닌지의 판정 결과를 표시하는 영역을 나타낸다. 유저는, 현재 시각에 근거하여, 라이브 시각을 지정하기 위한 조작을 입력하므로, 현재 시각 표시 영역(1102)이 시각 입력 폼(1103)과 동일 화면 위에 배치되어 있는 것이 바람직하다. 판정 결과 표시 영역(1104)에는, 스텝 S1006의 판정 결과가 표시된다.
도11b는, GUI의 폼으로, 가상 시점 화상이 생성가능한 상태에 진입하기 위해 필요한 준비 시간을 입력할 경우의 모식도다. 참조번호 1121은 시각 설정용의 윈도우를 나타내고, 참조번호 1122는 현재 시각으로부터의 시각 길이(준비 시간)를 설정하기 위한 입력 슬라이더를 나타낸다. 참조번호 1123은 입력 슬라이더(1122)의 바에 해당하는 GUI 부품을 나타내고, 참조번호 1124는 과거의 이력으로부터 산출한 권장값을 나타내는 바를 표시한다. 판정 결과 표시 영역(1125)은 유저가 입력한 준비 시간에서 가상 시점 화상을 생성할 수 있는지 아닌지(S1106의 판정 결과)를 표시하는 영역이다. 준비 시간은 타임 래그 유지부(204)에 유지된다. 준비 시간을 슬라이더를 사용하여 입력함으로써, 유저가 시각을 문자로 입력하는 수고를 저감할 수 있다.
도11c는, 입력 디바이스에 가상 시점 화상이 생성가능한 상태에 진입하는데 필요한 준비 시간을 입력할 경우의 모식도다. 참조번호 1140은 입력 디바이스를 나타내고, 참조번호 1141은, 준비 시간을 입력하기 위한 다이얼을 나타낸다. 또한, 참조번호 1142는, 다이얼(1141)을 조작함으로써 설정되는 준비 시간을 표시하는 영역을 나타낸다. 판정 결과 표시 영역(1143)은, 유저가 입력한 준비 시간에 대해 가상 시점 화상을 생성할 수 있는지 아닌지(S1106의 판정 결과)를 표시하는 영역이다. 이때, 다이얼(1141) 대신에 슬라이더 등의 임의의 디바이스 부품을 사용해도 된다.
이때, 스텝 S1004에서는, 라이브 시각과 함께 가상 시점을 송신하고 있지만 이것에 한정되는 것은 아니고, 라이브 시각만을 송신하여도 된다. 또한, 화상 생성장치(110)는, 가상 시점 화상을 생성할 수 있을 경우에, 가상 시점 화상을 되돌리는 것 대신에, 제1실시형태와 같이 가상 시점 화상을 생성 가능한 것을 나타내는 신호를 송신하여도 된다. 그 경우는, 예를 들면, 라이브 시각 설정부(205)가, 스텝 S1005에 있어서, 통신 I/F(106)를 거쳐, 가상 시점 화상을 생성 가능한지 아닌지를 나타내는 신호를 수신한다. 또한, 판정 결과 표시 영역 1104, 1125, 1143에는, 스텝 S1006에서의 판정의 결과가 표시된다. 스텝 S1006에 있어서, 화상 생성장치(110)로부터의 응답이 화상 생성 가능하지 않은 것을 나타낼 경우, 이들 판정 결과 표시 영역에는 이 효과에 대한 메시지(FAIL)가 표시되고, 유저에게 시각의 재입력을 촉구하게 된다.
도12a 내지 도12c는, 제3실시형태에 있어서의 송수신 메시지의 일례를 나타낸 모식도다. 도12a는, 정보 처리장치(10)가 화상 생성장치(110)에 문의할 때의 메시지 1201을 나타낸다. 메시지 1201은, 스텝 S1004에 있어서 송신된다. 본예에서는, "0:33:21:45 프레임"의 가상 시점 화상이 생성 가능한지를 문의하고 있다. 도12b 및 도12c는, 문의의 메시지 1201에 대한 응답 메시지의 예를 나타낸다. 도12b는 가상 시점 화상이 생성 가능한 것을 통지하는 메시지 1202의 일례를 나타낸 것이고, 도12c는 가상 시점 화상이 생성 가능하지 않은 것을 통지하는 메시지 1203의 일례를 나타낸 것이다. 메시지 1202 및 1203은, 스텝 S1005에 있어서 수신된다. 말할 필요도 없는 것이지만, 화상 생성장치(110)과의 통신에서 사용되는 메시지는, 화상 생성장치110)와 정보 처리장치(10) 모두가 이 메시지를 해석가능하면 임의의 데이터 포맷이어도 된다.
이상에서 설명한 바와 같이, 제3실시형태에 따르면, 유저가 가상 시점 화상을 생성 가능 것으로 추정되는 시각 혹은 희망하는 시각을 문의용 시각으로서 입력한 결과로써, 라이브 시각을 설정하는 것이 가능하다. 이에 따라, 정보 처리장치(10)와 화상 생성장치(110)에 가상 시점 화상을 생성가능한 시각을 구하는 기능을 구현할 필요가 없다는 이점이 있다.
제4실시형태
제1 내지 제3실시형태에서는, 라이브 방송용의 가상 시점 화상을 생성할 때, 정보 처리장치(10)가 가상 시점 화상을 생성가능한 시각을 고려하여 가상 시점 화상을 생성하고 싶은 시각과 가상 시점을 송신할 경우에 대해 설명했지만, 이것에 한정되는 것은 아니다. 제4실시형태에서는, 라이브 방송용의 가상 시점 화상을 생성할 때에, 정보 처리장치(10)가 시각을 송신하지 않고 가상 시점을 송신하는 구성에 대해 설명한다.
도13a는, 본 실시형태에 있어서의 정보 처리장치(10)의 기능 구성을 나타내는 블럭도다. 도2a와 유사한 기능 블록에는 같은 참조번호를 붙이고 있다. 라이브/리플레이 판정부(1301)는, 설정할 시점이 라이브 방송용 시점인지, 리플레이용 시점인지 판정한다. 이 판정 방법은 임의의 방법이어도 되고, 예를 들어, GUI 등에 라이브/리플레이의 전환 버튼을 설치한다. 리플레이 시각 설정부(1302)은, 리플레이 화상을 생성하는 시각을 설정한다. 리플레이 시각의 설정 방법은 임의의 방법이어도 되고, 예를 들어, GUI 입력이나 입력 디바이스를 준비한다.
도13b는, 화상 생성장치(110)의 기능 구성 예를 나타낸 블럭도다. 도2b와 유사한 기능 블록에는 같은 참조번호를 붙이고 있다. 라이브 판정부(814)는, 정보 처리장치(10)로부터의 가상 시점의 메시지가 라이브 방송용의 가상 시점 화상의 생성을 지시하고 있는지, 또는 리플레이용의 가상 시점 화상의 생성을 지시하고 있는지를 판정한다. 시각 설정부(813)는, 데이터 유지부(803)에 있어서의 데이터의 설정 상황에 근거하여, 가상 시점 화상을 생성가능한 시각을 설정한다.
도14는, 제4실시형태에 있어서의 정보 처리장치(10)의 처리를 나타내는 흐름도이다. 도3과 같은 처리를 행하는 스텝에는 같은 번호를 붙이고있다. 스텝 S1401에 있어서, 라이브/리플레이 판정부(1301)는, 생성할 가상 시점 화상이 라이브 방송용의 가상 시점 화상인지 리플레이용의 가상 시점 화상인지를 판정한다. 라이브 방송용의 가상 시점 화상인 경우, 절차를 스텝 S302로 진행하고, 리플레이용의 가상 시점 화상인 경우, 절차는 스텝 S1404로 진행한다.
스텝 S302에 있어서, 가상 시점 취득부(201)는, 조작부(107)를 거쳐 입력된 신호로부터 가상 시점을 취득한다. 스텝 S1402에 있어서, 화상 취득부(206)는, 가상 시점 취득부(201)가 취득한 가상 시점을, 통신 I/F(106)를 거쳐, 화상 생성장치(110)에 송신한다. 여기에서는 시각은 송신되지 않는다. 정보 처리장치(10)로부터 가상 시점을 수신한 화상 생성장치(110)는, 가능한한 최신의 촬영 화상을 사용해서 가상 시점 화상을 생성하고, 생성된 가상 시점 화상을 정보 처리장치(10)에 송신한다. 스텝 S304에 있어서, 통신 I/F(106)는, 화상 생성장치(110)가 생성하고 송신한 가상 시점 화상을 수신한다. 스텝 S305에 있어서, 표시부(105)는, 통신 I/F(106)가 수신한 가상 시점 화상을 표시한다. 스텝 S306에 있어서, 가상 시점의 설정용 어플리케이션의 종료 지시가 조작부(107)를 거쳐 수리되었을 경우, 이 절차는 종료한다. 종료 지시를 수리하지 않은 경우, 절차는 스텝 S1401로 되돌아온다.
스텝 S1404에서는, 리플레이 시각 설정부(1302)가 리플레이 화상을 생성할 시각을 설정한다. 스텝 S302에 있어서, 가상 시점 취득부(201)는, 조작부(107)를 거쳐 입력된 신호로부터 가상 시점을 취득한다. 스텝 S1405에 있어서, 화상 취득부(206)는, 가상 시점 취득부(201)가 취득한 가상 시점과 리플레이 시각 설정부(1302)가 설정한 리플레이 시각을, 통신 I/F(106)를 거쳐, 화상 생성장치(110)에 송신한다. 가상 시점과 리플레이 시각을 수신한 화상 생성장치(110)는, 가상 시점과 리플레이 시각에 해당하는 가상 시점 화상을 생성하고, 생성된 가상 시점 화상을 정보 처리장치(10)에 송신한다. 스텝 S304 내지 S306의 동작은 전술한 바와 같다.
도14에 있어서, 처리 1421이 라이브 방송용 화상을 생성하는 처리를 나타내고 있고, 처리 1422가 리플레이용 화상을 생성하는 처리를 나타내고 있다. 처리 1421과 처리 1422를 비교하면, 라이브 방송에서는 시각은 설정되지 않고, 리플레이용에 대해서는 시각이 설정된다. 이상과 같이, 제4실시형태에서는, 화상 취득부(206)는, 라이브/리플레이 판정부(1301)에 의해 라이브 방송용의 가상 시점 화상의 생성이 설정되고 있다고 판정되었을 경우에, 화상 생성장치(110)에 가상 시점 화상을 생성하기 위한 가상 시점을 송신하지만, 생성 시각을 송신하지 않는다. 한편, 라이브/리플레이 판정부(1301)에 의해 리플레이용의 가상 시점 화상의 생성이 설정되어 있다고 판정되었을 경우에는, 화상 취득부(206)는, 화상 생성장치(110)에 가상 시점과 생성 시각을 송신한다. 따라서, 정보 처리장치(10)는, 화상 생성장치(110)에 출력할, 가상 시점 화상의 생성 지시에 시각의 지정을 포함시키는 모드(리플레이 모드)와, 가상 시점 화상의 생성 지시에 시각의 지정을 포함시키지 않는 모드(라이브 모드) 사이에서 전환가능하다.
도15a 및 도15b는, 스텝 S1402에서 송신되는 라이브 방송용의 가상 시점의 메시지와, 스텝 S1405에서 송신되는 리플레이용의 가상 시점의 메시지의 예를 나타낸 모식도다. 도15a에는, 스텝 S1402에서 송신되는 라이브 방송용의 가상 시점 메시지(1501)가 표시되고 있다. "time code"에 "LIVE"를 지정함으로써, 이 가상 시점 메시지(1501)가 라이브 방송용의 가상 시점 메시지인 것을 나타내고 있다. 한편, 도15b는, 스텝 S1405에서 송신되는 리플레이용의 가상 시점 메시지(1502)를 나타낸다. 가상 시점 메시지(1502)의 "time code"에는, 리플레이 화상을 생성하는 시각이 설정되어 있다.
다음에, 제4실시형태에 있어서의 화상 생성장치(110)에 관하여 설명한다. 화상 생성장치(110)는, 도15a 및 도15b에 나타낸 가상 시점 메시지를 수신하면, 라이브 판정부(814)가 수신한 가상 시점 메시지를 해석하고, 수신된 가상 시점 메시지가 라이브 방송용의 가상 시점 메시지인지 아닌지의 판정을 행한다. 수신된 가상 시점 메시지가 라이브 방송용의 가상 시점 메시지인지 아닌지의 판정은, 가상 시점 메시지의 "time code"에 "LIVE"가 설정되어 있는지 아닌지에 따라 행해질 수 있다. 본실시형태에서는, 라이브 시각의 설정을 화상 생성장치(110)의 시각 설정부(813)에서 행한다. 시각 설정부(813)는, 예를 들면, 도2a(정보 처리장치(10))에 나타낸 각 모듈을 갖고, 도4에 나타낸 처리에 따라서 라이브 시각을 설정한다. 이때, 스텝 S402(시각의 송신 처리)는 불필요하다. 물론, 제2실시형태에서 설명한 것과 같은 구성에 따라, 화상 생성장치(110)가 가상 시점 화상을 생성가능한 시각을 취득하고, 이것을 라이브 시각으로 설정하는 구성을 채용하여도 된다. 가상 시점 화상 생성부(812)는, 라이브 판정부(814)에 의해 수신된 가상 시점 메시지가 라이브 방송용의 가상 시점 메시지로 판정되었을 경우에는, 시각 설정부(813)에 의해 설정된 시각에 대해 가상 시점 화상을 생성한다. 한편, 가상 시점 화상 생성부(812)는, 라이브 판정부(814)에 의해 수신된 가상 시점 메시지가 리플레이용의 가상 시점 메시지인 것으로 판정되었을 경우에는, 수신한 메시지에 포함되어 있는 생성 시각에 대응하는 가상 시점 화상을 생성한다.
이상에서 설명한 바와 같이, 제4실시형태에 따르면, 화상 생성장치(110)가 라이브 시각을 설정할 수 있다. 이에 따라, 라이브 방송용의 가상 시점 화상을 생성할 때에, 정보 처리장치가 시각을 지정할 필요가 없어진다.
기타의 변형예
제1실시형태에 있어서, 현재 시각으로부터 순차 거슬러 올라가 문의하는 것에 의해, 화상 생성장치(110)가 가상 시점 화상을 생성가능한 시각을 취득할 경우에 대해 설명했다. 그렇지만, 이것에 한정되는 것은 아니고, 2분 탐색을 통해 문의하는 것으로 가상 시점 화상을 생성가능한 시각을 취득해도 된다. 예를 들면, 32초, 16초, 8초, 4초, …, 1초, 1/2초, 1/4초, 1/8초, 1/16초와, 그후 1/32초와 같이 문의 간격을 제어한다. 32초에 관해 생성가능했던 경우에는, 16초에 관해 생성 가능한지 아닌지를 문의를 행한다. 16초에 관해 생성할 수 없는 경우에는, 16초에 8초를 가산하여 얻어진 24초에 관해 문의를 행한다. 24초에 관해 생성할 수 있었던 경우에는, 24초로부터 4초 감산하여 얻어진 20초에 관해 문의를 행한다. 이것을 반복하여, 서서히 생성가능한 시각을 구하는 것도 유효하다. 이 방법의 이점은, 일정한 문의 횟수를 통해 확실하게 생성가능한 시각을 구할 수 있는 점이다.
제1 내지 제4실시형태에 있어서, 주로 라이브 방송용의 가상 시점 화상을 생성가능한 시각의 취득 방법에 대해 설명했다. 가상 시점 화상을 생성가능한 시각을 취득할 때에 얻어지고 가상 시점 화상이 생성가능한 상태에 진압하기 위해 필요한 준비 시간은, 리플레이용의 가상 시점 화상을 생성할 때에도 이용가능하다. 예를 들면, 현재 시각으로부터 준비 시간을 빼서 얻어진 시각보다도 이후의 시각에 대응하는 가상 시점 화상을 생성 가능할 수 없다는 사실을, 리플레이 시각의 설정시의 제약으로서 이용하는 것이 가능하다. 리플레이 시각의 설정을 입력 디바이스의 다이얼을 사용하여 지정할 경우를 생각한다. 상기한 제약을 만족하지 않는 방향으로는 다이얼을 회전이 되지 않게 유지하는 기구를 설치함으로써, 리플레이 시각의 오설정을 막는 것이 가능하게 된다.
제1 내지 제4실시형태에 있어서, 화상 생성장치(110)와 정보 처리장치(10)를 독립된 장치로서 구성할 경우에 대해 설명했지만, 이것에 한정되는 것은 아니다. 예를 들면, 화상 생성장치(110)와 정보 처리장치(10)를 가상 시점 화상 생성 처리부를 갖는 정보 처리장치로서 구성해도 된다.
또한, 제1 내지 제4실시형태에 있어서, 정보 처리장치(10)가 가상 시점을 출력할 경우에 대해 설명했지만, 이것에 한정되는 것은 아니고, 정보 처리장치(10)가 가상 시점을 출력하는 기능을 갖지 않아도 된다. 예를 들면, 정보 처리장치(10)이 가상 시점 화상을 생성가능한 시각을 취득하는 정보 처리장치로서 구성해도 된다. 그 경우에는, 가상 시점을 출력하는 다른 정보 처리장치 또는, 화상 생성장치(110)에 가상 시점 화상을 생성가능한 시각을 송신하게 된다.
제1 내지 제4실시형태에 있어서, 가상 시점 화상의 프레임 레이트가 60fps일 경우에 대해 설명했지만, 이것에 한정되는 것은 아니고, 임의의 프레임 레이트를 사용하여도 된다. 예를 들면, 프레임 레이트는 30fps이어도 되고, 59.94fps 등 임의의 프레임 레이트를 사용하여도 된다.
이상과 같이, 상기 실시형태에 따르면, 가상 시점 화상의 생성에 요하는 시각을 파악가능한 정보 처리장치가 제공된다.
기타 실시형태
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims (17)

  1. 복수의 카메라에 의한 복수의 방향에서의 촬영에 의해 얻어지는 복수의 화상에 근거한 가상 시점 화상을 생성하는 화상 생성장치와 통신하도록 구성된 정보 처리장치로서,
    가상 시점 화상을 생성하기 위한 데이터 세트를 취득중인 상기 화상 생성장치에 문의를 송신하도록 구성된 송신부와,
    상기 화상 생성장치가 생성가능한 가상 시점 화상에 대응하는 시각에 관한 시각 정보를, 상기 송신부에 의해 송신된 문의에 대한 응답에 근거하여 취득하도록 구성된 취득부와,
    상기 취득부에 의해 취득된 시각 정보에 근거하여 결정된 시각에 대응하는 가상 시점 화상을 생성하도록 하는 생성 지시를 상기 화상 생성장치에 출력하도록 구성된 출력부를 구비한 정보 처리장치.
  2. 제 1항에 있어서,
    상기 출력부는, 상기 취득부에 의해 취득된 시각 정보에 근거하여 결정된 시각에 대응하는 가상 시점의 위치 및 방향을 나타내는 시점 정보를 상기 화상 생성장치에 출력하는 정보 처리장치.
  3. 제 1항에 있어서,
    현재 시각과 생성해야 할 가상 시점 화상에 대응하는 시각 사이의 시간차를 상기 취득부에 의해 취득된 시각 정보에 근거하여 결정하도록 구성된 결정부를 더 구비하고,
    상기 출력부는, 상기 결정부에 의해 결정된 시간차에 근거하여 결정된 시각에 대응하는 가상 시점 화상을 생성하도록 하는 생성 지시를 출력하는 정보 처리장치.
  4. 제 1항에 있어서,
    상기 송신부는, 상기 화상 생성장치에, 문의용 시각을 나타내는 상기 문의를 송신하고,
    상기 취득부는, 상기 송신부에 의해 송신된 상기 문의에서 나타난 상기 문의용 시각에 대응하는 가상 시점 화상의 생성이 가능한 것을 표시하는 응답을 상기 화상 생성장치로부터 수신한 것에 근거하여, 상기 시각 정보를 취득하는 정보 처리장치.
  5. 제 4항에 있어서,
    상기 취득부는, 현재 시각에 근거해서 결정된 문의용 시각을 나타내는 상기 문의를 송신하는 정보 처리장치.
  6. 제 5항에 있어서,
    상기 송신부는, 현재 시각보다 제1시간 길이만큼 이른 시각을 문의용 시각으로서 나타내는 제1 문의를 송신하고,
    상기 제1 문의가 나타내는 문의용 시각에 대응하는 가상 시점 화상의 생성이 불가능한 것을 표시하는 응답이 상기 화상 생성장치로부터 수신되었을 경우에, 상기 송신부는, 현재 시각보다 제2시간 길이만큼 이른 시각을 문의용 시각으로서 나타내는 제2 문의를 송신하고, 상기 제2시간 길이는 상기 제1시간 길이보다 긴 정보 처리장치.
  7. 제 6항에 있어서,
    상기 제2시간 길이와 상기 제1시간 길이의 차이는, 상기 화상 생성장치에 의해 생성되는 가상 시점 화상의 프레임 간격에 근거한 길이인 정보 처리장치.
  8. 제 6항에 있어서,
    상기 취득부는, 상기 제2 문의가 나타내는 문의용 시각에 대응하는 가상 시점 화상의 생성이 가능한 것을 표시하는 응답이 상기 화상 생성장치로부터 수신되었을 경우에, 상기 제2시간 길이를 나타내는 정보를 상기 시각 정보로서 취득하는 정보 처리장치.
  9. 제 4항에 있어서,
    유저에 의한 시각의 지정 또는 현재 시각으로부터의 시간 길이의 지정을 위한 조작을 접수하도록 구성된 접수부를 더 구비하고,
    상기 송신부는, 상기 화상 생성장치에, 상기 접수부에 의해 접수된 조작에 근거하여 결정된 문의용 시각을 나타내는 문의를 송신하는 정보 처리장치.
  10. 제 9항에 있어서.
    상기 접수부에 의해 접수된 조작에 따라 특정되는 시각에 대응하는 가상 시점 화상의 생성이 가능한지 여부를 나타내는 화상을, 상기 화상 생성장치로부터 수신된 응답에 근거하여 표시부에 표시하도록 구성된 표시 제어부를 더 구비한 정보 처리장치.
  11. 제 1항에 있어서,
    상기 취득부는, 상기 화상 생성장치가 취득한 데이터 세트에 대응하는 시각을 나타내는 응답을 상기 화상 생성장치로부터 수신한 것에 근거하여 상기 시각 정보를 취득하는 정보 처리장치.
  12. 제 1항에 있어서,
    상기 데이터 세트는, 상기 복수의 화상에 근거하여 생성된 화상 데이터 및 모델 데이터를 포함하는 정보 처리장치.
  13. 제 1항에 있어서,
    상기 출력부에 의해 상기 화상 생성장치에 출력되는 상기 생성 지시에 시각의 지정이 포함되는 모드와, 상기 생성 지시에 시각의 지정이 포함되지 않는 모드 사이에서 전환하도록 구성된 전환부를 더 구비한 정보 처리장치.
  14. 복수의 카메라에 의한 복수의 방향에서의 촬영에 의해 얻어지는 복수의 화상에 근거한 가상 시점 화상을 생성하는 화상 생성장치와 통신하도록 구성된 정보 처리장치의 제어방법으로서,
    가상 시점 화상을 생성하기 위한 데이터 세트를 취득중인 상기 화상 생성장치에 문의를 송신하는 단계와,
    상기 화상 생성장치가 생성가능한 가상 시점 화상에 대응하는 시각에 관한 시각 정보를, 송신된 상기 문의에 대한 응답에 근거하여 취득하는 단계와,
    취득된 상기 시각 정보에 근거하여 결정된 시각에 대응하는 가상 시점 화상을 생성하도록 하는 지시를 상기 화상 생성장치에 출력하는 단계를 포함하는 제어방법.
  15. 제 14항에 있어서,
    취득된 상기 시각 정보에 근거하여 결정된 시각에 대응하는 가상 시점의 위치 및 방향을 나타내는 시점 정보를 상기 화상 생성장치에 출력하는 단계를 더 포함하는 제어방법.
  16. 제 14항에 있어서,
    상기 화상 생성장치에 송신되는 상기 문의는 문의용 시각을 나타내고,
    상기 시각 정보는, 송신된 상기 문의가 나타내는 상기 문의용 시각에 대응하는 가상 시점 화상의 생성이 가능한 것을 표시하는 응답을 상기 화상 생성장치로부터 수신한 것에 근거하여 취득되는 제어방법.
  17. 복수의 카메라에 의한 복수의 방향에서의 촬영에 의해 얻어지는 복수의 화상에 근거한 가상 시점 화상을 생성하는 화상 생성장치와 통신하는 컴퓨터에게,
    가상 시점 화상을 생성하기 위한 데이터 세트를 취득중인 상기 화상 생성장치에 문의를 송신하는 단계와,
    상기 화상 생성장치가 생성가능한 가상 시점 화상에 대응하는 시각에 관한 시각 정보를, 송신된 상기 문의에 대한 응답에 근거하여 취득하는 단계와,
    취득된 상기 시각 정보에 근거하여 결정된 시각에 대응하는 가상 시점 화상을 생성하도록 하는 지시를 상기 화상 생성장치에 출력하는 단계를 포함하는 제어방법을 실행시키기 위해, 기억매체에 기억된 컴퓨터 프로그램.
KR1020190027844A 2018-03-23 2019-03-12 정보 처리장치 및 그 제어방법 KR102353828B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018056748A JP7075252B2 (ja) 2018-03-23 2018-03-23 情報処理装置およびその制御方法、プログラム
JPJP-P-2018-056748 2018-03-23

Publications (2)

Publication Number Publication Date
KR20190111770A true KR20190111770A (ko) 2019-10-02
KR102353828B1 KR102353828B1 (ko) 2022-01-20

Family

ID=65766812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190027844A KR102353828B1 (ko) 2018-03-23 2019-03-12 정보 처리장치 및 그 제어방법

Country Status (4)

Country Link
US (1) US10834477B2 (ko)
EP (1) EP3574963A1 (ko)
JP (1) JP7075252B2 (ko)
KR (1) KR102353828B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7349793B2 (ja) * 2019-02-15 2023-09-25 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP7552616B2 (ja) * 2019-12-09 2024-09-18 ソニーグループ株式会社 情報処理装置および方法、プログラム、並びに、情報処理システム
JP7467130B2 (ja) * 2020-01-21 2024-04-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7476160B2 (ja) * 2021-11-29 2024-04-30 キヤノン株式会社 情報処理装置、情報処理システム、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110111335A (ko) * 2010-04-02 2011-10-11 삼성전자주식회사 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치
KR20110113923A (ko) * 2010-04-12 2011-10-19 삼성전자주식회사 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
KR20130104691A (ko) * 2012-03-15 2013-09-25 삼성전자주식회사 영상 처리 장치 및 방법
KR20200112678A (ko) * 2019-03-20 2020-10-05 광운대학교 산학협력단 관찰자를 추적할 수 있는 공중 3차원 디스플레이 장치 및 방법

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120233631A1 (en) * 1991-12-02 2012-09-13 Geshwind David M Processes and systems for creating and delivering granular idiomorphic media suitable for interstitial channels
US5629740A (en) * 1994-08-26 1997-05-13 Toko, Inc. Video transmitter for effecting after-recording
US6020931A (en) * 1996-04-25 2000-02-01 George S. Sheng Video composition and position system and media signal communication system
JP3724117B2 (ja) * 1997-05-23 2005-12-07 ソニー株式会社 画像生成装置および画像生成方法
IL133233A (en) * 1997-05-30 2005-05-17 British Broadcasting Corp Position determination
JPH11261906A (ja) * 1998-01-12 1999-09-24 Sony Corp テレビ放送受信装置、テレビ放送受信方法およびテレビ放送方法
US20030076413A1 (en) * 2001-10-23 2003-04-24 Takeo Kanade System and method for obtaining video of multiple moving fixation points within a dynamic scene
JP3783233B2 (ja) * 2002-12-18 2006-06-07 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
JP2006310936A (ja) 2005-04-26 2006-11-09 Sharp Corp 任意視点映像生成システム
JP2007323711A (ja) * 2006-05-31 2007-12-13 Sony Corp 再生装置および再生方法、並びにプログラム
JP5025217B2 (ja) * 2006-10-02 2012-09-12 京セラ株式会社 情報処理装置、情報処理方法および情報処理プログラム
US20130297353A1 (en) * 2008-01-18 2013-11-07 Mitek Systems Systems and methods for filing insurance claims using mobile imaging
JP4985834B2 (ja) * 2009-10-13 2012-07-25 株式会社ニコン 撮像装置及び画像処理装置
US10080061B1 (en) * 2009-12-18 2018-09-18 Joseph F. Kirley Distributing audio signals for an audio/video presentation
JP2012119916A (ja) * 2010-11-30 2012-06-21 Canon Inc 放送受信装置及びその制御方法
JP5310803B2 (ja) * 2011-07-25 2013-10-09 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US8731339B2 (en) * 2012-01-20 2014-05-20 Elwha Llc Autogenerating video from text
US20130215229A1 (en) * 2012-02-16 2013-08-22 Crytek Gmbh Real-time compositing of live recording-based and computer graphics-based media streams
JP2014115863A (ja) * 2012-12-11 2014-06-26 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9232242B2 (en) * 2012-12-11 2016-01-05 Cbs Interactive, Inc. Techniques to broadcast a network television program
US10165157B2 (en) * 2013-02-19 2018-12-25 Disney Enterprises, Inc. Method and device for hybrid robotic/virtual pan-tilt-zoom cameras for autonomous event recording
US8977492B1 (en) * 2013-03-15 2015-03-10 Rockwell Collins, Inc. Temporary, location-dependent clock presentation system, device, and method
US20150032801A1 (en) * 2013-07-29 2015-01-29 Matthew Bryan Hart Simultaneous events over a network
US9666162B2 (en) * 2013-07-30 2017-05-30 Boe Technology Group Co., Ltd. Method and apparatus for converting image from RGB signals to RGBY signals
US10521671B2 (en) * 2014-02-28 2019-12-31 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
US9766075B2 (en) * 2014-05-02 2017-09-19 Thales Visionix, Inc. Registration for vehicular augmented reality using auto-harmonization
JP2015212876A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 映像再生システム
US9549100B2 (en) * 2015-04-23 2017-01-17 Microsoft Technology Licensing, Llc Low-latency timing control
US9782678B2 (en) * 2015-12-06 2017-10-10 Sliver VR Technologies, Inc. Methods and systems for computer video game streaming, highlight, and replay
US9569812B1 (en) * 2016-01-07 2017-02-14 Microsoft Technology Licensing, Llc View rendering from multiple server-side renderings
US10425483B2 (en) * 2016-05-16 2019-09-24 International Business Machines Corporation Distributed client based cache for keys using demand fault invalidation
JP6482498B2 (ja) * 2016-05-25 2019-03-13 キヤノン株式会社 制御装置、制御方法、及び、プログラム
JP7113294B2 (ja) * 2016-09-01 2022-08-05 パナソニックＩｐマネジメント株式会社 多視点撮像システム
US10631031B2 (en) * 2016-12-14 2020-04-21 Reliant Immune Diagnostics, Inc. System and method for television network in response to input
EP3379379A1 (en) * 2017-03-24 2018-09-26 Nokia Technologies Oy Virtual reality system and method
US11303689B2 (en) * 2017-06-06 2022-04-12 Nokia Technologies Oy Method and apparatus for updating streamed content
US9998664B1 (en) * 2017-06-20 2018-06-12 Sliver VR Technologies, Inc. Methods and systems for non-concentric spherical projection for multi-resolution view
US10852934B2 (en) * 2017-12-21 2020-12-01 The Boeing Company Latency compensation in coupled processor systems
JP7233867B2 (ja) * 2018-07-20 2023-03-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20200051582A1 (en) * 2018-08-08 2020-02-13 Comcast Cable Communications, Llc Generating and/or Displaying Synchronized Captions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110111335A (ko) * 2010-04-02 2011-10-11 삼성전자주식회사 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치
KR20110113923A (ko) * 2010-04-12 2011-10-19 삼성전자주식회사 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
KR20130104691A (ko) * 2012-03-15 2013-09-25 삼성전자주식회사 영상 처리 장치 및 방법
KR20200112678A (ko) * 2019-03-20 2020-10-05 광운대학교 산학협력단 관찰자를 추적할 수 있는 공중 3차원 디스플레이 장치 및 방법

Also Published As

Publication number Publication date
JP7075252B2 (ja) 2022-05-25
JP2019168966A (ja) 2019-10-03
EP3574963A1 (en) 2019-12-04
US20190297393A1 (en) 2019-09-26
US10834477B2 (en) 2020-11-10
KR102353828B1 (ko) 2022-01-20

Similar Documents

Publication Publication Date Title
KR102353828B1 (ko) 정보 처리장치 및 그 제어방법
JP6961612B2 (ja) 三次元モデル配信方法及び三次元モデル配信装置
US10699473B2 (en) System and method for generating a virtual viewpoint apparatus
US8970704B2 (en) Network synchronized camera settings
US10277832B2 (en) Image processing method and image processing system
CN111372112B (zh) 一种视频同步显示的方法、装置及系统
US20200204784A1 (en) Information processing apparatus and control method therefor
US20100321472A1 (en) Image processing apparatus, image processing method, and program
US11750851B2 (en) Information processing apparatus, information processing method, and storage medium
US20220329918A1 (en) Video modification and transmission using tokens
KR20210012927A (ko) 정보 처리 장치, 정보 처리 방법 및 저장 매체
JP2024124469A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
US10623804B2 (en) Moving image capturing instructing terminal, moving image capturing system, moving image capturing instruction method, and non-transitory recording medium storing program for displaying at least one of recording period of time and combination of recording start time and recording stop time
US9386292B2 (en) Stereoscopic video processing apparatus and stereoscopic video processing method
JP2012151688A (ja) 映像再生装置及びその制御方法、プログラム並びに記憶媒体
JP2015212876A (ja) 映像再生システム
US20200374567A1 (en) Generation apparatus, reproduction apparatus, generation method, reproduction method, control program, and recording medium
US11770517B2 (en) Information processing apparatus and information processing method
CN113099212A (zh) 3d显示方法、装置、计算机设备和存储介质
KR102187016B1 (ko) 타임 슬라이스 영상을 제공하는 사용자 단말 및 영상 제공 서버
US11146308B2 (en) Transmitting device, receiving device, transmission method, reception method, and program
US20230410444A1 (en) Display system for displaying mixed reality space image andprocessing method for use of display system
EP4379663A1 (en) Image processing system, control method, and program
US20230410417A1 (en) Information processing apparatus, information processing method, and storage medium
WO2022181378A1 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant