KR102500615B1 - 정보 처리장치, 정보 처리방법 및 프로그램 - Google Patents

정보 처리장치, 정보 처리방법 및 프로그램 Download PDF

Info

Publication number
KR102500615B1
KR102500615B1 KR1020217000304A KR20217000304A KR102500615B1 KR 102500615 B1 KR102500615 B1 KR 102500615B1 KR 1020217000304 A KR1020217000304 A KR 1020217000304A KR 20217000304 A KR20217000304 A KR 20217000304A KR 102500615 B1 KR102500615 B1 KR 102500615B1
Authority
KR
South Korea
Prior art keywords
virtual viewpoint
viewpoint image
camera
speed
reproduction speed
Prior art date
Application number
KR1020217000304A
Other languages
English (en)
Other versions
KR20210016613A (ko
Inventor
케이고 요네다
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20210016613A publication Critical patent/KR20210016613A/ko
Application granted granted Critical
Publication of KR102500615B1 publication Critical patent/KR102500615B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Abstract

제1 재생 속도에서의 가상 시점 화상의 재생중에 있어서 특정한 유저 조작에 따른 입력이 접수된 것에 따라 변화하는 가상 시점의 변화 속도가, 상기 제1 재생 속도보다도 빠른 제2 재생 속도에서의 가상 시점 화상의 재생중에 있어서 상기 특정한 유저 조작에 따른 입력이 접수된 것에 따라 변화하는 가상 시점의 변화 속도보다도 늦어지도록 제어한다.

Description

정보 처리장치, 정보 처리방법 및 프로그램
본 발명은, 정보 처리장치, 정보 처리방법 및 프로그램에 관한 것이다.
최근, 복수의 카메라를 다른 위치에 설치해서 다시점에서 동기 촬영하고, 해당 촬영에 의해 얻어진 복수 시점 화상을 사용하여, 카메라 설치 위치의 화상 뿐만 아니라 임의의 1 이상의 시점에서의 가상 시점 화상을 생성하는 기술이 주목받고 있다.
가상 시점 화상을 사용한 서비스에서는, 예를 들면, 축구나 농구의 시합을 촬영한 영상으로부터, 영상 제작자에 의해 박력이 있는 시점의 콘텐츠를 제작할 수 있다. 또한, 콘텐츠를 시청하고 있는 유저 자신이 자유롭게 시점을 이동하면서, 시합 관전할 수 있도록 되어, 종래의 촬영 화상과 비교해서 유저에게 높은 임장감을 줄 수 있다.
특허문헌 1에서는, 가상 카메라의 조작자가 원하는 구도를 실현하기 위한 가상 카메라의 제어 수법이 개시되어 있다. 구체적으로는, 임의 시점 영상 데이터를 포함하는 영상 콘텐츠 데이터의 재생시에 임의 시점 영상의 시점을 이동시키는 조작을 유저가 행했을 경우에, 재생중인 임의의 임의 시점 영상에 있어서 시점 이동량을 구역마다 제어하는 구성이 개시되어 있다.
일본국 특개 2012-109719호 공보
그렇지만, 특허문헌 1에 기재된 기술에서는, 피사체의 움직임에 맞춰서 조작자가 원하는 구도의 가상 시점 화상을 생성하는 것이 어렵다고 하는 과제가 있다.
본 발명은, 상기한 과제를 감안하여 이루어진 것으로서, 가상 시점의 조작자가 원하는 구도의 가상 시점 화상을 생성하는 것을 용이하게 하기 위한 기술을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하는 본 발명에 따른 정보 처리장치는,
복수의 촬영 화상에 근거하여 가상 시점 화상의 재생 속도를 결정하는 결정수단과,
상기 결정수단에 의해 결정된 재생 속도에서의 상기 가상 시점 화상의 재생중에 있어서 유저 조작에 따른 입력을 접수하는 접수수단과,
상기 접수수단에 의해 접수된 입력에 근거하여 상기 가상 시점 화상에 대응하는 가상 시점을 변화시키는 제어를 행하는 제어수단으로서, 제1 재생 속도에서의 상기 가상 시점 화상의 재생중에 있어서 특정한 유저 조작에 따른 입력이 접수된 것에 따라 변화하는 상기 가상 시점의 변화 속도가, 상기 제1 재생 속도보다도 빠른 제2 재생 속도에서의 상기 가상 시점 화상의 재생중에 있어서 상기 특정한 유저 조작에 따른 입력이 접수된 것에 따라 변화하는 상기 가상 시점의 변화 속도보다도 늦어지도록 제어하는 제어수단을 갖는 것을 특징으로 한다.
본 발명에 따르면, 가상 시점의 조작자가 원하는 구도의 가상 시점 화상을 생성하는 것이 용이해진다.
본 발명의 그 밖의 특징 및 이점은, 첨부도면을 참조로 한 이하의 설명에 의해 명확해질 것이다. 이때, 첨부도면에 있어서는, 동일하거나 혹은 유사한 구성에는, 같은 참조번호를 붙인다.
첨부도면은 명세서에 포함되고, 그것의 일부를 구성하고, 본 발명의 실시형태를 나타내고, 그것의 기술과 함께 본 발명의 원리를 설명하기 위해서 사용된다.
도1a는 실시형태 1에 관한 화상처리 시스템의 전체 구성의 일례를 도시한 도면.
도1b는 정보 처리장치의 하드웨어 구성의 일례를 도시한 도면.
도2는 실시형태 1에 관한 정보 처리장치의 구성의 일례를 도시한 도면.
도3은 실시형태 1에 관한 시간의 개념의 일례를 도시한 도면.
도4는 실시형태 1에 관한 기록 시각 산출부의 처리의 일례를 나타낸 플로우차트.
도5a는 실시형태 1에 관한 정보 처리장치의 처리의 일례를 나타낸 플로우차트.
도5b는 실시형태 1에 관한 정보 처리장치의 처리의 일례를 나타낸 플로우차트.
도6은 실시형태 2에 관한 정보 처리장치의 구성의 일례를 도시한 도면.
도7은 실시형태 2와 관련되는, 통신부가 가상 시점 화상 생성 서버 또는 녹화편집장치에 송신하는 카메라 파라미터의 일례를 도시한 도면.
도8은 실시형태 3에 관한 리플레이 가상 시점 화상 생성용의 UI의 일례를 도시한 도면.
도9는 실시형태 3에 관한 콘트롤러의 일례를 도시한 도면.
이하, 도면을 참조하면서 실시형태를 설명한다. 이때, 이하의 실시형태에 있어서 나타내는 구성은 일례에 지나지 않고, 본 발명은 도시된 구성에 한정되는 것은 아니다.
(실시형태1)
<개요>
실시형태 1에서는, 가상 카메라의 카메라 패스 작성시와 그 카메라 패스 재현시에서 가상 시점 화상의 재생 속도를 다르게 하는 예를 설명한다. 더욱 구체적으로는, 카메라 패스 작성시에는 예를 들면 실시간의 2배의 길이(0.5배속)에서 가상 시점 화상을 재생하면서 가상 시점에 대응하는 가상 카메라를 조작해서 이동시킴으로써 카메라 패스를 작성한다. 카메라 패스의 작성에 적합한 재생 속도를 조작자가 지정함으로써, 가상 카메라의 정교하고 치밀한 이동이 가능해지고, 가상 시점 화상에 포함되는 피사체에의 추종이 용이해진다. 또한, 카메라 패스 재현시에도 재생 속도를 조작자가 지정가능해서, 예를 들면 실시간(카메라 패스 작성시의 0.5배속에 대한 2배의 속도)으로 가상 시점 화상을 재생한다. 이에 따라, 위화감이 없는 가상 시점 화상을 재생할 수 있다. 카메라 패스는, 가상 시점 화상에 대응하는 가상 시점의 경시적인 변화를 나타내는 시점 정보의 일례다.
<화상처리 시스템의 구성>
도1a는, 본 실시형태에 따른 화상처리 시스템(10)의 전체 구성을 도시한 도면이다. 화상처리 시스템(10)은, 촬영 시스템(101), 가상 시점 화상 생성 서버(102), 및 정보 처리장치(103)를 구비하고 있고, 화상처리 시스템(10)은, 가상 시점 화상을 생성하는 것이 가능하다.
촬영 시스템(101)은, 다른 위치에 배치된 복수의 카메라를 구비하고 있고, 다시점으로부터의 복수의 화상을 동기 촬영한다. 그리고, 다시점으로부터 동기 촬영한 복수의 화상을, 가상 시점 화상 생성 서버(102)에 송신한다.
가상 시점 화상 생성 서버(102)는, 다시점으로부터 동기 촬영된 복수의 화상에 근거하여, 촬영 공간 내를 이동가능한 가상 시점에 대응한 가상적인 카메라인 가상 카메라로부터 관찰한 가상 시점 화상을 생성한다. 즉, 촬영 시스템(101)이 갖는 어떤 카메라와도 다른 시점으로부터 관찰한 화상도 포함하는, 즉 가상 시점 화상을 생성할 수 있다. 가상 카메라의 시점은, 후술하는 정보 처리장치(103)가 결정하는 카메라 파라미터에 의해 표현된다.
가상 시점 화상 생성 서버(102)는, 수신한 복수의 화상으로부터 순차 가상 시점 화상을 생성한다. 즉, 라이브 가상 시점 화상을 생성하는 것이 가능하다. 이때, 화상처리 시스템(10)이 생성할 수 있는 라이브 가상 시점 화상은, 현재 시각에 대하여 촬영 시스템(101) 및 가상 시점 화상 생성 서버(102)에서의 처리 지연을 고려한 시각에서의, 촬영 시스템(101)이 촬영한 복수의 촬영 화상에 근거한 가상 시점 화상이다.
더구나, 가상 시점 화상 생성 서버(102)는, 데이터베이스를 갖고 있고, 수신한 복수의 화상을 기록하는 기능을 갖는다. 그 때문에, 리플레이 가상 시점 화상을 생성하는 것이 가능하다. 리플레이 가상 시점 화상은, 임의의 시각에서의 촬영 시스템(101)이 촬영한 촬영 화상에 근거한 가상 시점 화상이며, 예를 들면 작성된 카메라 패스 재현시에 재생되는 가상 시점 화상이다. 이때, 특별히 언급이 없는 한, 화상이라고 하는 문언이 동화상과 정지 화상의 양쪽의 개념을 포함하는 것으로 하여 설명한다. 즉, 화상처리 시스템(10)은, 정지 화상 및 동화상의 어느쪽에 대해서도 처리가능하다.
정보 처리장치(103)는, 가상 카메라를 제어하여, 가상 카메라의 시점을 표시하는 카메라 파라미터를 결정한다. 가상 카메라의 카메라 파라미터는, 가상 카메라의 위치, 자세, 및 시각을 지정하기 위한 파라미터를 적어도 포함한다. 또한, 가상 카메라의 카메라 파라미터는, 줌을 더 포함하여도 된다. 카메라 파라미터의 시각은, 도3을 참조해서 후술하는 플레이 개시 시각과 플레이 종료 시각 사이의 시각이다. 해당 시각은, 20××년 ×월 ×일 ×시 ×분 ×초라고 하는 형식으로 표현해도 되고, 플레이 개시 시각을 기준(제로)으로 했을 때의 시간으로서 표현해도 된다.
카메라 파라미터에 의해 지정되는 가상 카메라의 위치는, 3차원 좌표를 나타내는 것이어도 된다. 또한, 가상 카메라의 카메라 파라미터에 의해 지정되는 위치는, X축, Y축, Z축의 3축의 직교좌표계의 좌표에 의해 표시되어도 된다. 이 경우, 가상 카메라의 카메라 파라미터에 의해 지정되는 위치는, 좌표를 나타내는 것이며, X축, Y축, Z축의 3축의 파라미터로 구성되어도 된다. 이때, 원점은 촬영 공간 내의 임의의 위치로 해도 된다.
카메라 파라미터에 의해 지정되는 가상 카메라의 자세는, 팬, 틸트, 롤의 3축이 이루는 각도에 의해 표시되어도 된다. 이 경우, 카메라 파라미터에 의해 지정되는 가상 카메라의 자세는, 팬, 틸트, 롤의 3축의 파라미터로 구성되어도 된다. 카메라 파라미터에 의해 지정되는 가상 카메라의 줌은, 예를 들면, 초점거리의 1축에 의해 표시되고, 줌과 시각은 각각 1축의 파라미터이다.
따라서, 가상 카메라의 카메라 파라미터는 적어도 8축의 파라미터를 갖도록 구성할 수 있고, 정보 처리장치(103)는 이들 8축을 제어가능하다. 이때, 카메라 파라미터는 다른 요소를 규정하는 파라미터를 포함하여도 되고, 전술한 8축의 파라미터의 전체를 포함하지 않아도 된다.
정보 처리장치(103)는, 결정한 가상 카메라의 카메라 파라미터를 가상 시점 화상 생성 서버(102)에 송신한다. 다음에, 가상 시점 화상 생성 서버(102)는, 수신한 카메라 파라미터에 근거하여 가상 시점 화상을 생성하고, 정보 처리장치(103)에 송신한다. 이때, 본 실시형태와 같이 1대의 정보 처리장치(103)에서 라이브 가상 시점 화상과 리플레이 가상 시점 화상을 생성해도 되지만, 2대의 정보 처리장치를 준비하여, 라이브 가상 시점 화상과 리플레이 가상 시점 화상을 각각 다른 정보 처리장치에서 생성해도 된다.
이때, 화상처리 시스템(10)의 구성은 도2에 나타내는 것에 한정되지 않는다.
예를 들면, 정보 처리장치(103)가 가상 시점 화상 생성 서버(102)를 갖고 있어도 된다.
<정보 처리장치의 하드웨어 구성>
도1b는, 본 실시형태에 따른 정보 처리장치(103)의 하드웨어 구성의 일례를 도시한 도면이다. 정보 처리장치(103)는, CPU(111), RAM(112), ROM(113), 통신부(114) 및 입출력부(115)를 구비하고 있다.
CPU(111)은, RAM(112)이나 ROM(113)에 격납되어 있는 컴퓨터 프로그램이나 데이터를 판독해서 실행함으로써 정보 처리장치(103) 전체의 동작을 제어한다. RAM(112)은, ROM(113)로부터 판독된 컴퓨터 프로그램이나 계산의 도중 결과 등, 통신부(114)를 거쳐 외부에서 공급되는 데이터 등을 일시적으로 기억한다. ROM(113)은, 변경을 필요로 하지 않는 컴퓨터 프로그램이나 데이터를 유지한다. 이때, RAM(112), ROM(113)을 총칭해서 메모리로 표현한다.
통신부(114)는, Ethernet(등록상표)이나 USB 등의 통신부를 갖고, 가상 시점 화상 생성 서버(102)와의 통신을 행한다. 입출력부(115)는, 가상 카메라를 제어하기 위한 복수의 콘트롤러와, 가상 카메라의 상태 등을 출력해서 표시하는 복수의 표시부를 포함한다. 콘트롤러는, 예를 들면, 조이스틱, 조그 다이얼, 터치패널, 키보드, 및 마우스 등의 조작부이며, 조작자의 유저 조작에 따른 입력을 접수할 수 있다. 예를 들면, 조작자는, 조이스틱 조작에 의해, 카메라 패스 작성시에 재생되는 가상 시점 화상에 있어서, 공간 내에서 가상 카메라의 위치를 자유롭게 이동시키거나, 가상 카메라의 방향이나 화각을 자유롭게 변경할 수 있다. 구체적으로는, 카메라 패스 작성시에 재생되는 가상 시점 화상을 관찰하면서, 코트 상에서 특정한 선수의 옆을 추종하도록 가상 카메라를 이동시켜서 카메라 패스를 작성할 수 있다.
<정보 처리장치의 기능 구성>
도2는, 본 실시형태에 따른 화상처리 시스템(10)을 구성하는 정보 처리장치(103)의 기능 구성의 일례를 도시한 도면이다. 정보 처리장치(103)는, 통신부(114), 입출력부(115), 기록 시각 산출부(116), 위치 자세 취득부(117), 및 카메라 패스 기억부(118)를 구비하고 있다. 또한, 정보 처리장치(103)는, 가상 시점 화상 생성 서버(102)와 접속하고 있다.
통신부(114)는, 위치 자세 취득부(117) 또는 카메라 패스 기억부(118)로부터 Ethernet이나 USB 등의 통신부를 사용해서 입력된 카메라 파라미터를 순차, 가상 시점 화상 생성 서버(102) 또는 입출력부(115)에 출력한다. 또한, 통신부(114)는, 가상 시점 화상 생성 서버(102)로부터 Ethernet이나 USB 등의 통신부를 사용해서 입력된 가상 시점 화상을 순차, 입출력부(115)에 출력해도 된다.
입출력부(115)는, 조작자에 의해 콘트롤러로부터 입력된 카메라 파라미터 또는 가상 시점 화상의 모드를, 기록 시각 산출부(116)에 출력한다. 또한, 가상 카메라의 초기 위치, 초기 자세, 또는 이동 지시량을 위치 자세 취득부(117)에 출력한다. 이동 지시량은, 예를 들면 콘트롤러로서의 조이스틱의 조작량(틸트량)에 따른 틸트 방향의 거리이다. 혹은, 이동 지시량은, 조이스틱의 틸트 횟수에 따른 양이어도 된다. 그 경우, 1회의 틸트에서 소정의 거리 이동하도록 미리 정해져 있어도 된다. 혹은, 현재 위치에 대한 x, y, z방향의 각각의 이동량을 콘트롤러로부터 입력하는 것 같은 경우에는, 그들의 값이어도 된다. 가상 카메라의 조작자는, 콘트롤러를 조작함으로써 가상 카메라의 카메라 파라미터, 또는 가상 카메라의 이동 지시량을 지정할 수 있다. 가상 시점 화상의 모드의 상세한 것은 후술한다.
또한, 입출력부(115)는, 조작자에 의해 콘트롤러로부터 입력된 촬영 시스템(101)이 촬영한 시각(이하, 플레이 시각)에 근거하여, 리플레이 가상 시점 화상의 플레이 개시 시각과 플레이 종료 시각을, 기록 시각 산출부(116)에 출력한다. 플레이 개시 시각과 플레이 종료 시각은, 예를 들면, 축구 등의 시합을 촬영한 영상으로부터, 영상 제작자가 재생하고 싶은 실시각을 가상 카메라의 조작자에게 지시하고, 조작자가 콘트롤러를 사용해서 입출력부(115)에 입력함으로써 결정된다. 단, 영상 제작자와 가상 카메라의 조작자는 각각으로는 한정되지 않고, 영상 제작자는 가상 카메라의 조작자와 동일하여도 된다. 또한, 플레이 개시 시각과 플레이 종료 시각의 결정 방법은 해당 예에 한정되는 것은 아니고, 골 씬 등의 특징적인 장면의 개시 실시각과 종료 실시각을 화상처리 시스템(10)이 자동적으로 추출해서 결정하도록 구성해도 된다.
더구나, 입출력부(115)는, 조작자에 의해 콘트롤러로부터 입력된 카메라 패스 작성시의 가상 시점 화상의 재생 속도의 정보 및/또는 카메라 패스 재현시의 가상 시점 화상의 재생 속도의 정보를, 기록 시각 산출부(116)에 출력한다. 또한, 조작자에 의해 콘트롤러로부터 입력된 가상 카메라의 이동 속도를 위치 자세 취득부(117)에 출력한다. 카메라 패스 작성시의 가상 시점 화상의 재생 속도는, 실시간을 기준의 속도로 한 비율로 결정되는 것을 상정하지만, 재생 속도의 개념은, 이것에 한정되지 않는다. 또한, 카메라 패스 재현시의 가상 시점 화상의 재생 속도는, 카메라 패스 작성시의 카메라 파라미터를 등록하는 프레임 레이트(예를 들면, 60fps)를 기준의 속도로 한 비율로 결정되는 것을 상정하지만, 이것에 한정되지 않는다. 더구나, 가상 카메라의 이동 속도는, 사람이 달리는 속도(예를 들면, 초속 10m)를 기준의 속도로 한 비율로 결정되는 것을 상정하지만, 이동 속도의 개념은, 이것에 한정되지 않는다. 이때, 가상 시점 화상의 재생 속도는, 유저에 의한 지정 조작에 근거하여 결정되는 것에 한정되지 않고, 자동으로 결정되어도 된다. 예를 들면, 촬영 시스템(101)에 의해 취득되는 복수의 촬영 화상의 적어도 어느 한개에 포함되는 오브젝트의 움직임에 근거하여 가상 시점 화상의 재생 속도가 결정되어도 된다.
더구나, 입출력부(115)는, 복수의 디스플레이 등의 표시부를 갖고 있고, 통신부(114)로부터 입력된 가상 시점 화상, 카메라 파라미터, 및 가상 카메라의 상태 등을 표시한다. 이에 따라, 조작자는, 표시부에 표시된 가상 시점 화상을 관찰하면서, 콘트롤러를 사용해서 가상 카메라를 조작하는 것이 가능해진다. 그러나, 이것에 한정되지 않고, 표시부 및 콘트롤러를 조작하는 조작자는 동일하지 않아도 된다.
정보 처리장치(103)는 가상 시점 화상의 재생 속도를 제어하는 적어도 2개의 모드를 갖는다. 1개는, 카메라 패스 작성 모드이고, 또 1개는, 카메라 패스 재현 모드다. 모드는, 예를 들면 입출력부(115)로서의 유저 인터페이스(UI) 상에 전환 버튼을 설치하고, 해당 전환 버튼의 누름에 따라 전환 가능하게 구성되어도 된다.
<카메라 패스 작성 모드>
카메라 패스 작성 모드는, 재생중인 가상 시점 화상(영상)을 가상 카메라가 위치하는 가상 시점에서 관찰하면서, 촬영 공간 내에서 가상 카메라를 조작자의 조작에 근거해서 이동시켜, 가상 카메라의 이동 궤적을 카메라 패스로서 기억하는 모드다. 바꿔 말하면, 카메라 패스 작성 모드는, 가상 시점 화상의 재생중에 있어서 유저 조작에 따라, 재생중인 가상 시점 화상에 대응하는 가상 시점을 변화시키고, 또한 유저 조작에 따른 가상 시점의 변화를 나타내는 시점 정보를 기억하는 모드다.
기록 시각 산출부(116)는, 카메라 패스 작성 모드인 경우, 입출력부(115)로부터 입력된 카메라 파라미터, 플레이 개시 시각, 플레이 종료 시각, 및, 카메라 패스 작성시의 가상 시점 화상의 재생 속도에 근거하여, 생성할 가상 시점 화상의 실시각을 결정한다. 그리고, 카메라 파라미터에 포함되는 시각을 갱신한다. 그리고, 카메라 파라미터에, 카메라 패스의 정보를 기록한 실시각(카메라 파라미터 기록 시각)을 부가하여, 카메라 파라미터를 위치 자세 취득부(117)에 출력한다. 여기에서, 카메라 파라미터의 시각과 카메라 파라미터 기록 시각은 다른 정보다.
생성할 가상 시점 화상의 시각은, 플레이 개시 시각으로부터 개시된다. 생성할 가상 시점 화상의 시각을 갱신할 때에는, 전에 생성한 가상 시점 화상의 시각과 가상 시점 화상의 재생 속도에 근거하여 결정된다. 단, 생성할 가상 시점 화상의 시각은, 플레이 종료 시각을 초과하지 않는 것으로 상정한다. 이때, 시각의 결정 방법은, 이것에 한정되지 않는다. 또한, 최초의 카메라 파라미터 기록 시각(카메라 패스 기록 개시 시간)과 최후의 카메라 파라미터 기록 시각(카메라 패스 기록 종료 시간)을 메모리에 기억한다.
<카메라 패스 재현 모드>
카메라 패스 재현 모드는, 작성된 카메라 패스에 따른 가상 시점 화상(영상)을 생성하는 모드다. 기록 시각 산출부(116)는, 카메라 패스 재현 모드인 경우, 입출력부(115)로부터 입력된 카메라 패스 재현시의 가상 시점 화상의 재생 속도에 근거하여, 생성할 가상 시점 화상의 카메라 파라미터의 기록 시각을 산출한다. 그리고, 기록 시각 산출부(116)는, 산출한 카메라 파라미터의 기록 시각을 카메라 패스 기억부(118)에 출력한다. 카메라 파라미터의 기록 시각의 산출 방법은, 예를 들면, 메모리에 기억한 카메라 패스 기록 개시 시간으로부터 시작하여, 카메라 패스 재생 속도가 1배속이면 카메라 패스를 기록했을 때의 시간과 등속으로 시각을 진행하고, 2배속이면 2배의 속도로 시간을 진행하는 것에 의해 행한다. 단, 카메라 파라미터의 기록 시각의 산출방법은, 이것에 한정되지 않는다.
위치 자세 취득부(117)는, 입출력부(115)로부터 입력된 이동 지시량, 가상 카메라의 이동 속도, 초기 위치 및 초기 자세, 기록 시각 산출부(116)로부터 입력된 카메라 파라미터에 근거하여, 생성할 가상 시점 화상의 가상 카메라의 위치 및 자세를 산출해서 취득한다. 그리고, 카메라 파라미터의 위치 및 자세를 갱신하고, 갱신된 카메라 파라미터의 정보를 통신부(114) 및 카메라 패스 기억부(118)에 출력한다. 가상 카메라의 위치 및 자세는, 초기 위치 및 초기 자세로부터 시작한다. 위치 및 자세를 갱신할 때에는, 전에 생성한 가상 시점 화상의 카메라 파라미터의 위치 및 자세, 이동 지시량, 및, 가상 카메라의 이동 속도에 근거하여 결정되는 것을 상정한다. 이때, 가상 카메라의 위치 및 자세의 결정방법은, 이것에 한정되지 않는다.
카메라 패스 기억부(118)는, 위치 자세 취득부(117)로부터 입력된 가상 카메라의 카메라 파라미터를 순차, 메모리에 기억한다. 또한, 카메라 패스 기억부(118)는, 기록 시각 산출부(116)로부터 입력된 카메라 파라미터의 기록 시각에 근거하여, 메모리에 기억한 카메라 파라미터 중에서, 그 기록 시각의 카메라 파라미터를 취득하여, 통신부(114)에 출력한다.
<카메라 패스 작성시 및 재현시의 가상 시점 화상의 재생>
여기에서, 도3은, 실시형태 1과 관한, 카메라 패스 작성시의 가상 시점 화상의 재생 속도를 0.5배속에서 재생하고, 카메라 패스 재현시의 가상 시점 화상의 재생 속도를 2가지(통상(1배속)과 2배속)에서 재생했을 경우의 시간축의 이미지 도이다.
예를 들면 스포츠의 플레이 시간(실시간)이 플레이 개시 시간으로부터 플레이 종료 시간까지의 시간으로서 정의된다. 예를 들면, 축구의 하이라이트 씬 등이 상정된다. 카메라 패스 작성시의 가상 시점 화상의 재생 시간은, 재생 속도가 0.5배속이므로 플레이 시간의 2배의 길이가 된다. 그리고, 카메라 패스 기록 시간은 실시간이며, 카메라 패스 작성시의 가상 시점 화상의 재생 시간과 같은 길이이다. 즉, 플레이 시간의 2배의 길이가 된다.
그리고, 카메라 패스 재현시의 가상 시점 화상의 재생 시간은, 통상(1배속)일 때에는, 카메라 패스 작성시의 가상 시점 화상의 재생 시간이나 카메라 패스 기록 시간과 같은 길이이다. 즉, 플레이 시간의 2배의 길이가 된다. 그리고, 2배속일 때에는, 플레이 시간과 같은 길이가 된다.
즉, 카메라 패스 재현시의 가상 시점 화상의 재생 속도가 통상(1배속)일 때에는, 리플레이 가상 시점 화상의 재생 시간은 플레이 시간의 2배의 길이가 되도록 만들어진다. 그리고, 카메라 패스 재현시의 가상 시점 화상의 재생 속도가 2배속일 때에는, 리플레이 가상 시점 화상의 재생 시간은 플레이 시간과 같은 길이가 되도록 만들어진다.
이렇게 구성함으로써, 피사체의 움직임이 빠른 경우에, 조작자는 카메라 패스 작성 모드에 있어서의 가상 시점 화상의 재생 속도를 느리게 해서(예를 들면 0.5배속에서), 피사체에의 추종을 용이하게 하면서 카메라 패스를 작성할 수 있다. 이때, 피사체의 움직임이 너무 늦은 것 같은 경우(예를 들면, 움직임이 느린 동물의 관찰, 곤충의 우화의 관찰 등)에는, 반대로, 조작자는 카메라 패스 작성 모드에 있어서의 가상 시점 화상의 재생 속도를 빠르게 하여, 피사체에의 추종을 용이하게 하면서 카메라 패스를 작성할 수 있다.
또한, 종래, 카메라 패스 기록 시간과 같은 시간에서만 카메라 패스를 재현가능하였지만, 본 실시형태에 따르면, 작성한 카메라 패스를 플레이 시간(또는, 임의의 시간)에서 재현하는 것이 가능해진다. 즉, 작성한 카메라 패스와 복수의 촬영 화상에 근거하여 생성되는 가상 시점 화상을 재생하는 카메라 패스 재현 모드에 있어서는, 카메라 패스 작성 모드에서의 재생 속도와는 다른 재생 속도(예를 들면 카메라 패스 작성 모드의 2배속)로 함으로써, 시청에 적합한 재생 속도에서 가상 시점 화상을 재생할 수 있다.
<처리>
도4는, 실시형태 1에 관한 정보 처리장치(103)의 기록 시각 산출부(116)가 실시하는, 카메라 패스 작성시와 재현시의 모드의 전환처리의 절차를 나타내는 플로우차트다.
S401에서는, 기록 시각 산출부(116)는, 입출력부(115)로부터 가상 시점 화상의 재생 속도의 모드와 각종 파라미터를 취득한다. S402에서는, 기록 시각 산출부(116)는, S401에서 취득된 모드의 종류를 판정한다. 모드가 카메라 패스 작성 모드인 경우, S403으로 진행한다. 한편, 모드가 카메라 패스 재현 모드인 경우, S404로 진행한다. S403에서는, 기록 시각 산출부(116)는, 플레이 시각을 산출하여, 카메라 파라미터를 갱신한다. 그리고, 카메라 파라미터를 위치 자세 취득부(117)에 출력한다. S404에서는, 기록 시각 산출부(116)는, 가상 시점 화상을 생성하는 카메라 파라미터의 기록 시각을 산출하여, 카메라 패스 기억부(118)에 출력한다. 이상에서 도4의 일련의 처리가 종료한다.
<카메라 패스 작성시의 처리>
이어서, 도5a는, 실시형태 1에 관한 정보 처리장치가 실시하는 카메라 패스 작성시의 처리의 절차를 나타낸 플로우차트다.
S501에서는, 입출력부(115)는, 카메라 파라미터(위치, 자세, 시각), 가상 카메라의 초기 위치, 초기 자세, 및 리플레이 가상 시점 화상의 개시 시각과 종료 시각을, 초기 파라미터로서 취득한다. S502에서는, 입출력부(115)는, 가상 카메라의 이동 지시량, 카메라 패스 작성시의 가상 시점 화상의 재생 속도, 및 가상 카메라의 이동 속도를, 파라미터로서 취득한다. S503에서는, 입출력부(115)는, 취득 데이터를 확인한다. 취득 데이터를 확인할 수 있으면, S504로 진행한다. 한편, 취득 데이터를 확인할 수 없으면, 처리를 종료한다.
S504에서는, 기록 시각 산출부(116)는, 취득한 카메라 파라미터, 개시 시각과 종료 시각, 및 가상 시점 화상의 재생 속도에 근거하여, 생성할 가상 시점 화상의 플레이 시각을 결정하고, 카메라 파라미터의 시각을 갱신한다. 단, 시각은 플레이 개시 시각으로부터 시작하고, 플레이 종료 시각을 초과하지 않는 것으로 한다.
S505에서는, 위치 자세 취득부(117)는, 취득한 이동 지시량, 가상 카메라의 이동 속도, 초기 위치 및 초기 자세, 및 카메라 파라미터에 근거하여, 생성할 가상 시점 화상의 가상 카메라의 위치와 자세를 산출하고, 카메라 파라미터의 위치와 자세를 갱신한다. 가상 카메라의 위치와 자세는, 초기 위치와 초기 자세로부터 시작하고, 갱신할 때에는, 전회의 카메라 파라미터의 위치와 자세, 이동 지시량, 및 가상 카메라의 이동 속도에 근거하여 결정된다.
S506에서는, 카메라 패스 기억부(118)는, 결정된 카메라 파라미터를 메모리에 기록한다. S507에서는, 통신부(114)는, 가상 시점 화상 생성 서버(102)에, 갱신된 이동처의 가상 카메라의 시점에서의 카메라 파라미터를 송신하여, 가상 시점 화상의 생성을 지시한다. 가상 시점 화상 생성 서버(102)는, 카메라 파라미터에 포함되는 시각의 정보에 근거하여, 생성할 가상 시점 화상의 시각을 결정하고, 그 시각에 있어서의 가상 카메라의 위치, 자세에서의 가상 시점 화상을 생성한다.
S508에서는, 통신부(114)는, 가상 시점 화상 생성 서버(102)로부터, 가상 시점 화상 생성 서버(102)에 의해 생성된 가상 시점 화상을 수신한다.
S509에서는, 입출력부(115)는, 수신한 가상 시점 화상을 디스플레이 등의 표시부에 표시한다. 그후, S502로 되돌아간다. 가상 카메라의 조작자는, 이 가상 시점 화상을 관찰하면서 S502에서 입출력부(115)의 콘트롤러를 사용해서 가상 카메라를 조작해서 이동하는 것이 가능해진다. 이 가상 카메라의 이동 궤적이 카메라 패스로서 작성된다. 또한, 필요에 따라, 조작자는 입출력부(115)의 콘트롤러를 사용해서 S502에서 가상 시점 화상의 재생 속도나, 가상 카메라의 이동 속도를 조정할 수 있다. 이때, 도3의 예에서는, 재생 속도는 정속에서 카메라 패스가 작성되기 때문에, 재생 속도는 고정값인 채 변경하지 않고 일련의 처리가 반복되게 된다. 이상에서 도5a의 일련의 처리가 종료한다.
<카메라 패스 재현시의 처리>
이어서, 도5b는, 실시형태 1에 관한 정보 처리장치가 실시하는 카메라 패스 재현시의 처리의 절차를 나타낸 플로우차트다.
S510에서는, 입출력부(115)는, 카메라 패스 재현시의 가상 시점 화상의 재생 속도의 정보를 파라미터로서 취득한다. S511에서는, 기록 시각 산출부(116)는, 취득한 가상 시점 화상의 재생 속도의 정보에 근거하여, 카메라 파라미터 기록 시각을 산출한다. 카메라 파라미터 기록 시각은 카메라 패스 기록 개시 시간으로부터 시작한다.
S512에서는, 카메라 패스 기억부(118)는, S506에서 메모리에 기록된 카메라 패스 중에서, S511에서 산출된 카메라 파라미터 기록 시각에 해당하는 카메라 파라미터를 취득한다. S513에서는, 카메라 패스 기억부(118)는, S512의 취득 데이터를 확인한다. 취득 데이터를 확인할 수 있으면, S514로 진행한다. 한편, 취득 데이터를 확인할 수 없으면, 처리를 종료한다.
S514에서는, 통신부(114)는, 취득한 카메라 파라미터를 가상 시점 화상 생성 서버(102)에 송신하고, 가상 시점 화상의 생성을 지시한다. 가상 시점 화상 생성 서버(102)는, 카메라 파라미터에 포함되는 시각의 정보에 근거하여, 생성할 가상 시점 화상의 시각을 결정하고, 그 시각에 있어서의 가상 카메라의 위치, 자세에서의 가상 시점 화상을 생성한다. S515에서는, 통신부(114)는, 가상 시점 화상 생성 서버(102)로부터, 가상 시점 화상 생성 서버(102)에 의해 생성된 가상 시점 화상을 수신한다.
S516에서는, 입출력부(115)는, 수신한 가상 시점 화상을 디스플레이 등의 표시부에 표시한다. 그후, S510으로 되돌아간다. 가상 카메라의 조작자는, 이 가상 시점 화상을 관찰하면서, S510에서 입출력부(115)의 콘트롤러를 사용해서 카메라 패스 재현시의 가상 시점 화상의 재생 속도를 조정할 수 있다. 이에 따라, 조작자가 중요시하는 하이라이트 씬에서는 느리게 한 재생 속도에서 가상 시점 화상을 재생하고, 중요시하지 않는 씬에서는 빠른 재생 속도에서 가상 시점 화상을 재생시키는 것이 가능해진다. 이때, 도3의 예에서는, 재생 속도는 정속에서 카메라 패스가 재현되기 때문에, 재생 속도는 고정값인 채 변경하지 않고 일련의 처리가 반복되게 된다. 이상에서 도5b의 일련의 처리가 종료한다.
이상에서 설명한 바와 같이, 본 실시형태에서는 가상 시점 화상을 재생하면서 촬영 공간 내를 자유롭게 이동가능한 가상 카메라의 이동 궤적을 나타내는 카메라 패스를 작성하기 위한 카메라 패스 작성 모드에서의, 가상 시점 화상의 재생 속도의 정보를 취득하고, 해당 재생 속도에서 재생되고 있는 가상 카메라의 시점에서의 가상 시점 화상에 있어서 가상 카메라를 이동해서 카메라 패스를 작성하는 조작을 접수하는 처리를 행한다.
이에 따라, 카메라 패스 작성시에 가상 시점 화상의 재생 속도를, 피사체의 속도에 따른 적절한 속도로 조정할 수 있다. 예를 들면, 피사체의 움직임이 빠른 경우에, 조작자는 가상 시점 화상의 재생 속도를 느리게 해서 가상 카메라를 조종함으로써, 피사체의 움직임에 추종하기 쉬워져, 카메라 패스를 용이하게 작성할 수 있다. 또한, 피사체의 움직임이 너무 늦은 것 같은 경우(예를 들면, 움직임이 느린 동물의 관찰, 곤충의 우화의 관찰 등)에는, 반대로, 조작자는 가상 시점 화상의 재생 속도를 빠르게 하여, 피사체에의 추종을 용이하게 하면서 카메라 패스를 작성할 수 있다.
더구나, 카메라 패스 작성시에 가상 시점 화상의 재생 속도와는 별도로, 카메라 패스 재현시의 가상 시점 화상의 재생 속도에 대해서도, 조작자가 원하는 속도로 조정할 수 있도록 구성한다. 이에 따라, 작성된 카메라 패스를 실시간(또는, 임의의 시간)으로 재현하는 것도 가능해진다.
즉, 카메라 패스 작성시에 카메라 패스의 작성이 용이해지는 동시에, 카메라 패스 재현시에는 실시간에 근거하여 위화감이 없는 가상 시점 화상을 제공할 수 있다.
(실시형태2)
실시형태 2에서는, 정보 처리장치가 가상 시점 화상의 카메라 파라미터(가상 카메라의 위치, 자세, 시각 등)의 일부 또는 전부를 외부 장치에 송신하고, 외부 장치가 리플레이 가상 시점 화상을 녹화, 편집하는 예를 설명한다.
도6은, 본 실시형태에 관한, 외부 장치를 사용해서 리플레이 가상 시점 화상을 생성하는 화상처리 시스템의 구성예를 도시한 도면이다. 화상처리 시스템(20)은, 촬영 시스템(201), 가상 시점 화상 생성 서버(202), 정보 처리장치(203)를 구비하고 있고, 외부 장치인 녹화편집장치(204)와 통신가능하다. 정보 처리장치(203)는, 통신부(214), 입출력부(215), 기록 시각 산출부(216), 위치 자세 취득부(217), 및 카메라 패스 기억부(218)를 구비하고 있다.
촬영 시스템 201은, 도2의 촬영 시스템 101과 같다. 가상 시점 화상 생성 서버(202)는, 통신부(214)로부터 입력하는 카메라 파라미터의 전체, 또는 일부의 정보를, 가상 시점 화상에 부가하고, 녹화편집장치(204)에 출력해도 된다. 가상 시점 화상에 부가하는 방법은, 예를 들면, SDI(Serial Digital Interface) 신호의 앤실래리(ancillary) 영역에 기술하는 것을 상정하지만, 이것에 한정되지 않는다.
통신부 214는, 도2의 통신부 114의 기능 이외에, 위치 자세 취득부(217), 또는 카메라 패스 기억부(218)로부터 입력한 카메라 파라미터의 전체 또는 일부를 순차, Ethernet이나 USB 등의 통신수단을 사용해서 녹화편집장치(204)에 송신하는 기능을 갖는다.
입출력부(215)는, 도2의 입출력부 115와 같다. 기록 시각 산출부 216는, 도2의 기록 시각 산출부 116의 기능 이외에, 가상 시점 화상의 재생 속도를 카메라 파라미터에 부가하는 기능을 갖는다. 위치 자세 취득부 217는, 도2의 위치 자세 취득부 117의 기능 이외에, 가상 카메라의 이동 속도를 카메라 파라미터에 부가하는 기능을 갖는다. 카메라 패스 기억부 218는, 도2의 카메라 패스 기억부 118와 같다.
녹화편집장치(204)는, 가상 시점 화상 생성 서버(202) 또는 통신부(214)로부터 입력된 가상 시점 화상을 녹화한다. 또한, 녹화편집장치(204)는, 가상 시점 화상 생성 서버(202) 또는 통신부(214)로부터 입력된 가상 시점 화상과, 통신부(214)로부터 입력된 카메라 파라미터의 전체 또는 일부를 사용하여, 가상 시점 화상의 편집을 행한다. 이때, 여기에서 취득되는 정보는, 카메라 파라미터, 가상 시점 화상의 재생 속도의 정보, 및 가상 카메라의 이동 속도의 정보다.
가상 시점 화상의 편집의 방법은, 가상 카메라의 카메라 파라미터(위치, 자세, 시각 등), 가상 시점 화상의 재생 속도, 이동 속도의 정보를 조작자 또는 시스템이 참조하여, 가상 시점 화상의 재생 속도가 0.5배속일 때에 가상 시점 화상을 2배속에서 재생하는 예를 들 수 있다. 이에 따라, 실시간의 리플레이 가상 시점 화상을 작성하는 것이 가능해진다. 이때, 가상 시점 화상의 편집의 방법은, 이것에 한정되지 않는다.
도7은, 통신부(214)가, 가상 시점 화상 생성 서버(202), 또는 녹화편집장치(204)에 출력하는 카메라 파라미터의 일례다. 단, 출력하는 카메라 파라미터의 기술방법은, 이것에 한정되지 않는다. 도7의 예에서는, 시각이 01:02:03:00이고, 가상 시점 화상의 재생 모드가 카메라 패스 작성 모드이고, 가상 시점 화상의 재생 속도가 0.5이고, 가상 카메라의 이동 속도가 0.5이고, 가상 카메라의 x 위치가 100, y 위치가 200이다. 이때, 통신부(214)로부터 가상 시점 화상 생성 서버(202) 또는 녹화편집장치(204)에 출력되는 파라미터는 이것에 한정되지 않는다. 예를 들면, 카메라 패스 작성 모드에 있어서의 재생 속도와는 다른 재생 속도를 나타내는 정보로서, 카메라 패스 재현 모드에 있어서의 재생 속도를 나타내는 정보가, 출력되는 파라미터에 포함되어 있어도 된다.
이상의 처리에 의해, 정보 처리장치가 가상 시점 화상의 카메라 파라미터의 일부 또는 전체를 외부 장치(예를 들면, 녹화편집장치)에 송신하고, 외부 장치가 리플레이 가상 시점 화상을 녹화, 편집하는 것이 가능해진다.
본 실시형태에 따르면, 카메라 패스 작성에 따라 순차 녹화편집장치에 가상시점 화상과 그것의 메타 정보가 출력되기 때문에, 보다 빨리 녹화와 편집이 가능해지고, 따라서 보다 빠른 영상 분배가 가능해진다. 더구나, 화상처리 시스템 밖에 존재하는 서드파티에 의한 녹화편집장치에 의한 녹화·편집이 가능해진다.
(실시형태3)
실시형태 3에서는, 가상 카메라의 조작자가 가상 시점 화상의 재생 속도, 또는 가상 카메라의 이동 속도에 관한 파라미터의 변경을 행하는 예를 설명한다.
도8은, 본 실시형태에 관한, 조작자가 가상 시점 화상의 재생 속도, 및 가상 카메라의 이동 속도에 관한 파라미터의 변경을 행하는 유저 인터페이스(UI)의 이미지 도이다. UI는, 씬 재생 속도(303), 가상 카메라 이동 속도(404), 슬로우 카메라 어시스트 율 제어 바(702), 씬 재생 속도 제어 바(703)를 갖는다.
조작자는, 가상 카메라의 이동 속도에 관한 파라미터로서, 각각 슬로우 카메라 어시스트 율 제어 바(702)를 조작한다. 또한, 가상 시점 화상의 재생 속도에 관한 파라미터로서, 씬 재생 속도 제어 바(703)를 조작한다. 슬로우 카메라 어시스트 율 제어 바(702)와 씬 재생 속도 제어 바(703)는 독립해서 동작한다. 단, 슬로우 카메라 어시스트 율 제어 바(702)와 씬 재생 속도 제어 바(703)의 동작은, 이것에 한정되지 않는다. 예를 들면 조작자가 씬 재생 속도 제어 바(703)를 조작하여, 가상 시점 화상의 재생 속도를 변경한 경우에, 그 재생 속도로부터 최적의 가상 카메라의 이동 속도를 자동적으로 산출하고, 슬로우 카메라 어시스트 율 제어 바(702)에 반영시켜, 연동해서 동작하도록 구성해도 된다.
UI는, 입출력부(115)가 갖는 디스플레이 등의 표시부에 표시되어도 된다. 또한, UI는, 입출력부(115)가 갖는 콘트롤러 등의 입력부에 의해 조작되어도 된다.
도8에 있어서, 씬 재생 속도(303)는, 입출력부(115)가 입력, 표시하는 가상 시점 화상의 재생 속도이며, 이 속도가 기록 시각 산출부(116)에 출력된다. 100%이 통상의 재생 속도다. 씬 재생 속도(303)는, 100%보다 작을 경우는 슬로우 재생이 된다. 예를 들면, 씬 재생 속도(303)는, 실시간에 있어서의 1초간의 영상을 2초간에 재생할 경우, 50%이 된다. 100%보다 큰 경우에는 빨리감기 재생이다. 씬 재생 속도(303)가 0%인 경우, 입출력부(115)에 표시하는 가상 시점 화상은 정지하고 있는 상태다. 이때, 씬 재생 속도(303)가 0%인 경우에도 가상 카메라를 제어하는 것은 가능하다. 예를 들면, 선수가 볼을 찬 순간의 선수의 주위 둘레로 회전하는 것 같은 가상 시점 화상을 생성하는 것이 가능하다.
슬로우 카메라 어시스트 율 404는, 입출력부(115)가 입력, 표시하는, 슬로우 카메라 어시스트 기능을 유효로 했을 때의 카메라의 이동 속도를 줄이는 비율이며, 위치 자세 취득부(117)에 출력된다. 이때, 가상 카메라의 이동 속도는, 카메라 패스 작성 모드에서의 가상 시점 화상의 재생 속도에 따라 자동적으로 결정된다. 즉, 씬의 재생 속도(가상 시점 화상의 재생 속도)의 변경에 따라 가상 카메라의 이동 속도가 자동적으로 변경되도록 구성한다.
예를 들면, 씬 재생 속도가 50%로 변경된 경우에는, 그 재생 속도에서의 가상 시점 화상의 재생중에 있어서 유저 조작에 따른 가상 카메라의 이동 속도를, 통상의 50%로 줄이도록 구성해도 된다. 또한 예를 들면, 씬 재생 속도가 25%로 변경된 경우에는, 가상 카메라의 이동 속도를 통상의 25%로 줄이도록 구성해도 된다. 슬로우 카메라 어시스트는, 씬의 재생 속도와 가상 카메라의 이동 속도를 함께 줄이는 것에 의해, 리플레이 클립을 녹화하기 위한 조종이 용이해진다. 예를 들면, 고속으로 이동하는 볼을 쫓는 것과 같은 리플레이 클립을 작성할 때에, 가상 카메라의 조종이 용이해진다. 이때, 씬 재생 속도를 100% 이상의 빨리감기로 설정했을 경우에는, 가상 카메라의 이동 속도도 통상의 속도 이상으로 설정해도 된다.
슬로우 카메라 어시스트 율 제어 바(702)는, 입출력부(115)가 입력, 표시하는 슬로우 카메라 어시스트 실행시의 가상 카메라의 이동 속도를 제어하여, 위치 자세 취득부(117)에 출력된다. 씬 재생 속도 제어 바(703)는, 입출력부(115)가 입력, 표시하는 씬의 재생 속도를 제어하여, 기록 시각 산출부(116)에 출력된다.
슬로우 카메라 어시스트 율 제어 바(702)와 씬 재생 속도 제어 바(703)의 기능은, 도8과 같은 바의 형식 뿐만 아니라, 예를 들면, 풀 다운 메뉴에 의한 선택이나 텍스트 박스에 의한 직접 입력의 형식으로 실현해도 된다. 또한, 입출력부(115)가 갖는 콘트롤러를 사용해도 된다. 여기에서, 도9는, 본 실시형태에 관한, 슬로우 카메라 어시스트 율, 또는 씬 재생 속도를 조작하는 콘트롤러로서의 윈도우의 일례를 도시한 도면이다. 슬라이더(1014)는, 슬로우 카메라 어시스트 율, 또는 씬 재생 속도를 설정하기 위해서 사용하는 것을 상정한다.
이때, 슬라이더(1014)는, 슬로우 카메라 어시스트 율 제어 바(702), 또는 씬 재생 속도 제어 바(703)와 연동해도 된다. 또한, 버튼 1001 내지 버튼 1013 등에 미리 값을 설정해 두고, 그것을 누름으로써 슬로우 카메라 어시스트 율, 또는 씬 재생 속도의 값이 설정값으로 치환하거나, 결정 버튼(1014)을 누르는 것에 의해 반영되어도 된다. 단, 콘트롤러에 의한 설정방법은, 이것에 한정되지 않는다.
이상의 처리에 의해, 가상 카메라의 조작자가 가상 시점 화상의 재생 속도, 또는 가상 카메라의 이동 속도에 관한 파라미터의 변경을 용이하게 행할 수 있다.
이때, 전술한 각 실시형태에서는, 카메라 패스 작성 모드를 예로 들어 설명을 행했지만, 카메라 패스 작성시에 한정되지 않고, 단순히 가상 카메라를 조종할 때에도 본 발명을 적용할 수 있다. 예를 들면, 가상 시점 화상의 재생 속도에 따라, 가상 카메라의 이동 속도(유저 조작에 대한 가상 카메라의 이동량)를 변경함으로써, 피사체의 움직임에 추종하는 가상 카메라의 조종을 행하기 쉬워진다. 이때, 가상 시점 화상의 재생 속도, 가상 카메라의 이동 속도는, 각각 조작자가 자유롭게 설정할 수 있도록 구성해도 되고, 가상 시점 화상의 재생 속도에 따라 자동적으로 가상 카메라의 이동 속도를 결정하도록 구성해도 된다.
또한, 가상 시점 화상의 재생 속도에 따라 제어되는 가상 시점의 변화 속도는, 가상 카메라의 이동 속도(위치의 변화 속도)에 한정되지 않고, 가상 카메라의 방향이나 화각의 변화 속도이어도 된다. 또한, 가상 시점의 변화 속도는, 가상 시점 화상의 재생 속도와 유저 조작에 따른 입력에 근거하여 결정해도 된다. 예를 들면, 유저가 콘트롤러의 조이스틱을 크게 기울인 경우에는 가상 시점의 변화 속도를 빨리 하고, 조이스틱을 작게 기울인 경우에는 가상 시점의 변화 속도를 느리게 해도 된다. 그리고, 가상 시점 화상의 재생 속도가 빠를수록, 유저 조작에 따른 가상 시점의 변화의 감도를 높게 해도 된다. 또한, 가상 시점 화상의 재생 속도가 빠를수록, 조이스틱을 최대까지 기울인 경우의 가상 시점의 변화 속도의 상한을 높게 해도 된다.
또한, 상기에서는 먼저 가상 시점 화상의 재생 속도가 결정되고, 결정된 재생 속도에 따라 가상 시점의 변화 속도가 제어되는 예를 설명했지만, 반대의 제어도 가능하다. 즉, 유저 조작에 따른 가상 시점의 변화 속도에 따라, 카메라 패스 작성 모드에 있어서의 가상 시점 화상의 재생 속도가 제어되어도 된다. 예를 들면, 유저가 가상 카메라를 움직이지 않고 있는 동안에는 통상 속도(1배속)에서 가상 시점 화상이 재생되고, 유저가 가상 시점을 움직이고 있는 동안에는 통상 속도보다도 느린 속도(예를 들면, 0.5배속)에서 가상 시점 화상이 재생되어도 된다.
(기타 실시형태)
본 발명은, 전술한 실시형태의 1 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 거쳐 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 1개 이상의 프로세서가 프로그램을 판독하여 실행하는 처리에서도 실현가능하다. 또한, 1 이상의 기능을 실현하는 회로(예를 들면, ASIC)에 의해서도 실현가능하다.
본 발명은 상기 실시형태에 제한되는 것은 아니고, 본 발명의 정신 및 범위에서 이탈하지 않고, 다양한 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 밝히기 위해서, 이하의 청구항을 첨부한다.
본원은, 2018년 7월 12일 제출된 일본국 특허출원 특원 2018-132639를 기초로서 우선권을 주장하는 것이며, 그것의 기재 내용의 전체를, 여기에 원용한다.

Claims (19)

  1. 복수의 촬영 화상에 근거하여 가상 시점 화상의 재생 속도를 결정하는 결정수단과,
    상기 결정수단에 의해 결정된 재생 속도에서의 상기 가상 시점 화상의 재생중에 있어서 유저 조작에 따른 입력을 접수하는 접수수단과,
    상기 접수수단에 의해 접수된 입력에 근거하여 상기 가상 시점 화상에 대응하는 가상 시점을 변화시키는 제어를 행하는 제어수단으로서, 제1 재생 속도에서의 상기 가상 시점 화상의 재생중에 있어서 특정한 유저 조작에 따른 입력이 접수된 것에 따라 변화하는 상기 가상 시점의 변화 속도가, 상기 제1 재생 속도보다도 빠른 제2 재생 속도에서의 상기 가상 시점 화상의 재생중에 있어서 상기 특정한 유저 조작에 따른 입력이 접수된 것에 따라 변화하는 상기 가상 시점의 변화 속도보다도 늦어지도록 제어하는 제어수단을 갖는 것을 특징으로 하는 정보 처리장치.
  2. 제 1항에 있어서,
    상기 제어수단에 의한 제어에 따른 가상 시점의 경시적인 변화를 나타내는 시점 정보를 생성하는 시점 정보 생성수단과,
    상기 결정수단에 의해 결정된 재생 속도와는 다른 재생 속도에서 재생되는 가상 시점 화상을, 상기 시점 정보 생성수단에 의해 생성된 시점 정보와 상기 복수의 촬영 화상에 근거하여 생성하는 화상 생성수단을 갖는 것을 특징으로 하는 정보 처리장치.
  3. 제 1항에 있어서,
    상기 제어수단에 의한 제어에 따른 가상 시점의 변화를 나타내는 시점 정보를 생성하는 시점 정보 생성수단과,
    상기 시점 정보 생성수단에 의해 생성된 시점 정보를, 상기 복수의 촬영 화상에 근거하여 가상 시점 화상을 생성하는 화상 생성장치에 출력하는 출력수단을 갖는 것을 특징으로 하는 정보 처리장치.
  4. 제 3항에 있어서,
    상기 출력수단은, 상기 화상 생성장치에 의해 생성되는 가상 시점 화상의 재생 속도를 나타내는 정보를 출력하는 것을 특징으로 하는 정보 처리장치.
  5. 제 4항에 있어서,
    상기 결정수단에 의해 결정되는 재생 속도와 상기 출력수단에 의해 출력되는 정보가 나타내는 재생 속도는 다른 것을 특징으로 하는 정보 처리장치.
  6. 제 1항에 있어서,
    상기 결정수단은, 유저에 의한 지정 조작에 근거하여 상기 가상 시점 화상의 재생 속도를 결정하는 것을 특징으로 하는 정보 처리장치.
  7. 제 1항에 있어서,
    상기 결정수단은, 상기 복수의 촬영 화상의 적어도 어느 한개에 포함되는 오브젝트의 움직임에 근거하여 상기 가상 시점 화상의 재생 속도를 결정하는 것을 특징으로 하는 정보 처리장치.
  8. 제 1항에 있어서,
    상기 제어수단은, 상기 결정수단에 의해 결정된 재생 속도에 근거하여 상기 가상 시점의 변화 속도의 상한을 결정하는 것을 특징으로 하는 정보 처리장치.
  9. 제 1항에 있어서,
    상기 제어수단은, 상기 결정수단에 의해 결정된 재생 속도에 근거하여 유저 조작에 따른 상기 가상 시점의 변화의 감도를 결정하는 것을 특징으로 하는 정보 처리장치.
  10. 제 1항에 있어서,
    상기 제어수단은, 상기 접수수단에 의해 접수된 입력에 근거하여 상기 가상 시점의 위치와 방향과 화각의 적어도 어느 한개를 변화시키는 것을 특징으로 하는 정보 처리장치.
  11. 제 1항에 있어서,
    상기 결정수단은, 가상 시점 화상의 재생중에 가상 시점의 이동 궤적을 나타내는 카메라 패스를 작성하는 카메라 패스 작성 모드에서의 해당 가상 시점의 재생 속도를 결정하는 것을 특징으로 하는 정보 처리장치.
  12. 복수의 촬영 화상에 근거하여 가상 시점 화상의 재생 속도를 변경하는 변경수단과,
    상기 가상 시점 화상의 재생중에 있어서 유저 조작에 따른 입력을 접수하는 접수수단과,
    상기 가상 시점 화상에 근거하여 가상 시점의 변화 속도를 결정하기 위한 파라미터를 설정하는 설정 수단과,
    상기 접수수단에 의해 접수된 입력에 근거하여 상기 가상 시점 화상에 대응하는 가상 시점을 변화시키는 제어수단으로서, 상기 변경수단에 의해 변경된 재생 속도 및 상기 파라미터에 근거해서 결정되는 상기 가상 시점의 변화 속도와 상기 입력에 의해 상기 가상 시점을 변화시키는 제어수단을 갖는 것을 특징으로 하는 정보 처리장치.
  13. 제 12항에 있어서,
    상기 제어수단은, 상기 변경수단에 의해 변경된 재생 속도 및 상기 파라미터에 근거하여 상기 가상 시점의 변화 속도의 상한을 결정하는 것을 특징으로 하는 정보 처리장치.
  14. 제 12항에 있어서,
    상기 제어수단은, 상기 변경수단에 의해 변경된 재생 속도 및 상기 파라미터에 근거하여 유저 조작에 따른 상기 가상 시점의 변화의 감도를 결정하는 것을 특징으로 하는 정보 처리장치.
  15. 복수의 촬영 화상에 근거하여 가상 시점 화상의 재생 속도를 결정하는 결정공정과,
    상기 결정공정에 의해 결정된 재생 속도에서의 상기 가상 시점 화상의 재생중에 있어서 유저 조작에 따른 입력을 접수하는 접수공정과,
    상기 접수공정에 의해 접수된 입력에 근거하여 상기 가상 시점 화상에 대응하는 가상 시점을 변화시키는 제어를 행하는 제어공정으로서, 제1 재생 속도에서의 상기 가상 시점 화상의 재생중에 있어서 특정한 유저 조작에 따른 입력이 접수된 것에 따라 변화하는 상기 가상 시점의 변화 속도가, 상기 제1 재생 속도보다도 빠른 제2 재생 속도에서의 상기 가상 시점 화상의 재생중에 있어서 상기 특정한 유저 조작에 따른 입력이 접수된 것에 따라 변화하는 상기 가상 시점의 변화 속도보다도 늦어지도록 제어하는 제어공정을 갖는 것을 특징으로 하는 정보 처리방법.
  16. 제 15항에 있어서,
    상기 제어공정에 있어서의 제어에 따른 가상 시점의 경시적인 변화를 나타내는 시점 정보를 생성하는 시점 정보 생성공정과,
    상기 결정공정에 있어서 결정된 재생 속도와는 다른 재생 속도에서 재생되는 가상 시점 화상을, 상기 시점 정보 생성공정에 있어서 생성된 시점 정보와 상기 복수의 촬영 화상에 근거하여 생성하는 화상 생성공정을 갖는 것을 특징으로 하는 정보 처리방법.
  17. 제 15항에 있어서,
    상기 제어공정은, 상기 결정공정에 있어서 결정된 재생 속도에 근거하여 상기 가상 시점의 변화 속도의 상한을 결정하는 것을 특징으로 하는 정보 처리방법.
  18. 제 15항에 있어서,
    상기 제어공정은, 상기 결정공정에 있어서 결정된 재생 속도에 근거하여 유저 조작에 따른 상기 가상 시점의 변화의 감도를 결정하는 것을 특징으로 하는 정보 처리방법.
  19. 컴퓨터를, 청구항 1 내지 14 중 어느 한 항에 기재된 정보 처리장치로서 기능시키기 위한 매체에 기억된 프로그램.
KR1020217000304A 2018-07-12 2019-04-18 정보 처리장치, 정보 처리방법 및 프로그램 KR102500615B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018132639A JP7170441B2 (ja) 2018-07-12 2018-07-12 情報処理装置、情報処理方法及びプログラム
JPJP-P-2018-132639 2018-07-12
PCT/JP2019/016562 WO2020012748A1 (ja) 2018-07-12 2019-04-18 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
KR20210016613A KR20210016613A (ko) 2021-02-16
KR102500615B1 true KR102500615B1 (ko) 2023-02-16

Family

ID=69142314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217000304A KR102500615B1 (ko) 2018-07-12 2019-04-18 정보 처리장치, 정보 처리방법 및 프로그램

Country Status (6)

Country Link
US (1) US11368666B2 (ko)
EP (1) EP3823287A4 (ko)
JP (1) JP7170441B2 (ko)
KR (1) KR102500615B1 (ko)
CN (1) CN112640472B (ko)
WO (1) WO2020012748A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
EP4113453A4 (en) * 2020-03-30 2023-08-30 Sony Group Corporation INFORMATION PROCESSING DEVICE, IMAGE PROCESSING SYSTEM AND INFORMATION PROCESSING METHOD
JP7451291B2 (ja) 2020-05-14 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2022032483A (ja) 2020-08-12 2022-02-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2022124047A1 (ja) * 2020-12-07 2022-06-16 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
US11941729B2 (en) 2020-12-11 2024-03-26 Canon Kabushiki Kaisha Image processing apparatus, method for controlling image processing apparatus, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120188452A1 (en) 2010-07-29 2012-07-26 Liberovision Ag Image processing method and device for instant replay
JP2018046448A (ja) * 2016-09-15 2018-03-22 キヤノン株式会社 画像処理装置および画像処理方法
JP2018092491A (ja) * 2016-12-06 2018-06-14 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066550B1 (ko) * 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
JP5456020B2 (ja) * 2009-10-30 2014-03-26 キヤノン株式会社 情報処理装置および方法
KR101665049B1 (ko) * 2010-08-11 2016-10-11 삼성전자주식회사 영상 처리 장치 및 방법
JP2012109719A (ja) 2010-11-16 2012-06-07 Canon Inc 映像処理装置及びその制御方法
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
EP2960864B1 (en) * 2014-06-23 2018-12-05 Harman Becker Automotive Systems GmbH Device and method for processing a stream of video data
US20170256283A1 (en) * 2014-09-08 2017-09-07 Sony Corporation Information processing device and information processing method
US10230866B1 (en) * 2015-09-30 2019-03-12 Amazon Technologies, Inc. Video ingestion and clip creation
JP6613774B2 (ja) * 2015-09-30 2019-12-04 アイシン精機株式会社 周辺監視装置
JP6482498B2 (ja) * 2016-05-25 2019-03-13 キヤノン株式会社 制御装置、制御方法、及び、プログラム
FR3052949B1 (fr) * 2016-06-17 2019-11-08 Alexandre Courtes Procede et systeme de prise de vues a l'aide d'un capteur virtuel
US10754529B2 (en) * 2016-10-28 2020-08-25 Adobe Inc. Facilitating editing of virtual-reality content using a virtual-reality headset
JP6840562B2 (ja) 2017-02-15 2021-03-10 キヤノン株式会社 光走査装置及び画像形成装置
JP2018182428A (ja) * 2017-04-06 2018-11-15 株式会社フューチャリズムワークス 映像配信装置、映像配信システム及び映像配信方法
WO2018199052A1 (ja) * 2017-04-25 2018-11-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像表示方法及び画像表示装置
DE102017125544B3 (de) * 2017-05-15 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verarbeitungsverfahren und Verarbeitungssystem für Videodaten
US10360727B2 (en) * 2017-08-02 2019-07-23 Omnivor, Inc. Methods for streaming visible blocks of volumetric video
JPWO2019031306A1 (ja) * 2017-08-07 2020-08-06 シャープ株式会社 生成装置、再生装置、生成方法、再生方法、制御プログラム、記録媒体
CN108289220B (zh) * 2018-01-15 2020-11-27 深圳市奥拓电子股份有限公司 虚拟图像处理方法、图像处理系统及存储介质
JP7051457B2 (ja) 2018-01-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7330683B2 (ja) 2018-11-06 2023-08-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120188452A1 (en) 2010-07-29 2012-07-26 Liberovision Ag Image processing method and device for instant replay
JP2018046448A (ja) * 2016-09-15 2018-03-22 キヤノン株式会社 画像処理装置および画像処理方法
JP2018092491A (ja) * 2016-12-06 2018-06-14 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム

Also Published As

Publication number Publication date
EP3823287A4 (en) 2022-04-20
EP3823287A1 (en) 2021-05-19
JP7170441B2 (ja) 2022-11-14
CN112640472B (zh) 2023-06-09
WO2020012748A1 (ja) 2020-01-16
US11368666B2 (en) 2022-06-21
JP2020010301A (ja) 2020-01-16
KR20210016613A (ko) 2021-02-16
CN112640472A (zh) 2021-04-09
US20210120224A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
KR102500615B1 (ko) 정보 처리장치, 정보 처리방법 및 프로그램
JP6539253B2 (ja) 情報処理装置、その制御方法、およびプログラム
KR102484197B1 (ko) 정보 처리장치, 정보 처리방법 및 기억매체
JP7458889B2 (ja) 画像表示装置、制御方法、およびプログラム
JP5884073B2 (ja) 没入位置情報生成方法
US20200275083A1 (en) Information processing apparatus, information processing method, and computer readable storage medium
JP2022188095A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
US20200402281A1 (en) Image processing apparatus, image processing method, and storage medium
JP2020042665A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
US20160344946A1 (en) Screen System
WO2021230073A1 (ja) 情報処理装置、情報処理方法、及び表示装置
KR20230017745A (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
JP2021197082A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP7403956B2 (ja) 情報処理装置、制御方法、及びプログラム
US20230164305A1 (en) Information processing device, information processing method, and program
KR101263881B1 (ko) 무인 방송 제어 시스템
JP2021043922A (ja) 情報処理装置、システム、生成方法、及び、プログラム
JP2024014517A (ja) 情報処理システム、情報処理方法及びコンピュータプログラム
JP2023173577A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2023183059A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP2024017779A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant