JP7170441B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7170441B2
JP7170441B2 JP2018132639A JP2018132639A JP7170441B2 JP 7170441 B2 JP7170441 B2 JP 7170441B2 JP 2018132639 A JP2018132639 A JP 2018132639A JP 2018132639 A JP2018132639 A JP 2018132639A JP 7170441 B2 JP7170441 B2 JP 7170441B2
Authority
JP
Japan
Prior art keywords
virtual viewpoint
speed
camera
viewpoint image
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018132639A
Other languages
English (en)
Other versions
JP2020010301A (ja
JP2020010301A5 (ja
Inventor
圭吾 米田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018132639A priority Critical patent/JP7170441B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201980055528.XA priority patent/CN112640472B/zh
Priority to KR1020217000304A priority patent/KR102500615B1/ko
Priority to PCT/JP2019/016562 priority patent/WO2020012748A1/ja
Priority to EP19835094.4A priority patent/EP3823287A4/en
Publication of JP2020010301A publication Critical patent/JP2020010301A/ja
Priority to US17/133,770 priority patent/US11368666B2/en
Publication of JP2020010301A5 publication Critical patent/JP2020010301A5/ja
Application granted granted Critical
Publication of JP7170441B2 publication Critical patent/JP7170441B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関するものである。
近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の１以上の視点での仮想視点画像を生成する技術が注目されている。
仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦したりすることができるようにもなり、従来の撮影画像と比較してユーザに高臨場感を与えることができる。
特許文献１では、仮想カメラの操作者が望む構図を実現するための仮想カメラの制御手法が開示されている。具体的には、任意視点映像データを含む映像コンテンツデータの再生時に任意視点映像の視点を移動させる操作をユーザが行った場合に、再生中の任意の任意視点映像において視点移動量を区域ごとに制御する構成が開示されている。
特開２０１２－１０９７１９号公報
しかしながら、特許文献１に記載の技術では、被写体の動きに合わせて操作者が望む構図の仮想視点画像を生成することが難しいという課題がある。
本発明は、上記の課題に鑑みてなされたものであり、仮想視点の操作者が望む構図の仮想視点画像を生成することを容易にするための技術を提供することを目的とする。
上記の目的を達成する本発明に係る情報処理装置は、
複数の撮影画像に基づく仮想視点画像の再生速度を決定する決定手段と、
前記決定手段により決定された再生速度での前記仮想視点画像の再生中におけるユーザ操作に応じた入力を受け付ける受付手段と、
前記受付手段により受け付けられた入力に基づいて前記仮想視点画像に対応する仮想視点を変化させる制御を行う制御手段であって、第１再生速度での前記仮想視点画像の再生中における特定のユーザ操作に応じた入力が受け付けられたことに応じて変化する前記仮想視点の変化速度が、前記第１再生速度よりも速い第２再生速度での前記仮想視点画像の再生中における前記特定のユーザ操作に応じた入力が受け付けられたことに応じて変化する前記仮想視点の変化速度よりも遅くなるように制御する制御手段とを有することを特徴とする。

本発明によれば、仮想視点の操作者が望む構図の仮想視点画像を生成することが容易になる。
（ａ）実施形態１に係る画像処理システムの全体構成の一例を示す図、（ｂ）情報処理装置のハードウェア構成の一例を示す図。 実施形態１に係る情報処理装置の構成の一例を示す図。 実施形態１に係る時間の概念の一例を示す図。 実施形態１に係る記録時刻算出部の処理の一例を示すフローチャート。 実施形態１に係る情報処理装置の処理の一例を示すフローチャート。 実施形態２に係る情報処理装置の構成の一例を示す図。 実施形態２に係る、通信部が仮想視点画像生成サーバ又は録画編集装置へ送信するカメラパラメータの一例を示す図。 実施形態３に係るリプレイ仮想視点画像生成用のＵＩの一例を示す図。 実施形態３に係るコントローラの一例を示す図。
以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
（実施形態１）
＜概要＞
実施形態１では、仮想カメラのカメラパス作成時とそのカメラパス再現時とで仮想視点画像の再生速度を異ならせる例を説明する。より具体的には、カメラパス作成時には例えば実時間の２倍の長さ（０．５倍速）で仮想視点画像を再生しながら仮想カメラを操作して移動させることによりカメラパスを作成する。カメラパスの作成に適した再生速度を操作者が指定することで、仮想カメラの精緻な移動が可能となり、仮想視点画像に含まれる被写体への追従が容易となる。また、カメラパス再現時にも再生速度を操作者が指定可能であり、例えば実時間（カメラパス作成時の０．５倍速に対する２倍の速度）で仮想視点画像を再生する。これにより、違和感の無い仮想視点画像を再生することができる。
＜画像処理システムの構成＞
図１（ａ）は、本実施形態に係る画像処理システム１０の全体構成を示す図である。画像処理システム１０は、撮影システム１０１、仮想視点画像生成サーバ１０２、及び情報処理装置１０３を備えており、画像処理システム１０は、仮想視点画像を生成することが可能である。
撮影システム１０１は、異なる位置に配置された複数のカメラを備えており、多視点からの複数の画像を同期撮影する。そして、多視点から同期撮影した複数の画像を、仮想視点画像生成サーバ１０２へ送信する。
仮想視点画像生成サーバ１０２は、多視点から同期撮影された複数の画像に基づいて、撮影空間内を移動可能な仮想視点に対応した仮想的なカメラである仮想カメラから観察した仮想視点画像を生成する。即ち、撮影システム１０１が有するどのカメラとも異なる視点から観察した画像も含む、つまり仮想視点画像を生成することができる。仮想カメラの視点は、後述する情報処理装置１０３が決定するカメラパラメータによって表現される。
仮想視点画像生成サーバ１０２は、受信した複数の画像から順次仮想視点画像を生成する。つまり、ライブ仮想視点画像を生成することが可能である。なお、画像処理システム１０が生成できるライブ仮想視点画像は、現在時刻に対して撮影システム１０１および仮想視点画像生成サーバ１０２での処理遅延を考慮した時刻での、撮影システム１０１が撮影した撮影画像に基づく仮想視点画像である。
さらに、仮想視点画像生成サーバ１０２は、データベースを有しており、受信した複数の画像を記録する機能を有する。そのため、リプレイ仮想視点画像を生成することが可能である。リプレイ仮想視点画像は、任意の時刻での撮影システム１０１が撮影した撮影画像に基づく仮想視点画像であり、例えば作成されたカメラパス再現時に再生される仮想視点画像である。なお、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。即ち、画像処理システム１０は、静止画及び動画の何れについても処理可能である。
情報処理装置１０３は、仮想カメラを制御し、仮想カメラの視点を表すカメラパラメータを決定する。仮想カメラのカメラパラメータは、仮想カメラの位置、姿勢、及び時刻を指定するためのパラメータを少なくとも含む。また、仮想カメラのカメラパラメータは、ズームをさらに含んでもよい。カメラパラメータの時刻とは、図３を参照して後述するプレイ開示時刻とプレイ終了時刻の間の時刻である。当該時刻は、２０××年×月×日×時×分×秒といった形式で表現してもよいし、プレイ開始時刻を基準（ゼロ）とした時の時間として表現してもよい。
カメラパラメータにより指定される仮想カメラの位置は、３次元座標を示すものであってもよい。また、仮想カメラのカメラパラメータにより指定される位置は、Ｘ軸、Ｙ軸、Ｚ軸の３軸の直交座標系の座標により示されてもよい。この場合、仮想カメラのカメラパラメータにより指定される位置は、座標を示すものであり、Ｘ軸、Ｙ軸、Ｚ軸の３軸のパラメータから構成されてもよい。なお、原点は撮影空間内の任意の位置としてもよい。
カメラパラメータにより指定される仮想カメラの姿勢は、パン、チルト、ロールの３軸とのなす角度により示されてもよい。この場合、カメラパラメータにより指定される仮想カメラの姿勢は、パン、チルト、ロールの３軸のパラメータから構成されてもよい。カメラパラメータにより指定される仮想カメラのズームは、例えば、焦点距離の１軸により示され、ズームと時刻はそれぞれ１軸のパラメータである。
よって、仮想カメラのカメラパラメータは少なくとも８軸のパラメータを有するように構成することができ、情報処理装置１０３はこれら８軸を制御可能である。なお、カメラパラメータは他の要素を規定するパラメータを含んでもよいし、上述した８軸のパラメータの全てを含まなくてもよい。
情報処理装置１０３は、決定した仮想カメラのカメラパラメータを仮想視点画像生成サーバ１０２へ送信する。次に、仮想視点画像生成サーバ１０２は、受信したカメラパラメータに基づいて仮想視点画像を生成し、情報処理装置１０３へ送信する。なお、本実施形態のように１台の情報処理装置１０３でライブ仮想視点画像とリプレイ仮想視点画像とを生成してもよいが、２台の情報処理装置を用意して、ライブ仮想視点画像とリプレイ仮想視点画像とをそれぞれ異なる情報処理装置で生成してもよい。
＜情報処理装置のハードウェア構成＞
図１（ｂ）は、本実施形態に係る情報処理装置１０３のハードウェア構成の一例を示す図である。情報処理装置１０３は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、通信部１１４及び入出力部１１５を備えている。
ＣＰＵ１１１は、ＲＡＭ１１２やＲＯＭ１１３に格納されているコンピュータプログラムやデータを読み出して実行することにより情報処理装置１０３全体の動作を制御する。ＲＡＭ１１２は、ＲＯＭ１１３から読みだされたコンピュータプログラムや計算の途中結果など、通信部１１４を介して外部から供給されるデータなどを一時的に記憶する。ＲＯＭ１１３は、変更を必要としないコンピュータプログラムやデータを保持する。なお、ＲＡＭ１１２、ＲＯＭ１１３を総称してメモリと表現する。
通信部１１４は、Ｅｔｈｅｒｎｅｔ（登録商標）やＵＳＢなどの通信部を有し、仮想視点画像生成サーバ１０２との通信を行う。入出力部１１５は、仮想カメラを制御するための複数のコントローラと、仮想カメラの状態などを出力して表示する複数の表示部とを含む。コントローラは、例えば、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどの操作部であり、操作者の入力を受け付けることができる。例えば、操作者は、ジョイスティック操作により、カメラパス作成時に再生される仮想視点画像において、空間内で仮想カメラの位置を自由に移動させたり、仮想カメラの向きを自由に変更したりすることができる。具体的には、カメラパス作成時に再生される仮想視点画像を観察しながら、コート上で特定の選手の横を追従するように仮想カメラを移動させてカメラパスを作成することができる。
＜情報処理装置の機能構成＞
図２は、本実施形態に係る画像処理システム１０を構成する情報処理装置１０３の機能構成の一例を示す図である。情報処理装置１０３は、通信部１１４、入出力部１１５、記録時刻算出部１１６、位置姿勢取得部１１７、及びカメラパス記憶部１１８を備えている。また、情報処理装置１０３は、仮想視点画像生成サーバ１０２と接続している。
通信部１１４は、位置姿勢取得部１１７又はカメラパス記憶部１１８からＥｔｈｅｒｎｅｔやＵＳＢなどの通信部を用いて入力されたカメラパラメータを順次、仮想視点画像生成サーバ１０２又は入出力部１１５へ出力する。また、通信部１１４は、仮想視点画像生成サーバ１０２からＥｔｈｅｒｎｅｔやＵＳＢなどの通信部を用いて入力された仮想視点画像を順次、入出力部１１５へ出力してもよい。
入出力部１１５は、操作者によりコントローラから入力されたカメラパラメータ又は仮想視点画像のモードを、記録時刻算出部１１６へ出力する。また、仮想カメラの初期位置、初期姿勢、又は移動指示量を位置姿勢取得部１１７へ出力する。移動指示量は、例えばコントローラとしてのジョイスティックの操作量（傾倒量）に応じた傾倒方向の距離である。或いは、移動指示量は、ジョイスティックの傾倒回数に応じた量であってもよい。その場合、１回の傾倒で所定の距離移動するように予め定められていてもよい。或いは、現在位置に対するｘ、ｙ、ｚ方向のそれぞれの移動量をコントローラから入力するような場合には、それらの値であってもよい。仮想カメラの操作者は、コントローラを操作することで仮想カメラのカメラパラメータ、又は仮想カメラの移動指示量を指定することができる。仮想視点画像のモードの詳細は後述する。
また、入出力部１１５は、操作者によりコントローラから入力された撮影システム１０１が撮影した時刻（以下、プレイ時刻）に基づく、リプレイ仮想視点画像のプレイ開始時刻とプレイ終了時刻とを、記録時刻算出部１１６へ出力する。プレイ開始時刻とプレイ終了時刻とは、例えば、サッカー等の試合を撮影した映像から、映像制作者が再生したい実時刻を仮想カメラの操作者に指示し、操作者がコントローラを用いて入出力部１１５に入力することで決定される。但し、映像制作者と仮想カメラの操作者は別々とは限らず、映像制作者は仮想カメラの操作者と同一であってもよい。また、プレイ開始時刻とプレイ終了時刻との決定方法は当該例に限られるものではなく、ゴールシーンなどの特徴的な場面の開始実時刻と終了実時刻とを画像処理システム１０が自動的に抽出して決定するように構成してもよい。
さらに、入出力部１１５は、操作者によりコントローラから入力されたカメラパス作成時の仮想視点画像の再生速度の情報及び／又はカメラパス再現時の仮想視点画像の再生速度の情報を、記録時刻算出部１１６へ出力する。また、操作者によりコントローラから入力された仮想カメラの移動速度を位置姿勢取得部１１７へ出力する。カメラパス作成時の仮想視点画像の再生速度は、実時間を基準の速度とした比率で決定されることを想定するが、再生速度の概念は、これに限られない。また、カメラパス再現時の仮想視点画像の再生速度は、カメラパス作成時のカメラパラメータを登録するフレームレート（例えば６０ｆｐｓ）を基準の速度とした比率で決定されることを想定するが、これに限られない。さらに、仮想カメラの移動速度は、人が走る速度（例えば秒速１０ｍ）を基準の速度とした比率で決定されることを想定するが、移動速度の概念は、これに限られない。
加えて、入出力部１１５は、複数のディスプレイなどの表示部を有しており、通信部１１４から入力された仮想視点画像、カメラパラメータ、及び仮想カメラの状態などを表示する。これにより、操作者は、表示部に表示された仮想視点画像を観察しながら、コントローラを用いて仮想カメラを操作することが可能となる。しかし、これに限らず、表示部及びコントローラを操作する操作者は同一でなくてもよい。
情報処理装置１０３は仮想視点画像の再生速度を制御する少なくとも２つのモードを有する。１つは、カメラパス作成モードであり、もう１つは、カメラパス再現モードである。モードは、例えば入出力部１１５としてのユーザインタフェース（ＵＩ）上に切り替えボタンを設け、当該切り替えボタンの押下に応じて切り替え可能に構成されてもよい。
＜カメラパス作成モード＞
カメラパス作成モードとは、再生中の仮想視点画像（映像）を仮想カメラが位置する仮想視点で観察しながら、撮影空間内で仮想カメラを操作者の操作に基づいて移動させ、仮想カメラの移動軌跡をカメラパスとして記憶するモードである。
記録時刻算出部１１６は、カメラパス作成モードである場合、入出力部１１５から入力されたカメラパラメータ、プレイ開始時刻、プレイ終了時刻、及び、カメラパス作成時の仮想視点画像の再生速度に基づいて、生成する仮想視点画像の実時刻を決定する。そして、カメラパラメータに含まれる時刻を更新する。そして、カメラパラメータに、カメラパスの情報を記録した実時刻（カメラパラメータ記録時刻）を付加し、カメラパラメータを位置姿勢取得部１１７へ出力する。ここで、カメラパラメータの時刻とカメラパラメータ記録時刻とは異なる情報である。
生成する仮想視点画像の時刻は、プレイ開始時刻から開始される。生成する仮想視点画像の時刻を更新する際は、前に生成した仮想視点画像の時刻と仮想視点画像の再生速度とに基づいて決定される。ただし、生成する仮想視点画像の時刻は、プレイ終了時刻を超えないものと想定する。なお、時刻の決定方法は、これに限られない。また、最初のカメラパラメータ記録時刻（カメラパス記録開始時間）と最後のカメラパラメータ記録時刻（カメラパス記録終了時間）とをメモリに記憶する。
＜カメラパス再現モード＞
カメラパス再現モードとは、作成されたカメラパスに沿った仮想視点画像（映像）を生成するモードである。記録時刻算出部１１６は、カメラパス再現モードである場合、入出力部１１５から入力されたカメラパス再現時の仮想視点画像の再生速度に基づいて、生成する仮想視点画像のカメラパラメータの記録時刻を算出する。そして、記録時刻算出部１１６は、算出したカメラパラメータの記録時刻をカメラパス記憶部１１８へ出力する。カメラパラメータの記録時刻の算出方法は、例えば、メモリに記憶したカメラパス記録開始時間から始まり、カメラパス再生速度が１倍速であればカメラパスを記録したときの時間と等速で時間を進め、２倍速であれば２倍の速さで時間を進めることにより行う。ただし、カメラパラメータの記録時刻の算出方法は、これに限られない。
位置姿勢取得部１１７は、入出力部１１５から入力された移動指示量、仮想カメラの移動速度、初期位置及び初期姿勢、記録時刻算出部１１６から入力されたカメラパラメータに基づいて、生成する仮想視点画像の仮想カメラの位置及び姿勢を算出して取得する。そして、カメラパラメータの位置及び姿勢を更新し、更新されたカメラパラメータの情報を通信部１１４及びカメラパス記憶部１１８へ出力する。仮想カメラの位置及び姿勢は、初期位置及び初期姿勢から始まる。位置及び姿勢を更新する際は、前に生成した仮想視点画像のカメラパラメータの位置及び姿勢、移動指示量、及び、仮想カメラの移動速度に基づいて決定されることを想定する。なお、仮想カメラの位置及び姿勢の決定方法は、これに限られない。
カメラパス記憶部１１８は、位置姿勢取得部１１７から入力された仮想カメラのカメラパラメータを順次、メモリに記憶する。また、カメラパス記憶部１１８は、記録時刻算出部１１６から入力されたカメラパラメータの記録時刻に基づいて、メモリに記憶したカメラパラメータの中から、その記録時刻のカメラパラメータを取得し、通信部１１４へ出力する。
＜カメラパス作成時及び再現時の仮想視点画像の再生＞
ここで、図３は、実施形態１に係る、カメラパス作成時の仮想視点画像の再生速度を０．５倍速で再生し、カメラパス再現時の仮想視点画像の再生速度を２通り（通常（１倍速）と２倍速）で再生した場合の時間軸のイメージ図である。
例えばスポーツのプレイ時間（実時間）がプレイ開始時間からプレイ終了時間までの時間として定義される。例えば、サッカーのハイライトシーンなどが想定される。カメラパス作成時の仮想視点画像の再生時間は、再生速度が０．５倍速なのでプレイ時間の２倍の長さとなる。そして、カメラパス記録時間は実時間であり、カメラパス作成時の仮想視点画像の再生時間と同じ長さである。すなわち、プレイ時間の２倍の長さとなる。
そして、カメラパス再現時の仮想視点画像の再生時間は、通常（１倍速）の時は、カメラパス作成時の仮想視点画像の再生時間やカメラパス記録時間と同じ長さである。すなわち、プレイ時間の２倍の長さとなる。そして、２倍速の時は、プレイ時間と同じ長さとなる。
すなわち、カメラパス再現時の仮想視点画像の再生速度が通常（１倍速）の時は、リプレイ仮想視点画像の再生時間はプレイ時間の２倍の長さとなるように作られる。そして、カメラパス再現時の仮想視点画像の再生速度が２倍速の時は、リプレイ仮想視点画像の再生時間はプレイ時間と同じ長さとなるように作られる。
このように構成することで、被写体の動きが速い場合に、操作者は仮想視点画像の再生速度を遅くして（例えば０．５倍速で）、被写体への追従を容易にしながらカメラパスを作成することができる。なお、被写体の動きが遅すぎるような場合（例えば、動きの遅い動物の観察、昆虫の羽化の観察など）には、反対に、操作者は仮想視点画像の再生速度を速くして、被写体への追従を容易にしながらカメラパスを作成することができる。
また、従来、カメラパス記録時間と同じ時間でのみカメラパスを再現可能であったが、本実施形態によれば、作成したカメラパスをプレイ時間（もしくは、任意の時間）で再現することが可能となる。
＜処理＞
図４は、実施形態１に係る情報処理装置１０３の記録時刻算出部１１６が実施する、カメラパス作成時と再現時のモードとの切り替え処理の手順を示すフローチャートである。
Ｓ４０１では、記録時刻算出部１１６は、入出力部１１５から仮想視点画像の再生速度のモードと各種パラメータとを取得する。Ｓ４０２では、記録時刻算出部１１６は、Ｓ４０１で取得されたモードの種類を判定する。モードがカメラパス作成モードである場合、Ｓ４０３へ進む。一方、モードがカメラパス再現モードである場合、Ｓ４０４へ進む。Ｓ４０３では、記録時刻算出部１１６は、プレイ時刻を算出し、カメラパラメータを更新する。そして、カメラパラメータを位置姿勢取得部１１７へ出力する。Ｓ４０４では、記録時刻算出部１１６は、仮想視点画像を生成するカメラパラメータの記録時刻を算出し、カメラパス記憶部１１８へ出力する。以上で図４の一連の処理が終了する。
＜カメラパス作成時の処理＞
続いて、図５（ａ）は、実施形態１に係る情報処理装置が実施するカメラパス作成時の処理の手順を示すフローチャートである。
Ｓ５０１では、入出力部１１５は、カメラパラメータ（位置、姿勢、時刻）、仮想カメラの初期位置、初期姿勢、及びリプレイ仮想視点画像の開始時刻と終了時刻を、初期パラメータとして取得する。Ｓ５０２では、入出力部１１５は、仮想カメラの移動指示量、カメラパス作成時の仮想視点画像の再生速度、及び仮想カメラの移動速度を、パラメータとして取得する。Ｓ５０３では、入出力部１１５は、取得データを確認する。取得データを確認できれば、Ｓ５０４へ進む。一方、取得データを確認できなければ、処理を終了する。
Ｓ５０４では、記録時刻算出部１１６は、取得したカメラパラメータ、開始時刻と終了時刻、及び仮想視点画像の再生速度に基づいて、生成する仮想視点画像のプレイ時刻を決定し、カメラパラメータの時刻を更新する。ただし、時刻はプレイ開始時刻から始まり、プレイ終了時刻を超えないものとする。
Ｓ５０５では、位置姿勢取得部１１７は、取得した移動指示量、仮想カメラの移動速度、初期位置及び初期姿勢、及びカメラパラメータに基づいて、生成する仮想視点画像の仮想カメラの位置と姿勢を算出し、カメラパラメータの位置と姿勢を更新する。仮想カメラの位置と姿勢は、初期位置と初期姿勢とから始まり、更新する際は、前回のカメラパラメータの位置と姿勢、移動指示量、及び仮想カメラの移動速度に基づいて決定される。
Ｓ５０６では、カメラパス記憶部１１８は、決定されたカメラパラメータをメモリに記録する。Ｓ５０７では、通信部１１４は、仮想視点画像生成サーバ１０２へ、更新された移動先の仮想カメラの視点でのカメラパラメータを送信し、仮想視点画像の生成を指示する。仮想視点画像生成サーバ１０２は、カメラパラメータに含まれる時刻の情報に基づいて、生成する仮想視点画像の時刻を決定し、その時刻における仮想カメラの位置、姿勢での仮想視点画像を生成する。
Ｓ５０８では、通信部１１４は、仮想視点画像生成サーバ１０２から、仮想視点画像生成サーバ１０２により生成された仮想視点画像を受信する。
Ｓ５０９では、入出力部１１５は、受信した仮想視点画像をディスプレイなどの表示部に表示する。その後、Ｓ５０２に戻る。仮想カメラの操作者は、この仮想視点画像を観察しながらＳ５０２で入出力部１１５のコントローラを用いて仮想カメラを操作して移動することが可能となる。この仮想カメラの移動軌跡がカメラパスとして作成される。また、必要に応じて、操作者は入出力部１１５のコントローラを用いてＳ５０２で仮想視点画像の再生速度や、仮想カメラの移動速度を調整することができる。なお、図３の例では、再生速度は定速でカメラパスが作成されることから、再生速度は固定値のまま変更することなく一連の処理が繰り返されることになる。以上で図５（ａ）の一連の処理が終了する。
＜カメラパス再現時の処理＞
続いて、図５（ｂ）は、実施形態１に係る情報処理装置が実施するカメラパス再現時の処理の手順を示すフローチャートである。
Ｓ５１０では、入出力部１１５は、カメラパス再現時の仮想視点画像の再生速度の情報をパラメータとして取得する。Ｓ５１１では、記録時刻算出部１１６は、取得した仮想視点画像の再生速度の情報に基づいて、カメラパラメータ記録時刻を算出する。カメラパラメータ記録時刻はカメラパス記録開始時間から始まる。
Ｓ５１２では、カメラパス記憶部１１８は、Ｓ５０６でメモリに記録されたカメラパスの中から、Ｓ５１１で算出されたカメラパラメータ記録時刻に該当するカメラパラメータを取得する。Ｓ５１３では、カメラパス記憶部１１８は、Ｓ５１２の取得データを確認する。取得データを確認できれば、Ｓ５１４へ進む。一方、取得データを確認できなければ、処理を終了する。
Ｓ５１４では、通信部１１４は、取得したカメラパラメータを仮想視点画像生成サーバ１０２へ送信し、仮想視点画像の生成を指示する。仮想視点画像生成サーバ１０２は、カメラパラメータに含まれる時刻の情報に基づいて、生成する仮想視点画像の時刻を決定し、その時刻における仮想カメラの位置、姿勢での仮想視点画像を生成する。Ｓ５１５では、通信部１１４は、仮想視点画像生成サーバ１０２から、仮想視点画像生成サーバ１０２により生成された仮想視点画像を受信する。
Ｓ５１６では、入出力部１１５は、受信した仮想視点画像をディスプレイなどの表示部に表示する。その後Ｓ５１０に戻る。仮想カメラの操作者は、この仮想視点画像を観察しながら、Ｓ５１０で入出力部１１５のコントローラを用いてカメラパス再現時の仮想視点画像の再生速度を調整することができる。これにより、操作者が重要視するハイライトシーンではゆっくりとした再生速度で仮想視点画像を再生し、重要視しないシーンでは早い再生速度で仮想視点画像を再生させることが可能となる。なお、図３の例では、再生速度は定速でカメラパスが再現されることから、再生速度は固定値のまま変更することなく一連の処理が繰り返されることになる。以上で図５（ｂ）の一連の処理が終了する。
以上説明したように、本実施形態では、仮想視点画像を再生しながら撮影空間内を自由に移動可能な仮想カメラの移動軌跡を示すカメラパスを作成するためのカメラパス作成モードでの、仮想視点画像の再生速度の情報を取得し、当該再生速度で再生されている仮想カメラの視点での仮想視点画像において仮想カメラを移動してカメラパスを作成する操作を受け付ける処理を行う。
これにより、カメラパス作成時に仮想視点画像の再生速度を、被写体の速さに応じた適切な速度に調整することができる。例えば、被写体の動きが速い場合に、操作者は仮想視点画像の再生速度を遅くして仮想カメラを操縦することで、被写体の動きに追従しやすくなり、カメラパスを容易に作成することができる。また、被写体の動きが遅すぎるような場合（例えば、動きの遅い動物の観察、昆虫の羽化の観察など）には、反対に、操作者は仮想視点画像の再生速度を速くして、被写体への追従を容易にしながらカメラパスを作成することができる。
さらに、カメラパス作成時に仮想視点画像の再生速度とは別に、カメラパス再現時の仮想視点画像の再生速度についても、操作者の好みの速度に調整することができるように構成する。これにより、作成されたカメラパスを実時間（もしくは、任意の時間）で再現することも可能となる。
すなわち、カメラパス作成時にカメラパスの作成が容易になるとともに、カメラパス再現時には実時間に基づく違和感の無い仮想視点画像を提供することができる。
（実施形態２）
実施形態２では、情報処理装置が仮想視点画像のカメラパラメータ（仮想カメラの位置、姿勢、時刻等）の一部又は全部を外部装置に送信して、外部装置がリプレイ仮想視点画像を録画、編集する例を説明する。
図６は、本実施形態に係る、外部装置を用いてリプレイ仮想視点画像を生成する画像処理システムの構成例を示す図である。画像処理システム２０は、撮影システム２０１、仮想視点画像生成サーバ２０２、情報処理装置２０３を備えており、外部装置である録画編集装置２０４と通信可能である。情報処理装置２０３は、通信部２１４、入出力部２１５、記録時刻算出部２１６、位置姿勢取得部２１７、及びカメラパス記憶部２１８を備えている。
撮影システム２０１は、図２の撮影システム１０１と同様である。仮想視点画像生成サーバ２０２は、通信部２１４から入力するカメラパラメータの全て、又は一部の情報を、仮想視点画像に付加し、録画編集装置２０４へ出力してもよい。仮想視点画像に付加する方法は、例えば、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）信号のアンシラリ領域に記述することを想定するが、これに限られない。
通信部２１４は、図２の通信部１１４の機能に加えて、位置姿勢取得部２１７、又はカメラパス記憶部２１８から入力したカメラパラメータの全て又は一部を順次、ＥｔｈｅｒｎｅｔやＵＳＢなどの通信手段を用いて録画編集装置２０４へ送信する機能を有する。
入出力部２１５は、図２の入出力部１１５と同様である。記録時刻算出部２１６は、図２の記録時刻算出部１１６の機能に加えて、仮想視点画像の再生速度をカメラパラメータに付加する機能を有する。位置姿勢取得部２１７は、図２の位置姿勢取得部１１７の機能に加えて、仮想カメラの移動速度をカメラパラメータに付加する機能を有する。カメラパス記憶部２１８は、図２のカメラパス記憶部１１８と同様である。
録画編集装置２０４は、仮想視点画像生成サーバ２０２又は通信部２１４から入力された仮想視点画像を録画する。また、録画編集装置２０４は、仮想視点画像生成サーバ１０２又は通信部１１４から入力された仮想視点画像と、通信部１１４から入力されたカメラパラメータの全て又は一部とを用いて、仮想視点画像の編集を行う。なお、ここで取得される情報は、カメラパラメータ、仮想視点画像の再生速度の情報、及び仮想カメラの移動速度の情報である。
仮想視点画像の編集の方法は、仮想カメラのカメラパラメータ（位置、姿勢、時刻等）、仮想視点画像の再生速度、移動速度の情報を操作者又はシステムが参照し、仮想視点画像の再生速度が０．５倍速の時に仮想視点画像を２倍速で再生する例が挙げられる。これにより、実時間のリプレイ仮想視点画像を作成することが可能となる。なお、仮想視点画像の編集の方法は、これに限られない。
図７は、通信部１１４が、仮想視点画像生成サーバ１０２、又は録画編集装置２０４へ出力するカメラパラメータの一例である。ただし、出力するカメラパラメータの記述方法は、これに限られない。図７の例では、時刻が０１：０２：０３：００であり、仮想視点画像の再生モードがカメラパス作成モードであり、仮想視点画像の再生速度が０．５であり、仮想カメラの移動速度が０．５であり、仮想カメラのｘ位置が１００、ｙ位置が２００である。
以上の処理により、情報処理装置が仮想視点画像のカメラパラメータの一部又は全てを外部装置（例えば録画編集装置）に送信して、外部装置がリプレイ仮想視点画像を録画、編集することが可能となる。
本実施形態によれば、カメラパス作成に応じて順次録画編集装置に仮想視点画像とそのメタ情報とが出力されるため、より早く録画と編集が可能となり、従ってより早い映像配信が可能となる。さらには、画像処理システム外に存在するサードパーティによる録画編集装置による録画・編集が可能となる。
（実施形態３）
実施形態３では、仮想カメラの操作者が仮想視点画像の再生速度、又は仮想カメラの移動速度に係るパラメータの変更を行う例を説明する。
図８は、本実施形態に係る、操作者が仮想視点画像の再生速度、及び仮想カメラの移動速度に係るパラメータの変更を行うユーザインタフェース（ＵＩ）のイメージ図である。ＵＩは、シーン再生速度３０３、仮想カメラ移動速度４０４、スローカメラアシスト率制御バー７０２、シーン再生速度制御バー７０３を有する。
操作者は、仮想カメラの移動速度に係るパラメータとして、それぞれスローカメラアシスト率制御バー７０２を操作する。また、仮想視点画像の再生速度に係るパラメータとして、シーン再生速度制御バー７０３を操作する。スローカメラアシスト率制御バー７０２とシーン再生速度制御バー７０３は独立して動作する。ただし、スローカメラアシスト率制御バー７０２とシーン再生速度制御バー７０３の動作は、これに限られない。例えば操作者がシーン再生速度制御バー７０３を操作し、仮想視点画像の再生速度を変更した場合に、その再生速度から最適な仮想カメラの移動速度を自動的に算出し、スローカメラアシスト率制御バー７０２に反映させ、連動して動作するように構成してもよい。
ＵＩは、入出力部１１５が有するディスプレイ等の表示部に表示されてもよい。また、ＵＩは、入出力部１１５が有するコントローラ等の入力部により操作されてもよい。
図８において、シーン再生速度３０３は、入出力部１１５が入力、表示する仮想視点画像の再生速度であり、この速度が記録時刻算出部１１６へ出力される。１００％が通常の再生速度である。シーン再生速度３０３は、１００％より小さい場合はスロー再生となる。例えば、シーン再生速度３０３は、実時間における１秒間の映像を２秒間で再生する場合、５０％となる。１００％より大きい場合は早送り再生である。シーン再生速度３０３が０％である場合、入出力部１１５に表示する仮想視画像における時は停止している状態である。なお、シーン再生速度３０３が０％である場合であっても仮想カメラを制御することは可能である。例えば、選手がボールを蹴った瞬間の選手の周りをぐるりと回るような仮想視点画像を生成することが可能である。
スローカメラアシスト率４０４は、入出力部１１５が入力、表示する、スローカメラアシスト機能を有効にした際のカメラの移動速度を落とす割合であり、位置姿勢取得部１１７へ出力される。この時、仮想カメラの移動速度は、カメラパス作成モードでの仮想視点画像の再生速度に応じて自動的に決定される。即ち、シーンの再生速度（仮想視点画像の再生速度）の変更に応じて仮想カメラの移動速度が自動的に変更されるように構成する。
例えば、シーン再生速度が５０％に変更された場合は、仮想カメラの移動速度を通常の５０％に落とすように構成してもよい。スローカメラアシストは、シーンの再生速度と仮想カメラの移動速度を共に落とすことにより、リプレイクリップを録画するための操縦が容易になる。例えば、高速に移動するボールを追うようなリプレイクリップを作成する際に、仮想カメラの操縦が容易になる。
スローカメラアシスト率制御バー７０２は、入出力部１１５が入力、表示するスローカメラアシスト実行時の仮想カメラの移動速度を制御し、位置姿勢取得部１１７へ出力される。シーン再生速度制御バー７０３は、入出力部１１５が入力、表示するシーンの再生速度を制御し、記録時刻算出部１１６へ出力される。
スローカメラアシスト率制御バー７０２とシーン再生速度制御バー７０３の機能は、図８のようなバーの形式だけでなく、例えば、プルダウンメニューによる選択やテキストボックスによる直接入力の形式で実現してもよい。また、入出力部１１５が有するコントローラを用いてもよい。ここで、図９は、本実施形態に係る、スローカメラアシスト率、又はシーン再生速度を操作するコントローラとしてのウィンドウの一例を示す図である。スライダー１０１４は、スローカメラアシスト率、又はシーン再生速度を設定するために使用することを想定する。
なお、スライダー１０１４は、スローカメラアシスト率制御バー７０２、又はシーン再生速度制御バー７０３と連動してもよい。また、ボタン１００１乃至ボタン１０１３などに予め値を設定しておき、それを押すことでスローカメラアシスト率、又はシーン再生速度の値が設定値に置き換わり、決定ボタン１０１４を押すことにより反映されてもよい。但し、コントローラによる設定方法は、これに限られない。
以上の処理により、仮想カメラの操作者が仮想視点画像の再生速度、又は仮想カメラの移動速度に係るパラメータの変更を容易に行うことができる。
なお、上述の各実施形態では、カメラパス作成モードを例に説明を行ったが、カメラパス作成時に限らず、単に仮想カメラを操縦する際にも本発明を適用することができる。例えば、仮想視点画像の再生速度に応じて、仮想カメラの移動速度（ユーザ操作に対する仮想カメラの移動量）を変更することで、被写体の動きに追従する仮想カメラの操縦を行いやすくなる。なお、仮想視点画像の再生速度、仮想カメラの移動速度は、それぞれ操作者が自由に設定できるように構成してもよいし、仮想視点画像の再生速度に応じて自動的に仮想カメラの移動速度を決定するように構成してもよい。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０：画像処理システム、１０１：撮影システム、１０２：仮想視点画像生成サーバ、情報処理装置、１１１：ＣＰＵ、１１２：ＲＡＭ、１１３：ＲＯＭ、１１４：通信部、１１５：入出力部

Claims (19)

  1. 複数の撮影画像に基づく仮想視点画像の再生速度を決定する決定手段と、
    前記決定手段により決定された再生速度での前記仮想視点画像の再生中におけるユーザ操作に応じた入力を受け付ける受付手段と、
    前記受付手段により受け付けられた入力に基づいて前記仮想視点画像に対応する仮想視点を変化させる制御を行う制御手段であって、第１再生速度での前記仮想視点画像の再生中における特定のユーザ操作に応じた入力が受け付けられたことに応じて変化する前記仮想視点の変化速度が、前記第１再生速度よりも速い第２再生速度での前記仮想視点画像の再生中における前記特定のユーザ操作に応じた入力が受け付けられたことに応じて変化する前記仮想視点の変化速度よりも遅くなるように制御する制御手段とを有することを特徴とする情報処理装置。
  2. 前記制御手段による制御に応じた仮想視点の経時的な変化を表す視点情報を生成する視点情報生成手段と、
    前記決定手段により決定された再生速度とは異なる再生速度で再生される仮想視点画像を、前記視点情報生成手段により生成された視点情報と前記複数の撮影画像とに基づいて生成する画像生成手段とを有することを特徴とする請求項１に記載の情報処理装置。
  3. 前記制御手段による制御に応じた仮想視点の変化を表す視点情報を生成する視点情報生成手段と、
    前記視点情報生成手段により生成された視点情報を、前記複数の撮影画像に基づいて仮想視点画像を生成する画像生成装置へ出力する出力手段とを有することを特徴とする請求項１に記載の情報処理装置。
  4. 前記出力手段は、前記画像生成装置により生成される仮想視点画像の再生速度を示す情報を出力することを特徴とする請求項３に記載の情報処理装置。
  5. 前記決定手段により決定される再生速度と前記出力手段により出力される情報が示す再生速度とは異なることを特徴とする請求項４に記載の情報処理装置。
  6. 前記決定手段は、ユーザによる指定操作に基づいて前記仮想視点画像の再生速度を決定することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
  7. 前記決定手段は、前記複数の撮影画像の少なくとも何れかに含まれるオブジェクトの動きに基づいて前記仮想視点画像の再生速度を決定することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
  8. 前記制御手段は、前記決定手段により決定された再生速度に基づいて前記仮想視点の変化速度の上限を決定することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
  9. 前記制御手段は、前記決定手段により決定された再生速度に基づいてユーザ操作に応じた前記仮想視点の変化の感度を決定することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
  10. 前記制御手段は、前記受付手段により受け付けられた入力に基づいて前記仮想視点の位置と向きと画角との少なくとも何れかを変化させることを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
  11. 前記決定手段は、仮想視点画像の再生中に仮想視点の移動軌跡を示すカメラパスを作成するカメラパス作成モードでの当該仮想視点の再生速度を決定することを特徴とする請求項１乃至１０の何れか1項に記載の情報処理装置。
  12. 複数の撮影画像に基づく仮想視点画像の再生速度を変更する変更手段と、
    前記仮想視点画像の再生中におけるユーザ操作に応じた入力を受け付ける受付手段と、
    仮想視点画像の再生速度に基づいて仮想視点の変化速度を決定するためのパラメータを設定する設定手段と、
    前記受付手段により受け付けられた入力に基づいて前記仮想視点画像に対応する仮想視点を変化させる制御手段であって、前記変更手段により変更された前記再生速度および前記パラメータに基づいて決まる前記仮想視点の変化速度と前記入力とで前記仮想視点を変化させる制御手段とを有することを特徴とする情報処理装置。
  13. 前記制御手段は、前記変更手段により変更された前記再生速度および前記パラメータに基づいて前記仮想視点の変化速度の上限を決定することを特徴とする請求項１２に記載の情報処理装置。
  14. 前記制御手段は、前記変更手段により変更された前記再生速度および前記パラメータに基づいてユーザ操作に応じた前記仮想視点の変化の感度を決定することを特徴とする請求項１２に記載の情報処理装置。
  15. 複数の撮影画像に基づく仮想視点画像の再生速度を決定する決定工程と、
    前記決定工程により決定された再生速度での前記仮想視点画像の再生中におけるユーザ操作に応じた入力を受け付ける受付工程と、
    前記受付工程により受け付けられた入力に基づいて前記仮想視点画像に対応する仮想視点を変化させる制御を行う制御工程であって、第１再生速度での前記仮想視点画像の再生中における特定のユーザ操作に応じた入力が受け付けられたことに応じて変化する前記仮想視点の変化速度が、前記第１再生速度よりも速い第２再生速度での前記仮想視点画像の再生中における前記特定のユーザ操作に応じた入力が受け付けられたことに応じて変化する前記仮想視点の変化速度よりも遅くなるように制御する制御工程とを有することを特徴とする情報処理方法。
  16. 前記制御工程における制御に応じた仮想視点の経時的な変化を表す視点情報を生成する視点情報生成工程と、
    前記決定工程において決定された再生速度とは異なる再生速度で再生される仮想視点画像を、前記視点情報生成工程において生成された視点情報と前記複数の撮影画像とに基づいて生成する画像生成工程とを有することを特徴とする請求項１５に記載の情報処理方法。
  17. 前記制御工程は、前記決定工程において決定された再生速度に基づいて前記仮想視点の変化速度の上限を決定することを特徴とする請求項１５又は１６に記載の情報処理方法。
  18. 前記制御工程は、前記決定工程において決定された再生速度に基づいてユーザ操作に応じた前記仮想視点の変化の感度を決定することを特徴とする請求項１５又は１６に記載の情報処理方法。
  19. コンピュータを、請求項１乃至１４の何れか1項に記載の情報処理装置として機能させるためのプログラム。
JP2018132639A 2018-07-12 2018-07-12 情報処理装置、情報処理方法及びプログラム Active JP7170441B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018132639A JP7170441B2 (ja) 2018-07-12 2018-07-12 情報処理装置、情報処理方法及びプログラム
KR1020217000304A KR102500615B1 (ko) 2018-07-12 2019-04-18 정보 처리장치, 정보 처리방법 및 프로그램
PCT/JP2019/016562 WO2020012748A1 (ja) 2018-07-12 2019-04-18 情報処理装置、情報処理方法及びプログラム
EP19835094.4A EP3823287A4 (en) 2018-07-12 2019-04-18 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN201980055528.XA CN112640472B (zh) 2018-07-12 2019-04-18 信息处理设备、信息处理方法和存储介质
US17/133,770 US11368666B2 (en) 2018-07-12 2020-12-24 Information processing apparatus, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018132639A JP7170441B2 (ja) 2018-07-12 2018-07-12 情報処理装置、情報処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2020010301A JP2020010301A (ja) 2020-01-16
JP2020010301A5 JP2020010301A5 (ja) 2021-08-26
JP7170441B2 true JP7170441B2 (ja) 2022-11-14

Family

ID=69142314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018132639A Active JP7170441B2 (ja) 2018-07-12 2018-07-12 情報処理装置、情報処理方法及びプログラム

Country Status (6)

Country Link
US (1) US11368666B2 (ja)
EP (1) EP3823287A4 (ja)
JP (1) JP7170441B2 (ja)
KR (1) KR102500615B1 (ja)
CN (1) CN112640472B (ja)
WO (1) WO2020012748A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2021199735A1 (ja) * 2020-03-30 2021-10-07
JP7451291B2 (ja) 2020-05-14 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2022032483A (ja) 2020-08-12 2022-02-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2022124047A1 (ja) * 2020-12-07 2022-06-16 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
US11941729B2 (en) 2020-12-11 2024-03-26 Canon Kabushiki Kaisha Image processing apparatus, method for controlling image processing apparatus, and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018046448A (ja) 2016-09-15 2018-03-22 キヤノン株式会社 画像処理装置および画像処理方法
JP2018092491A (ja) 2016-12-06 2018-06-14 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066550B1 (ko) * 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
JP5456020B2 (ja) * 2009-10-30 2014-03-26 キヤノン株式会社 情報処理装置および方法
EP2413286A1 (en) * 2010-07-29 2012-02-01 LiberoVision AG Image processing method and device for instant replay
KR101665049B1 (ko) * 2010-08-11 2016-10-11 삼성전자주식회사 영상 처리 장치 및 방법
JP2012109719A (ja) 2010-11-16 2012-06-07 Canon Inc 映像処理装置及びその制御方法
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
EP2960864B1 (en) * 2014-06-23 2018-12-05 Harman Becker Automotive Systems GmbH Device and method for processing a stream of video data
WO2016038964A1 (ja) * 2014-09-08 2016-03-17 ソニー株式会社 情報処理装置及び情報処理方法
JP6613774B2 (ja) * 2015-09-30 2019-12-04 アイシン精機株式会社 周辺監視装置
US10230866B1 (en) * 2015-09-30 2019-03-12 Amazon Technologies, Inc. Video ingestion and clip creation
JP6482498B2 (ja) * 2016-05-25 2019-03-13 キヤノン株式会社 制御装置、制御方法、及び、プログラム
FR3052949B1 (fr) * 2016-06-17 2019-11-08 Alexandre Courtes Procede et systeme de prise de vues a l'aide d'un capteur virtuel
US10754529B2 (en) * 2016-10-28 2020-08-25 Adobe Inc. Facilitating editing of virtual-reality content using a virtual-reality headset
JP6840562B2 (ja) 2017-02-15 2021-03-10 キヤノン株式会社 光走査装置及び画像形成装置
JP2018182428A (ja) * 2017-04-06 2018-11-15 株式会社フューチャリズムワークス 映像配信装置、映像配信システム及び映像配信方法
JP7079242B2 (ja) * 2017-04-25 2022-06-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像表示方法及び画像表示装置
DE102017125544B3 (de) * 2017-05-15 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verarbeitungsverfahren und Verarbeitungssystem für Videodaten
US10360727B2 (en) * 2017-08-02 2019-07-23 Omnivor, Inc. Methods for streaming visible blocks of volumetric video
JPWO2019031306A1 (ja) * 2017-08-07 2020-08-06 シャープ株式会社 生成装置、再生装置、生成方法、再生方法、制御プログラム、記録媒体
CN108289220B (zh) * 2018-01-15 2020-11-27 深圳市奥拓电子股份有限公司 虚拟图像处理方法、图像处理系统及存储介质
JP7051457B2 (ja) 2018-01-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7330683B2 (ja) 2018-11-06 2023-08-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018046448A (ja) 2016-09-15 2018-03-22 キヤノン株式会社 画像処理装置および画像処理方法
JP2018092491A (ja) 2016-12-06 2018-06-14 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム

Also Published As

Publication number Publication date
KR20210016613A (ko) 2021-02-16
CN112640472B (zh) 2023-06-09
US20210120224A1 (en) 2021-04-22
WO2020012748A1 (ja) 2020-01-16
EP3823287A1 (en) 2021-05-19
US11368666B2 (en) 2022-06-21
KR102500615B1 (ko) 2023-02-16
JP2020010301A (ja) 2020-01-16
EP3823287A4 (en) 2022-04-20
CN112640472A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
JP7170441B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN109889914B (zh) 视频画面推送方法、装置、计算机设备及存储介质
US11057609B2 (en) Information processing apparatus, information processing method, and computer readable storage medium for determining a moving path of virtual viewpoint
JP7459341B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP7458889B2 (ja) 画像表示装置、制御方法、およびプログラム
JP2022188095A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2020140285A (ja) 情報処理装置、情報処理装置の制御方法、及び、プログラム
JP3424204B2 (ja) オブジェクトの軌跡を利用したビデオ・コンテンツへのアクセス方法及び装置
JP2020205549A (ja) 映像処理装置、映像処理方法、及びプログラム
JP2021197082A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
US20230353717A1 (en) Image processing system, image processing method, and storage medium
KR20160137924A (ko) 객체 상태 저장 방식 게임 동영상 녹화 및 재생 방법
KR20160114481A (ko) 객체 상태 저장 방식 게임 동영상 녹화 및 재생 방법
JP2006073026A (ja) 動画像編集方法
JP2023019088A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7277184B2 (ja) 情報処理装置、情報処理方法ならびにプログラム。
WO2023100703A1 (ja) 画像制作システム、画像制作方法、プログラム
WO2023100704A1 (ja) 画像制作システム、画像制作方法、プログラム
JP7514346B2 (ja) 画像処理装置及び方法、プログラム
JP7403956B2 (ja) 情報処理装置、制御方法、及びプログラム
US20230164305A1 (en) Information processing device, information processing method, and program
JP2024014517A (ja) 情報処理システム、情報処理方法及びコンピュータプログラム
JP2021179687A (ja) 情報処理装置、情報処理方法およびプログラム
JP2023173577A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021043922A (ja) 情報処理装置、システム、生成方法、及び、プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221101

R151 Written notification of patent or utility model registration

Ref document number: 7170441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151