JP7170441B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7170441B2
JP7170441B2 JP2018132639A JP2018132639A JP7170441B2 JP 7170441 B2 JP7170441 B2 JP 7170441B2 JP 2018132639 A JP2018132639 A JP 2018132639A JP 2018132639 A JP2018132639 A JP 2018132639A JP 7170441 B2 JP7170441 B2 JP 7170441B2
Authority
JP
Japan
Prior art keywords
virtual viewpoint
speed
camera
viewpoint image
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018132639A
Other languages
English (en)
Other versions
JP2020010301A (ja
JP2020010301A5 (ja
Inventor
圭吾 米田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018132639A priority Critical patent/JP7170441B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201980055528.XA priority patent/CN112640472B/zh
Priority to KR1020217000304A priority patent/KR102500615B1/ko
Priority to PCT/JP2019/016562 priority patent/WO2020012748A1/ja
Priority to EP19835094.4A priority patent/EP3823287A4/en
Publication of JP2020010301A publication Critical patent/JP2020010301A/ja
Priority to US17/133,770 priority patent/US11368666B2/en
Publication of JP2020010301A5 publication Critical patent/JP2020010301A5/ja
Application granted granted Critical
Publication of JP7170441B2 publication Critical patent/JP7170441B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関するものである。
近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の1以上の視点での仮想視点画像を生成する技術が注目されている。
仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦したりすることができるようにもなり、従来の撮影画像と比較してユーザに高臨場感を与えることができる。
特許文献1では、仮想カメラの操作者が望む構図を実現するための仮想カメラの制御手法が開示されている。具体的には、任意視点映像データを含む映像コンテンツデータの再生時に任意視点映像の視点を移動させる操作をユーザが行った場合に、再生中の任意の任意視点映像において視点移動量を区域ごとに制御する構成が開示されている。
特開2012-109719号公報
しかしながら、特許文献1に記載の技術では、被写体の動きに合わせて操作者が望む構図の仮想視点画像を生成することが難しいという課題がある。
本発明は、上記の課題に鑑みてなされたものであり、仮想視点の操作者が望む構図の仮想視点画像を生成することを容易にするための技術を提供することを目的とする。
上記の目的を達成する本発明に係る情報処理装置は、
複数の撮影画像に基づく仮想視点画像の再生速度を決定する決定手段と、
前記決定手段により決定された再生速度での前記仮想視点画像の再生中におけるユーザ操作に応じた入力を受け付ける受付手段と、
前記受付手段により受け付けられた入力に基づいて前記仮想視点画像に対応する仮想視点を変化させる制御を行う制御手段であって、第1再生速度での前記仮想視点画像の再生中における特定のユーザ操作に応じた入力が受け付けられたことに応じて変化する前記仮想視点の変化速度が、前記第1再生速度よりも速い第2再生速度での前記仮想視点画像の再生中における前記特定のユーザ操作に応じた入力が受け付けられたことに応じて変化する前記仮想視点の変化速度よりも遅くなるように制御する制御手段とを有することを特徴とする。

本発明によれば、仮想視点の操作者が望む構図の仮想視点画像を生成することが容易になる。
(a)実施形態1に係る画像処理システムの全体構成の一例を示す図、(b)情報処理装置のハードウェア構成の一例を示す図。 実施形態1に係る情報処理装置の構成の一例を示す図。 実施形態1に係る時間の概念の一例を示す図。 実施形態1に係る記録時刻算出部の処理の一例を示すフローチャート。 実施形態1に係る情報処理装置の処理の一例を示すフローチャート。 実施形態2に係る情報処理装置の構成の一例を示す図。 実施形態2に係る、通信部が仮想視点画像生成サーバ又は録画編集装置へ送信するカメラパラメータの一例を示す図。 実施形態3に係るリプレイ仮想視点画像生成用のUIの一例を示す図。 実施形態3に係るコントローラの一例を示す図。
以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
(実施形態1)
<概要>
実施形態1では、仮想カメラのカメラパス作成時とそのカメラパス再現時とで仮想視点画像の再生速度を異ならせる例を説明する。より具体的には、カメラパス作成時には例えば実時間の2倍の長さ(0.5倍速)で仮想視点画像を再生しながら仮想カメラを操作して移動させることによりカメラパスを作成する。カメラパスの作成に適した再生速度を操作者が指定することで、仮想カメラの精緻な移動が可能となり、仮想視点画像に含まれる被写体への追従が容易となる。また、カメラパス再現時にも再生速度を操作者が指定可能であり、例えば実時間(カメラパス作成時の0.5倍速に対する2倍の速度)で仮想視点画像を再生する。これにより、違和感の無い仮想視点画像を再生することができる。
<画像処理システムの構成>
図1(a)は、本実施形態に係る画像処理システム10の全体構成を示す図である。画像処理システム10は、撮影システム101、仮想視点画像生成サーバ102、及び情報処理装置103を備えており、画像処理システム10は、仮想視点画像を生成することが可能である。
撮影システム101は、異なる位置に配置された複数のカメラを備えており、多視点からの複数の画像を同期撮影する。そして、多視点から同期撮影した複数の画像を、仮想視点画像生成サーバ102へ送信する。
仮想視点画像生成サーバ102は、多視点から同期撮影された複数の画像に基づいて、撮影空間内を移動可能な仮想視点に対応した仮想的なカメラである仮想カメラから観察した仮想視点画像を生成する。即ち、撮影システム101が有するどのカメラとも異なる視点から観察した画像も含む、つまり仮想視点画像を生成することができる。仮想カメラの視点は、後述する情報処理装置103が決定するカメラパラメータによって表現される。
仮想視点画像生成サーバ102は、受信した複数の画像から順次仮想視点画像を生成する。つまり、ライブ仮想視点画像を生成することが可能である。なお、画像処理システム10が生成できるライブ仮想視点画像は、現在時刻に対して撮影システム101および仮想視点画像生成サーバ102での処理遅延を考慮した時刻での、撮影システム101が撮影した撮影画像に基づく仮想視点画像である。
さらに、仮想視点画像生成サーバ102は、データベースを有しており、受信した複数の画像を記録する機能を有する。そのため、リプレイ仮想視点画像を生成することが可能である。リプレイ仮想視点画像は、任意の時刻での撮影システム101が撮影した撮影画像に基づく仮想視点画像であり、例えば作成されたカメラパス再現時に再生される仮想視点画像である。なお、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。即ち、画像処理システム10は、静止画及び動画の何れについても処理可能である。
情報処理装置103は、仮想カメラを制御し、仮想カメラの視点を表すカメラパラメータを決定する。仮想カメラのカメラパラメータは、仮想カメラの位置、姿勢、及び時刻を指定するためのパラメータを少なくとも含む。また、仮想カメラのカメラパラメータは、ズームをさらに含んでもよい。カメラパラメータの時刻とは、図3を参照して後述するプレイ開示時刻とプレイ終了時刻の間の時刻である。当該時刻は、20××年×月×日×時×分×秒といった形式で表現してもよいし、プレイ開始時刻を基準(ゼロ)とした時の時間として表現してもよい。
カメラパラメータにより指定される仮想カメラの位置は、3次元座標を示すものであってもよい。また、仮想カメラのカメラパラメータにより指定される位置は、X軸、Y軸、Z軸の3軸の直交座標系の座標により示されてもよい。この場合、仮想カメラのカメラパラメータにより指定される位置は、座標を示すものであり、X軸、Y軸、Z軸の3軸のパラメータから構成されてもよい。なお、原点は撮影空間内の任意の位置としてもよい。
カメラパラメータにより指定される仮想カメラの姿勢は、パン、チルト、ロールの3軸とのなす角度により示されてもよい。この場合、カメラパラメータにより指定される仮想カメラの姿勢は、パン、チルト、ロールの3軸のパラメータから構成されてもよい。カメラパラメータにより指定される仮想カメラのズームは、例えば、焦点距離の1軸により示され、ズームと時刻はそれぞれ1軸のパラメータである。
よって、仮想カメラのカメラパラメータは少なくとも8軸のパラメータを有するように構成することができ、情報処理装置103はこれら8軸を制御可能である。なお、カメラパラメータは他の要素を規定するパラメータを含んでもよいし、上述した8軸のパラメータの全てを含まなくてもよい。
情報処理装置103は、決定した仮想カメラのカメラパラメータを仮想視点画像生成サーバ102へ送信する。次に、仮想視点画像生成サーバ102は、受信したカメラパラメータに基づいて仮想視点画像を生成し、情報処理装置103へ送信する。なお、本実施形態のように1台の情報処理装置103でライブ仮想視点画像とリプレイ仮想視点画像とを生成してもよいが、2台の情報処理装置を用意して、ライブ仮想視点画像とリプレイ仮想視点画像とをそれぞれ異なる情報処理装置で生成してもよい。
<情報処理装置のハードウェア構成>
図1(b)は、本実施形態に係る情報処理装置103のハードウェア構成の一例を示す図である。情報処理装置103は、CPU111、RAM112、ROM113、通信部114及び入出力部115を備えている。
CPU111は、RAM112やROM113に格納されているコンピュータプログラムやデータを読み出して実行することにより情報処理装置103全体の動作を制御する。RAM112は、ROM113から読みだされたコンピュータプログラムや計算の途中結果など、通信部114を介して外部から供給されるデータなどを一時的に記憶する。ROM113は、変更を必要としないコンピュータプログラムやデータを保持する。なお、RAM112、ROM113を総称してメモリと表現する。
通信部114は、Ethernet(登録商標)やUSBなどの通信部を有し、仮想視点画像生成サーバ102との通信を行う。入出力部115は、仮想カメラを制御するための複数のコントローラと、仮想カメラの状態などを出力して表示する複数の表示部とを含む。コントローラは、例えば、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどの操作部であり、操作者の入力を受け付けることができる。例えば、操作者は、ジョイスティック操作により、カメラパス作成時に再生される仮想視点画像において、空間内で仮想カメラの位置を自由に移動させたり、仮想カメラの向きを自由に変更したりすることができる。具体的には、カメラパス作成時に再生される仮想視点画像を観察しながら、コート上で特定の選手の横を追従するように仮想カメラを移動させてカメラパスを作成することができる。
<情報処理装置の機能構成>
図2は、本実施形態に係る画像処理システム10を構成する情報処理装置103の機能構成の一例を示す図である。情報処理装置103は、通信部114、入出力部115、記録時刻算出部116、位置姿勢取得部117、及びカメラパス記憶部118を備えている。また、情報処理装置103は、仮想視点画像生成サーバ102と接続している。
通信部114は、位置姿勢取得部117又はカメラパス記憶部118からEthernetやUSBなどの通信部を用いて入力されたカメラパラメータを順次、仮想視点画像生成サーバ102又は入出力部115へ出力する。また、通信部114は、仮想視点画像生成サーバ102からEthernetやUSBなどの通信部を用いて入力された仮想視点画像を順次、入出力部115へ出力してもよい。
入出力部115は、操作者によりコントローラから入力されたカメラパラメータ又は仮想視点画像のモードを、記録時刻算出部116へ出力する。また、仮想カメラの初期位置、初期姿勢、又は移動指示量を位置姿勢取得部117へ出力する。移動指示量は、例えばコントローラとしてのジョイスティックの操作量(傾倒量)に応じた傾倒方向の距離である。或いは、移動指示量は、ジョイスティックの傾倒回数に応じた量であってもよい。その場合、1回の傾倒で所定の距離移動するように予め定められていてもよい。或いは、現在位置に対するx、y、z方向のそれぞれの移動量をコントローラから入力するような場合には、それらの値であってもよい。仮想カメラの操作者は、コントローラを操作することで仮想カメラのカメラパラメータ、又は仮想カメラの移動指示量を指定することができる。仮想視点画像のモードの詳細は後述する。
また、入出力部115は、操作者によりコントローラから入力された撮影システム101が撮影した時刻(以下、プレイ時刻)に基づく、リプレイ仮想視点画像のプレイ開始時刻とプレイ終了時刻とを、記録時刻算出部116へ出力する。プレイ開始時刻とプレイ終了時刻とは、例えば、サッカー等の試合を撮影した映像から、映像制作者が再生したい実時刻を仮想カメラの操作者に指示し、操作者がコントローラを用いて入出力部115に入力することで決定される。但し、映像制作者と仮想カメラの操作者は別々とは限らず、映像制作者は仮想カメラの操作者と同一であってもよい。また、プレイ開始時刻とプレイ終了時刻との決定方法は当該例に限られるものではなく、ゴールシーンなどの特徴的な場面の開始実時刻と終了実時刻とを画像処理システム10が自動的に抽出して決定するように構成してもよい。
さらに、入出力部115は、操作者によりコントローラから入力されたカメラパス作成時の仮想視点画像の再生速度の情報及び/又はカメラパス再現時の仮想視点画像の再生速度の情報を、記録時刻算出部116へ出力する。また、操作者によりコントローラから入力された仮想カメラの移動速度を位置姿勢取得部117へ出力する。カメラパス作成時の仮想視点画像の再生速度は、実時間を基準の速度とした比率で決定されることを想定するが、再生速度の概念は、これに限られない。また、カメラパス再現時の仮想視点画像の再生速度は、カメラパス作成時のカメラパラメータを登録するフレームレート(例えば60fps)を基準の速度とした比率で決定されることを想定するが、これに限られない。さらに、仮想カメラの移動速度は、人が走る速度(例えば秒速10m)を基準の速度とした比率で決定されることを想定するが、移動速度の概念は、これに限られない。
加えて、入出力部115は、複数のディスプレイなどの表示部を有しており、通信部114から入力された仮想視点画像、カメラパラメータ、及び仮想カメラの状態などを表示する。これにより、操作者は、表示部に表示された仮想視点画像を観察しながら、コントローラを用いて仮想カメラを操作することが可能となる。しかし、これに限らず、表示部及びコントローラを操作する操作者は同一でなくてもよい。
情報処理装置103は仮想視点画像の再生速度を制御する少なくとも2つのモードを有する。1つは、カメラパス作成モードであり、もう1つは、カメラパス再現モードである。モードは、例えば入出力部115としてのユーザインタフェース(UI)上に切り替えボタンを設け、当該切り替えボタンの押下に応じて切り替え可能に構成されてもよい。
<カメラパス作成モード>
カメラパス作成モードとは、再生中の仮想視点画像(映像)を仮想カメラが位置する仮想視点で観察しながら、撮影空間内で仮想カメラを操作者の操作に基づいて移動させ、仮想カメラの移動軌跡をカメラパスとして記憶するモードである。
記録時刻算出部116は、カメラパス作成モードである場合、入出力部115から入力されたカメラパラメータ、プレイ開始時刻、プレイ終了時刻、及び、カメラパス作成時の仮想視点画像の再生速度に基づいて、生成する仮想視点画像の実時刻を決定する。そして、カメラパラメータに含まれる時刻を更新する。そして、カメラパラメータに、カメラパスの情報を記録した実時刻(カメラパラメータ記録時刻)を付加し、カメラパラメータを位置姿勢取得部117へ出力する。ここで、カメラパラメータの時刻とカメラパラメータ記録時刻とは異なる情報である。
生成する仮想視点画像の時刻は、プレイ開始時刻から開始される。生成する仮想視点画像の時刻を更新する際は、前に生成した仮想視点画像の時刻と仮想視点画像の再生速度とに基づいて決定される。ただし、生成する仮想視点画像の時刻は、プレイ終了時刻を超えないものと想定する。なお、時刻の決定方法は、これに限られない。また、最初のカメラパラメータ記録時刻(カメラパス記録開始時間)と最後のカメラパラメータ記録時刻(カメラパス記録終了時間)とをメモリに記憶する。
<カメラパス再現モード>
カメラパス再現モードとは、作成されたカメラパスに沿った仮想視点画像(映像)を生成するモードである。記録時刻算出部116は、カメラパス再現モードである場合、入出力部115から入力されたカメラパス再現時の仮想視点画像の再生速度に基づいて、生成する仮想視点画像のカメラパラメータの記録時刻を算出する。そして、記録時刻算出部116は、算出したカメラパラメータの記録時刻をカメラパス記憶部118へ出力する。カメラパラメータの記録時刻の算出方法は、例えば、メモリに記憶したカメラパス記録開始時間から始まり、カメラパス再生速度が1倍速であればカメラパスを記録したときの時間と等速で時間を進め、2倍速であれば2倍の速さで時間を進めることにより行う。ただし、カメラパラメータの記録時刻の算出方法は、これに限られない。
位置姿勢取得部117は、入出力部115から入力された移動指示量、仮想カメラの移動速度、初期位置及び初期姿勢、記録時刻算出部116から入力されたカメラパラメータに基づいて、生成する仮想視点画像の仮想カメラの位置及び姿勢を算出して取得する。そして、カメラパラメータの位置及び姿勢を更新し、更新されたカメラパラメータの情報を通信部114及びカメラパス記憶部118へ出力する。仮想カメラの位置及び姿勢は、初期位置及び初期姿勢から始まる。位置及び姿勢を更新する際は、前に生成した仮想視点画像のカメラパラメータの位置及び姿勢、移動指示量、及び、仮想カメラの移動速度に基づいて決定されることを想定する。なお、仮想カメラの位置及び姿勢の決定方法は、これに限られない。
カメラパス記憶部118は、位置姿勢取得部117から入力された仮想カメラのカメラパラメータを順次、メモリに記憶する。また、カメラパス記憶部118は、記録時刻算出部116から入力されたカメラパラメータの記録時刻に基づいて、メモリに記憶したカメラパラメータの中から、その記録時刻のカメラパラメータを取得し、通信部114へ出力する。
<カメラパス作成時及び再現時の仮想視点画像の再生>
ここで、図3は、実施形態1に係る、カメラパス作成時の仮想視点画像の再生速度を0.5倍速で再生し、カメラパス再現時の仮想視点画像の再生速度を2通り(通常(1倍速)と2倍速)で再生した場合の時間軸のイメージ図である。
例えばスポーツのプレイ時間(実時間)がプレイ開始時間からプレイ終了時間までの時間として定義される。例えば、サッカーのハイライトシーンなどが想定される。カメラパス作成時の仮想視点画像の再生時間は、再生速度が0.5倍速なのでプレイ時間の2倍の長さとなる。そして、カメラパス記録時間は実時間であり、カメラパス作成時の仮想視点画像の再生時間と同じ長さである。すなわち、プレイ時間の2倍の長さとなる。
そして、カメラパス再現時の仮想視点画像の再生時間は、通常(1倍速)の時は、カメラパス作成時の仮想視点画像の再生時間やカメラパス記録時間と同じ長さである。すなわち、プレイ時間の2倍の長さとなる。そして、2倍速の時は、プレイ時間と同じ長さとなる。
すなわち、カメラパス再現時の仮想視点画像の再生速度が通常(1倍速)の時は、リプレイ仮想視点画像の再生時間はプレイ時間の2倍の長さとなるように作られる。そして、カメラパス再現時の仮想視点画像の再生速度が2倍速の時は、リプレイ仮想視点画像の再生時間はプレイ時間と同じ長さとなるように作られる。
このように構成することで、被写体の動きが速い場合に、操作者は仮想視点画像の再生速度を遅くして(例えば0.5倍速で)、被写体への追従を容易にしながらカメラパスを作成することができる。なお、被写体の動きが遅すぎるような場合(例えば、動きの遅い動物の観察、昆虫の羽化の観察など)には、反対に、操作者は仮想視点画像の再生速度を速くして、被写体への追従を容易にしながらカメラパスを作成することができる。
また、従来、カメラパス記録時間と同じ時間でのみカメラパスを再現可能であったが、本実施形態によれば、作成したカメラパスをプレイ時間(もしくは、任意の時間)で再現することが可能となる。
<処理>
図4は、実施形態1に係る情報処理装置103の記録時刻算出部116が実施する、カメラパス作成時と再現時のモードとの切り替え処理の手順を示すフローチャートである。
S401では、記録時刻算出部116は、入出力部115から仮想視点画像の再生速度のモードと各種パラメータとを取得する。S402では、記録時刻算出部116は、S401で取得されたモードの種類を判定する。モードがカメラパス作成モードである場合、S403へ進む。一方、モードがカメラパス再現モードである場合、S404へ進む。S403では、記録時刻算出部116は、プレイ時刻を算出し、カメラパラメータを更新する。そして、カメラパラメータを位置姿勢取得部117へ出力する。S404では、記録時刻算出部116は、仮想視点画像を生成するカメラパラメータの記録時刻を算出し、カメラパス記憶部118へ出力する。以上で図4の一連の処理が終了する。
<カメラパス作成時の処理>
続いて、図5(a)は、実施形態1に係る情報処理装置が実施するカメラパス作成時の処理の手順を示すフローチャートである。
S501では、入出力部115は、カメラパラメータ(位置、姿勢、時刻)、仮想カメラの初期位置、初期姿勢、及びリプレイ仮想視点画像の開始時刻と終了時刻を、初期パラメータとして取得する。S502では、入出力部115は、仮想カメラの移動指示量、カメラパス作成時の仮想視点画像の再生速度、及び仮想カメラの移動速度を、パラメータとして取得する。S503では、入出力部115は、取得データを確認する。取得データを確認できれば、S504へ進む。一方、取得データを確認できなければ、処理を終了する。
S504では、記録時刻算出部116は、取得したカメラパラメータ、開始時刻と終了時刻、及び仮想視点画像の再生速度に基づいて、生成する仮想視点画像のプレイ時刻を決定し、カメラパラメータの時刻を更新する。ただし、時刻はプレイ開始時刻から始まり、プレイ終了時刻を超えないものとする。
S505では、位置姿勢取得部117は、取得した移動指示量、仮想カメラの移動速度、初期位置及び初期姿勢、及びカメラパラメータに基づいて、生成する仮想視点画像の仮想カメラの位置と姿勢を算出し、カメラパラメータの位置と姿勢を更新する。仮想カメラの位置と姿勢は、初期位置と初期姿勢とから始まり、更新する際は、前回のカメラパラメータの位置と姿勢、移動指示量、及び仮想カメラの移動速度に基づいて決定される。
S506では、カメラパス記憶部118は、決定されたカメラパラメータをメモリに記録する。S507では、通信部114は、仮想視点画像生成サーバ102へ、更新された移動先の仮想カメラの視点でのカメラパラメータを送信し、仮想視点画像の生成を指示する。仮想視点画像生成サーバ102は、カメラパラメータに含まれる時刻の情報に基づいて、生成する仮想視点画像の時刻を決定し、その時刻における仮想カメラの位置、姿勢での仮想視点画像を生成する。
S508では、通信部114は、仮想視点画像生成サーバ102から、仮想視点画像生成サーバ102により生成された仮想視点画像を受信する。
S509では、入出力部115は、受信した仮想視点画像をディスプレイなどの表示部に表示する。その後、S502に戻る。仮想カメラの操作者は、この仮想視点画像を観察しながらS502で入出力部115のコントローラを用いて仮想カメラを操作して移動することが可能となる。この仮想カメラの移動軌跡がカメラパスとして作成される。また、必要に応じて、操作者は入出力部115のコントローラを用いてS502で仮想視点画像の再生速度や、仮想カメラの移動速度を調整することができる。なお、図3の例では、再生速度は定速でカメラパスが作成されることから、再生速度は固定値のまま変更することなく一連の処理が繰り返されることになる。以上で図5(a)の一連の処理が終了する。
<カメラパス再現時の処理>
続いて、図5(b)は、実施形態1に係る情報処理装置が実施するカメラパス再現時の処理の手順を示すフローチャートである。
S510では、入出力部115は、カメラパス再現時の仮想視点画像の再生速度の情報をパラメータとして取得する。S511では、記録時刻算出部116は、取得した仮想視点画像の再生速度の情報に基づいて、カメラパラメータ記録時刻を算出する。カメラパラメータ記録時刻はカメラパス記録開始時間から始まる。
S512では、カメラパス記憶部118は、S506でメモリに記録されたカメラパスの中から、S511で算出されたカメラパラメータ記録時刻に該当するカメラパラメータを取得する。S513では、カメラパス記憶部118は、S512の取得データを確認する。取得データを確認できれば、S514へ進む。一方、取得データを確認できなければ、処理を終了する。
S514では、通信部114は、取得したカメラパラメータを仮想視点画像生成サーバ102へ送信し、仮想視点画像の生成を指示する。仮想視点画像生成サーバ102は、カメラパラメータに含まれる時刻の情報に基づいて、生成する仮想視点画像の時刻を決定し、その時刻における仮想カメラの位置、姿勢での仮想視点画像を生成する。S515では、通信部114は、仮想視点画像生成サーバ102から、仮想視点画像生成サーバ102により生成された仮想視点画像を受信する。
S516では、入出力部115は、受信した仮想視点画像をディスプレイなどの表示部に表示する。その後S510に戻る。仮想カメラの操作者は、この仮想視点画像を観察しながら、S510で入出力部115のコントローラを用いてカメラパス再現時の仮想視点画像の再生速度を調整することができる。これにより、操作者が重要視するハイライトシーンではゆっくりとした再生速度で仮想視点画像を再生し、重要視しないシーンでは早い再生速度で仮想視点画像を再生させることが可能となる。なお、図3の例では、再生速度は定速でカメラパスが再現されることから、再生速度は固定値のまま変更することなく一連の処理が繰り返されることになる。以上で図5(b)の一連の処理が終了する。
以上説明したように、本実施形態では、仮想視点画像を再生しながら撮影空間内を自由に移動可能な仮想カメラの移動軌跡を示すカメラパスを作成するためのカメラパス作成モードでの、仮想視点画像の再生速度の情報を取得し、当該再生速度で再生されている仮想カメラの視点での仮想視点画像において仮想カメラを移動してカメラパスを作成する操作を受け付ける処理を行う。
これにより、カメラパス作成時に仮想視点画像の再生速度を、被写体の速さに応じた適切な速度に調整することができる。例えば、被写体の動きが速い場合に、操作者は仮想視点画像の再生速度を遅くして仮想カメラを操縦することで、被写体の動きに追従しやすくなり、カメラパスを容易に作成することができる。また、被写体の動きが遅すぎるような場合(例えば、動きの遅い動物の観察、昆虫の羽化の観察など)には、反対に、操作者は仮想視点画像の再生速度を速くして、被写体への追従を容易にしながらカメラパスを作成することができる。
さらに、カメラパス作成時に仮想視点画像の再生速度とは別に、カメラパス再現時の仮想視点画像の再生速度についても、操作者の好みの速度に調整することができるように構成する。これにより、作成されたカメラパスを実時間(もしくは、任意の時間)で再現することも可能となる。
すなわち、カメラパス作成時にカメラパスの作成が容易になるとともに、カメラパス再現時には実時間に基づく違和感の無い仮想視点画像を提供することができる。
(実施形態2)
実施形態2では、情報処理装置が仮想視点画像のカメラパラメータ(仮想カメラの位置、姿勢、時刻等)の一部又は全部を外部装置に送信して、外部装置がリプレイ仮想視点画像を録画、編集する例を説明する。
図6は、本実施形態に係る、外部装置を用いてリプレイ仮想視点画像を生成する画像処理システムの構成例を示す図である。画像処理システム20は、撮影システム201、仮想視点画像生成サーバ202、情報処理装置203を備えており、外部装置である録画編集装置204と通信可能である。情報処理装置203は、通信部214、入出力部215、記録時刻算出部216、位置姿勢取得部217、及びカメラパス記憶部218を備えている。
撮影システム201は、図2の撮影システム101と同様である。仮想視点画像生成サーバ202は、通信部214から入力するカメラパラメータの全て、又は一部の情報を、仮想視点画像に付加し、録画編集装置204へ出力してもよい。仮想視点画像に付加する方法は、例えば、SDI(Serial Digital Interface)信号のアンシラリ領域に記述することを想定するが、これに限られない。
通信部214は、図2の通信部114の機能に加えて、位置姿勢取得部217、又はカメラパス記憶部218から入力したカメラパラメータの全て又は一部を順次、EthernetやUSBなどの通信手段を用いて録画編集装置204へ送信する機能を有する。
入出力部215は、図2の入出力部115と同様である。記録時刻算出部216は、図2の記録時刻算出部116の機能に加えて、仮想視点画像の再生速度をカメラパラメータに付加する機能を有する。位置姿勢取得部217は、図2の位置姿勢取得部117の機能に加えて、仮想カメラの移動速度をカメラパラメータに付加する機能を有する。カメラパス記憶部218は、図2のカメラパス記憶部118と同様である。
録画編集装置204は、仮想視点画像生成サーバ202又は通信部214から入力された仮想視点画像を録画する。また、録画編集装置204は、仮想視点画像生成サーバ102又は通信部114から入力された仮想視点画像と、通信部114から入力されたカメラパラメータの全て又は一部とを用いて、仮想視点画像の編集を行う。なお、ここで取得される情報は、カメラパラメータ、仮想視点画像の再生速度の情報、及び仮想カメラの移動速度の情報である。
仮想視点画像の編集の方法は、仮想カメラのカメラパラメータ(位置、姿勢、時刻等)、仮想視点画像の再生速度、移動速度の情報を操作者又はシステムが参照し、仮想視点画像の再生速度が0.5倍速の時に仮想視点画像を2倍速で再生する例が挙げられる。これにより、実時間のリプレイ仮想視点画像を作成することが可能となる。なお、仮想視点画像の編集の方法は、これに限られない。
図7は、通信部114が、仮想視点画像生成サーバ102、又は録画編集装置204へ出力するカメラパラメータの一例である。ただし、出力するカメラパラメータの記述方法は、これに限られない。図7の例では、時刻が01:02:03:00であり、仮想視点画像の再生モードがカメラパス作成モードであり、仮想視点画像の再生速度が0.5であり、仮想カメラの移動速度が0.5であり、仮想カメラのx位置が100、y位置が200である。
以上の処理により、情報処理装置が仮想視点画像のカメラパラメータの一部又は全てを外部装置(例えば録画編集装置)に送信して、外部装置がリプレイ仮想視点画像を録画、編集することが可能となる。
本実施形態によれば、カメラパス作成に応じて順次録画編集装置に仮想視点画像とそのメタ情報とが出力されるため、より早く録画と編集が可能となり、従ってより早い映像配信が可能となる。さらには、画像処理システム外に存在するサードパーティによる録画編集装置による録画・編集が可能となる。
(実施形態3)
実施形態3では、仮想カメラの操作者が仮想視点画像の再生速度、又は仮想カメラの移動速度に係るパラメータの変更を行う例を説明する。
図8は、本実施形態に係る、操作者が仮想視点画像の再生速度、及び仮想カメラの移動速度に係るパラメータの変更を行うユーザインタフェース(UI)のイメージ図である。UIは、シーン再生速度303、仮想カメラ移動速度404、スローカメラアシスト率制御バー702、シーン再生速度制御バー703を有する。
操作者は、仮想カメラの移動速度に係るパラメータとして、それぞれスローカメラアシスト率制御バー702を操作する。また、仮想視点画像の再生速度に係るパラメータとして、シーン再生速度制御バー703を操作する。スローカメラアシスト率制御バー702とシーン再生速度制御バー703は独立して動作する。ただし、スローカメラアシスト率制御バー702とシーン再生速度制御バー703の動作は、これに限られない。例えば操作者がシーン再生速度制御バー703を操作し、仮想視点画像の再生速度を変更した場合に、その再生速度から最適な仮想カメラの移動速度を自動的に算出し、スローカメラアシスト率制御バー702に反映させ、連動して動作するように構成してもよい。
UIは、入出力部115が有するディスプレイ等の表示部に表示されてもよい。また、UIは、入出力部115が有するコントローラ等の入力部により操作されてもよい。
図8において、シーン再生速度303は、入出力部115が入力、表示する仮想視点画像の再生速度であり、この速度が記録時刻算出部116へ出力される。100%が通常の再生速度である。シーン再生速度303は、100%より小さい場合はスロー再生となる。例えば、シーン再生速度303は、実時間における1秒間の映像を2秒間で再生する場合、50%となる。100%より大きい場合は早送り再生である。シーン再生速度303が0%である場合、入出力部115に表示する仮想視画像における時は停止している状態である。なお、シーン再生速度303が0%である場合であっても仮想カメラを制御することは可能である。例えば、選手がボールを蹴った瞬間の選手の周りをぐるりと回るような仮想視点画像を生成することが可能である。
スローカメラアシスト率404は、入出力部115が入力、表示する、スローカメラアシスト機能を有効にした際のカメラの移動速度を落とす割合であり、位置姿勢取得部117へ出力される。この時、仮想カメラの移動速度は、カメラパス作成モードでの仮想視点画像の再生速度に応じて自動的に決定される。即ち、シーンの再生速度(仮想視点画像の再生速度)の変更に応じて仮想カメラの移動速度が自動的に変更されるように構成する。
例えば、シーン再生速度が50%に変更された場合は、仮想カメラの移動速度を通常の50%に落とすように構成してもよい。スローカメラアシストは、シーンの再生速度と仮想カメラの移動速度を共に落とすことにより、リプレイクリップを録画するための操縦が容易になる。例えば、高速に移動するボールを追うようなリプレイクリップを作成する際に、仮想カメラの操縦が容易になる。
スローカメラアシスト率制御バー702は、入出力部115が入力、表示するスローカメラアシスト実行時の仮想カメラの移動速度を制御し、位置姿勢取得部117へ出力される。シーン再生速度制御バー703は、入出力部115が入力、表示するシーンの再生速度を制御し、記録時刻算出部116へ出力される。
スローカメラアシスト率制御バー702とシーン再生速度制御バー703の機能は、図8のようなバーの形式だけでなく、例えば、プルダウンメニューによる選択やテキストボックスによる直接入力の形式で実現してもよい。また、入出力部115が有するコントローラを用いてもよい。ここで、図9は、本実施形態に係る、スローカメラアシスト率、又はシーン再生速度を操作するコントローラとしてのウィンドウの一例を示す図である。スライダー1014は、スローカメラアシスト率、又はシーン再生速度を設定するために使用することを想定する。
なお、スライダー1014は、スローカメラアシスト率制御バー702、又はシーン再生速度制御バー703と連動してもよい。また、ボタン1001乃至ボタン1013などに予め値を設定しておき、それを押すことでスローカメラアシスト率、又はシーン再生速度の値が設定値に置き換わり、決定ボタン1014を押すことにより反映されてもよい。但し、コントローラによる設定方法は、これに限られない。
以上の処理により、仮想カメラの操作者が仮想視点画像の再生速度、又は仮想カメラの移動速度に係るパラメータの変更を容易に行うことができる。
なお、上述の各実施形態では、カメラパス作成モードを例に説明を行ったが、カメラパス作成時に限らず、単に仮想カメラを操縦する際にも本発明を適用することができる。例えば、仮想視点画像の再生速度に応じて、仮想カメラの移動速度(ユーザ操作に対する仮想カメラの移動量)を変更することで、被写体の動きに追従する仮想カメラの操縦を行いやすくなる。なお、仮想視点画像の再生速度、仮想カメラの移動速度は、それぞれ操作者が自由に設定できるように構成してもよいし、仮想視点画像の再生速度に応じて自動的に仮想カメラの移動速度を決定するように構成してもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
10:画像処理システム、101:撮影システム、102:仮想視点画像生成サーバ、情報処理装置、111:CPU、112:RAM、113:ROM、114:通信部、115:入出力部

Claims (19)

  1. 複数の撮影画像に基づく仮想視点画像の再生速度を決定する決定手段と、
    前記決定手段により決定された再生速度での前記仮想視点画像の再生中におけるユーザ操作に応じた入力を受け付ける受付手段と、
    前記受付手段により受け付けられた入力に基づいて前記仮想視点画像に対応する仮想視点を変化させる制御を行う制御手段であって、第1再生速度での前記仮想視点画像の再生中における特定のユーザ操作に応じた入力が受け付けられたことに応じて変化する前記仮想視点の変化速度が、前記第1再生速度よりも速い第2再生速度での前記仮想視点画像の再生中における前記特定のユーザ操作に応じた入力が受け付けられたことに応じて変化する前記仮想視点の変化速度よりも遅くなるように制御する制御手段とを有することを特徴とする情報処理装置。
  2. 前記制御手段による制御に応じた仮想視点の経時的な変化を表す視点情報を生成する視点情報生成手段と、
    前記決定手段により決定された再生速度とは異なる再生速度で再生される仮想視点画像を、前記視点情報生成手段により生成された視点情報と前記複数の撮影画像とに基づいて生成する画像生成手段とを有することを特徴とする請求項1に記載の情報処理装置。
  3. 前記制御手段による制御に応じた仮想視点の変化を表す視点情報を生成する視点情報生成手段と、
    前記視点情報生成手段により生成された視点情報を、前記複数の撮影画像に基づいて仮想視点画像を生成する画像生成装置へ出力する出力手段とを有することを特徴とする請求項1に記載の情報処理装置。
  4. 前記出力手段は、前記画像生成装置により生成される仮想視点画像の再生速度を示す情報を出力することを特徴とする請求項3に記載の情報処理装置。
  5. 前記決定手段により決定される再生速度と前記出力手段により出力される情報が示す再生速度とは異なることを特徴とする請求項4に記載の情報処理装置。
  6. 前記決定手段は、ユーザによる指定操作に基づいて前記仮想視点画像の再生速度を決定することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
  7. 前記決定手段は、前記複数の撮影画像の少なくとも何れかに含まれるオブジェクトの動きに基づいて前記仮想視点画像の再生速度を決定することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
  8. 前記制御手段は、前記決定手段により決定された再生速度に基づいて前記仮想視点の変化速度の上限を決定することを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
  9. 前記制御手段は、前記決定手段により決定された再生速度に基づいてユーザ操作に応じた前記仮想視点の変化の感度を決定することを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
  10. 前記制御手段は、前記受付手段により受け付けられた入力に基づいて前記仮想視点の位置と向きと画角との少なくとも何れかを変化させることを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。
  11. 前記決定手段は、仮想視点画像の再生中に仮想視点の移動軌跡を示すカメラパスを作成するカメラパス作成モードでの当該仮想視点の再生速度を決定することを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。
  12. 複数の撮影画像に基づく仮想視点画像の再生速度を変更する変更手段と、
    前記仮想視点画像の再生中におけるユーザ操作に応じた入力を受け付ける受付手段と、
    想視点画像の再生速度に基づいて仮想視点の変化速度を決定するためのパラメータを設定する設定手段と、
    前記受付手段により受け付けられた入力に基づいて前記仮想視点画像に対応する仮想視点を変化させる制御手段であって、前記変更手段により変更された前記再生速度および前記パラメータに基づいて決まる前記仮想視点の変化速度と前記入力とで前記仮想視点を変化させる制御手段とを有することを特徴とする情報処理装置。
  13. 前記制御手段は、前記変更手段により変更された前記再生速度および前記パラメータに基づいて前記仮想視点の変化速度の上限を決定することを特徴とする請求項12に記載の情報処理装置。
  14. 前記制御手段は、前記変更手段により変更された前記再生速度および前記パラメータに基づいてユーザ操作に応じた前記仮想視点の変化の感度を決定することを特徴とする請求項12に記載の情報処理装置。
  15. 複数の撮影画像に基づく仮想視点画像の再生速度を決定する決定工程と、
    前記決定工程により決定された再生速度での前記仮想視点画像の再生中におけるユーザ操作に応じた入力を受け付ける受付工程と、
    前記受付工程により受け付けられた入力に基づいて前記仮想視点画像に対応する仮想視点を変化させる制御を行う制御工程であって、第1再生速度での前記仮想視点画像の再生中における特定のユーザ操作に応じた入力が受け付けられたことに応じて変化する前記仮想視点の変化速度が、前記第1再生速度よりも速い第2再生速度での前記仮想視点画像の再生中における前記特定のユーザ操作に応じた入力が受け付けられたことに応じて変化する前記仮想視点の変化速度よりも遅くなるように制御する制御工程とを有することを特徴とする情報処理方法。
  16. 前記制御工程における制御に応じた仮想視点の経時的な変化を表す視点情報を生成する視点情報生成工程と、
    前記決定工程において決定された再生速度とは異なる再生速度で再生される仮想視点画像を、前記視点情報生成工程において生成された視点情報と前記複数の撮影画像とに基づいて生成する画像生成工程とを有することを特徴とする請求項15に記載の情報処理方法。
  17. 前記制御工程は、前記決定工程において決定された再生速度に基づいて前記仮想視点の変化速度の上限を決定することを特徴とする請求項15又は16に記載の情報処理方法。
  18. 前記制御工程は、前記決定工程において決定された再生速度に基づいてユーザ操作に応じた前記仮想視点の変化の感度を決定することを特徴とする請求項15又は16に記載の情報処理方法。
  19. コンピュータを、請求項1乃至14の何れか1項に記載の情報処理装置として機能させるためのプログラム。
JP2018132639A 2018-07-12 2018-07-12 情報処理装置、情報処理方法及びプログラム Active JP7170441B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018132639A JP7170441B2 (ja) 2018-07-12 2018-07-12 情報処理装置、情報処理方法及びプログラム
KR1020217000304A KR102500615B1 (ko) 2018-07-12 2019-04-18 정보 처리장치, 정보 처리방법 및 프로그램
PCT/JP2019/016562 WO2020012748A1 (ja) 2018-07-12 2019-04-18 情報処理装置、情報処理方法及びプログラム
EP19835094.4A EP3823287A4 (en) 2018-07-12 2019-04-18 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN201980055528.XA CN112640472B (zh) 2018-07-12 2019-04-18 信息处理设备、信息处理方法和存储介质
US17/133,770 US11368666B2 (en) 2018-07-12 2020-12-24 Information processing apparatus, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018132639A JP7170441B2 (ja) 2018-07-12 2018-07-12 情報処理装置、情報処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2020010301A JP2020010301A (ja) 2020-01-16
JP2020010301A5 JP2020010301A5 (ja) 2021-08-26
JP7170441B2 true JP7170441B2 (ja) 2022-11-14

Family

ID=69142314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018132639A Active JP7170441B2 (ja) 2018-07-12 2018-07-12 情報処理装置、情報処理方法及びプログラム

Country Status (6)

Country Link
US (1) US11368666B2 (ja)
EP (1) EP3823287A4 (ja)
JP (1) JP7170441B2 (ja)
KR (1) KR102500615B1 (ja)
CN (1) CN112640472B (ja)
WO (1) WO2020012748A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2021199735A1 (ja) * 2020-03-30 2021-10-07
JP7451291B2 (ja) 2020-05-14 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2022032483A (ja) 2020-08-12 2022-02-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2022124047A1 (ja) * 2020-12-07 2022-06-16 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
US11941729B2 (en) 2020-12-11 2024-03-26 Canon Kabushiki Kaisha Image processing apparatus, method for controlling image processing apparatus, and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018046448A (ja) 2016-09-15 2018-03-22 キヤノン株式会社 画像処理装置および画像処理方法
JP2018092491A (ja) 2016-12-06 2018-06-14 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066550B1 (ko) * 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
JP5456020B2 (ja) * 2009-10-30 2014-03-26 キヤノン株式会社 情報処理装置および方法
EP2413286A1 (en) * 2010-07-29 2012-02-01 LiberoVision AG Image processing method and device for instant replay
KR101665049B1 (ko) * 2010-08-11 2016-10-11 삼성전자주식회사 영상 처리 장치 및 방법
JP2012109719A (ja) 2010-11-16 2012-06-07 Canon Inc 映像処理装置及びその制御方法
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
EP2960864B1 (en) * 2014-06-23 2018-12-05 Harman Becker Automotive Systems GmbH Device and method for processing a stream of video data
WO2016038964A1 (ja) * 2014-09-08 2016-03-17 ソニー株式会社 情報処理装置及び情報処理方法
JP6613774B2 (ja) * 2015-09-30 2019-12-04 アイシン精機株式会社 周辺監視装置
US10230866B1 (en) * 2015-09-30 2019-03-12 Amazon Technologies, Inc. Video ingestion and clip creation
JP6482498B2 (ja) * 2016-05-25 2019-03-13 キヤノン株式会社 制御装置、制御方法、及び、プログラム
FR3052949B1 (fr) * 2016-06-17 2019-11-08 Alexandre Courtes Procede et systeme de prise de vues a l'aide d'un capteur virtuel
US10754529B2 (en) * 2016-10-28 2020-08-25 Adobe Inc. Facilitating editing of virtual-reality content using a virtual-reality headset
JP6840562B2 (ja) 2017-02-15 2021-03-10 キヤノン株式会社 光走査装置及び画像形成装置
JP2018182428A (ja) * 2017-04-06 2018-11-15 株式会社フューチャリズムワークス 映像配信装置、映像配信システム及び映像配信方法
JP7079242B2 (ja) * 2017-04-25 2022-06-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像表示方法及び画像表示装置
DE102017125544B3 (de) * 2017-05-15 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verarbeitungsverfahren und Verarbeitungssystem für Videodaten
US10360727B2 (en) * 2017-08-02 2019-07-23 Omnivor, Inc. Methods for streaming visible blocks of volumetric video
JPWO2019031306A1 (ja) * 2017-08-07 2020-08-06 シャープ株式会社 生成装置、再生装置、生成方法、再生方法、制御プログラム、記録媒体
CN108289220B (zh) * 2018-01-15 2020-11-27 深圳市奥拓电子股份有限公司 虚拟图像处理方法、图像处理系统及存储介质
JP7051457B2 (ja) 2018-01-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7330683B2 (ja) 2018-11-06 2023-08-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018046448A (ja) 2016-09-15 2018-03-22 キヤノン株式会社 画像処理装置および画像処理方法
JP2018092491A (ja) 2016-12-06 2018-06-14 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム

Also Published As

Publication number Publication date
KR20210016613A (ko) 2021-02-16
CN112640472B (zh) 2023-06-09
US20210120224A1 (en) 2021-04-22
WO2020012748A1 (ja) 2020-01-16
EP3823287A1 (en) 2021-05-19
US11368666B2 (en) 2022-06-21
KR102500615B1 (ko) 2023-02-16
JP2020010301A (ja) 2020-01-16
EP3823287A4 (en) 2022-04-20
CN112640472A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
JP7170441B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN109889914B (zh) 视频画面推送方法、装置、计算机设备及存储介质
US11057609B2 (en) Information processing apparatus, information processing method, and computer readable storage medium for determining a moving path of virtual viewpoint
JP7459341B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP7458889B2 (ja) 画像表示装置、制御方法、およびプログラム
JP2022188095A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2020140285A (ja) 情報処理装置、情報処理装置の制御方法、及び、プログラム
JP3424204B2 (ja) オブジェクトの軌跡を利用したビデオ・コンテンツへのアクセス方法及び装置
JP2020205549A (ja) 映像処理装置、映像処理方法、及びプログラム
JP2021197082A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
US20230353717A1 (en) Image processing system, image processing method, and storage medium
KR20160137924A (ko) 객체 상태 저장 방식 게임 동영상 녹화 및 재생 방법
KR20160114481A (ko) 객체 상태 저장 방식 게임 동영상 녹화 및 재생 방법
JP2006073026A (ja) 動画像編集方法
JP2023019088A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7277184B2 (ja) 情報処理装置、情報処理方法ならびにプログラム。
WO2023100703A1 (ja) 画像制作システム、画像制作方法、プログラム
WO2023100704A1 (ja) 画像制作システム、画像制作方法、プログラム
JP7514346B2 (ja) 画像処理装置及び方法、プログラム
JP7403956B2 (ja) 情報処理装置、制御方法、及びプログラム
US20230164305A1 (en) Information processing device, information processing method, and program
JP2024014517A (ja) 情報処理システム、情報処理方法及びコンピュータプログラム
JP2021179687A (ja) 情報処理装置、情報処理方法およびプログラム
JP2023173577A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021043922A (ja) 情報処理装置、システム、生成方法、及び、プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221101

R151 Written notification of patent or utility model registration

Ref document number: 7170441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151