JP2024113650A - Information processing apparatus, information processing method, and program - Google Patents
Information processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP2024113650A JP2024113650A JP2023186821A JP2023186821A JP2024113650A JP 2024113650 A JP2024113650 A JP 2024113650A JP 2023186821 A JP2023186821 A JP 2023186821A JP 2023186821 A JP2023186821 A JP 2023186821A JP 2024113650 A JP2024113650 A JP 2024113650A
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- viewpoint
- history
- virtual
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 57
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本開示は、仮想視点画像の生成に用いる技術に関する。 This disclosure relates to technology used to generate virtual viewpoint images.
複数の撮像装置を異なる位置に設置して同期撮像し、その撮像により得られた複数の撮像画像を用いて、任意の視点（以降、仮想視点とする）からの見えを表す画像（以降、仮想視点画像とする）を生成する技術がある。このような仮想視点画像を用いたサービスによれば、例えば野球やサッカーの試合を撮影した画像に基づいて制作された迫力のある視点のコンテンツをユーザに提供することができる。また仮想視点画像を用いたサービスでは、コンテンツを視聴しているユーザが自由に視点を選択あるいは移動（以降、仮想視点操作とする）することも可能であり、ユーザは仮想視点操作をしながら視聴することで高臨場感を得ることができる。 There is a technology that uses multiple imaging devices installed in different positions to capture images synchronously and then uses the multiple captured images obtained by capturing the images to generate an image (hereafter referred to as a virtual viewpoint image) that represents the view from any viewpoint (hereafter referred to as a virtual viewpoint). Services that use such virtual viewpoint images can provide users with content that has a powerful viewpoint, created based on images captured of a baseball or soccer game, for example. Services that use virtual viewpoint images also allow users watching content to freely select or move the viewpoint (hereafter referred to as virtual viewpoint operation), and users can experience a high sense of realism by watching while operating the virtual viewpoint.
特許文献１には、ユーザが仮想視点操作を行って仮想視点画像を視聴している際に、ユーザからの仮想視点操作が一定時間なされなかった場合に、既定の仮想視点画像に切り替える技術が開示されている。特許文献１において、既定の仮想視点画像は、サーバ等の高性能な装置によって高画質に制作される仮想視点画像であって、予め定められた仮想視点の移動経路に従った仮想視点画像となされている。 Patent document 1 discloses a technology that switches to a default virtual viewpoint image if the user does not operate the virtual viewpoint for a certain period of time while viewing a virtual viewpoint image by operating the virtual viewpoint. In patent document 1, the default virtual viewpoint image is a virtual viewpoint image that is created in high quality by a high-performance device such as a server, and follows a predetermined virtual viewpoint movement path.
ところで、試合観戦等においてユーザが長時間ずっと仮想視点操作を行い続けるのは大変である。そのため、ユーザは、よく観たいシーンのみで仮想視点操作を行なったり、さらには疲れてしまい仮想視点操作をやめてしまったりすることも想定される。特許文献１では、ユーザが仮想視点操作を一定時間行わなかった場合、既定の仮想視点画像への切り替えが行われるが、そのとき切り替えられる仮想視点画像は予め定められた仮想視点の移動経路に従った仮想視点画像となる。すなわち、その切り替え後の仮想視点画像は、ユーザの視聴傾向には沿わない仮想視点画像になってしまうことがある。そしてその場合、ユーザは、自身が視聴したい所望の仮想視点を指定するような新たな仮想視点操作を行わなければならなくなってしまう。 However, it is difficult for a user to continue performing virtual viewpoint operations for a long period of time when watching a game, etc. For this reason, it is expected that the user will perform virtual viewpoint operations only for scenes that the user wants to watch frequently, or even stop performing virtual viewpoint operations due to fatigue. In Patent Document 1, if the user does not perform virtual viewpoint operations for a certain period of time, a default virtual viewpoint image is switched to, and the virtual viewpoint image to which the user is switched at that time is a virtual viewpoint image that follows a predetermined virtual viewpoint movement path. In other words, the virtual viewpoint image after the switch may be a virtual viewpoint image that does not match the user's viewing tendency. In that case, the user will have to perform a new virtual viewpoint operation to specify the desired virtual viewpoint that the user wants to view.
そこで、本開示では、ユーザによる仮想視点操作がない場合にも、ユーザに適切な仮想視点画像を提供することを目的とする。 Therefore, the present disclosure aims to provide the user with an appropriate virtual viewpoint image even when the user does not operate the virtual viewpoint.
本開示は、ユーザ操作により指定された仮想視点を仮想視点履歴として管理する履歴管理手段と、前記履歴管理手段にて管理されている前記仮想視点履歴に基づいて、仮想視点を決定する視点決定手段と、前記視点決定手段にて決定された前記仮想視点を、仮想視点画像の生成に用いられる仮想視点として設定する視点制御手段と、を有することを特徴とする。 The present disclosure is characterized by having a history management means for managing virtual viewpoints specified by user operations as a virtual viewpoint history, a viewpoint determination means for determining a virtual viewpoint based on the virtual viewpoint history managed by the history management means, and a viewpoint control means for setting the virtual viewpoint determined by the viewpoint determination means as a virtual viewpoint used to generate a virtual viewpoint image.
本開示によれば、ユーザによる仮想視点操作がない場合にも、ユーザに適切な仮想視点画像を提供することができる。 According to the present disclosure, it is possible to provide an appropriate virtual viewpoint image to a user even when the user does not operate the virtual viewpoint.
以降、本開示に係る実施形態を、図面を参照しながら説明する。以降の各実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。実施形態の構成は、本開示が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、以降の実施形態において、同一もしくは同様の構成や処理工程には同じ参照符号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. Each of the following embodiments does not limit the present disclosure, and not all of the combinations of features described in the present embodiments are necessarily essential to the solutions of the present disclosure. The configurations of the embodiments may be modified or changed as appropriate depending on the specifications of the device to which the present disclosure is applied and various conditions (conditions of use, environment of use, etc.). In the following embodiments, the same or similar configurations and processing steps are given the same reference symbols, and duplicated descriptions are omitted.
＜第１の実施形態＞
［システム構成］
図１は、本実施形態に係る情報処理装置を含む画像生成システム１００の構成例を示すブロック図である。画像生成システム１００は、図１に示されるように、複数の撮像装置１１０、画像生成装置１２０、および１台以上の表示制御装置１３０を備える。本実施形態では、情報処理装置の一適用例として表示制御装置１３０を挙げて説明するが、情報処理装置には表示制御装置１３０と画像生成装置１２０の両方が含まれていてもよい。
First Embodiment
[System configuration]
Fig. 1 is a block diagram showing an example of the configuration of an
複数の撮像装置１１０は、図２に示すように、撮像領域２００を囲むようにそれぞれ異なる位置に設置され、それぞれが撮像領域２００を異なる方向から同期して撮像した画像を出力する。以降、これら複数の撮像装置１１０によって複数の視点から撮像された画像を、複数視点画像と呼ぶ。撮像装置１１０は、例えば、静止画像および動画像を撮像可能なデジタルカメラ等である。また、複数の撮像装置１１０には、望遠カメラや広角カメラなど機能が異なる撮像装置１１０が混在していてもよい。
As shown in FIG. 2, the
撮像領域２００は、本実施形態の例では野球の試合が行われる野球場であるとする。ただし、撮像領域２００はこれに限定されるものではなく、その他のスポーツ競技が行われる競技場や、演技が行われる舞台等であってもよい。
複数の撮像装置１１０による撮像で得られた複数視点画像は、例えばＬＡＮケーブル等の通信媒体を介して、画像生成装置１２０に伝送される。なお、画像生成装置１２０への複数視点画像の伝送は無線により行われてもよい。
In this embodiment, the
The multiple viewpoint images obtained by imaging using the
画像生成装置１２０は、例えばサーバ装置等であり、データベース機能や画像処理機能を備える。画像生成装置１２０は、複数の撮像装置１１０で撮像された複数視点画像を取得して蓄積する。複数視点画像に含まれる画像は、撮像装置１１０による撮像画像そのものであってもよいし、撮像画像に対して例えば所定の領域を抽出する処理などの画像処理を施した画像であってもよい。そして画像生成装置１２０は、それら複数視点画像と、後述する表示制御装置１３０から送られてきた仮想視点情報とに基づいて、その仮想視点からの見えを表す仮想視点画像を生成する。なお、仮想視点画像は、自由視点画像とも呼ばれており、ユーザが自由（任意）に指定した視点に対応して生成される画像に限定されるものではなく、例えば複数の候補視点のなかからユーザが選択した視点に対応して生成される画像なども含まれる。
The
画像生成装置１２０は、例えば以下のようにして仮想視点画像を生成する。
画像生成装置１２０は、前述のように複数の撮像装置１１０から取得した複数視点画像に含まれる各撮像画像から、人物などの所定の前景オブジェクトを分離し、その分離した前景オブジェクトの画像を、前景画像データとして記憶する。撮像画像から前景オブジェクトを分離する画像処理としては、例えば、撮像画像と背景画像との差分に基づいて前景オブジェクトを抽出する処理や、撮像画像から検出した動体を前景オブジェクトとして分離する処理などを用いることができる。また画像生成装置１２０は、人物等が存在しいな状態の競技場のフィールドやスタジオセット等を撮像した画像データ、あるいはＣＧ（コンピュータグラフィックス）等で生成した架空の空間の画像データを、背景画像データとして事前に用意して保持している。そして画像生成装置１２０は、事前に保持している背景画像データと前述した前景画像データと用いて、後述する複数の表示制御装置１３０から送られてくる仮想視点情報に含まれる各仮想視点に各々対応した仮想視点画像を生成する。
The
The
仮想視点画像の生成方法としては、例えば、モデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）の手法を用いることができる。ＭＢＲとは、オブジェクトを複数の方向から撮像して得られた複数の撮像画像に基づいて生成される三次元モデルを用いて、仮想視点画像を生成する手法である。具体的には、ＭＢＲでは、三次元形状復元方法により得られた対象オブジェクトの三次元形状に対して、仮想視点からの三次元形状の見えに対応した複数の撮像画像をレンダリング画像として投影することで、仮想視点画像が生成される。また三次元形状復元方法としては、視体積交差法、又はＭＶＳ（Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ）等の方法を用いることができる。なお、仮想視点画像の生成方法はこれらの例に限定されるものではなく、例えば、三次元モデルを用いずに撮像画像の射影変換によって仮想視点画像を生成する方法など、種々の方法を用いることができる。 As a method for generating a virtual viewpoint image, for example, a method of Model-Based Rendering (MBR) can be used. MBR is a method for generating a virtual viewpoint image using a three-dimensional model generated based on multiple captured images obtained by capturing an object from multiple directions. Specifically, in MBR, a virtual viewpoint image is generated by projecting multiple captured images corresponding to the appearance of the three-dimensional shape from a virtual viewpoint as rendering images onto the three-dimensional shape of a target object obtained by a three-dimensional shape restoration method. In addition, as a three-dimensional shape restoration method, a method such as a visual volume intersection method or MVS (Multi-View-Stereo) can be used. Note that the method for generating a virtual viewpoint image is not limited to these examples, and various methods can be used, such as a method for generating a virtual viewpoint image by projective transformation of captured images without using a three-dimensional model.
このように画像生成装置１２０は、複数の表示制御装置１３０から送られてきた仮想視点ごとに対応した仮想視点画像を生成し、それら仮想視点ごとの仮想視点画像を、ネットワーク等を介して、対応した表示制御装置１３０へ送信する。なお、画像生成装置１２０は、クラウド上に構築されていてもよい。クラウド上に構築されている場合であっても、画像生成装置１２０は、複数の表示制御装置１３０からそれぞれ送られていた仮想視点に対応する仮想視点画像を生成する処理を行う。
In this way, the
表示制御装置１３０は、本実施形態に係る情報処理装置の一適用例である、スマートフォンやＰＣ（パーソナルコンピュータ）、タブレット端末などである。表示制御装置１３０は、様々な情報処理を行う構成と共に、ユーザ操作を受け付ける操作部や画像を表示する表示部等をも備えている。なお、操作部としては、スマートフォンやタブレット端末が一般的に備えているタッチパネル、ＰＣ等が一般的に備えているマウス、キーボード、あるいは６軸コントローラ等を挙げることができる。
The
本実施形態の場合、表示制御装置１３０は、ユーザから仮想視点を指定する操作を受け付けた場合、その仮想視点を表す仮想視点情報を、ネットワーク等を介して画像生成装置１２０へ送信する。本実施形態において、仮想視点には、少なくともその視点の位置およびその向き（視線方向）が含まれている。より具体的に説明すると、仮想視点情報は、視点の三次元位置を表すパラメータと、パン、チルト、およびロール方向によって視点の向き（視線方向）を表すパラメータとを含んだ、パラメータセットとなされる。視点の位置を表すパラメータは、撮像領域２００内の位置に関連付けられた原点を有する仮想空間内の三次元位置を表し、例えば撮像領域２００の中央等の所定位置に対する仮想視点の相対的な位置を示す情報である。視点の向き（視線方向）を表すパラメータは、その視点の位置において、その視点から見る方向を表す情報である。表示制御装置１３０は、ユーザから仮想視点を指定する操作を受け付けた場合、その視点の位置および向きのパラメータを含む仮想視点情報を、ネットワーク等を介して画像生成装置１２０へ送信する。
In this embodiment, when the
画像生成装置１２０は、表示制御装置１３０から仮想視点情報を受信すると、その仮想視点情報に含まれる仮想視点の位置から視線方向に見える仮想視点画像を生成する。すなわち画像生成装置１２０は、仮想視点の位置から、仮想視点の向きの方向を見た時に、その仮想視点から見える様子を表す画像を、仮想視点画像として生成する。そして画像生成装置１２０は、その仮想視点画像を表示制御装置１３０に送信する。表示制御装置１３０は、画像生成装置１２０から受信した仮想視点画像を表示部に表示することで、ユーザ操作に応じた仮想視点画像をユーザに提示することができる。
When the
なお、仮想視点情報は前述したパラメータセットの例に限定されるものではない。例えば、仮想視点情報としては、前フレームの仮想視点の位置および向きを基点とした場合の、現在フレームにおける変更量を示すパラメータが用いられてもよい。また例えば、仮想視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、仮想視点情報は、複数のパラメータセットを有していてもよい。例えば、仮想視点情報は、仮想視点画像の動画を構成する連続した複数のフレームにそれぞれ対応する複数のパラメータセットを有し、それら連続した複数のフレームの各時点における仮想視点の位置および向きを示す情報となされていてもよい。 The virtual viewpoint information is not limited to the example of the parameter set described above. For example, the virtual viewpoint information may be a parameter indicating the amount of change in the current frame when the position and orientation of the virtual viewpoint in the previous frame are used as the base point. Also, for example, the parameter set as the virtual viewpoint information may include a parameter indicating the size of the field of view (angle of view) of the virtual viewpoint. Also, the virtual viewpoint information may have multiple parameter sets. For example, the virtual viewpoint information may have multiple parameter sets corresponding to multiple consecutive frames that make up the video of the virtual viewpoint image, and may be information indicating the position and orientation of the virtual viewpoint at each point in time of the multiple consecutive frames.
また、表示制御装置１３０からはユーザ操作の内容を示す操作情報が出力されて、画像生成装置１２０へ送られ、画像生成装置１２０は、その操作情報に基づいて仮想視点情報を生成してもよい。また例えば、仮想視点に対応する仮想視点画像を生成する機能は、表示制御装置１３０の内部に実装されていてもよい。この場合、表示制御装置１３０は、画像生成装置１２０からコンテンツの３Ｄモデル情報を表す前景画像データと背景画像データとを取得し、それらを用いて仮想視点に対応する仮想視点画像を生成する。さらに例えば、画像生成装置１２０と表示制御装置１３０との両方が仮想視点画像を生成する機能を有していてもよく、いずれで仮想視点画像を生成するのかを、状況に応じて切り替えてもよい。一例として、より高品質な仮想視点画像を生成できる方を判定し、高品質な仮想視点画像を生成できる方を用いるようにしたり、あるいは、より短時間に仮想視点画像を生成できる方を判定し、短時間に仮想視点画像を生成できる方を用いるようにしたりしてもよい。
In addition, operation information indicating the contents of the user operation may be output from the
［ハードウェア構成］
図３は、本実施形態に係る表示制御装置１３０のハードウェア構成例を示した図である。なお、画像生成装置１２０のハードウェア構成も表示制御装置１３０と同様であるためその図示と説明は省略する。表示制御装置１３０は、ＣＰＵ（中央処理ユニット）３０１、ＲＯＭ（リードオンリメモリ）３０２、ＲＡＭ（ランダムアクセスメモリ）３０３、ＨＤＤ（ハードディスクドライブ）３０４、入力部３０５、表示部３０６、および通信部３０７を有する。
[Hardware configuration]
3 is a diagram showing an example of the hardware configuration of the
ＣＰＵ３０１は、ＲＯＭ３０２やＨＤＤ３０４に記憶された本実施形態の情報処理プログラムを含む各種プログラムを実行することで、各種演算処理や本実施形態に係る表示制御装置１３０の各機能を実現する。なお、表示制御装置１３０は、ＣＰＵ３０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３０１による処理の少なくとも一部をそれら専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ３０２は、ブートプログラム、制御プログラム、表示制御装置１３０の各部に設定するパラメータ等を記憶する記憶領域を有する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一致時記憶領域として用いられる。ＨＤＤ３０４は、各種データやプログラムを記憶する。なお、ＨＤＤ３０４に代えてＳＳＤ（ソリッドステートドライブ）などの他の補助記憶装置が用いられてもよい。
The
入力部３０５は、表示制御装置１３０がスマートフォンやタブレット端末であれば例えばタッチパネル、ＰＣであれば例えばキーボードやマウス、ジョイスティック、６軸コントローラ、タッチパネル等で構成される。入力部３０５は、ユーザによる操作を受けて、そのユーザ操作による各種の指示をＣＰＵ３０１に入力する。表示部３０６は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが表示制御装置１３０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。このためＣＰＵ３０１は、表示部３０６に表示するＧＵＩ画像を生成することも行う。通信部３０７は、画像生成装置１２０等の外部装置との間の通信処理を実行する。なお、通信部３０７による通信は、ＬＡＮ等の有線ネットワークを介して行われてもよいし、無線ネットワークを介して行われてもよい。
なお、本実施形態では表示部３０６と入力部３０５が表示制御装置１３０の内部に存在するものとするが、表示部３０６と入力部３０５との少なくとも一方は表示制御装置１３０の外部に別の装置として存在していてもよい。
The
In this embodiment, the
［表示制御装置の機能および構成］
前述したように、本実施形態の画像生成システム１００において、仮想視点画像はユーザにより指定等がなされた仮想視点に対応した画像として生成される。しかしながら、前述したように、ユーザは、例えばよく観たいシーンのみで仮想視点操作を行なったり、疲れてしまい仮想視点操作をやめてしまったりすることもあり得る。すなわち、ユーザによる仮想視点の指定等が行われない時間が続くこともあり得る。
そこで、例えばユーザによる仮想視点の指定等が一定時間以上行われなかった場合、本実施形態の表示制御装置１３０は、ユーザの視聴傾向に基づく仮想視点を設定し、その設定した仮想視点の仮想視点情報を画像生成装置１２０に送信する。詳細は後述するが、第１の実施形態において、ユーザの視聴傾向は、現時点以前にユーザが指定した仮想視点の履歴に基づいて求められる。そのため、このときの画像生成装置１２０では、表示制御装置１３０がユーザの視聴傾向に沿うように設定された仮想視点に対応した仮想視点画像を生成する処理が行われることになる。
[Functions and configuration of display control device]
As described above, in the
Therefore, for example, if the user does not specify a virtual viewpoint for a certain period of time or more, the
図４は、ユーザによる仮想視点の指定が一定時間以上行われなかった場合に、そのユーザの視聴傾向に基づいて仮想視点を設定し、該仮想視点を含む仮想視点情報を画像生成装置１２０に送る、本実施形態に係る表示制御装置１３０の機能構成例を示した図である。
操作入力部４０１は、表示制御装置１３０の入力部３０５に対して入力されたユーザ操作を受け付け、その受け付けたユーザ操作内容を識別し、その識別した操作内容を示す操作情報を、操作判定部４０３に送る。また、識別したユーザ操作内容が、視聴中のコンテンツにより提供される仮想空間に対して仮想視点を指定する操作であった場合、操作入力部４０１は、その仮想視点を指示した操作情報を、視点制御部４０２に送る。ただし、操作入力部４０１で受け付けるユーザ操作内容はこれに限るものではなく、視聴するコンテンツの選択指示や、表示制御装置１３０に関する各種設定などに関する操作なども受け付けられるものとする。
FIG. 4 is a diagram showing an example functional configuration of a
The
視点制御部４０２は、操作入力部４０１に入力されたユーザ操作による仮想視点の操作情報、あるいは後述する視点決定部４１０においてユーザの視聴傾向を基に決定された仮想視点を示す情報に基づいて、仮想空間内の仮想視点を表す仮想視点情報を算出する。そして、視点制御部４０２は、その算出した仮想視点情報を情報送信部４０４および履歴管理部４０８に送る。
The
操作判定部４０３は、操作入力部４０１からの操作情報を基に、仮想視点に関するユーザ操作が一定時間行われなかった場合には無操作状態であると判定し、その旨を視点決定部４１０に通知する。なお、無操作状態であると判定する際の一定時間や、無操作状態の判定対象とするユーザ操作内容については、予め設定してあってもよいし、ユーザが設定できるようにしてもよい。また、操作判定部４０３は、無操作状態と判定する際の一定時間や、無操作状態の判定対象とするユーザ操作内容を、視聴するコンテンツ種別に応じて変更してもよい。
The
ここで、本実施形態において、無操作状態であると判定する際には、以下のような例外に該当するか否かをも同時に判定することが望ましい。例えば、特定の被写体を自動で追尾するような仮想視点が選択されているような場合には、ユーザの意図に沿って仮想視点が自動的に変更されるため、一定時間以上ユーザ操作が行われないことになることがある。このため例外の一つとして、操作判定部４０３は、特定被写体を自動追尾する仮想視点の選択がなされている場合には、一定時間以上ユーザ操作が行われていなくとも、無操作状態とは判定しないようにしてもよい。また例えば、ユーザが意図的に仮想視点を変更する操作を行わずに同一の視点から視聴し続けている場合にも、一定時間以上ユーザ操作が行われなくなることがある。この場合も例外の一つとして、操作判定部４０３は、一定時間以上ユーザ操作が行われていなくとも、無操作状態とは判定しないようにしてもよい。なお、ユーザが意図的に仮想視点を変更せずに同一視点で視聴を続けているかどうかは、例えば、仮想視点画像内の被写体の有無や、視聴コンテンツのシーンなどに基づいて判定することができる。例えば、仮想視点画像内に被写体が存在し続けている場合や、視聴コンテンツのシーンがユーザにとって興味を引くシーンである場合には、ユーザが仮想視点を変更せずに同一視点で視聴を続ける可能性が高いと考えられる。したがってこれらの場合、例外として、操作判定部４０３は、一定時間以上ユーザ操作が行われていなくとも、無操作状態とは判定しないようにしてもよい。
Here, in this embodiment, when determining that the state is a no-operation state, it is desirable to simultaneously determine whether or not the state falls under the following exceptions. For example, when a virtual viewpoint that automatically tracks a specific subject is selected, the virtual viewpoint is automatically changed according to the user's intention, so that user operation may not be performed for a certain period of time or more. For this reason, as one of the exceptions, the
情報送信部４０４は、視点制御部４０２から送られてきた仮想視点情報を、画像生成装置１２０に送信する。
受信部４０５は、画像生成装置１２０から仮想視点画像を受信し、画像表示部４０６および識別部４０７に送る。
画像表示部４０６は、受信部４０５から送られてきた仮想視点画像を、図３の表示部３０６に表示させる。
The
The receiving
The
識別部４０７は、受信部４０５から送られてきた仮想視点画像について、その仮想視点画像内の被写体を識別し、その識別により得られる被写体情報を履歴管理部４０８に送る。識別部４０７での被写体識別処理により得られる被写体情報としては、被写体を個々に特定する情報、画像内の被写体の大きさや被写体の向きなどの情報が挙げられる。ただし、これらに限るものではなく、被写体の姿勢や表情など、より詳細な被写体の状態を識別可能な情報が含まれていてもよい。被写体を個々に特定する際、識別部４０７は、例えば、各被写体の画像あるいは特徴量に基づく画像認識技術を用いて被写体を特定する。あるいは、識別部４０７は、画像生成装置１２０から各被写体の位置を取得し、現在の仮想視点情報を用いて、仮想視点画像内の被写体を個々に特定するようにしてもよい。
The
履歴管理部４０８は、仮想視点画像内から識別部４０７にて識別された被写体情報と、視点制御部４０２から送られてきた仮想視点情報とを対応付けて、仮想視点履歴として保持する。仮想視点情報と被写体情報との対応付けは、コンテンツ内の時刻を示すタイムコード情報などに基づいて行うものとする。すなわち例えば、タイムコード情報が同じ仮想視点情報と被写体情報とを対応付けるようにする。
The
図５は、履歴管理部４０８で保持および管理される仮想視点履歴の一例を示した図である。図５に例示した仮想視点履歴では、コンテンツ種別及びコンテンツの情報と、フレームを特定できるタイムコードと、仮想視点の位置および姿勢（方向）と、画像内の被写体情報とが対応付けられて保持および管理されている。被写体情報としては、画像内に複数の選手（被写体）が存在する場合には複数人分の情報が保持され、被写体情報がないフレームがある場合もあり得る。履歴管理部４０８は、仮想視点履歴として視聴中のコンテンツにおける視聴開始からの履歴を管理するが、同ユーザが過去に視聴したコンテンツにおける履歴も含め、コンテンツ種別ごと（例えば野球、サッカーなどの種別ごと）に管理してもよい。
Figure 5 is a diagram showing an example of virtual viewpoint history stored and managed by the
候補管理部４０９は複数の仮想視点候補を管理する。本実施形態において、候補管理部４０９が管理する仮想視点候補は、例えばコンテンツ視聴に用いられるアプリケーション等により提供される複数の仮想視点のうち、ユーザが選択等して指定可能な仮想視点の候補であるとする。
The
図６は、例えば野球を観戦するコンテンツの例において、候補管理部４０９にて管理されている複数の仮想視点候補の例を示した図である。図６に例示した仮想視点候補６０１～６１０は、コンテンツ視聴に用いられるアプリケーション等により提供される各仮想視点のうち、ユーザが選択可能な仮想視点の候補である。図６では、仮想視点候補６０１～６１０をそれぞれカメラの記号として示しており、ユーザはそれら仮想視点候補６０１～６１０から所望の仮想視点候補を選択することができる。仮想視点候補６０１～６１０は、野球のフィールド上の各選手と対応して仮想的に配置されており、各選手を見るのに適した位置を示している。これらの各仮想視点候補はその位置および向きが固定となされていてよいし、各選手の実際の位置や動きに応じて各仮想視点候補の位置および向きが変わるものとなされてもよいし、位置は固定のままで視線方向のみ変わるようになされてもよい。これらの他にも、俯瞰的に試合を視聴できる仮想視点や、ピッチャーとバッターなど複数の選手を同時に視聴できるような仮想視点が候補として用意されていてもよい。また、履歴管理部４０８で管理されている過去の仮想視点履歴情報から、ユーザの好みの視点を仮想視点候補としても登録できるようになされていてもよい。また例えば、仮想視点を配置することが可能なエリアの中の複数点をピックアップして、それら複数点をそれぞれ仮想視点候補としてもよい。また例えば、コンテンツに含まれる被写体情報に基づいて、被写体ごとに追尾する視点あるいは複数の被写体を追尾する視点を、仮想視点候補としてもよい。なお、仮想視点候補は、これらの例に限定されるものではない。
FIG. 6 is a diagram showing an example of a plurality of virtual viewpoint candidates managed by the
視点決定部４１０は、操作判定部４０３から無操作状態であるとの判定通知を受け取ると、候補管理部４０９から仮想視点候補を取得し、また履歴管理部４０８から現時点までの仮想視点履歴を取得する。履歴管理部４０８にて管理されている仮想視点履歴は、現時点以前においてユーザが仮想視点を選択した履歴、言い換えるとユーザが嗜好した仮想視点の履歴であり、当該仮想視点履歴はユーザの視聴傾向を表す情報であると考えられる。そして、視点決定部４１０は、そのユーザの視聴傾向を表す仮想視点履歴に基づいて、仮想視点候補の中から仮想視点を選択し、その選択した仮想視点情報を視点制御部４０２に送る。なお、視点決定部４１０において行われる、仮想視点履歴に基づいた仮想視点候補の選択処理の詳細は後述する。
When the
［動作フロー］
図７は、本実施形態の表示制御装置１３０にて行われる情報処理（表示制御処理）の流れを示したフローチャートである。図７に示されたフローチャートの処理は、表示制御装置１３０のＣＰＵ３０１がＲＯＭ３０２またはＨＤＤ３０４に格納された本実施形態に係る情報処理プログラムをＲＡＭ３０３に展開して実行することで実現される。なお、図７に示されたフローチャートの各処理の少なくとも一部は、ＣＰＵ３０１とは異なる１又は複数の専用のハードウェアにより実現されてもよい。
[Operation flow]
Fig. 7 is a flowchart showing the flow of information processing (display control processing) performed by the
図７に示したフローチャートの処理は、表示制御装置１３０が画像生成装置１２０と接続され、ユーザが視聴するコンテンツを選択して仮想視点を指定しながら想視点画像の視聴を開始するタイミングで開始される。ただし、図７のフローチャートの処理の開始タイミングはこれに限定されない。なお図７のフローチャートにおいて、符号の「Ｓ」は処理ステップを表すとする。
The processing of the flowchart shown in FIG. 7 is started when the
Ｓ７０１において、視点制御部４０２は、操作入力部４０１を介してユーザから仮想視点を指定する操作情報を受け付けると、その操作情報に基づいて仮想空間内の仮想視点を表す仮想視点情報を算出する。そして、視点制御部４０２は、その仮想視点情報を、情報送信部４０４を介して画像生成装置１２０に送信する。これにより、このときの画像生成装置１２０では、情報送信部４０４から送られてきた仮想視点情報に対応した仮想視点画像（仮想視点から見える仮想視点画像）が生成され、その仮想視点画像が表示制御装置１３０に送信されることになる。
In S701, when the
次にＳ７０２において、受信部４０５は、Ｓ７０１で算出した仮想視点情報に対応して画像生成装置１２０で生成されて送信されてきた仮想視点画像を受信する。この仮想視点画像は画像表示部４０６と識別部４０７とに送られる。そして画像表示部４０６は、その仮想視点画像を表示部３０６に表示する。
Next, in S702, the receiving
次にＳ７０３において、識別部４０７は、受信部４０５から送られてきた仮想視点画像内の被写体を識別し、当該識別で得られた被写体情報を履歴管理部４０８に送る。
次にＳ７０４において、履歴管理部４０８は、Ｓ７０１において視点制御部４０２で算出された仮想視点情報と、Ｓ７０３において識別部４０７で識別された被写体情報とを対応付けて、仮想視点履歴として保存する。
Next, in S<b>703 , the
Next, in S704, the
次にＳ７０５において、操作判定部４０３は、ユーザによる仮想視点操作が一定時間以上行われていない無操作状態であるか否かを判定する。なお、無操作状態であると判定する際には、前述したような例外に該当するか否かをも同時に判定することが望ましい。
Next, in S705, the
そして、無操作状態ではないと判定された場合、表示制御装置１３０での処理はＳ７０１に戻り、Ｓ７０１以降の処理が繰り返される。これにより、表示制御装置１３０では、ユーザの操作に応じた仮想視点画像が表示され、仮想視点履歴が更新されることになる。一方、Ｓ７０５において無操作状態であると判定された場合、表示制御装置１３０での処理はＳ７０６に進む。
If it is determined that the device is not in a no-operation state, the process in the
Ｓ７０６に進むと、候補管理部４０９は、複数の仮想視点候補を特定する。前述の図６の例で説明したように、コンテンツ視聴に用いられるアプリケーション等により複数の仮想視点が提供される場合、候補管理部４０９は、それらの中でユーザがこの時点で選択可能な仮想視点候補を特定する。なお、ユーザが選択可能な仮想視点が提供されていない場合、候補管理部４０９は、コンテンツ種別などに応じた仮想視点の候補を特定する。
When the process proceeds to S706, the
次にＳ７０７において、視点決定部４１０は、履歴管理部４０８にて管理されている、その時点までのユーザの視聴傾向を表す仮想視点履歴に基づいて、Ｓ７０６で特定した仮想視点候補の中から仮想視点を選択する。例えば、視点決定部４１０は、履歴管理部４０８にて管理されている仮想視点履歴を基に、仮想視点を選択する。より具体的には、視点決定部４１０は、履歴管理部４０８にて管理されている仮想視点履歴の中で、現時点以前においてユーザ操作によって最後に指定された仮想視点の位置を特定する。そして、視点決定部４１０は、Ｓ７０６で特定した複数の仮想視点候補のうち、その最後に指定された仮想視点に最も近い仮想視点候補を仮想視点として選択する。また例えば視点決定部４１０は、履歴管理部４０８に保持された仮想視点履歴から、ユーザ操作により仮想視点が移動した経路を特定し、その仮想視点の経路を基にユーザの注目被写体を特定して、その注目被写体を見る仮想視点候補を仮想視点に選択してもよい。具体的には、視点決定部４１０は、仮想視点が移動した経路において、最後に指定された仮想視点に対応するタイムコードから一定時間遡ったタイムコードまでの期間の仮想視点履歴を特定する。さらに、視点決定部４１０は、特定した仮想視点履歴において、被写体ごとに画像内の被写体として特定された回数をカウントし、カウントされた総数が最も多い被写体を注目被写体と特定する。そして、視点決定部４１０は、Ｓ７０６で特定した複数の仮想視点候補のうち、その注目被写体を見る仮想視点候補を仮想視点として選択する。
Next, in S707, the
図８は、Ｓ７０７における仮想視点選択処理の一例の説明に用いる図であり、図６に示した野球観戦コンテンツ視聴のアプリケーションで提供される複数の仮想視点の候補の中から仮想視点を選択する例を示している。
図８（Ａ）は、仮想視点履歴の中で、現時点以前においてユーザ操作によって最後に指定された仮想視点８０１の位置情報を用い、その最後に指定された仮想視点に最も近い仮想視点候補８０２を仮想視点として選択する例を示している。
FIG. 8 is a diagram used to explain an example of the virtual viewpoint selection process in S707, and shows an example of selecting a virtual viewpoint from among multiple virtual viewpoint candidates provided by the baseball spectator content viewing application shown in FIG. 6.
Figure 8 (A) shows an example in which position information of a
図８（Ｂ）は、仮想視点履歴に基づいて特定された仮想視点経路の一例として、ユーザ操作による仮想視点８０３が概ねファースト守備の選手の方を向きつつその周囲を移動した仮想視点経路８０４が得られた例を示した図である。図８（Ｂ）では、仮想視点８０３が仮想視点経路８０４を移動した際の仮想視点画像内に最も長く存在する被写体がユーザの注目被写体として特定され、その注目被写体を見る仮想視点候補８０５が、仮想視点に選択された例を示している。すなわち図８（Ｂ）に例示した仮想視点経路８０４が特定された場合、仮想視点画像内に最も長く存在する被写体であるファースト守備の選手が、注目被写体として特定され、その注目被写体を見る仮想視点候補８０５が仮想視点として選択される。なお、仮想視点画像内に最も長く存在する被写体としては、例えば前述した画像内の被写体として特定されてカウントされた総数が最も多い被写体を挙げることができる。
Figure 8 (B) is a diagram showing an example of a virtual viewpoint path identified based on the virtual viewpoint history, in which a virtual viewpoint 803 operated by a user is moved around the first baseman while facing the first baseman, resulting in a
また、仮想視点の選択のために用いられる仮想視点履歴は、過去の仮想視点履歴のうち、直前までの一定期間のみの仮想視点履歴でも良いし、野球観戦コンテンツであれば現在のイニングのみ、あるいは直前までの数イニングのみの仮想視点履歴でも良い。
また、仮想視点の選択のために用いられる仮想視点履歴は、例えば同一コンテンツの仮想視点履歴全て、あるいは同一コンテンツ種別の仮想視点履歴全てでも良い。その他にも、仮想視点の選択のために用いられる仮想視点履歴は、同一コンテンツまたは同一コンテンツ種別における同一シーンや、野球観戦コンテンツであれば同一攻守における仮想視点履歴のみでも良く、これらに限るものではない。
In addition, the virtual viewpoint history used to select the virtual viewpoint may be a virtual viewpoint history of only a certain period of time up to the immediately preceding time out of past virtual viewpoint histories, or in the case of baseball spectator content, it may be a virtual viewpoint history of only the current inning or only the immediately preceding few innings.
The virtual viewpoint history used for selecting a virtual viewpoint may be, for example, all virtual viewpoint histories of the same content, or all virtual viewpoint histories of the same content type. Alternatively, the virtual viewpoint history used for selecting a virtual viewpoint may be only virtual viewpoint histories of the same content or the same scene in the same content type, or in the case of baseball game viewing content, for the same offense and defense, but is not limited thereto.
これらの他にも、複数の仮想視点候補の中からユーザが仮想視点を選択して視聴していた場合、視点決定部４１０は、ユーザが選択していた時間が一番長い仮想視点、最後に選択していた仮想視点、あるいは同じシーンで選択していた仮想視点を、選択してもよい。仮想視点履歴に基づいてどのように仮想視点を選択するかは、これらの例に限るものではない。
In addition to the above, when the user selects a virtual viewpoint from among multiple virtual viewpoint candidates to view, the
次にＳ７０８において、視点制御部４０２は、現時点において設定されている仮想視点を、Ｓ７０７で選択された仮想視点に変更するための仮想視点変更情報を、情報送信部４０４を介して画像生成装置１２０に送信する。これにより、このときの画像生成装置１２０では、情報送信部４０４から送られた仮想視点変更情報に応じて変更された仮想視点に対応した仮想視点画像が生成され、その仮想視点画像が表示制御装置１３０に送信されることになる。
Next, in S708, the
次にＳ７０９において、受信部４０５は、その変更後の仮想視点に対応して画像生成装置１２０で生成されて送信されてきた仮想視点画像を受信する。そして、この仮想視点画像は画像表示部４０６と識別部４０７とに送られる。画像表示部４０６は、その仮想視点画像を表示部３０６に表示する。
Next, in S709, the receiving
次にＳ７１０において、操作判定部４０３は、ユーザから仮想視点の操作があったか否かを判定する。Ｓ７１０においてユーザからの仮想視点操作の入力があった場合、表示制御装置１３０は、Ｓ７０１に処理を戻し、ユーザ操作による仮想視点の設定以降の処理を繰り返す。一方、Ｓ７１０においてユーザから仮想視点の操作がなかった場合には無操作状態が継続していることになり、表示制御装置１３０の処理はＳ７１１に進む。
Next, in S710, the
Ｓ７１１に進むと、表示制御装置１３０では、仮想視点画像の視聴を終了するか否か判定し、視聴を終了しないと判定した場合には、Ｓ７０９に処理を戻し、Ｓ７０９の仮想視点画像の表示以降の処理が繰り返される。なお、仮想視点画像の視聴を終了するか否かは、例えば、ユーザからの視聴停止指示の入力、あるいは視聴中のコンテンツの終了時間などを基に判定することができる。例えば、ユーザからの視聴停止指示の入力があった場合には仮想視点画像の視聴を終了すると判定される。また例えば、視聴中のコンテンツの終了時間になった場合には、仮想視点画像の視聴を終了すると判定される。
When the process proceeds to S711, the
なお無操作状態と判定されて仮想視点が変更された後、ユーザから仮想視点操作が行われた場合の最初の仮想視点の位置は、Ｓ７０８での変更後の仮想視点の位置のままでもよいし、仮想視点履歴のうちユーザ操作による最後の仮想視点の位置としてもよい。 When the virtual viewpoint is changed after it is determined that there is no operation, the initial position of the virtual viewpoint when the user operates the virtual viewpoint may remain the same as the position of the virtual viewpoint after the change in S708, or may be the position of the last virtual viewpoint operated by the user in the virtual viewpoint history.
第１の実施形態によれば、以上説明した処理により、ユーザによる仮想視点操作が無操作状態になった場合、仮想視点候補の中から、それ以前の仮想視点操作履歴に基づいて選択した仮想視点を用いるようにする。これにより、ユーザの視聴傾向に沿った仮想視点から見える仮想視点画像の取得が可能となる。
なお本実施形態では、ユーザによる仮想視点操作が行われていない場合に無操作状態と判定したが、何らかの特定のユーザ操作がなされた場合に、無操作状態と判定された場合と同様に、ユーザの視聴傾向に基づく仮想視点の選択を実行するようにしてもよい。
According to the first embodiment, when the virtual viewpoint operation by the user becomes unoperated by the above-described process, a virtual viewpoint selected from among the virtual viewpoint candidates based on the previous virtual viewpoint operation history is used, thereby making it possible to obtain a virtual viewpoint image seen from a virtual viewpoint that matches the viewing tendency of the user.
In this embodiment, a no-operation state is determined when no virtual viewpoint operation is performed by the user, but when any specific user operation is performed, a virtual viewpoint may be selected based on the user's viewing tendencies, just as in the case when a no-operation state is determined.
＜第２の実施形態＞
第２の実施形態では、画像生成装置１２０が複数の仮想視点画像を同時に生成可能な装置である場合において、表示制御装置１３０は、画像生成装置１２０での仮想視点画像生成の状況に基づいて仮想視点候補を特定し、仮想視点として選択する例を説明する。第２の実施形態では、画像生成装置１２０はクラウド上などに存在し、複数ユーザが共有して使用することを想定している。
Second Embodiment
In the second embodiment, an example will be described in which, when the
図９は、第２の実施形態に係る表示制御装置１３０の機能構成を示した図である。なお、図９において、図４の表示制御装置１３０と同一の処理を行う構成については、同一の符号を付与して表すものとし、以降、第１の実施形態との相違点のみを説明する。
Figure 9 is a diagram showing the functional configuration of a
情報取得部９０１は、現時点において画像生成装置１２０が仮想視点情報に基づいて生成している仮想視点画像を示す画像生成情報を取得する。画像生成情報には、画像生成装置１２０が仮想視点画像を生成する際に用いた仮想視点情報が含まれている。このため画像生成装置１２０にて複数の仮想視点画像が同時に生成されている場合、情報取得部９１０は、画像生成装置１２０より取得した画像生成情報から、画像生成装置１２０で生成中の複数の仮想視点画像に用いられた仮想視点情報を取得することができる。そして情報取得部９０１は、画像生成情報から取得した仮想視点情報を候補管理部４０９に送る。
The
ここで第２の実施形態の場合、候補管理部４０９は、情報取得部９０１が取得した画像生成情報に含まれていた仮想視点情報の仮想視点を、仮想視点候補として管理する。
図１０は、第２の実施形態において、候補管理部４０９にて管理されている仮想視点候補の例を示した図である。図１０には、コンテンツ視聴に用いられるアプリケーション等により提供されてユーザが選択可能な各仮想視点が前述の図６と同様にカメラの記号によって示されている。そして、図１０では、それぞれ太線のカメラの記号により示されている仮想視点１００１、仮想視点１００２、および仮想視点１００３が、画像生成装置１２０で生成されている複数の仮想視点画像の各仮想視点を表している。
In the second embodiment, the
Fig. 10 is a diagram showing an example of virtual viewpoint candidates managed by the
すなわちユーザがリアルタイムに野球コンテンツを視聴している場合において、仮想視点１００１、仮想視点１００２、および仮想視点１００３は、同時に野球コンテンツを視聴している他のユーザによってそれぞれ選択された仮想視点を表している。そしてこれら仮想視点１００１、仮想視点１００２、および仮想視点１００３にそれぞれ対応した仮想視点画像は、現時点において画像生成装置１２０で生成されている画像である。このため、それら仮想視点１００１～１００３のいずれかが、ユーザにて選択されたり、あるいは視点決定部４１０でユーザの視聴傾向を基に選択されたりした場合、画像生成装置１２０では仮想視点画像を新たに生成する必要はない。すなわちこの場合、画像生成装置１２０における画像生成処理の負荷を抑えることができる。
In other words, when a user is watching baseball content in real time,
図１１は、第２の実施形態に係る表示制御装置１３０にて行われる情報処理（表示制御処理）の流れを示したフローチャートである。図１１のフローチャートは、前述した図７のフローチャートに対し、画像生成装置１２０での仮想視点画像の生成状況に基づく仮想視点を仮想視点候補に含めて取得する処理を追加したものとなされている。図１１において、図７のフローチャートと同一の処理については、図７と同一の符号を付与して表すものとし、第１の実施形態との相違点のみを説明する。
Figure 11 is a flowchart showing the flow of information processing (display control processing) performed by the
第２の実施形態では、Ｓ７０５において無操作状態であるとの判定がなされた場合、表示制御装置１３０の処理はＳ１１０１に進み、一方、無操作状態でないとの判定がなされた場合、表示制御装置１３０の処理はＳ７０１に戻る。
In the second embodiment, if it is determined in S705 that the device is in a no-operation state, the processing of the
Ｓ１１０１に進むと、情報取得部９０１は、ユーザが現在視聴しているコンテンツの仮想視点画像を生成している画像生成装置１２０の機器情報あるいは他装置との接続情報を取得する。そして、情報取得部９０１は、その取得した情報を基に、画像生成装置１２０が他のユーザに対する仮想視点画像をも生成している共有装置になっているか否かを判定する。ここで、情報取得部９０１において、画像生成装置１２０が共有装置になっていないと判定した場合、表示制御装置１３０の処理は前述したＳ７０６に進む。一方、情報取得部９０１は、画像生成装置１２０が他のユーザに対する仮想視点画像をも生成している共有装置になっていると判定した場合にはＳ１１０２に処理を進める。
When the process proceeds to S1101, the
Ｓ１１０２に進むと、情報取得部９０１は、画像生成装置１２０から、生成中の仮想視点画像の画像生成情報を取得し、さらにその画像生成情報から仮想視点情報を取得し、その取得した仮想視点情報を候補管理部４０９に送る。そして、候補管理部４０９は、Ｓ７０６において、その画像生成情報から取得された仮想視点情報の仮想視点を、仮想視点候補として管理する。すなわち候補管理部４０９では、他のユーザにより選択された仮想視点をも、仮想視点候補として管理することになる。このＳ１１０２の処理後、表示制御装置１３０の処理はＳ７０６に進む。Ｓ７０６以降の処理は前述した図７のフローチャートと同様であるため説明は省略する。
When the process proceeds to S1102, the
第２の実施形態によれば、以上の処理により、仮想視点画像を生成する画像生成装置１２０が他ユーザとの共有装置である場合に、表示制御装置１３０では、画像生成装置１２０で生成中の仮想視点画像の仮想視点を、仮想視点候補にすることができる。そしてこれらの仮想視点候補の中から仮想視点が選択されることで、ユーザのみならず他のユーザの視聴傾向をも加味した仮想視点画像の視聴が可能になるとともに、画像生成装置１２０での画像生成処理の負荷を抑えることができる。
According to the second embodiment, by the above processing, when the
なお第２の実施形態では、図１０に示したように、画像生成装置１２０で生成中の仮想視点画像に対応した仮想視点１００１～１００３を仮想視点候補とする例を挙げたが、ユーザが自由に設定する仮想視点であってよい。
また、画像生成情報は、リアルタイムに作成されている仮想視点画像に対応したものに限定されるものではなく、過去に生成されて保存されている生成済みの仮想視点画像の画像生成情報であってもよい。すなわち過去に画像生成済みの仮想視点画像がある場合、表示制御装置１３０は、過去に生成された仮想視点画像の画像生成情報を取得し、その画像生成情報に含まれる仮想視点を、仮想視点候補とすることができる。
In the second embodiment, as shown in FIG. 10, an example was given in which
Furthermore, the image generation information is not limited to information corresponding to a virtual viewpoint image created in real time, and may be image generation information of a previously generated virtual viewpoint image that has been generated and stored in the past. In other words, when there is a previously generated virtual viewpoint image, the
その他にも、第２の実施形態では、画像生成装置１２０で生成中または過去の生成済みの仮想視点画像に対応した仮想視点を仮想視点候補とする例を挙げたが、これにも限定されるものではない。例えば、課金によって仮想視点画像の視聴を可能とするサービスが提供されるような場合には、ユーザが選択した仮想視点の位置等によって課金の有無や課金額が異なる場合なども想定される。すなわち画像生成装置１２０では仮想視点ごとに仮想視点画像を生成することに対して異なる額の課金がなされる場合が想定される。この場合、候補管理部４０９は、それら異なる額の課金がなされる各仮想視点画像の生成に用いられる一つ以上の仮想視点を仮想視点候補として管理する。そして、候補管理部４０９は、例えば課金無し、課金額が一定額以下、あるいは課金額がユーザ所望の特定範囲内になる場合などの課金額が少なくなる仮想視点を、仮想視点候補とするようにしてもよい。逆に、候補管理部４０９は、例えば、課金有りあるいは課金額が一定額以上などの課金額が多くなる仮想視点を、仮想視点候補としてもよい。
In addition, in the second embodiment, an example was given in which a virtual viewpoint corresponding to a virtual viewpoint image being generated by the
＜第３の実施形態＞
第１および第２の実施形態では、仮想視点に対するユーザ操作が無操作状態になった場合に、仮想視点候補中から選択した仮想視点へ変更する例を挙げたが、第３の実施形態では、新たな仮想視点を決定する例について説明する。
図１２は、第３の実施形態に係る表示制御装置１３０の機能構成を示した図である。なお、図１２において、図４の構成と同一の処理を行うものについては、図４と同一の符号を付与して表すものとし、第１の実施形態との相違点のみを説明する。
Third Embodiment
In the first and second embodiments, an example was given of changing to a virtual viewpoint selected from among candidate virtual viewpoints when a user operation on the virtual viewpoint becomes unoperated. In the third embodiment, an example of determining a new virtual viewpoint will be described.
Fig. 12 is a diagram showing the functional configuration of a
視点決定部１２０１は、操作判定部４０３から無操作状態であるとの判定通知を受け取ると、履歴管理部４０８から仮想視点履歴を取得し、識別部４０７から現在のフレームの被写体情報を取得する。そして、視点決定部１２０１は、その仮想視点履歴に基づくユーザの視聴傾向を判定し、その視聴傾向と現在のフレームの被写体情報とに基づいて、新たな仮想視点を決定し、その新たに決定した仮想視点の情報を視点制御部４０２に送る。なお本実施形態の場合、識別部４０７で識別される被写体情報は、現在の仮想視点画像内における被写体のみだけでなく、全ての被写体情報、つまりどの被写体が空間内のどの位置に存在しているか等をも識別できる情報であることが望ましい。したがって本実施形態の場合、識別部４０７は、現在の仮想視点画像内の被写体が含まれている仮想空間内に存在している全ての被写体の情報を、画像生成装置１２０から取得する。
When the
図１３は、履歴管理部４０８にて管理されている仮想視点履歴から、視点決定部１２０１が新たな仮想視点を決定する際に用いる、ユーザの視聴傾向を判定する例の説明に用いる図である。
図１３（Ａ）は、各被写体が仮想視点画像内に写った合計時間の履歴を示した情報である。すなわち第３の実施形態の履歴管理部４０８は、図１３（Ａ）に例示したような仮想視点画像内に写った被写体ごとの合計時間の履歴も管理している。視点決定部１２０１は、それら被写体ごとの合計時間の履歴を基に、ユーザが注目している被写体を判定する。例えば合計時間が長い被写体ほど、ユーザの注目被写体である可能性が高いと考えられる。
FIG. 13 is a diagram used to explain an example of determining a user's viewing tendency, which is used when the
Fig. 13A shows information indicating a history of the total time each subject was captured in a virtual viewpoint image. That is, the
また、仮想視点画像内に写った被写体のうち注目被写体か否かの判定対象となる被写体としては、画像内において全身が写っている被写体のみ、あるいは上半身が写っている被写体のみ、あるいは顔の全てが写っている被写体のみとしてもよい。また例えば、一定サイズ以上の被写体や、画像全体に対して被写体の占める割合が一定以上である被写体を、注目被写体の判定対象としてもよい。その他にも、例えば、仮想視点画像内において被写体が一定時間以上に写っていた場合に、その被写体を注目被写体の判定対象としてもよい。また前述したような判定対象とする各例がそれぞれ一つ以上組み合わされてもよい。もちろんこれらは一例であり、前述した例に限定されるものではない。 Furthermore, subjects that are to be determined as subjects of interest among the subjects that appear in the virtual viewpoint image may be only those whose entire body appears in the image, or only those whose upper body appears, or only those whose entire face appears. For example, subjects that are larger than a certain size, or subjects that occupy a certain percentage or more of the entire image, may be determined as subjects of interest. In addition, if a subject is shown in the virtual viewpoint image for a certain period of time or more, the subject may be determined as a subject of interest. Furthermore, one or more of each of the examples of subjects to be determined as subjects as described above may be combined. Of course, these are only examples, and the present invention is not limited to the examples described above.
図１３（Ｂ１）と図１３（Ｂ２）は、仮想視点から見える被写体の向きの履歴を基に、ユーザがどの方向から被写体を見る視聴傾向があるのかを判定する例の説明に用いる図である。図１３（Ｂ１）はユーザが被写体１３０１を正面側の方向から見たことを示し、図１３（Ｂ２）はユーザが被写体１３０２を背面側の方向から見たことを示している。なお、ユーザが被写体を見た方向は、被写体の正面側や背面側の二つの方向だけでなく、被写体を左側面側や右側面側の方向から見た場合をも含めた四つの方向、あるいは更に細分化した方向から見た場合が含まれていてもよい。また例えば、ユーザが見た被写体の向きは、体の上半身の向きでもよいし、顔の向きでもよいし、両方の向きが対象となされてもよい。第３の実施形態の履歴管理部４０８は、ユーザが被写体をどのような方向から見たかを示す履歴をも管理している。そして、視点決定部１２０１は、履歴管理部４０８にて管理されている、ユーザが被写体を見た方向の履歴を基に、ユーザにとって好ましい方向から被写体を見るための仮想視点を決定する。
13(B1) and 13(B2) are diagrams used to explain an example of determining from which direction a user tends to view an object based on the history of the direction of the object seen from a virtual viewpoint. FIG. 13(B1) shows that the user viewed the
図１３（Ｃ）は、仮想視点画像内の被写体の大きさの履歴から、ユーザがどの程度の大きさで被写体を見る視聴傾向があるのかを判定する例の説明に用いる図である。本実施形態の履歴管理部４０８は、例えば、被写体１３０３の輪郭に沿った画素数で表される被写体の大きさや、被写体１３０３を矩形で囲んだ領域１３０４の大きさを、被写体の大きさの履歴として管理している。そして、視点決定部１２０１は、履歴管理部４０８にて管理されている、ユーザが見た被写体の大きさの履歴を基に、ユーザにとって好ましい大きさで被写体を見るための仮想視点を決定する。
Figure 13 (C) is a diagram used to explain an example of determining at what size a user tends to view an object from the history of the size of the object in a virtual viewpoint image. The
図１３（Ｄ１）と図１３（Ｄ２）は、仮想視点の姿勢の履歴から、ユーザがどのような仮想視点の姿勢で被写体を見る視聴傾向があるのかを判定する例の説明に用いる図である。なお、図１３（Ｄ１）と図１３（Ｄ２）でも前述同様に仮想視点をカメラの記号により示している。図１３（Ｄ１）は被写体１３０７を見上げるような仮想視点１３０５の姿勢例を示し、図１３（Ｄ２）は被写体１３０７を見下ろすような仮想視点１３０６の姿勢例を示している。被写体に対する仮想視点の姿勢はこれら二つの例に限定されず、更に細分化した姿勢であってもよい。本実施形態の履歴管理部４０８は、被写体に対する仮想視点の姿勢を履歴として管理している。なお、被写体に対する仮想視点の姿勢は例えば仰角や俯角などの角度情報として管理されていてもよい。そして、視点決定部１２０１は、履歴管理部４０８にて管理されている仮想視点の姿勢の履歴を基に、ユーザにとって好ましい姿勢（角度）で被写体を見るための仮想視点を決定する。
13(D1) and 13(D2) are diagrams used to explain an example of determining what viewing posture of the virtual viewpoint the user tends to view the subject from the history of the posture of the virtual viewpoint. Note that in FIG. 13(D1) and FIG. 13(D2), the virtual viewpoint is also indicated by a camera symbol as described above. FIG. 13(D1) shows an example of the posture of the
なお本実施形態の履歴管理部４０８は、前述したような各履歴の情報をタイムコードと対応付けて管理するようにしてもよいし、履歴の項目ごとにカウントして管理するようにしてもよい。また、履歴管理部４０８が保持する情報は、前述したような各履歴等の情報に限るものではなく、ユーザが設定および変更できるようになされていてもよい。
The
また本実施形態では、視点決定部１２０１は、履歴管理部４０８に蓄積されている仮想視点履歴を用いてユーザの視聴傾向を判定し、その視聴傾向を基に仮想視点を決定するとしたが、これに限定されるものではない。例えば、人工知能などを用いて、ユーザの視聴傾向を判断して仮想視点を決定するようにしてもよい。
In addition, in this embodiment, the
また第３の実施形態においても、前述した第１や第２の実施形態で説明したような仮想視点候補から選択した仮想視点をベースとし、仮想視点履歴に基づいて、被写体の大きさや向き、仮想視点の姿勢を微調整するようにしてもよい。あるいは、ユーザが最後に指定した仮想視点の位置はそのままで、仮想視点の姿勢あるいは画角のみを変更するようにしてもよい。また、時間方向に連続した仮想視点経路を、仮想視点履歴として保持して、仮想視点の動きを決定するようにしてもよい。 Also in the third embodiment, the size and orientation of the subject and the attitude of the virtual viewpoint may be fine-tuned based on the virtual viewpoint history, using as a base a virtual viewpoint selected from the virtual viewpoint candidates as described in the first and second embodiments. Alternatively, the position of the virtual viewpoint last specified by the user may be left unchanged, and only the attitude or angle of view of the virtual viewpoint may be changed. Furthermore, a virtual viewpoint path that is continuous in the time direction may be stored as a virtual viewpoint history to determine the movement of the virtual viewpoint.
第３の実施形態によれば、以上のような処理により、ユーザの仮想視点操作が無操作状態になった場合に、それまでの仮想視点履歴に基づくユーザの視聴傾向から、新たな仮想視点を決定して変更すること等が実現される。 According to the third embodiment, by the above-described processing, when the user's virtual viewpoint operation becomes inactive, a new virtual viewpoint can be determined and changed based on the user's viewing tendency based on the virtual viewpoint history up to that point.
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。上述の実施形態は、何れも本開示を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本開示は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The present disclosure can also be realized by supplying a program that realizes one or more of the functions of the above-described embodiments to a system or device via a network or storage medium, and having one or more processors in the computer of the system or device read and execute the program. It can also be realized by a circuit (e.g., an ASIC) that realizes one or more functions. The above-described embodiments are merely examples of how the present disclosure can be implemented, and the technical scope of the present disclosure should not be interpreted in a limiting manner based on them. In other words, the present disclosure can be implemented in various forms without departing from its technical concept or main features.
各実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
ユーザ操作により指定された仮想視点を仮想視点履歴として管理する履歴管理手段と、
前記履歴管理手段にて管理されている前記仮想視点履歴に基づいて、仮想視点を決定する視点決定手段と、
前記視点決定手段にて決定された前記仮想視点を、仮想視点画像の生成に用いられる仮想視点として設定する視点制御手段と、
を有することを特徴とする情報処理装置。
（構成２）
前記仮想視点を指定するユーザ操作が一定時間以上行われていない無操作状態であるかどうかを判定する判定手段を有し、
前記判定手段により前記無操作状態であると判定された場合に、前記視点決定手段は、前記無操作状態であると判定されるより前に前記履歴管理手段に保持された前記仮想視点履歴に基づいて前記仮想視点を決定することを特徴とする構成１に記載の情報処理装置。
（構成３）
特定のユーザ操作がなされた場合に、前記視点決定手段は、前記履歴管理手段にて管理されている前記仮想視点履歴に基づいて前記仮想視点を決定することを特徴とする構成１に記載の情報処理装置。
（構成４）
前記ユーザ操作により指定された前記仮想視点が、前記仮想視点画像の生成に用いられる仮想視点として設定されて、前記設定された仮想視点を基に生成された仮想視点画像から、被写体を識別する識別手段を有し、
前記履歴管理手段は、前記識別手段にて識別された前記被写体の情報を、前記ユーザ操作により指定された前記仮想視点に対応付けて、前記仮想視点履歴に含めて管理することを特徴とする構成１乃至３のいずれか１構成に記載の情報処理装置。
（構成５）
一つ以上の仮想視点候補を管理する候補管理手段を有し、
前記視点決定手段は、前記候補管理手段にて管理されている前記仮想視点候補のなかから、前記履歴管理手段にて管理されている前記仮想視点履歴を基に仮想視点候補を選択し、前記選択した仮想視点候補を、前記仮想視点として決定することを特徴とする構成１乃至４のいずれか１構成に記載の情報処理装置。
（構成６）
前記候補管理手段は、複数の仮想視点のなかでユーザによる選択が可能な仮想視点を、前記仮想視点候補として管理することを特徴とする構成５に記載の情報処理装置。
（構成７）
前記候補管理手段は、前記ユーザが視聴するコンテンツの種別に応じて提供される複数の仮想視点を、前記仮想視点候補として管理することを特徴とする構成５または６に記載の情報処理装置。
（構成８）
前記視点決定手段は、前記履歴管理手段が管理している前記仮想視点履歴に基づいて、前記ユーザ操作によって指定された仮想視点の位置を特定し、前記仮想視点候補のなかから、前記特定した仮想視点の位置に基づいて選択した仮想視点候補を、前記仮想視点として決定することを特徴とする構成５または６に記載の情報処理装置。
（構成９）
前記視点決定手段は、前記履歴管理手段が管理している前記仮想視点履歴に基づいて、前記ユーザ操作により最後に指定された仮想視点の位置を特定し、前記仮想視点候補のなかから、前記特定した仮想視点の位置から最も近い位置の仮想視点候補を選択して、前記選択した仮想視点候補を前記仮想視点として決定することを特徴とする構成８に記載の情報処理装置。
（構成１０）
前記視点決定手段は、前記履歴管理手段が管理している前記仮想視点履歴に基づいて、前記ユーザ操作により指定された前記仮想視点の移動の経路を特定し、前記仮想視点候補のなかから、前記特定した仮想視点の移動の経路を基に選択した仮想視点候補を、前記仮想視点として決定することを特徴とする構成５または６に記載の情報処理装置。
（構成１１）
前記視点決定手段は、前記特定した仮想視点の移動の経路を基にユーザの注目被写体を特定し、前記仮想視点候補のなかから、前記注目被写体に対する仮想視点候補を選択し、前記選択した仮想視点候補を前記仮想視点として決定することを特徴とする構成１０に記載の情報処理装置。
（構成１２）
複数の視点ごとに撮像された複数の画像を基に、仮想視点に応じた仮想視点画像を生成する画像生成装置に対して、前記視点制御手段にて設定した前記仮想視点の情報を送信する送信手段と、
前記視点制御手段にて設定した前記仮想視点に基づいて前記画像生成装置により生成された前記仮想視点画像を受信する受信手段と、
前記受信した前記仮想視点画像を表示する表示手段と、
を有することを特徴とする構成１に記載の情報処理装置。
（構成１３）
前記画像生成装置において生成中あるいは生成済みの仮想視点画像の生成に用いられた仮想視点を取得する取得手段を有し、
前記取得手段で取得した前記仮想視点を仮想視点候補として管理する候補管理手段と、
を有し、
前記視点決定手段は、前記候補管理手段にて管理されている前記仮想視点候補のなかから、前記履歴管理手段にて管理されている前記仮想視点履歴を基に仮想視点候補を選択し、前記選択した仮想視点候補を、前記仮想視点として決定することを特徴とする構成１２に記載の情報処理装置。
（構成１４）
前記画像生成装置が前記仮想視点ごとに前記仮想視点画像を生成することに対して異なる額の課金がなされる場合、前記異なる額の課金がなされる仮想視点画像の生成に用いられる一つ以上の仮想視点を仮想視点候補として管理する候補管理手段を有し、
前記候補管理手段は、前記管理している前記仮想視点候補のなかから、前記課金の額に基づいて選択した仮想視点候補を、前記視点決定手段が前記仮想視点を決定する際の仮想視点の候補とすることを特徴とする構成１２に記載の情報処理装置。
（構成１５）
前記候補管理手段は、課金無し、課金額が一定額以下、あるいは課金額が特定範囲内になる仮想視点候補を、前記視点決定手段が前記仮想視点を決定する際の仮想視点の候補とすることを特徴とする構成１４に記載の情報処理装置。
（構成１６）
前記視点決定手段は、前記履歴管理手段にて管理されている前記仮想視点履歴に基づいてユーザの視聴傾向を判定し、前記ユーザの視聴傾向に基づいて前記仮想視点を決定することを特徴とする構成１に記載の情報処理装置。
（構成１７）
前記履歴管理手段は、さらに、被写体が前記仮想視点画像に存在した合計時間の履歴を被写体ごとに管理し、
前記視点決定手段は、前記履歴管理手段にて管理されている前記被写体ごとの合計時間の履歴を基に、前記ユーザの視聴傾向を判定することを特徴とする構成１６に記載の情報処理装置。
（構成１８）
前記履歴管理手段は、さらに、前記仮想視点から見える被写体の向きの履歴を被写体ごとに管理し、
前記視点決定手段は、前記履歴管理手段にて管理されている前記被写体の向きの履歴を基に、前記ユーザの視聴傾向を判定することを特徴とする構成１６に記載の情報処理装置。
（構成１９）
前記履歴管理手段は、さらに、前記仮想視点画像における被写体の大きさの履歴を被写体ごとに管理し、
前記視点決定手段は、前記履歴管理手段にて管理されている前記被写体の大きさの履歴を基に、前記ユーザの視聴傾向を判定することを特徴とする構成１６に記載の情報処理装置。
（構成２０）
前記履歴管理手段は、さらに、前記仮想視点の向きの履歴を管理し、
前記視点決定手段は、前記履歴管理手段にて管理されている前記仮想視点の向きの履歴を基に、前記ユーザの視聴傾向を判定することを特徴とする構成１６に記載の情報処理装置。
（方法１）
ユーザ操作により指定された仮想視点を仮想視点履歴として管理する履歴管理工程と、
前記履歴管理工程にて管理されている前記仮想視点履歴に基づいて、仮想視点を決定する視点決定工程と、
前記視点決定工程にて決定された前記仮想視点を、仮想視点画像の生成に用いられる仮想視点として設定する視点制御工程と、
を有することを特徴とする情報処理方法。
（プログラム１）
コンピュータを、構成１乃至２０のいずれか１構成に記載の情報処理装置として機能させるプログラム。
The disclosure of each embodiment includes the following configurations, methods, and programs.
(Configuration 1)
a history management means for managing a virtual viewpoint designated by a user operation as a virtual viewpoint history;
a viewpoint determination means for determining a virtual viewpoint based on the virtual viewpoint history managed by the history management means;
a viewpoint control means for setting the virtual viewpoint determined by the viewpoint determination means as a virtual viewpoint to be used for generating a virtual viewpoint image;
13. An information processing device comprising:
(Configuration 2)
a determination means for determining whether or not a user operation for designating the virtual viewpoint is in a no-operation state in which the user operation has not been performed for a certain period of time or more,
The information processing device described in configuration 1, characterized in that when the determination means determines that the no-operation state is present, the viewpoint determination means determines the virtual viewpoint based on the virtual viewpoint history stored in the history management means before the no-operation state is determined.
(Configuration 3)
2. The information processing apparatus according to configuration 1, wherein when a specific user operation is performed, the viewpoint determination means determines the virtual viewpoint based on the virtual viewpoint history managed by the history management means.
(Configuration 4)
the virtual viewpoint designated by the user operation is set as a virtual viewpoint used for generating the virtual viewpoint image, and an identification unit is provided for identifying a subject from the virtual viewpoint image generated based on the set virtual viewpoint;
The information processing device described in any one of configurations 1 to 3, characterized in that the history management means associates information of the subject identified by the identification means with the virtual viewpoint specified by the user operation, includes it in the virtual viewpoint history, and manages it.
(Configuration 5)
A candidate management means for managing one or more virtual viewpoint candidates,
The information processing device described in any one of configurations 1 to 4, characterized in that the viewpoint determination means selects a virtual viewpoint candidate from the virtual viewpoint candidates managed by the candidate management means based on the virtual viewpoint history managed by the history management means, and determines the selected virtual viewpoint candidate as the virtual viewpoint.
(Configuration 6)
6. The information processing apparatus according to configuration 5, wherein the candidate management means manages, as the virtual viewpoint candidates, virtual viewpoints selectable by the user from among a plurality of virtual viewpoints.
(Configuration 7)
7. The information processing apparatus according to configuration 5 or 6, wherein the candidate management means manages a plurality of virtual viewpoints provided in accordance with a type of content viewed by the user as the virtual viewpoint candidates.
(Configuration 8)
The information processing device described in configuration 5 or 6, characterized in that the viewpoint determination means identifies a position of a virtual viewpoint specified by the user operation based on the virtual viewpoint history managed by the history management means, and determines, as the virtual viewpoint, a virtual viewpoint candidate selected from the virtual viewpoint candidates based on the identified virtual viewpoint position.
(Configuration 9)
The information processing device described in
(Configuration 10)
The information processing device described in configuration 5 or 6, characterized in that the viewpoint determination means identifies a path of movement of the virtual viewpoint specified by the user operation based on the virtual viewpoint history managed by the history management means, and determines a virtual viewpoint candidate selected from the virtual viewpoint candidates based on the identified path of movement of the virtual viewpoint as the virtual viewpoint.
(Configuration 11)
The information processing device described in
(Configuration 12)
a transmitting means for transmitting information of the virtual viewpoint set by the viewpoint control means to an image generating device that generates a virtual viewpoint image corresponding to the virtual viewpoint based on a plurality of images captured for each of a plurality of viewpoints;
a receiving means for receiving the virtual viewpoint image generated by the image generating device based on the virtual viewpoint set by the viewpoint control means;
a display means for displaying the received virtual viewpoint image;
2. The information processing device according to configuration 1, further comprising:
(Configuration 13)
an acquisition means for acquiring a virtual viewpoint used in generating a virtual viewpoint image being generated or having been generated in the image generating device;
a candidate management means for managing the virtual viewpoints acquired by the acquisition means as virtual viewpoint candidates;
having
The information processing device described in configuration 12, characterized in that the viewpoint determination means selects a virtual viewpoint candidate from the virtual viewpoint candidates managed by the candidate management means based on the virtual viewpoint history managed by the history management means, and determines the selected virtual viewpoint candidate as the virtual viewpoint.
(Configuration 14)
a candidate management means for managing, when the image generating device is charged a different amount for generating the virtual viewpoint image for each virtual viewpoint, one or more virtual viewpoints used for generating the virtual viewpoint image for which the different amount is charged as virtual viewpoint candidates;
The information processing device described in configuration 12, characterized in that the candidate management means selects a virtual viewpoint candidate from the virtual viewpoint candidates managed by the candidate management means based on the amount of the charge as a candidate virtual viewpoint when the viewpoint determination means determines the virtual viewpoint.
(Configuration 15)
The information processing device described in configuration 14, characterized in that the candidate management means sets virtual viewpoint candidates that are not charged, have a charged amount below a certain amount, or have a charged amount within a specific range as candidates for virtual viewpoints when the viewpoint determination means determines the virtual viewpoint.
(Configuration 16)
The information processing device described in configuration 1, characterized in that the viewpoint determination means determines a user's viewing tendency based on the virtual viewpoint history managed by the history management means, and determines the virtual viewpoint based on the user's viewing tendency.
(Configuration 17)
The history management means further manages, for each subject, a history of a total time that the subject was present in the virtual viewpoint image;
17. The information processing apparatus according to configuration 16, wherein the viewpoint determining means determines the viewing tendency of the user based on a history of a total time for each of the subjects managed by the history managing means.
(Configuration 18)
The history management means further manages a history of the orientation of the subject as seen from the virtual viewpoint for each subject,
17. The information processing apparatus according to configuration 16, wherein the viewpoint determining means determines the viewing tendency of the user based on a history of the orientation of the subject managed by the history managing means.
(Configuration 19)
The history management means further manages a history of the size of the subject in the virtual viewpoint image for each subject,
17. The information processing apparatus according to configuration 16, wherein the viewpoint determining means determines the viewing tendency of the user based on a history of the size of the subject managed by the history managing means.
(Configuration 20)
The history management means further manages a history of the orientation of the virtual viewpoint,
17. The information processing apparatus according to configuration 16, wherein the viewpoint determining means determines a viewing tendency of the user based on a history of the orientation of the virtual viewpoint managed by the history managing means.
(Method 1)
a history management step of managing the virtual viewpoint designated by a user operation as a virtual viewpoint history;
a viewpoint determination step of determining a virtual viewpoint based on the virtual viewpoint history managed in the history management step;
a viewpoint control step of setting the virtual viewpoint determined in the viewpoint determination step as a virtual viewpoint used for generating a virtual viewpoint image;
13. An information processing method comprising:
(Program 1)
A program that causes a computer to function as the information processing device according to any one of configurations 1 to 20.
１００：画像処理システム、１１０：撮像装置、１２０：画像生成装置、１３０：表示制御装置、４０１：操作入力部、４０２：視点制御部、４０３：操作判定部、４０８：履歴管理部、４０９：候補管理部、４１０：視点決定部 100: Image processing system, 110: Imaging device, 120: Image generating device, 130: Display control device, 401: Operation input unit, 402: Viewpoint control unit, 403: Operation determination unit, 408: History management unit, 409: Candidate management unit, 410: Viewpoint determination unit
Claims (22)
前記履歴管理手段にて管理されている前記仮想視点履歴に基づいて、仮想視点を決定する視点決定手段と、
前記視点決定手段にて決定された前記仮想視点を、仮想視点画像の生成に用いられる仮想視点として設定する視点制御手段と、
を有することを特徴とする情報処理装置。 a history management means for managing a virtual viewpoint designated by a user operation as a virtual viewpoint history;
a viewpoint determination means for determining a virtual viewpoint based on the virtual viewpoint history managed by the history management means;
a viewpoint control means for setting the virtual viewpoint determined by the viewpoint determination means as a virtual viewpoint to be used for generating a virtual viewpoint image;
13. An information processing device comprising:
前記判定手段により前記無操作状態であると判定された場合に、前記視点決定手段は、前記無操作状態であると判定されるより前に前記履歴管理手段に保持された前記仮想視点履歴に基づいて前記仮想視点を決定することを特徴とする請求項１に記載の情報処理装置。 a determination means for determining whether or not a user operation for designating the virtual viewpoint is in a no-operation state in which the user operation has not been performed for a certain period of time or more,
2. The information processing device according to claim 1, characterized in that, when the determination means determines that the no-operation state is present, the viewpoint determination means determines the virtual viewpoint based on the virtual viewpoint history stored in the history management means before the no-operation state is determined.
前記履歴管理手段は、前記識別手段にて識別された前記被写体の情報を、前記ユーザ操作により指定された前記仮想視点に対応付けて、前記仮想視点履歴に含めて管理することを特徴とする請求項１に記載の情報処理装置。 the virtual viewpoint designated by the user operation is set as a virtual viewpoint used for generating the virtual viewpoint image, and an identification means is provided for identifying a subject from the virtual viewpoint image generated based on the set virtual viewpoint;
2 . The information processing apparatus according to claim 1 , wherein the history management means manages information on the subject identified by the identification means by including it in the virtual viewpoint history in association with the virtual viewpoint specified by the user operation.
前記視点決定手段は、前記候補管理手段にて管理されている前記仮想視点候補のなかから、前記履歴管理手段にて管理されている前記仮想視点履歴を基に仮想視点候補を選択し、前記選択した仮想視点候補を、前記仮想視点として決定することを特徴とする請求項１に記載の情報処理装置。 A candidate management means for managing one or more virtual viewpoint candidates,
The information processing device according to claim 1, characterized in that the viewpoint determination means selects a virtual viewpoint candidate from the virtual viewpoint candidates managed by the candidate management means based on the virtual viewpoint history managed by the history management means, and determines the selected virtual viewpoint candidate as the virtual viewpoint.
前記視点制御手段にて設定した前記仮想視点に基づいて前記画像生成装置により生成された前記仮想視点画像を受信する受信手段と、
前記受信した前記仮想視点画像を表示する表示手段と、
を有することを特徴とする請求項１に記載の情報処理装置。 a transmitting means for transmitting information of the virtual viewpoint set by the viewpoint control means to an image generating device that generates a virtual viewpoint image corresponding to the virtual viewpoint based on a plurality of images captured for each of a plurality of viewpoints;
a receiving means for receiving the virtual viewpoint image generated by the image generating device based on the virtual viewpoint set by the viewpoint control means;
a display means for displaying the received virtual viewpoint image;
2. The information processing apparatus according to claim 1, further comprising:
前記取得手段で取得した前記仮想視点を仮想視点候補として管理する候補管理手段と、
を有し、
前記視点決定手段は、前記候補管理手段にて管理されている前記仮想視点候補のなかから、前記履歴管理手段にて管理されている前記仮想視点履歴を基に仮想視点候補を選択し、前記選択した仮想視点候補を、前記仮想視点として決定することを特徴とする請求項１２に記載の情報処理装置。 an acquisition means for acquiring a virtual viewpoint used in generating a virtual viewpoint image being generated or having been generated in the image generating device;
a candidate management means for managing the virtual viewpoints acquired by the acquisition means as virtual viewpoint candidates;
having
The information processing device according to claim 12, characterized in that the viewpoint determination means selects a virtual viewpoint candidate from the virtual viewpoint candidates managed by the candidate management means based on the virtual viewpoint history managed by the history management means, and determines the selected virtual viewpoint candidate as the virtual viewpoint.
前記候補管理手段は、前記管理している前記仮想視点候補のなかから、前記課金の額に基づいて選択した仮想視点候補を、前記視点決定手段が前記仮想視点を決定する際の仮想視点の候補とすることを特徴とする請求項１２に記載の情報処理装置。 a candidate management means for managing, when the image generating device is charged a different amount for generating the virtual viewpoint image for each virtual viewpoint, one or more virtual viewpoints used for generating the virtual viewpoint image for which the different amount is charged as virtual viewpoint candidates;
The information processing device according to claim 12, characterized in that the candidate management means selects a virtual viewpoint candidate from the virtual viewpoint candidates being managed based on the amount of the charge as a candidate for the virtual viewpoint when the viewpoint determination means determines the virtual viewpoint.
前記視点決定手段は、前記履歴管理手段にて管理されている前記被写体ごとの合計時間の履歴を基に、前記ユーザの視聴傾向を判定することを特徴とする請求項１６に記載の情報処理装置。 The history management means further manages, for each subject, a history of a total time that the subject was present in the virtual viewpoint image;
17. The information processing apparatus according to claim 16, wherein the viewpoint determining means determines the viewing tendency of the user based on a history of a total time for each of the subjects managed by the history managing means.
前記視点決定手段は、前記履歴管理手段にて管理されている前記被写体の向きの履歴を基に、前記ユーザの視聴傾向を判定することを特徴とする請求項１６に記載の情報処理装置。 The history management means further manages a history of the orientation of the subject as seen from the virtual viewpoint for each subject,
17. The information processing apparatus according to claim 16, wherein the viewpoint determining means determines the viewing tendency of the user based on a history of the orientation of the subject managed by the history managing means.
前記視点決定手段は、前記履歴管理手段にて管理されている前記被写体の大きさの履歴を基に、前記ユーザの視聴傾向を判定することを特徴とする請求項１６に記載の情報処理装置。 The history management means further manages a history of the size of the subject in the virtual viewpoint image for each subject,
17. The information processing apparatus according to claim 16, wherein the viewpoint determining means determines the viewing tendency of the user based on a history of the size of the subject managed by the history managing means.
前記視点決定手段は、前記履歴管理手段にて管理されている前記仮想視点の向きの履歴を基に、前記ユーザの視聴傾向を判定することを特徴とする請求項１６に記載の情報処理装置。 The history management means further manages a history of the orientation of the virtual viewpoint,
17. The information processing apparatus according to claim 16, wherein the viewpoint determining means determines the viewing tendency of the user based on a history of the orientation of the virtual viewpoint managed by the history managing means.
前記履歴管理工程にて管理されている前記仮想視点履歴に基づいて、仮想視点を決定する視点決定工程と、
前記視点決定工程にて決定された前記仮想視点を、仮想視点画像の生成に用いられる仮想視点として設定する視点制御工程と、
を有することを特徴とする情報処理方法。 a history management step of managing the virtual viewpoint designated by a user operation as a virtual viewpoint history;
a viewpoint determination step of determining a virtual viewpoint based on the virtual viewpoint history managed in the history management step;
a viewpoint control step of setting the virtual viewpoint determined in the viewpoint determination step as a virtual viewpoint used for generating a virtual viewpoint image;
13. An information processing method comprising:
ユーザ操作により指定された仮想視点を仮想視点履歴として管理する履歴管理手段と、
前記履歴管理手段にて管理されている前記仮想視点履歴に基づいて、仮想視点を決定する視点決定手段と、
前記視点決定手段にて決定された前記仮想視点を、仮想視点画像の生成に用いられる仮想視点として設定する視点制御手段と、
を有する情報処理装置として機能させるプログラム。 Computer,
a history management means for managing a virtual viewpoint designated by a user operation as a virtual viewpoint history;
a viewpoint determination means for determining a virtual viewpoint based on the virtual viewpoint history managed by the history management means;
a viewpoint control means for setting the virtual viewpoint determined by the viewpoint determination means as a virtual viewpoint to be used for generating a virtual viewpoint image;
A program that causes the device to function as an information processing device having the above-mentioned configuration.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/435,716 US20240275931A1 (en) | 2023-02-09 | 2024-02-07 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023018628 | 2023-02-09 | ||
| JP2023018628 | 2023-02-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024113650A true JP2024113650A (en) | 2024-08-22 |
Family
ID=92425576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023186821A Pending JP2024113650A (en) | 2023-02-09 | 2023-10-31 | Information processing apparatus, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2024113650A (en) |
-
2023
- 2023-10-31 JP JP2023186821A patent/JP2024113650A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10917621B2 (en) | Information processing apparatus, image generating apparatus, control methods therefor, and non-transitory computer-readable storage medium | |
| US11006089B2 (en) | Information processing apparatus and information processing method | |
| JP6918455B2 (en) | Image processing equipment, image processing methods and programs | |
| EP3383036A2 (en) | Information processing device, information processing method, and program | |
| JP7023696B2 (en) | Information processing equipment, information processing methods and programs | |
| JP2019079298A (en) | Information processing device, display control method, and program | |
| US11250633B2 (en) | Image processing apparatus, display method, and non-transitory computer-readable storage medium, for displaying a virtual viewpoint image including an object at different points in time | |
| JP2016046642A (en) | Information processing system, information processing method, and program | |
| US11205360B2 (en) | Display control apparatus, display control method, and non-transitory computer-readable storage medium | |
| US20230353717A1 (en) | Image processing system, image processing method, and storage medium | |
| JP7446754B2 (en) | Image processing device, image processing method, and program | |
| JP2024124469A (en) | Image processing device, image processing method, and computer program | |
| CN114630173A (en) | Virtual object driving method and device, electronic equipment and readable storage medium | |
| JP2019197340A (en) | Information processor, method for processing information, and program | |
| JP7296735B2 (en) | Image processing device, image processing method and program | |
| JP2024113650A (en) | Information processing apparatus, information processing method, and program | |
| JP2020135290A (en) | Image generation device, image generation method, image generation system, and program | |
| US20240275931A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP2021144522A (en) | Image processing apparatus, image processing method, program, and image processing system | |
| JP7581019B2 (en) | Image processing device, image processing method, and program | |
| JP2020190978A (en) | Information processing apparatus, information processing method, and program | |
| EP4296961A1 (en) | Image processing device, image processing method, and program | |
| US20230291883A1 (en) | Image processing system, image processing method, and storage medium | |
| EP4379663A1 (en) | Image processing system, control method, and program | |
| US20240046552A1 (en) | Generation apparatus, generation method, and non-transitory computer-readable storage medium |