JP2024046244A - 画像処理システム、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】 仮想視点画像を含む複数のデジタルコンテンツの中から所望のデジタルコンテンツを容易に特定する機能を提供する。【解決手段】 管理装置２００は、１つの被写体と対応付けられた仮想視点画像を含むデジタルコンテンツを複数取得し、ユーザによって選択された第１デジタルコンテンツと、第１デジタルコンテンツの仮想視点画像と対応付けられた被写体を撮像範囲に含む仮想視点画像、を含む第２デジタルコンテンツとを特定し、第１デジタルコンテンツと第２デジタルコンテンツとを含む表示画面を生成する。【選択図】 図２

Description

本開示は、デジタルコンテンツを表示する画像処理システム、画像処理方法及びコンピュータプログラムに関する。

スポーツ等を撮影した映像を加工して作成したデジタルコンテンツが取引されている。例えば、バスケットボール選手のダンクシュートなどのシーンを数十秒ほど切り抜いた映像をデジタルコンテンツとして取引される。取引画面の表示形態としては、デジタルコンテンツを立体形状で表示し、立体形状の表示面ごとに映像や付加情報などを表示する一例がある。ユーザは取引画面上の立体形状を選択することで、映像を確認した上でデジタルコンテンツを購入できる。

一方、複数の撮像装置の撮像により得られた複数の画像を用いて、指定された仮想視点からの仮想視点画像を生成する技術が注目されている。上述したデジタルコンテンツの一つとして、仮想視点画像を含めたデジタルコンテンツが生成されることが考えられる。特許文献１には、複数の撮像装置を異なる位置に設置して被写体を撮像し、撮像により得られた撮像画像から推定される被写体の３次元形状を用いて、仮想視点画像を生成する方法について記載されている。

特開２０１５－４５９２０号公報

しかしながら、仮想視点映像は、様々な視点で撮影することができるので、ある選手の同一シーンであっても複数のデジタルコンテンツが生成できる。また、同シーンにおける別の選手を撮影したデジタルコンテンツも生成できる。このように試合中、様々なシーンで複数のデジタルコンテンツが生成され、最終的なデジタルコンテンツの総数は膨大に膨れ上がると予想される。したがって、取引画面で複数あるデジタルコンテンツの中から所望のデジタルコンテンツを特定することが困難になると考えられる。

本開示は、仮想視点画像を含む複数のデジタルコンテンツの中から所望のデジタルコンテンツを容易に特定する機能を提供することが目的としている。

本開示の一態様に係る画像処理システムは、
複数の撮像装置により撮像された複数の撮像画像に基づいて生成される仮想視点画像であって、１つの被写体と対応付けられた仮想視点画像を含む３次元オブジェクトを複数取得する取得手段と、
複数の前記３次元オブジェクトのうち、ユーザ操作に基づいて第１の３次元オブジェクトを特定する第１特定手段と、
複数の前記３次元オブジェクトのうち、仮想視点画像に対応する仮想カメラの撮像範囲に前記第１の３次元オブジェクトの仮想視点画像と対応付けられた被写体を含む仮想視点画像、を含む第２の３次元オブジェクトを特定する第２特定手段と、
前記第１の３次元オブジェクトと前記第２の３次元オブジェクトとを含む表示画像を生成する生成手段と、
を有することを特徴とする。

本開示によれば、複数のデジタルコンテンツの中から所望のデジタルコンテンツを容易に特定することができる。

デジタルコンテンツの例を示す図である。 画像処理システムの装置構成例を示す図である。 管理装置２００のハードウェア構成例を示す図である。 管理装置２００の動作フローを示すフローチャートである。 実施形態１に係る取引画面の一例を示す図である。 実施形態１に係る関連コンテンツの選出方法を示すフローチャートである。 実施形態２に係る関連コンテンツの選出方法を示すフローチャートである。 実施形態２に係る主被写体の映り込み判定を示す模式図である。 実施形態３に係る取引画面の一例を示す図である。 実施形態３に係る取引画面の切り替わり後の一例を示す図である。 実施形態３に係る関連コンテンツの選出方法を示すフローチャートである。

以下、図面を参照して本開示の実施形態を説明する。ただし、本開示は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

（実施形態１）
実施形態１の画像処理システムは、仮想視点画像を表示する表示面を有するデジタルコンテンツを複数取得する。そして、ユーザによって選択されたデジタルコンテンツと、選択したデジタルコンテンツに関連するデジタルコンテンツとを取引画面に表示する。

仮想視点画像は、自由視点画像とも呼ばれ、ユーザが自由に（任意に）指定した視点に対応する画像をモニタできるものであるが、例えば、限定された複数の視点候補からユーザが選択した視点に対応する画像をモニタするものが仮想視点画像に含まれる。又、仮想視点の指定は、ユーザ操作により行われても良いし、画像解析の結果等に基づいてＡＩで、自動で行われても良い。又、仮想視点画像は動画であっても静止画であっても良い。仮想視点画像の生成に用いられる仮想視点情報は、仮想視点の位置及び向き（姿勢）更には画角（焦点距離）等を含む情報である。具体的には、仮想視点情報は、仮想視点の３次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点からの向き（視線方向）を表すパラメータ、焦点距離情報等を含む。但し、仮想視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。

又、仮想視点情報は複数フレーム毎のパラメータを有していても良い。つまり、仮想視点情報が、仮想視点画像の動画を構成する複数のフレームに夫々対応するパラメータを有し、連続する複数の時点夫々における仮想視点の位置及び向きを示す情報であっても良い。

仮想視点画像は、例えば、以下のような方法で生成される。先ず、カメラにより異なる方向から撮像することで複数カメラの画像が取得される。次に、複数カメラ画像から、人物やボールなどの被写体に対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。前景画像、背景画像は、テクスチャ情報（色情報など）を有している。

そして、被写体の３次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成される。又、競技場などの背景の３次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、仮想視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。但し、仮想視点画像の生成方法はこれに限定されず、前景や背景モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

前景画像とは、カメラにより撮像されて取得された撮像画像から、被写体の領域（前景領域）を抽出した画像である。前景領域として抽出される被写体とは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的被写体（動体）などを指す。被写体は、例えば、競技において、それが行われるフィールド内にいる選手や審判などの人物、球技であれば人物に加え、ボールなども含む。又、コンサートやエンターテインメントにおいては、歌手、演奏者、パフォーマー、司会者などが前景の被写体である。

背景画像とは、少なくとも前景となる被写体とは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景となる被写体を取り除いた状態の画像である。又、背景は、時系列で同じ方向から撮像を行った場合において静止、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールド、などである。但し、背景は少なくとも前景となる被写体とは異なる領域である。尚、撮像対象としては、被写体と背景の他に、別の物体等が含まれていても良い。

仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。また本実施形態では、経時的な仮想視点の変遷の内容を、仮想カメラパスと表記する。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。

図１は、デジタルコンテンツの例を示す図である。本実施形態におけるデジタルコンテンツとは、ある特定の被写体に着目したデジタルコンテンツであって、該特定の被写体を映す仮想視点画像を含む３次元オブジェクトである。あるいは、特定の被写体を映す仮想視点画像と対応付けられた３次元オブジェクトである。図１におけるデジタルコンテンツ１００は、立方体であり、向かって左側の面１０１に仮想視点画像を表示する画像表示領域１０２を有する。尚、画像表示領域１０２を配置する面は、面１０１に限定せず他の面であってもよい。又、デジタルコンテンツの形状は立方体に限定せず、他の形状であってもよい。例えば、２つの異なる仮想視点画像と対応付けられた球体の３次元オブジェクトや、仮想視点画像と対応付けられた被写体を示す３次元形状モデル等である。被写体を示す３次元形状モデルとは、予め作成された簡易的な３次元形状モデルでもよいし、仮想視点画像の生成に用いる被写体の３次元形状モデルでもよい。また、ある特定の被写体に着目しており、該特定の被写体を含む仮想視点画像と対応付けられていればよく、さらに他の被写体を含む仮想視点画像と対応付けられていてもよい。

又、デジタルコンテンツには、ＮＦＴが付与されてもよい。ＮＦＴは、デジタルコンテンツの資産価値を向上させるために、例えば配布するコンテンツの数量を制限してシリアル番号で管理するなどして稀少性を持たせることができる。尚、ＮＦＴはノンファンジブルトークン（Ｎｏｎ－ｆｕｎｇｉｂｌｅ Ｔｏｋｅｎ）の略であり、ブロックチェーン上に発行・流通するためのトークンである。ＮＦＴのフォーマットの一例としては、ＥＲＣ―７２１やＥＲＣ―１１５５と呼ばれるトークン規格がある。トークンは通常、ユーザが管理するウォレットに関連付けて保管される。本実施形態では、デジタルコンテンツにＮＦＴが付与されているものとして説明する。ＮＦＴが付与されたデジタルコンテンツは、ＮＦＴとデジタルコンテンツの識別子、デジタルコンテンツの所有者を示すユーザＩＤが対応付けてブロックチェーンに記録される。又、デジタルコンテンツは、ブロックチェーンの外にメタデータを保有する。メタデータには、コンテンツのタイトル、説明、コンテンツのＵＲＬなどが記憶される。本実施形態のメタデータには、仮想視点情報、撮影時刻情報、被写体の位置情報、及び被写体の識別情報が更に含まれるがこれに限定されない。仮想視点情報、撮影時刻情報、被写体の位置情報、及び被写体の識別情報は、ユーザが直接アクセスできないデータとしてデジタルコンテンツと共に外部サーバに記録されてもよい。なお、デジタルコンテンツの再生時間は、各コンテンツで統一されているものとする。

撮影時刻情報は、仮想視点画像の開始時刻と終了時刻が記される。カメラで撮像された画像にはフレーム毎に撮影時の時刻が付与されているので、その時刻を取得し撮影時刻情報に記す。仮想視点画像の生成を開始する際に使用する撮影画像から開始時刻と、生成を終了する際に使用する撮影画像から終了時刻と、を取得し撮影時刻情報に記す。なお、開始時刻と終了時刻には、画像を撮影した年次や日時を示す情報が含まれる。

被写体の位置情報は、仮想視点画像の作成者により指定された被写体（以後、主被写体と呼ぶ）の位置を示す情報が記される。なお、作成者による指定によらず、仮想視点画像の中心に最も長く映る被写体を主被写体としてもよい。被写体の位置情報は、例えば、被写体に取り付けられたＧＰＳ情報から収集したデータである。被写体の位置情報は、３つの座標軸（Ｘ軸、Ｙ軸、Ｚ軸）が原点で直交するように交わる座標系の３次元直交座標で示される。このときの原点は、例えば、バスケットボールコートのセンターサークルの中心などであり、撮影空間内の任意の位置であってもよい。被写体の位置情報には、撮影時刻情報の開始時刻から終了時刻の期間における被写体の位置情報が記される。

被写体の識別情報は、アルファベットや数字で構成され、それぞれの被写体を区別できるように割り振られた識別記号である。被写体の識別情報には、被写体の位置情報の主被写体に割り振られた識別記号が記される。

尚、本実施形態ではデジタルコンテンツのメタデータを用いて説明しているが、これに限定せず他のメタデータであってもよい。

図２は、本実施形態の画像処理システムの装置構成例を示す図である。尚、図２に示される機能ブロックの一部は、画像処理システムに含まれるコンピュータに、記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

画像処理システムは、管理装置２００とユーザデバイス２１０で構成される。管理装置２００は、コンテンツ取得部２０１、記憶部２０２、表示画像生成部２０３を有する。ユーザデバイス２１０は、送受信部２１１、制御部２１２、操作部２１３、表示部２１４を有する。

コンテンツ取得部２０１は、図示しない外部サーバからデジタルコンテンツを取得する。コンテンツ取得部２０１は、表示画面生成部２０３から指示を受け付けた際、例えば、ある試合に係るすべてのデジタルコンテンツを取得する。デジタルコンテンツを取得する単位は、表示画面生成部２０３からの指示によって様々である。デジタルコンテンツには仮想視点画像などが含まれる。又、デジタルコンテンツにはＮＦＴが付与される。コンテンツ取得部２０１は、ＮＦＴに記載のＵＲＬに基づいてメタデータを取得する。コンテンツ取得部２０１は、ＮＦＴが付与されたデジタルコンテンツとメタデータを記憶部２０２へ送信する。又、コンテンツ取得部２０１は、メタデータを表示画面生成部２０３へ送信する。

記憶部２０２は、例えば、磁気ディスク、光ディスク、半導体メモリなどの大容量の記憶装置である。記憶部２０２は、コンテンツ取得部２０１から取得したデジタルコンテンツを記憶する。デジタルコンテンツには、仮想視点画像や音声データなどが含まれる。又、デジタルコンテンツに付与されるＮＦＴおよびメタデータも記憶される。尚、記憶部２０２は、管理装置２００に対して物理的に外部に設けてもよい。又、記憶部２０２に記憶される仮想視点画像は、例えば、ＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などで記憶されてもよい。又、仮想視点画像は、例えば、ＭＰＥＧ２形式で圧縮されてもよい。但し、画像フォーマットやデータ圧縮方式はこれらに限定されず、任意の画像フォーマットおよびデータ圧縮方式が用いられてもよい。又、圧縮符号化しなくてもよい。

表示画面生成部２０３は、ユーザデバイス２１０から受信したユーザ要求に応じて、デジタルコンテンツを取得する指示をコンテンツ取得部２０１へ送信する。例えば、ある試合で生成されたすべてのデジタルコンテンツを取得する指示を出すことができる。又は、あるデジタルコンテンツのみを取得する指示を出すこともできる。表示画面生成部２０３は、複数あるデジタルコンテンツの中からユーザが一つ選んだデジタルコンテンツ（以後、選択コンテンツと呼ぶ）と、選択コンテンツと関連のあるデジタルコンテンツ（以後、関連コンテンツと呼ぶ）を表示する取引画像を生成する。その際、デジタルコンテンツの表示面には、記憶部２０２から取得した仮想視点画像を割り当てる。表示画面生成部２０３は、生成した取引画像をユーザデバイス２１０へ送信する。表示画面生成部２０３は、コンテンツ取得部２０１で取得したすべてのデジタルコンテンツのメタデータを受信し管理する。表示画面生成部２０３は、選択コンテンツのメタデータと、選択コンテンツ以外のデジタルコンテンツのメタデータとを照合する。その結果、一致または部分的に一致するメタデータを保有するデジタルコンテンツを抽出し関連コンテンツとする。

送受信部２１１は、制御部２１２にて生成されるユーザ要求を管理装置２００に送信する。また、管理装置２００の表示画像生成部２０３で生成された取引画面を受信する。

制御部２１２は、操作部２１３から受信する操作情報に基づいてユーザ情報を作成し、ユーザ情報を送受信部２１１に送信する制御を行う。また、送受信部２１１から受信する取引画像を表示部２１４に表示するための制御を行う。なお、取引画像を表示部２１４に表示する際に、ユーザがデジタルコンテンツを選択するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を生成し、表示する。

操作部２１３は、例えばジョイスティックやタッチパネル、マウスやキーボードで構成され、ユーザがデジタルコンテンツを選択や決定などを行うために使われる。なお、本実施形態では、ユーザデバイス２１０はタブレット端末とし、操作部２１３はタッチパネルとして以下説明する。

表示部２１４は、例えば液晶ディスプレイやＬＥＤ等で構成され、制御部２１２の制御に応じて、送受信部２１１が受信した取引画像を表示する。又、ユーザがデジタルコンテンツを選択するためのＧＵＩなどを表示する。

図３は、実施形態１に係る管理装置２００のハードウェア構成を示す図であり、図３を用いて管理装置２００のハードウェア構成について説明する。なお、ユーザデバイス２１０のハードウェア構成も同様であるため、ユーザデバイス２１０のハードウェア構成の説明は省略する。

管理装置２００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、補助記憶装置３０４、表示部３０５、操作部３０６、通信Ｉ／Ｆ３０７、及びバス３０８等を有する。

ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３や補助記憶装置３０４等に記憶されているコンピュータプログラム等を用いて管理装置２００の全体を制御することで、図２に示す管理装置２００の各機能ブロックを実現する。

ＲＡＭ３０３は、補助記憶装置３０４から供給されるコンピュータプログラムやデータ、及び通信Ｉ／Ｆ３０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置３０４は、例えばハードディスクドライブ等で構成され、画像データ、音声データやデジタルンテンツなどの種々のデータを記憶する。

表示部３０５は、前述のように、仮想視点画像を含むデジタルコンテンツや、ＧＵＩ等を表示する。操作部３０６は、前述のように、ユーザによる操作入力を受けて各種の指示をＣＰＵ３０１に入力する。ＣＰＵ３０１は、表示部３０５を制御する表示制御部、及び操作部３０６を制御する操作制御部として動作する。

通信Ｉ／Ｆ３０７は、管理装置２００の外部の装置（例えば、外部サーバ等）との通信に用いられる。例えば、管理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ３０７に接続される。管理装置２００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ３０７はアンテナを備える。バス３０８は、管理装置２００の各部をつないで情報を伝達する。

図４は、実施形態１の管理装置２００の動作フローを示すフローチャートである。尚、管理装置２００のコンピュータとしてのＣＰＵ３０１が例えばＲＯＭ３０２や補助記憶装置３０４等のメモリに記憶されたコンピュータプログラムを実行することによって図４で示すフローチャートの各ステップが動作する。

ステップＳ４１では、表示画面生成部２０３がデジタルコンテンツを取得する指示をコンテンツ取得部２０１へ送信する。デジタルコンテンツを取得する単位は、ユーザデバイス２１０の送受信部２１１から受け付けたユーザ要求によって決まる。例えば、取引画面を起動すると本日開催されたすべての試合結果がリスト化されて表示されているとする。ユーザは、この中から購入したい試合を選択すると、表示画面生成部２０３は、選択された試合に係るすべてのデジタルコンテンツを取得する指示をコンテンツ取得部２０１へ送信する。なお、取得単位はこれに限定せず、チーム単位や選手単位であってもよい。

ステップＳ４２では、ステップＳ４３で処理するデジタルコンテンツをすべて処理したか否かを判断する。すべてのデジタルコンテンツが処理されるまでステップＳ４３の処理を繰り返す。すべての処理が完了した後、ステップＳ４４へ進む。

ステップＳ４３では、コンテンツ取得部２０１が表示画面生成部２０３の指示に基づいて外部サーバからデジタルコンテンツを取得する。デジタルコンテンツには、仮想視点画像などが含まれる。取得されたデジタルコンテンツは、記憶部２０２へ順次送信される。又、コンテンツ取得部２０１は、デジタルコンテンツごとに識別番号を割り当て、デジタルコンテンツを管理する際に使用する。例えば、コンテンツ取得部２０１がデジタルコンテンツを記憶部２０２へ書き込んだ際、書き込み先と識別番号を関連付けて管理してもよい。そうすることで、表示画面生成部２０３が記憶部２０２からデジタルコンテンツを読み出す際に、識別番号を用いて読み出しできる。識別番号の使用方法はこれに限定せず、他の用途で使用することもできる。

ステップＳ４４では、コンテンツ取得部２０１がコンテンツ取得完了通知を表示画面生成部２０３へ送信する。その際、コンテンツ取得完了通知に付帯するかたちでメタデータも表示画面生成部２０３へ送信する。尚、送信されるメタデータは、識別番号とメタデータとを関連付けたリスト形式のデータ（以後、メタデータ管理リストと呼ぶ）である。

ステップＳ４５では、コンテンツ取得部２０１からコンテンツ取得完了通知を受信したことをトリガーとして、表示画面生成部２０３が取引画像を生成する。

ステップＳ４６では、Ｓ４５にて生成した取引画面をユーザデバイス２１０の送受信部２１１へ送信する。

ステップＳ４７では、ユーザ指示の有無を判断する。表示画面生成部２０３は、ユーザデバイス２１０の送受信部２１１より選択したデジタルコンテンツを切り替える指示を受けた場合はステップＳ４５へ戻る。取引画面の決定ボタンを押した場合はこの動作フローを終了し、購入画面などに切り替える。ユーザ指示がない場合はこのステップで待機する。

図５は、表示画面生成部２０３が生成する取引画面５００の一例である。

コンテンツリスト５０１は、図５の破線で示す部分であり、デジタルコンテンツを縦一列に表示する領域である。表示画面生成部２０３は、記憶部２０２から読み出したデジタルコンテンツをコンテンツリスト５０１に表示する。コンテンツリスト５０１に表示されるデジタルコンテンツは、ユーザ操作によって上下にスクロールできる。コンテンツリスト５０１に表示しきれないデジタルコンテンツは、スクロールによって探し出すことができる。尚、コンテンツリスト５０１は縦一列に限定せず、横一列など他のレイアウトであってもよい。

コンテンツ選択矢印５０２は、コンテンツリスト５０１に表示されるデジタルコンテンツの中で選択中のデジタルコンテンツを示す。コンテンツ選択矢印５０２が指すデジタルコンテンツは、拡大表示されて選択コンテンツ５０３が示す位置にレイアウトされる。

選択コンテンツ５０３は、コンテンツリスト５０１のスクロールに応じて表示されるデジタルコンテンツが切り替わる。なお、ユーザがコンテンツリスト５０１に表示されるデジタルコンテンツの中から所望のデジタルコンテンツをタッチ操作等により選択することで、表示するデジタルコンテンツを切り替えても構わない。その場合、コンテンツ選択矢印５０２は、コンテンツリスト５０１上の選択コンテンツに対応する位置に表示される。

関連コンテンツ５１１―５１６は、選択コンテンツ５０３との関係性が高いデジタルコンテンツである。表示画面生成部２０３は、コンテンツ取得部２０１から取得したメタデータ管理リストを用いて関連コンテンツを選出する。関連コンテンツの選出方法については後述する。また、表示画面生成部２０３は、後述の選出方法によって生成された選出リストに基づいて関連コンテンツを配置してもよい。例えば、選出リストに記される関連コンテンツに優先度が付帯している場合、その優先度に応じて関連コンテンツを配置する。その場合、選択コンテンツに近い方から優先度の高い関連コンテンツを配置してもよい。尚、配置方法についてはこれに限定せず別の方法であってもよい。

決定ボタン５２１は、デジタルコンテンツの購入を決定するボタンである。ユーザは、取引画面５００に表示されているデジタルコンテンツの中から購入したいデジタルコンテンツを選択し、決定ボタン５２１を押すことでデジタルコンテンツを購入できる。デジタルコンテンツを複数指定した状態で決定ボタン５２１を押すと、複数のデジタルコンテンツを同時購入できるようにしてもよい。

取引画面５００に表示される選択コンテンツおよび関連コンテンツは、画像表示領域１０２を有する。表示画面生成部２０３は、選択コンテンツまたは関連コンテンツに紐づく仮想視点画像を記憶部２０２から取得し、画像表示領域１０２に仮想視点画像を割り当てて表示する。

図６は、実施形態１に係る関連コンテンツの選出方法を示すフローチャートである。このフローチャートは、図４で示すフローチャートのステップＳ４５のタイミングで動作する。

ステップＳ６１では、メタデータ管理リストから選択コンテンツのメタデータを取得する。

ステップＳ６２では、選択コンテンツのメタデータに含まれる撮影時刻情報に基づいて撮影時間を算出する。撮影時刻情報には仮想視点画像の開始時刻と終了時刻が含まれている。この開始時刻から終了時刻までのフレーム数を撮影時間として算出する。本実施形態では、仮想視点画像は６０フレームで生成されているものとする。例えば、選択コンテンツの開始時刻が２０２１年１月１日１８時３０分３０秒０４フレーム、終了時刻が２０２１年１月１日１８時３０分４５秒０４フレームであれば、撮影時間は９００フレームである。

ステップＳ６３では、メタデータ管理リストに記される選択コンテンツ以外のデジタルコンテンツをすべて処理したか否かを判断する。すべてのデジタルコンテンツが処理されるまでステップＳ６４からステップＳ６６までの処理を繰り返す。例えば、メタデータ管理リストの先頭から末尾まで順々に処理する。すべての処理が完了した後、このフローチャートを終了する。

ステップＳ６４では、ステップＳ６３で処理対象となったデジタルコンテンツのメタデータをメタデータ管理リストから取得する。

ステップＳ６５では、ステップＳ６４で取得したメタデータに含まれる撮影時刻情報を基に、選択コンテンツと処理対象コンテンツの重複時間を算出する。具体的には、選択コンテンツの開始時刻および終了時刻と処理対象コンテンツの開始時刻および終了時刻から、重複開始時刻と重複終了時刻を抽出する。その後、重複開始時刻と重複終了時刻の差分を求めることにより重複時間を算出する。例えば、選択コンテンツの開始時刻が２０２１年１月１日１８時３０分３０秒０１フレーム、終了時刻が２０２１年１月１日１８時３０分４５秒０１フレームであるとする。処理対象コンテンツの開始時刻が２０２１年１月１日１８時３０分３３秒０１フレームであり、終了時刻が２０２１年１月１日１８時３０分５０秒０１フレームであるとする。この場合、重複開始時刻は２０２１年１月１日１８時３０分３３秒０１フレーム、重複終了時刻は、２０２１年１月１日１８時３０分４５秒０１フレームとなり、重複時間は７２０フレームとなる。

ステップＳ６６では、選択コンテンツと処理対象コンテンツとの関係性を示す指標（以後、関係率と呼ぶ）を算出する。関係率は、ステップＳ６２の撮影時間とステップＳ６５の撮影時間との重複時間を算出し、重複時間をステップＳ６２の撮影時間で割ることで算出できる。

ステップＳ６７では、処理対象コンテンツが関連コンテンツであるか否かを判断する。表示画面生成部２０３は、ステップＳ６６で算出した関係率が所定値以上の場合、関連コンテンツと判断する。例えば、関係率が８０％以上の場合、関連コンテンツと判断する。つまり、選択コンテンツの撮影時間と重複した撮影時間の割合が高いデジタルコンテンツを関連コンテンツとして判断することになる。関連コンテンツと判断されなかった場合、ステップＳ６３に戻る。なお、所定値は、スポーツ競技などのイベントに応じて変更されるものであってもよい。

ステップＳ６８では、処理対象コンテンツを関連コンテンツとして決定する。そして、決定した関連コンテンツの識別番号を選出リストに記憶する。

なお、メタデータに含まれる撮影時刻情報に基づいて関連コンテンツを選出したが、これに限定せず、メタデータに含まれる被写体の識別情報を用いて選出してもよい。この場合、選択コンテンツの被写体の識別情報と同じ被写体の識別情報を持つデジタルコンテンツを関連コンテンツとして選出できる。

なお、本実施形態では、関連コンテンツを表示する数は既定していないが、関連コンテンツを表示する数を予め設けてもよい。その場合、関係率が最も高いものから順に関連コンテンツとして表示し、規定数に達したら表示しないようにする。

実施形態１によれば、撮影時刻情報に基づいて選択コンテンツとの関係率が高いデジタルコンテンツを関連コンテンツとして決定する。これにより、撮影時間帯がほぼ等価な選択コンテンツと関連コンテンツを取引画面に表示できる。したがって、選択コンテンツだけでなく、関連コンテンツからもユーザが所望するデジタルコンテンツを探し出し購入できるようになる。

また、撮影時刻が重複しているデジタルコンテンツを関連コンテンツとして決定するため、同じシーンを映すデジタルコンテンツを関連コンテンツとして決定する。そのため、ユーザが選択した選択コンテンツと異なる視点からみた仮想視点画像を含むデジタルコンテンツを関連コンテンツとして表示できる。

（実施形態２）
実施形態１では、撮影時刻情報に基づいて選択コンテンツとの関係率が高いデジタルコンテンツを関連コンテンツとして決定した。しかしながら、ユーザが選択した特定の被写体が映る関連コンテンツを特定したい場合、適切な関連コンテンツを特定することができない可能性がある。そこで、実施形態２では、撮影時刻情報に基づいた関係率に加え、ユーザが選択したデジタルコンテンツの主被写体の映り込み時間に基づいて関連コンテンツを決定する。以下、図７および図８を用いて説明する。

図７は、実施形態２に係る関連コンテンツの選出方法を示すフローチャートである。このフローチャートは、図４で示すフローチャートのステップＳ４５のタイミングで動作する。尚、図７において図６と同じ符号のステップは同じ処理であるため説明を省略する。

ステップＳ７１では、処理対象コンテンツの仮想視点に選択コンテンツの主被写体が映り込む時間を算出する。表示画面生成部２０３は、ステップＳ６１で取得した選択コンテンツのメタデータに含まれる被写体の位置情報と仮想視点情報を取得する。被写体の位置情報には、仮想視点の主被写体の位置情報が時系列で記されている。仮想視点情報には、仮想視点の位置及び姿勢が時系列で記されている。表示画面生成部２０３は、被写体の位置情報と仮想視点情報に基づいて、処理対象コンテンツの仮想視点に選択コンテンツの主被写体が映り込む時間を算出する。

図８は、主被写体の映り込み判定を示す模式図である。

仮想視点８０１は、処理対処コンテンツの仮想視点である。仮想視点８０１の撮影範囲８０２は、処理対象コンテンツの仮想視点情報に記される仮想視点の位置及び姿勢に基づいて特定できる。また、主被写体８０３は、選択コンテンツの主被写体である。選択コンテンツのメタデータに含まれる被写体の位置情報に基づいて決まる。

表示画面生成部２０３は、撮影範囲８０２に主被写体８０３が含まれるか否かで主被写体の映り込み判定を行う。図８の場合は、撮影範囲８０２に主被写体８０３が含まれるので映り込み有りと判定される。また、主被写体の映り込み判定は、Ｓ６６で算出した重複時間に含まれるすべてのフレームで実施する。そして、映り込み有りと判定になったフレームの累積数を、主被写体の映り込み時間として決定する。

なお、ステップＳ７１では、処理対象コンテンツの仮想視点に選択コンテンツの主被写体が映り込む時間を表示画面生成部２０３で算出したが、これに限定しない。例えば、被写体ごとに映り込み時間を算出した結果がメタデータに含まれていて、選択コンテンツの主被写体の映り込み時間を表示画面生成部２０３がメタデータから取得するものであってもよい。この場合、対象コンテンツの仮想視点に映るすべての被写体の映り込み時間がメタデータに含まれているものとする。映り込み時間の算出方法については、先述した図８を用いた処理方法と同様である。

ステップＳ７２では、処理対象コンテンツを関連コンテンツとして決定する。そして、ステップＳ７１で算出した主被写体の映り込み時間を関連コンテンツの識別番号に関連付けて、選出リストに記憶する。

ステップＳ７３では、ステップＳ６８で決定された関連コンテンツの総数が所定値以下であるか否かを判断する。所定値は、取引画面に表示できる関連コンテンツの数で決まる。関連コンテンツの総数が所定値より多い場合、ステップＳ７４へ進む。総数が所定値以下の場合、このフローチャートを終了する。

ステップＳ７４では、取引画面に表示できる関連コンテンツ数が上限値に収まるように、関連コンテンツの絞り込みを行う。表示画面生成部２０３は、ステップＳ７２で生成した選出リストを解析し、関連コンテンツごとに優先順位を付加する。優先順位は、選出リストに記される関連コンテンツごとの主被写体の映り込み時間を比較し、決定する。例えば、主被写体の映り込み時間が長い関連コンテンツから上位になるように優先順位を付加する。

実施形態２によれば、選択コンテンツの主被写体が映り込んでいる関連コンテンツを取引画面に表示する。これにより、実施形態１と比べてより関係性の高い関連コンテンツを表示できるようになる。

（実施形態３）
実施形態１では、コンテンツリスト５０１からユーザが選択した選択コンテンツと関連コンテンツを表示した。しかしながら、ユーザは関連コンテンツが選択コンテンツとどのように関連しているのか容易に把握できない可能性がある。そこで実施形態３では、選択コンテンツと関連コンテンツを被写体の位置情報に基づいて仮想空間に配置した取引画像を生成する。なお、取引画像に限定せずに、ユーザの所有するデジタルコンテンツを表示する表示画面に用いてもよい。

次に実施形態３について図９から図１１を用いて説明する。

図９は、Ｓ４５で表示画面生成部２０３が生成する取引画面９００の一例である。取引画面９００は、バスケットコート９０１を斜め上方向からの視点で表示した表示画面である。バスケットコート９０１の上には、選手ごとのデジタルコンテンツ９１０―９１９が配置されている。デジタルコンテンツの画像表示領域１０２には仮想視点画像が表示される。また、図示していないが、デジタルコンテンツのいずれかの面には選手名が表示されるものとする。尚、表示画面はこれに限定せず、バスケットコート９０１の真上からの俯瞰視点などであってもよい。また、ユーザ操作によってバスケットコート９０１の視点を自由に変更できるものであってもよい。バスケットコート９０１は、デジタルコンテンツを配置する仮想空間を示す。仮想空間は、デジタルコンテンツに応じて変更され、サッカーの仮想視点画像を含むデジタルコンテンツの場合は、サッカーコートを仮想空間とする。テニスの仮想視点画像を含むデジタルコンテンツの場合は、テニスコートを仮想空間とする。また、本実施形態では、バスケットコート９０１は３次元モデルとするが、これに限定されず画像でも構わない。取引画面は再生用ＧＵＩ９２０を更に表示する。

バスケットコート９０１上のデジタルコンテンツの中から所望の選手のデジタルコンテンツを選択すると、図１０に示す取引画面９００に切り替わる。例えば、図９の取引画面９００でデジタルコンテンツ９１０を選択すると、時系列リスト１００１が取引画面９００に重畳して表示される。時系列リスト１００１は、デジタルコンテンツ９１０の主被写体と同じ主被写体をターゲットとした他のデジタルコンテンツ１０１１－１０１６を時系列順に左側から並べたリストである。つまり、時系列リスト１００１は、ユーザが選択したデジタルコンテンツの被写体に着目し、同じ試合において生成されたその被写体のデジタルコンテンツを一覧表示する。また、時系列リスト１００１に表示するデジタルコンテンツはユーザが選択したデジタルコンテンツの主被写体であればよく、異なるシーンに対応するデジタルコンテンツを表示しても構わない。

表示画面生成部２０３は、メタデータ管理リストに記されるメタデータの被写体の識別情報に基づいて、同じ主被写体をターゲットとするデジタルコンテンツを選別する。そして、選別したデジタルコンテンツを、メタデータの撮影時刻情報に基づいて時系列順に並び替えて時系列リスト１００１に表示する。

ユーザは、時系列リスト１００１に表示されるデジタルコンテンツの中から所望のデジタルコンテンツを選択できる。例えば、時系列リスト１００１には、ある選手が試合終了までに放ったすべてシュートのデジタルコンテンツが表示されているものとする。試合開始後１５分に決まったダンクシュートのデジタルコンテンツがユーザの所望するものであるならば、ユーザはそのデジタルコンテンツを選択することができる。

時系列リスト１００１に表示されるデジタルコンテンツを選択すると、図９の取引画面９００に戻る。図９の取引画面９００に戻る際、バスケットコート９０１上のデジタルコンテンツは更新される。例えば、デジタルコンテンツ９１０を選択して時系列リスト１００１を表示した場合、デジタルコンテンツ９１０は時系列リスト１００１で選択したデジタルコンテンツに置き換わる。また、デジタルコンテンツ９１０以外のデジタルコンテンツ９１１―９１９は、デジタルコンテンツ９１０の関連コンテンツとして処理される。デジタルコンテンツ９１１－９１９は、後述する関連コンテンツの選出方法に基づいて最適なデジタルコンテンツに置き換わる。

また、デジタルコンテンツの更新と同時に、更新後のデジタルコンテンツのメタデータに含まれる被写体の位置情報に基づいて、デジタルコンテンツを配置する。具体的には、被写体の３次元空間上の位置に対応する仮想空間上の位置に、デジタルコンテンツを配置する。その後、選択コンテンツの撮影時間を再生するように、デジタルコンテンツが移動する。具体的には、デジタルコンテンツ９１０の被写体の位置情報に基づいて、バスケットコート９０１上をデジタルコンテンツが移動する。その際、デジタルコンテンツ９１０の撮影時刻に同期するようにデジタルコンテンツ９１１－９１９が移動する。この時、関連コンテンツの撮影時刻が選択コンテンツの撮影時刻と重複していない時刻において、撮影時刻が重複している撮影時刻の中から最も近い撮影時刻における被写体の位置情報に基づいて、デジタルコンテンツを配置する。つまり、選択コンテンツの撮影時刻と重複していない時刻では関連コンテンツは移動せず、重複する時刻になると関連コンテンツが移動することになる。デジタルコンテンツ９１０の終了時刻まで再生したら、開始時刻から自動的に繰り返してもよい。

再生用ＧＵＩ９２０は、選択コンテンツの撮影時間の再生および一時停止、撮影時間のシークバーを含む。ユーザは、選択コンテンツの撮影時間を再生することにより、選択コンテンツの被写体と関連コンテンツの被写体がどのように動く映像であるのか大まかに把握することができる。そのため、被写体間の位置関係や動きをより正確に把握できる。

また、デジタルコンテンツの画像表示領域１０２には、再生時刻に同期するように仮想視点画像が表示される。

尚、デジタルコンテンツ９１１－９１９のいずれかで、関連コンテンツが見つからなかった場合、該当するデジタルコンテンツの透明度を上げて薄く表示してもよい。

図１１は、実施形態３に係る関連コンテンツの選出方法を示すフローチャートである。このフローチャートは、図４で示すフローチャートのステップＳ４５のタイミングで動作する。尚、図１１において図６および図７と同じ符号のステップは同じ処理であるため説明を省略する。

ステップＳ１１００では、被写体（選手）ごとに割り当てる関連コンテンツを決定する。まず、ステップＳ７２で生成された選出リストに記載の識別番号を用いて、関連コンテンツのメタデータをメタデータ管理リストから取得する。そして、メタデータに含まれる被写体の識別情報に基づいて、選出リストに記載の関連コンテンツを被写体の識別情報ごとのグループに分類する。その後、グループごとに関連コンテンツに紐づけられた主被写体の映り込み時間を比較する。比較した結果、主被写体の映り込み時間が最も長い関連コンテンツを、被写体に割り当てる関連コンテンツとして決定する。したがって、このステップの処理により、デジタルコンテンツ９１１－９１９に割り当てる関連コンテンツが決定する。

実施形態３によれば、デジタルコンテンツは対応する被写体の位置情報に基づいて移動する。これによりバスケットコート上における被写体の位置と、被写体のプレーを同時に把握できるようになる。また、被写体どうしの位置関係も把握できるようになる。

なお、本実施形態では、各コンテンツに対応する被写体の位置情報に基づいて、選択コンテンツと関連コンテンツを３次元空間上に配置したが、選択コンテンツと同じシーンに対応する関連コンテンツの数が少ない可能性が考えられる。そのような場合、関連コンテンツを表示せず、選択コンテンツの仮想視点画像の撮像範囲に含まれる被写体の位置情報を取得することにより、選択コンテンツに含まれる被写体どうしの位置関係を表示してもよい。具体的には、選択コンテンツの主被写体の位置とその他被写体の位置に簡易的な３次元形状モデルを配置する。このようにすることで、選択コンテンツの主被写体とその他被写体との位置関係が把握でき、ユーザが選択した選択コンテンツが所望のデジタルコンテンツか否かを判断するための情報をより詳細に提供できる。

なお、本実施形態におけるデジタルコンテンツが被写体を示す簡易的な３次元形状モデルである場合、被写体ごとに３次元形状モデルの色を変更してもよい。例えば、バスケットボールのデジタルコンテンツにおいて、被写体が所属するチームのチームカラーなどである。その場合、メタデータに被写体のチーム名を記録しておく。また、本実施形態におけるデジタルコンテンツが仮想視点画像の生成に用いる被写体の３次元形状モデルである場合、メタデータに撮影時刻に応じた被写体の形状情報を更に記録されているものとする。その場合、各デジタルコンテンツに対応する被写体の３次元形状モデルがバスケットコート状で動作を行うため、より具体的に被写体のプレーを把握できるようになる。

（その他の実施形態）
上述の実施形態では、バスケットボールの試合を撮影する場合を例示したが、撮影対象は必ずしもこれに限定されない。例えば、サッカー、ラグビー、テニス、アイススケート等の他のスポーツの試合や、ライブ、コンサート等の演奏の撮影にも、本実施形態を適用することができる。

上述の実施形態では、図５、図９、図１０で示す画面を取引画面として説明したが、これに限定されない。例えば、ユーザが所有するデジタルコンテンツを表示するための表示画面としてもよい。

以上、本開示を複数の実施形態に基づいて詳述してきたが、本開示は上記実施形態に限定されるものではなく、本開示の主旨に基づき種々の変形が可能であり、それらを本開示の範囲から除外するものでない。

尚、本実施形態における制御の一部または全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理システム等に供給するようにしてもよい。そしてその画像処理システム等におけるコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、および該プログラムを記憶した記憶媒体は本開示を構成することとなる。

尚、本実施形態の開示は、以下の構成、方法およびプログラムを含む。

（装置１）
複数の撮像装置により撮像された複数の撮像画像に基づいて生成される仮想視点画像であって、１つの被写体と対応付けられた仮想視点画像を含む３次元オブジェクトを複数取得する取得手段と、
複数の前記３次元オブジェクトのうち、ユーザ操作に基づいて第１の３次元オブジェクトを特定する第１特定手段と、
複数の前記３次元オブジェクトのうち、仮想視点画像に対応する仮想カメラの撮像範囲に前記第１の３次元オブジェクトの仮想視点画像と対応付けられた被写体を含む仮想視点画像、を含む第２の３次元オブジェクトを特定する第２特定手段と、
前記第１の３次元オブジェクトと前記第２の３次元オブジェクトとを含む表示画像を生成する生成手段と、
を有することを特徴とする装置。

（装置２）
前記第１の３次元オブジェクトおよび前記第２の３次元オブジェクトは、仮想視点画像を表示する表示面を有する立体形状の３次元オブジェクトであることを特徴とする装置１に記載の装置。

（装置３）
前記第１の３次元オブジェクトは、前記第１の仮想視点画像に対応付けられた被写体を示す３次元形状モデルであり、
前記第２の３次元オブジェクトは、前記第２の仮想視点画像に対応付けられた被写体を示す３次元形状モデルであることを特徴とする装置１に記載の装置。

（装置４）
前記第１の３次元オブジェクトおよび前記第２の３次元オブジェクトは、メタデータが付与されていることを特徴とする装置１乃至３の何れか１項に記載の装置。

（装置５）
前記メタデータは、撮影時刻情報と、被写体の位置情報と、被写体の識別情報と、の少なくとも何れかが含まれることを特徴とする装置４に記載の装置。

（装置６）
前記第１の３次元オブジェクトおよび前記第２の３次元オブジェクトは、同じシーンを示す仮想視点画像を含むことを特徴とする装置１乃至５の何れか１項に記載の装置。

（装置７）
前記第２特定手段は、複数の前記３次元オブジェクトのうち、前記第１の３次元オブジェクトの仮想視点画像と対応付けられた被写体が仮想カメラの撮像範囲に含まれる時間に基づいて、前記第２の３次元オブジェクトを特定することを特徴とする装置１乃至６の何れか１項に記載の装置。

（装置８）
前記第２特定手段は、複数の前記３次元オブジェクトのうち、前記第１の３次元オブジェクトの撮影時刻情報に基づいて、撮影時刻が重複する割合が所定値より高い前記撮影時刻情報を有する前記第２の３次元オブジェクトを特定することを特徴とする装置５に記載の装置。

（装置９）
前記表示画像は、仮想空間を示す背景を含むことを特徴とする装置１乃至８の何れか１項に記載の装置。

（装置１０）
前記背景は、バスケットコート、サッカーコート、テニスコートの少なくとも何れかであることを特徴とする装置９に記載の装置。

（装置１１）
前記表示画像は、前記第１の３次元オブジェクトおよび前記第２の３次元オブジェクトの前記被写体の位置情報に基づいて、前記第１の３次元オブジェクトおよび前記第２の３次元オブジェクトを仮想空間に配置した画像であることを特徴とする装置５に記載の装置。

（装置１２）
前記表示画像は、前記第１の３次元オブジェクトの仮想視点画像に対応付けられた被写体の３次元空間上の位置に対応する仮想空間上の位置に、前記第１の３次元オブジェクトを配置し、前記第２の３次元オブジェクトの仮想視点画像に対応付けられた被写体の３次元空間上の位置に対応する仮想空間上の位置に、前記第２の３次元オブジェクトを配置し、前記第１の３次元オブジェクトと前記第２の３次元オブジェクトを撮像範囲に含むような仮想カメラに対応する仮想視点画像であることを特徴とする装置１１に記載の装置。

（装置１３）
前記表示画面は、前記第１の３次元オブジェクトの前記撮影時刻情報に基づいて、前記第１の３次元オブジェクトの位置および前記第２の３次元オブジェクトの位置を変更することを特徴とする装置１２に記載の装置。

（装置１４）
前記表示画像は、仮想視点画像であって、
前記生成手段は、ユーザにより指定された仮想カメラの位置および向きに対応する仮想視点画像を生成することを特徴とする装置１１に記載の装置。

（装置１５）
複数の撮像装置により撮像された複数の撮像画像に基づいて生成される仮想視点画像であって、１つの被写体と対応付けられた仮想視点画像を含む３次元オブジェクトを取得する取得手段と、
複数の前記３次元オブジェクトのうち、ユーザ操作に基づいて第１の３次元オブジェクトを特定する第１特定工程と、
複数の前記３次元オブジェクトのうち、前記第１の３次元オブジェクトの仮想視点画像と同じシーンを示す仮想視点画像を含む第２の３次元オブジェクトを特定する第２特定工程と、
前記第１のオブジェクトの仮想視点画像に対応付けられた被写体の位置情報に基づいて仮想空間に配置された前記第１のオブジェクトと、前記第２のオブジェクトの仮想視点画像に対応付けられた被写体の位置情報に基づいて前記仮想空間に配置された前記第２のオブジェクトと、を含む仮想視点画像を生成する生成手段と
を有することを特徴とする装置。

（方法）
複数の撮像装置により撮像された複数の撮像画像に基づいて生成される仮想視点画像であって、１つの被写体と対応付けられた仮想視点画像を含む３次元オブジェクトを取得する取得工程と、
複数の前記３次元オブジェクトのうち、ユーザ操作に基づいて第１の３次元オブジェクトを特定する第１特定工程と、
複数の前記３次元オブジェクトのうち、仮想視点画像に対応する仮想カメラの撮像範囲に前記第１の３次元オブジェクトの仮想視点画像と対応付けられた被写体を含む仮想視点画像、を含む第２の３次元オブジェクトを特定する第２特定工程と、
前記第１の３次元オブジェクトと前記第２の３次元オブジェクトとを含む表示画像を生成する生成工程と、
を有することを特徴とする方法。

（プログラム）
装置１乃至１４の何れか１項に記載の装置の各手段をコンピュータにより制御するためのコンピュータプログラム。

２０１ コンテンツ取得部
２０３ 表示画像生成部
２１３ 操作部
２１４ 表示部

Claims (17)

1. 複数の撮像装置により撮像された複数の撮像画像に基づいて生成される仮想視点画像であって、１つの被写体と対応付けられた仮想視点画像を含む３次元オブジェクトを複数取得する取得手段と、
   複数の前記３次元オブジェクトのうち、ユーザ操作に基づいて第１の３次元オブジェクトを特定する第１特定手段と、
   複数の前記３次元オブジェクトのうち、仮想視点画像に対応する仮想カメラの撮像範囲に前記第１の３次元オブジェクトの仮想視点画像と対応付けられた被写体を含む仮想視点画像、を含む第２の３次元オブジェクトを特定する第２特定手段と、
   前記第１の３次元オブジェクトと前記第２の３次元オブジェクトとを含む表示画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１の３次元オブジェクトおよび前記第２の３次元オブジェクトは、仮想視点画像を表示する表示面を有する立体形状の３次元オブジェクトであることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の３次元オブジェクトは、前記第１の仮想視点画像に対応付けられた被写体を示す３次元形状モデルであり、
   前記第２の３次元オブジェクトは、前記第２の仮想視点画像に対応付けられた被写体を示す３次元形状モデルであることを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の３次元オブジェクトおよび前記第２の３次元オブジェクトは、メタデータが付与されていることを特徴とする請求項１に記載の画像処理装置。
5. 前記メタデータは、撮影時刻情報と、被写体の位置情報と、被写体の識別情報と、の少なくとも何れかが含まれることを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の３次元オブジェクトおよび前記第２の３次元オブジェクトは、同じシーンを示す仮想視点画像を含むことを特徴とする請求項１に記載の画像処理装置。
7. 前記第２特定手段は、複数の前記３次元オブジェクトのうち、前記第１の３次元オブジェクトの仮想視点画像と対応付けられた被写体が仮想カメラの撮像範囲に含まれる時間に基づいて、前記第２の３次元オブジェクトを特定することを特徴とする請求項１に記載の画像処理装置。
8. 前記第２特定手段は、複数の前記３次元オブジェクトのうち、前記第１の３次元オブジェクトの撮影時刻情報に基づいて、撮影時刻が重複する割合が所定値より高い前記撮影時刻情報を有する前記第２の３次元オブジェクトを特定することを特徴とする請求項５に記載の画像処理装置。
9. 前記表示画像は、仮想空間を示す背景を含むことを特徴とする請求項１に記載の画像処理装置。
10. 前記背景は、バスケットコート、サッカーコート、テニスコートの少なくとも何れかであることを特徴とする請求項９に記載の画像処理装置。
11. 前記表示画像は、前記第１の３次元オブジェクトおよび前記第２の３次元オブジェクトの前記被写体の位置情報に基づいて、前記第１の３次元オブジェクトおよび前記第２の３次元オブジェクトを仮想空間に配置した画像であることを特徴とする請求項５に記載の画像処理装置。
12. 前記表示画像は、前記第１の３次元オブジェクトの仮想視点画像に対応付けられた被写体の３次元空間上の位置に対応する仮想空間上の位置に、前記第１の３次元オブジェクトを配置し、前記第２の３次元オブジェクトの仮想視点画像に対応付けられた被写体の３次元空間上の位置に対応する仮想空間上の位置に、前記第２の３次元オブジェクトを配置し、前記第１の３次元オブジェクトと前記第２の３次元オブジェクトを撮像範囲に含むような仮想カメラに対応する仮想視点画像であることを特徴とする請求項１１に記載の画像処理装置。
13. 前記表示画面は、前記第１の３次元オブジェクトの前記撮影時刻情報に基づいて、前記第１の３次元オブジェクトの位置および前記第２の３次元オブジェクトの位置を変更することを特徴とする請求項１２に記載の画像処理装置。
14. 前記表示画像は、仮想視点画像であって、
    前記生成手段は、ユーザにより指定された仮想カメラの位置および向きに対応する仮想視点画像を生成することを特徴とする請求項１１に記載の画像処理装置。
15. 複数の撮像装置により撮像された複数の撮像画像に基づいて生成される仮想視点画像であって、１つの被写体と対応付けられた仮想視点画像を含む３次元オブジェクトを取得する取得手段と、
    複数の前記３次元オブジェクトのうち、ユーザ操作に基づいて第１の３次元オブジェクトを特定する第１特定工程と、
    複数の前記３次元オブジェクトのうち、前記第１の３次元オブジェクトの仮想視点画像と同じシーンを示す仮想視点画像を含む第２の３次元オブジェクトを特定する第２特定工程と、
    前記第１のオブジェクトの仮想視点画像に対応付けられた被写体の位置情報に基づいて仮想空間に配置された前記第１のオブジェクトと、前記第２のオブジェクトの仮想視点画像に対応付けられた被写体の位置情報に基づいて前記仮想空間に配置された前記第２のオブジェクトと、を含む仮想視点画像を生成する生成手段と
    を有することを特徴とする画像処理装置。
16. 複数の撮像装置により撮像された複数の撮像画像に基づいて生成される仮想視点画像であって、１つの被写体と対応付けられた仮想視点画像を含む３次元オブジェクトを取得する取得工程と、
    複数の前記３次元オブジェクトのうち、ユーザ操作に基づいて第１の３次元オブジェクトを特定する第１特定工程と、
    複数の前記３次元オブジェクトのうち、仮想視点画像に対応する仮想カメラの撮像範囲に前記第１の３次元オブジェクトの仮想視点画像と対応付けられた被写体を含む仮想視点画像、を含む第２の３次元オブジェクトを特定する第２特定工程と、
    前記第１の３次元オブジェクトと前記第２の３次元オブジェクトとを含む表示画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
17. 請求項１乃至１４の何れか１項に記載の画像処理装置の各手段をコンピュータにより制御するためのコンピュータプログラム。

Images