JPWO2019021375A1 - 映像生成プログラム、映像生成方法および映像生成装置 - Google Patents

Abstract

映像生成装置（１００）は、複数の被写体に対して、複数のカメラにより複数の方向から撮影された複数の撮像フレームを合成することで生成される３次元空間内の各被写体の３次元モデルの位置を追跡する。映像生成装置（１００）は、３次元空間内に含まれる被写体の位置情報を取得する。映像生成装置（１００）は、被写体に関連する情報を取得する。映像生成装置（１００）は、各被写体の３次元モデルに基づいて生成された自由視点映像の領域のうち、被写体の位置情報に基づく被写体の付近の背景領域に、被写体に関連する情報を合成することで、合成映像を生成する。

Description

本発明は、映像生成プログラム等に関する。

自由視点映像という技術が知られている。たとえば、視点が異なる複数のカメラが撮影する多視点の画像から被写体の３次元情報を解析する。この３次元情報の解析結果に基づいて、自由視点映像を生成することにより、自由な視点位置、方向などから被写体の映像を観察することができる。

自由視点映像の技術は、サッカー、バスケットボールや野球などの各種スポーツの観戦で活用される。たとえば、サッカーの試合が行われる会場に設置された複数のカメラの映像を用いて、自由視点映像を作成すると、ピッチを走り回る選手やボールを自由な視点で視聴することができる。

また、自由視点映像の従来技術には、自由視点映像に所望の広告を表示させるものがある。この従来技術は、受信した視点から見た映像を生成し、映像の背景領域から広告を挿入する領域を決定し、決定した領域に広告を貼り付けた映像を合成する。たとえば、従来技術は、広告の挿入可能な領域のうち、所望の広告を表示可能な大きさを有し、かつ、受信した視点にとって広告が見やすい角度を有する領域を、広告挿入領域としている。

特開２０１２−０４８６３９号公報

しかしながら、上述した従来技術では、自由視点映像において、被写体に関連する情報を表示することができないという問題がある。

上記の従来技術では、広告を合成対象としており、広告が見やすい領域を広告挿入領域としている。しかし、合成対象となる情報が、映像内の特定の被写体に関連する情報である場合には、従来技術により決定された挿入領域に合成することは必ずしも適切ではない。

たとえば、スポーツの試合の自由視点映像において、選手Ａに関連する情報を、選手とは全く関係のない場所に表示すると、選手の動きと情報とを一度に視認しながら、試合を観戦することは難しい。選手Ａに関連する情報には、今回の試合のデータ、過去の成績、選手Ａに対するＳＮＳストリーミング、選手Ａが契約しているスポンサーの広告等がある。

本発明は、上記に鑑みてなされたものであって、自由視点映像において、被写体に関連する情報を表示することができる映像生成プログラム、映像生成方法および映像生成装置を提供することを目的とする。

第１の案では、コンピュータに下記の処理を実行させる。コンピュータは、複数の被写体に対して、複数のカメラにより複数の方向から撮影された複数の撮像フレームを合成することで生成される３次元空間内の各被写体の３次元モデルの位置を追跡する。コンピュータは、３次元空間内に含まれる被写体の位置情報を取得する。コンピュータは、被写体に関連する情報を取得する。コンピュータは、各被写体の３次元モデルに基づいて生成された自由視点映像の領域のうち、被写体の位置情報に基づく被写体の付近の背景領域に、被写体に関連する情報を合成することで、合成映像を生成する。

ユーザが希望する自由視点映像において、特定の被写体に関連する情報を、被写体の付近に重畳して表示することができる。

図１は、本実施例に係るシステムを示す図である。 図２は、本実施例に係る映像生成装置の構成を示す機能ブロック図である。 図３は、映像バッファのデータ構造の一例を示す図である。 図４は、ユーザ管理テーブルのデータ構造の一例を示す図である。 図５は、カメラパラメータテーブルのデータ構造の一例を示す図である。 図６は、広告管理テーブルのデータ構造の一例を示す図である。 図７は、選手データテーブルのデータ構造の一例を示す図である。 図８は、スペース管理テーブルのデータ構造の一例を示す図である。 図９は、スペース管理テーブルで定義されるスペースの一例を示す図である。 図１０は、トラッキングテーブルのデータ構造の一例を示す図である。 図１１は、カメラから生成される選手モデルの一例を示す図である。 図１２は、合成部が背景領域を特定する処理の一例を説明するための図である。 図１３は、背景領域に配置されるウィンドウの一例を示す図である。 図１４は、選手関連データ・コンテンツデータを合成した自由視点映像データの一例を示す図である。 図１５は、本実施例に係る映像生成装置の処理手順を示すフローチャートである。 図１６は、映像生成装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

以下に、本発明にかかる映像生成プログラム、映像生成方法および映像生成装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係る映像生成システムを示す図である。図１に示すようにこの映像生成システムは、カメラ１０ａ〜１０ｒと、端末装置６０と、映像生成装置１００とを有する。

このシステムは、カメラ１０ａ〜１０ｒ以外のカメラを有していてもよい。カメラ１０ａ〜１０ｒをまとめて適宜、カメラ１０と表記する。カメラ１０は、映像生成装置１００に接続される。また、映像生成装置１００は、ネットワーク５０を介して、端末装置６０に接続される。このシステムは、端末装置６０以外の端末装置を有していてもよい。

フィールド１には、選手２ａ〜２ｊがパフォーマンスを行う。以下の説明では、選手２ａ〜２ｊをまとめて適宜、選手２と表記する。図１では一例として、選手２がフィールド１でバスケットボールの試合を行う場合について示しているが、これに限定されるものではない。本発明は、バスケットボールの他にも、サッカー、バレーボール、野球、陸上等の競技や、ダンスや演奏・合唱コンクール等にも適用することができる。

カメラ１０は、所定のフレームレート（ＦＰＳ：Frames Per Second）によって撮像した、撮像範囲の映像データを、映像生成装置１００に出力するカメラである。映像データには、複数の撮像フレームが含まれる。カメラ１０は、映像データを出力する場合に、カメラ１０を一意に識別するカメラ識別データを、映像データに付加する。

端末装置６０は、映像生成装置１００から自由視点映像の情報を受信して表示する装置である。たとえば、ユーザは、端末装置６０を操作して、自由視点映像の視点位置を映像生成装置１００に通知し、通知した視点位置に基づく自由視点映像を視聴する。以下の説明では、端末装置６０のユーザが指定する、自由視点映像の視点位置を、「仮想カメラパラメータ」と表記する。

映像生成装置１００は、カメラ１０により撮像された映像データと、端末装置６０から通知される仮想カメラパラメータとを基にして、自由視点映像を生成する装置である。映像生成装置１００は、自由視点映像のデータを、端末装置６０に送信して表示させる。

図２は、本実施例に係る映像生成装置の構成を示す機能ブロック図である。図２に示すように、この映像生成装置１００は、カメラ１０に接続される。映像生成装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。

通信部１１０は、ネットワーク５０を介して、端末装置６０と通信を行う処理部である。通信部１１０は、通信装置に対応する。後述する制御部１５０は、通信部１１０を介して、端末装置６０とデータをやり取りする。

入力部１２０は、各種のデータを、映像生成装置１００に入力するための入力装置である。入力部１２０は、たとえば、キーボードやマウス、タッチパネルなどに対応する。

表示部１３０は、制御部１５０から出力されるデータを表示する表示装置である。表示部１３０は、たとえば、液晶ディスプレイやタッチパネルなどに対応する。

記憶部１４０は、映像バッファ１４０ａ、ユーザ管理テーブル１４０ｂ、カメラパラメータテーブル１４０ｃ、広告管理テーブル１４０ｄ、選手データテーブル１４０ｅ、スペース管理テーブル１４０ｆを有する。記憶部１４０は、トラッキングテーブル１４０ｇ、３次元モデルデータ１４０ｈ、仮想カメラパラメータ１４０ｉ、自由視点映像データ１４０ｊを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

映像バッファ１４０ａは、カメラ１０から受け付けた映像データを格納するバッファである。図３は、映像バッファのデータ構造の一例を示す図である。図３に示すように、この映像バッファ１４１は、カメラ識別データと、映像データとを対応づける。カメラ識別データは、カメラ１０を一意に識別するデータである。映像データは、対応するカメラ１０により撮像された映像データである。たとえば、１行目のレコードの映像データは、カメラ１０ａにより撮像された映像データである。

ユーザ管理テーブル１４０ｂは、端末装置６０を操作するユーザに関する情報を保持するテーブルである。図４は、ユーザ管理テーブルのデータ構造の一例を示す図である。図４に示すように、このユーザ管理テーブル１４０ｂは、ユーザＩＤ（Identification data）と、名前と、趣味と、バスケ経験とを対応づける。ユーザＩＤは、ユーザを一意に識別する情報である。名前は、ユーザの名前である。趣味・関心事は、ユーザの趣味または関心事を示す情報である。バスケ経験は、該当するユーザにバスケットボールの経験があるか否かを示す情報である。たとえば、バスケットボールの経験がある場合には、バスケ経験の欄に、経験年数が登録される。バスケットボールの経験がない場合には、バスケ経験の欄に、「なし」が登録される。

カメラパラメータテーブル１４０ｃは、カメラ１０のカメラパラメータを保持するテーブルである。図５は、カメラパラメータテーブルのデータ構造の一例を示す図である。図５に示すように、このカメラパラメータテーブル１４０ｃは、カメラ識別データと、カメラパラメータとを対応づける。カメラ識別データは、カメラ１０を一意に識別するデータである。たとえば、カメラパラメータは、カメラ１０の内部パラメータおよび外部パラメータを含む。内部パラメータは、カメラ１０の焦点距離などの情報を含む。外部パラメータは、カメラ１０の３次元座標、カメラ１０の方向などの情報を含む。

広告管理テーブル１４０ｄは、広告主がユーザに宣伝を行う場合に用いるコンテンツの情報を保持するテーブルである。図６は、広告管理テーブルのデータ構造の一例を示す図である。図６に示すように、この広告管理テーブル１４０ｄは、コンテンツＩＤと、広告主と、趣味と、コンテンツデータとを対応づける。

コンテンツＩＤは、広告のコンテンツを一意に識別する情報である。広告主は、コンテンツの広告主を示す情報である。趣味・関心事は、コンテンツのターゲットとなるユーザの趣味または関心事を示すものである。コンテンツデータは、広告となるコンテンツのデータである。たとえば、コンテンツＩＤ「Ｃ１０１」のコンテンツは、趣味が「パソコン」となるユーザをターゲットとするコンテンツである。コンテンツデータは、静止画像データであってもよいし、映像データであってもよい。

選手データテーブル１４０ｅは、選手に関する各種のデータを保持するテーブルである。図７は、選手データテーブルのデータ構造の一例を示す図である。図７に示すように、この選手データテーブル１４０ｅは、選手識別データと、選手関連データとを対応づける。選手識別データは、選手を一意に識別する情報である。

選手関連データは、選手に関連する各種の情報を含む。たとえば、選手関連データは、「選手のプロフィール」、「現在の試合のデータ」、「過去の試合の成績」、「選手間成績」、「予測データ」、「選手に対するコメント」、「選手が契約しているスポンサーのデータ」、「関連リンクのデータ」が含まれる。以下において、選手関連データに含まれる各情報の一例について説明するが、これに限定されるものではない。

「選手のプロフィール」は、該当選手の身体情報、チームの所属履歴などを含む。「現在の試合のデータ」は、該当選手が現在行っている試合について、該当選手のシュート成功率、シュート阻止率等を含む情報である。

「過去の試合の成績」は、過去の試合のシュート成功率、シュート阻止率、シーズン得点、生涯得点、スティール回数、リーグ内の選手のランキングなどの情報を含む。「選手間成績」は、該当選手と、他の選手（敵）との選手間成績、あるいは、該当選手と、他の選手（味方）との選手間成績を含む。たとえば、該当選手と、他の選手（敵）との選手間成績には、スティール回数、パス阻止回数を含む。該当選手と、他の選手（味方）との選手間成績には、味方とのパス成功率などを含む。

「予測データ」には、該当選手のある動作から次の動作へ移行する確率、得点確率などを含む。「選手に対するコメント」は、試合を行っている該当選手に対するＳＮＳ（Social Networking Service）のメッセージ等に対応する。「選手が契約しているスポンサーのデータ」は、選手が契約しているスポンサーに関連する広告のデータである。

「関連リンクのデータ」は、インターネットに存在する、選手のインタビューページへのリンク情報、初心者向けのプレイの解説などが含まれる。

スペース管理テーブル１４０ｆは、自由視点映像上で、広告のコンテンツを配置するスペースを定義する情報である。図８は、スペース管理テーブルのデータ構造の一例を示す図である。図８に示すように、このスペース管理テーブル１４０ｆは、スペースＩＤと、配置座標と、サイズとを対応づける。スペースＩＤは、広告を配置するスペースを一意に識別する情報である。配置座標は、３次元モデルデータ１４０ｈ上における、スペースの座標を示す情報である。サイズは、スペースのサイズを示す情報である。

図９は、スペース管理テーブルで定義されるスペースの一例を示す図である。図９に示すように、試合会場（３次元モデルデータ１４０ｈで再現される会場）には、スペースＫ１０１，Ｋ１０２，Ｋ１０３，Ｋ１０４，Ｋ１０５が指定されている。たとえば、スペースＫ１０１は、観客席に設定されるスペースである。スペースＫ１０３〜Ｋ１０４は、観客席下の領域に設定されるスペースである。スペースＫ１０５は、仮想的な立体オブジェクトに設定されるスペースである。なお、スペースは、図９に限られるものではない。たとえば、スペースを、コートの床面などに設置してもよい。

トラッキングテーブル１４０ｇは、各選手２のトラッキングデータを保持するテーブルである。図１０は、トラッキングテーブルのデータ構造の一例を示す図である。図１０に示すように、このトラッキングテーブル１４０ｇは、選手識別データと、トラッキングデータとを対応づける。選手識別データは、選手２を一意に識別するデータである。トラッキングデータは、該当する選手２について、時刻と、選手２の２次元座標（または、３次元座標）とを対応づけるデータである。

また、図１０では説明を省略するが、このトラッキングテーブル１４０ｇは、ボール（たとえば、バスケットボール）のトラッキングデータを保持していてもよい。ボールのトラッキングデータは、時刻と、ボールの２次元座標（または、３次元座標）とを対応づけるデータである。

３次元モデルデータ１４０ｈは、時刻と、フィールド１上の選手２の３次元モデルとを対応づけるものである。３次元モデルデータ１４０ｈに含まれる選手２の３次元モデルには、選手識別データが割り当てられる。

仮想カメラパラメータ１４０ｉは、自由視点映像を生成する場合の基準となる仮想カメラのパラメータを含むものである。仮想カメラのパラメータは、仮想カメラの３次元座標（Ｘ，Ｙ，Ｚ）と、仮想カメラの方向「θ」のデータを含む。たとえば、仮想カメラパラメータ１４０ｉは、端末装置６０から通知される。

自由視点映像データ１４０ｊは、３次元モデルデータ１４０ｈ上に配置される仮想カメラにより撮像される自由視点映像のデータである。自由視点映像は、２次元の映像である。たとえば、仮想カメラで撮影した自由視点映像は、３次元モデルデータ１４０ｈと実際のカメラ１０で撮影した映像から生成されることになる。

図２の説明に戻る。制御部１５０は、収集部１５０ａと、受信部１５０ｂと、トラッキング処理部１５０ｃ、生成部１５０ｄと、自由視点映像生成部１５０ｅと、合成部１５０ｆと、出力部１５０ｇとを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

収集部１５０ａは、ネットワーク５０を介して、図示しないサーバ装置等に定期的にアクセスし、選手データテーブル１４０ｅの選手関連データを収集する処理部である。収集部１５０ａは、収集した選手関連データを、選手データテーブル１４０ｅに登録する。

受信部１５０ｂは、カメラ１０から映像データを受信する処理部である。受付部１５０ｂは、カメラ識別データと、映像データとを対応づけて、映像バッファ１４０ａに格納する。

また、受信部１５０ｂは、端末装置６０から、ユーザＩＤと、仮想カメラパラメータを受信する。受信部１５０ｂは、ユーザＩＤを、合成部１５０ｆに出力する。受信部１５０ｂは、仮想カメラパラメータを、仮想カメラパラメータ１４０ｉとして、記憶部１４０に登録する。また、受信部１５０ｂは、端末装置６０から、更新対象となる仮想カメラパラメータを受信した場合には、受信した仮想カメラパラメータにより、仮想カメラパラメータ１４０ｉを更新する。

トラッキング処理部１５０ｃは、各選手２のトラッキングデータを生成する処理部である。トラッキング処理部１５０ｃは、選手２の選手識別データと、トラッキングデータとを対応づけて、トラッキングテーブル１４０ｇに格納する。

たとえば、トラッキング処理部１５０ｃは、映像バッファ１４０ａに格納される映像データの撮像フレームから選手２の特徴部分（色等）を検出し、２台のカメラ１０によるステレオカメラ（三角測量）の原理に基づいて、選手２の２次元座標を算出する。トラッキング処理部１５０ｃは、選手２の身長に基づいて、垂直方向の座標を算出する。

トラッキング処理部１５０ｃは、さらに背番号などの情報を用いて、個々の選手の選手識別データと結びつけてもよい。または、選手２は、予め信号を発生するセンサを装着しておき、トラッキング処理部１５０ｃは、係る信号を受信する複数の受信機（図示略）を用いて、選手２の２次元座標を算出しても良い。または、トラッキング処理部１５０ｃは、選手２のトラッキングデータを生成する外部のトラッキングシステム（図示略）から、トラッキングデータを受信し、トラッキングテーブル１４０ｇに登録してもよい。

生成部１５０ｄは、映像バッファ１４０ａに格納された各映像データの撮像フレームを合成し、各選手２の３次元モデルを生成することで、３次元モデルデータ１４０ｈを生成する処理部である。生成部１５０ｄは、カメラパラメータテーブル１４０ｃから、各カメラ１０のカメラパラメータを取得する。以下において、生成部１５０ｄの処理の一例について説明する。

生成部１５０ｄは、前後の撮像フレームの差分を取ることで、撮像フレームの領域を、「移動領域」と「非移動領域」に分離する。移動領域は、移動する選手２やボールの領域に対応し、非移動領域は、選手２やボール以外のフィールド１や背景の領域に対応する。

生成部１５０ｄは、移動領域の各点について、ステレオ画像の原理に基づき、３次元座標を算出することで、移動領域の３次元モデル（深度データ）を生成する。生成部１５０ｄは、各移動領域について、時刻毎に上記処理を繰り返し実行することで、時刻毎の選手２の３次元モデルを生成する。以下の説明では、選手２の３次元モデルを、「選手モデル」と表記する。

図１１は、カメラから生成される選手モデルの一例を示す図である。図１１に示す例では、各カメラ１０から選手モデル２０が生成されている。

生成部１５０ｄは、非移動領域についても、選手モデルを生成する処理と同様にして、非移動領域の３次元モデルを生成しても良いし、予め生成しておいたフィールドや背景の３次元モデルを用いても良い。または、生成部１５０ｄは、初回に選手モデルと同様にして、非移動領域の３次元モデルを生成し、生成した非移動領域の３次元モデルを使い回しても良い。

生成部１５０ｄは、時刻毎の移動領域の３次元モデル（選手モデル）および非移動領域の３次元モデルを組み合わせることで、３次元モデルデータ１４０ｈを生成する。なお、生成部１５０ｄは、移動領域および非移動領域を分けることなく、３次元モデルを生成してもよい。

生成部１５０ｄは、ある時刻の３次元モデルデータ１４０ｈの選手モデルの座標と、トラッキングテーブル１４０ｇのある時刻における選手２の座標とを比較することで、３次元モデルに選手識別データを割り当てる。

たとえば、生成部１５０ｄは、時刻ｔの３次元モデルデータ１４０ｈの選手モデルと座標と、時刻ｔのトラッキングテーブル１４０ｇのトラッキングデータの座標とを比較し、最も選手モデルの座標に近いトラッキングデータを特定する。生成部１５０ｄは、特定したトラッキングデータに対応づけられた選手識別データを、選手モデルの選手識別データとして判定する。生成部１５０ｄは、３次元モデルデータ１４０ｈの各選手モデルに対して、選手識別データを付加する。

自由視点映像生成部１５０ｅは、３次元モデルデータ１４０ｈの３次元空間上に仮想カメラを配置し、自由視点映像データ１４０ｊを生成する処理部である。自由視点映像生成部１５０ｅは、生成した自由視点映像データ１４０ｊを記憶部１４０に格納する。

たとえば、自由視点映像生成部１５０ｅは、仮想カメラパラメータ１４０ｉの３次元座標に対応する、３次元モデルデータ１４０ｈの３次元座標に、仮想カメラを設置する。自由視点映像生成部１５０ｅは、設置した仮想カメラについて、仮想カメラパラメータ１４０ｉのカメラ方向θの撮像範囲に含まれる画像を、自由視点映像の撮像フレームとして生成する。

たとえば、自由視点映像生成部１５０ｅは、カメラパラメータテーブル１４０ｃを参照して、選手モデルの各面（ポリゴン）に対して、最適な撮影方向となるカメラ１０をそれぞれ選択し、選択した各カメラ１０により撮影された撮像フレームの該当部分を当てはめる処理を実行することで、仮想カメラから見えるであろう画像を再現するレンダリングを行う。自由視点映像生成部１５０ｅは、フレーム毎に上記処理を繰り返し実行することで、フレーム毎の撮像フレームを生成し、自由視点映像データ１４０ｊを生成する。自由視点映像生成部１５０ｅは、仮想カメラパラメータ１４０ｉの更新に合わせて、仮想カメラを設置する３次元座標（Ｘ，Ｙ，Ｚ）、カメラ方向θを更新しつつ、自由視点映像データ１４０ｊを生成する。

合成部１５０ｆは、選手データテーブル１４０ｅに登録された選手関連データを表示するウィンドウを、自由視点映像データ１４０ｊに合成する処理部である。また、合成部１５０ｆは、広告管理テーブル１４０ｄに登録されたコンテンツデータを、自由視点映像データ１４０ｊに合成する処理も実行する。

まず、合成部１５０ｆが、選手データテーブル１４０ｅに登録された選手関連データを表示するウィンドウを、自由視点映像データ１４０ｊに合成する処理の一例について説明する。合成部１５０ｆは、仮想カメラの位置と、３次元モデル上の選手２の位置との関係から、自由視点映像データ１４０ｊ上における、選手２の背景領域を特定し、特定した背景領域に、選手関連データを表示するウィンドウを合成する。背景領域は、後述するように、選手モデル２５の付近の領域である。たとえば、仮想カメラに対して反対側の選手モデル２５の方向を背景方向とした場合に、選手モデル２５から背景方向に向かって所定距離離れた位置を、選手モデル２５の付近の領域（背景領域）とする。

図１２は、合成部が背景領域を特定する処理の一例を説明するための図である。図１２に示すように、仮想カメラ２４の３次元座標を（Ｘ，Ｙ，Ｚ）とし、３次元空間上の選手モデル２５の３次元座標を（ｘ，ｙ，ｚ）とする。合成部１５０ｆは、仮想カメラ２４の３次元座標と、選手モデル２５の３次元座標とを通る直線２６を算出する。合成部１５０ｆは、直線２６に沿って、３次元座標（ｘ，ｙ，ｚ）からｙ軸の負の方向へＬ１だけ移動した点２６ａを特定し、点２６ａから、ｘ軸の負の方向にＬ２だけ移動した点２６ｂの座標（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）を、背景座標として算出する。Ｌ１およびＬ２の値は予め設定されているものとする。

合成部１５０ｆは、３次元モデル上の背景座標（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）を、自由視点映像データ１４０ｊ上の背景座標に変換することで、自由視点映像データ上における、選手２の背景領域を特定する。たとえば、合成部１５０ｆは、３次元モデル上の座標と、仮想カメラパラメータ１４０ｉに応じた自由視点映像データの座標とを関係を定義した変換テーブルを用いて、３次元モデル上の背景座標（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）を、自由視点映像データ１４０ｊ上の背景座標に変換する。または、合成部１５０ｆは、仮想カメラパラメータ１４０ｉと、３次元モデル上の背景座標（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）とを基にして、次元モデル上の背景座標（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）に対応する、自由視点映像データ１４０ｊ上の背景座標を算出してもよい。

図１３は、背景領域に配置されるウィンドウの一例を示す図である。図１３に示す自由視点映像データ３０Ａは、選手モデル２５の前方斜め上に、仮想カメラ（図示略）が配置されている場合に設定されるウィンドウ３５ａを示す。自由視点映像データ３０Ｂは、選手モデル２５の後ろに、仮想カメラ（図示略）が配置されている場合に設定されるウィンドウ３５ｂを示す。自由視点映像データ３０Ｃは、選手モデル２５の後ろ斜め下に、仮想カメラ（図示略）が配置されている場合に設定されるウィンドウ３５ｃを示す。図１３に示すように、各ウィンドウ３５ａ〜３５ｃは、選手モデル２５の後ろかつ、重複しない領域に配置されるので、選手の動きを確認しつつ、選手関連データを確認することが可能となる。

ここで、合成部１５０ｆは、選手モデル２５の選手識別データと、選手データテーブル１４０ｅとを比較して、選手モデル２５に対応する選手関連データを取得し、上記のように設定したウィンドウに、選手関連データを表示させる。合成部１５０ｆは、３次元モデルデータ１４０ｈに含まれる各選手モデルに対して、上記処理を繰り返し実行することで、各選手モデルに対応するウィンドウを設定し、各選手モデルに対する選手関連データを表示させる。なお、合成部１５０ｆは、予め設定される選手に対してのみ、選手関連データを表示させる処理を行ってもよい。

なお、合成部１５０が、自由視点映像データ１４０ｊに選手関連データを表示させる表示タイミングを、たとえば、下記の表示タイミング１〜４のうち、いずれか１つの表示タイミングとしてもよいし、他の表示タイミングでもよい。
表示タイミング１：予め指定された表示開始の時刻。
表示タイミング２：端末装置６０を操作するユーザにより指示される表示タイミング。
表示タイミング３：センサーサーバ（図示略）から指示される表示タイミング。
表示タイミング４：試合中におけるプレーの切り替わりのタイミング。

表示タイミング４について、補足説明を行う。合成部１５０ｆは、トラッキングテーブル１４０ｇに格納された、ボールのトラッキングデータを基にして、プレーの切り替わりタイミングを判定する。たとえば、合成部１５０ｆは、ボールの座標が、所定範囲内から、所定範囲外となった場合（ボールアウト時）に、プレーの切り替わりタイミングと判定する。

一方、合成部１５０ｆが、自由視点映像データ１４０ｊに表示させている選手関連データの表示を終了させる終了タイミングを、たとえば、下記の表示終了タイミング１〜４のうち、いずれか１つの表示終了タイミングとしてもよいし、他の表示終了タイミングでもよい。
表示終了タイミング１：予め指定された表示終了の時刻。
表示終了タイミング２：選手関連データの表示を開始した時刻から所定時間後。
表示終了タイミング３：センサーサーバ（図示略）から指示される表示終了タイミング。
表示終了タイミング４：選手関連データを表示した後、試合中における次のプレーの切り替わりのタイミング。

続いて、合成部１５０ｆが、広告管理テーブル１４０ｄに登録されたコンテンツデータを、自由視点映像データ１４０ｊに合成する処理の一例について説明する。まず、合成部１５０ｆは、下記の処理を実行して、合成対象となるコンテンツデータを取得する。

合成部１５０ｆは、受信部１５０ｂから取得するユーザＩＤと、ユーザ管理テーブル１４０ｂとを比較して、ユーザの趣味を判定する。また、合成部１５０ｆは、判定した趣味と、広告管理テーブル１４０ｄとを比較して、ユーザの趣味に対応するコンテンツデータを特定する。たとえば、図６を用いて説明すると、合成部１５０ｆは、ユーザの趣味が「パソコン」である場合には、コンテンツＩＤ「Ｃ１０１」に対応するコンテンツデータを取得する。なお、合成部１５０ｆは、予め定められたコンテンツデータを取得してもよい。

合成部１５０ｆは、合成対象となるコンテンツデータを取得した後に、スペース管理テーブル１４０ｆを基にして、コンテンツデータを配置するスペースを判定する。たとえば、合成部１５０ｆは、コンテンツデータのサイズに最も近いサイズのスペースを、スペース管理テーブル１４０ｆから選択する。合成部１５０ｆは、選択したスペースの配置座標に対応する、３次元モデルデータ１４０ｈ上の位置に、コンテンツデータを配置する。このように、合成部１５０ｆが、３次元モデルデータ１４０ｈ上に、コンテンツデータを配置しておくことで、自由視点映像データ１４０ｊに、コンテンツデータが合成されることになる。

合成部１５０ｆが、自由視点映像データ１４０ｊに、コンテンツデータを表示させる表示タイミングは、上記の表示タイミング１〜４のうち、いずれか１つの表示タイミングでもよいし、他の表示タイミングでもよい。また、合成部１５０ｆが、表示させているコンテンツデータの表示を終了させる終了タイミングは、上記の表示終了タイミング１〜４のうち、いずれかの表示終了タイミングでもよいし、他の表示終了タイミングでもよい。

図１４は、選手関連データ・コンテンツデータを合成した自由視点映像データの一例を示す図である。図１４に示すように、この自由視点映像データ１４０ｊは、各選手の選手関連データを示すウィンドウ３６ａ，３６ｂ，３６ｃと、コンテンツデータ３７が合成されている。

出力部１５０ｅは、自由視点映像データ１４０ｊを、端末装置６０に送信して、自由視点映像データ１４０ｊを表示させる処理部である。

次に、本実施例に係る映像生成装置１００の処理手順の一例について説明する。図１５は、本実施例に係る映像生成装置の処理手順を示すフローチャートである。図１５に示すように、この映像生成装置１００の受信部１５０ｂは、複数のカメラ１０から映像データを取得する（ステップＳ１０１）。映像生成装置１００の生成部１５０ｄは、３次元モデルデータ１４０ｈの生成を開始する（ステップＳ１０２）。

受信部１５０ｂは、ユーザの端末装置６０から、ユーザＩＤおよび仮想カメラパラメータ１４０ｉを取得する（ステップＳ１０３）。映像生成装置１００の合成部１５０ｆは、３次元モデルデータ１４０ｈに、コンテンツデータを配置する（ステップＳ１０４）。

映像生成装置１００の自由視点映像生成部１５０ｅは、仮想カメラパラメータ１４０ｉに基づき、自由視点映像を生成する（ステップＳ１０５）。映像生成装置１００のトラッキング処理部１５０ｃは、自由視点映像における各選手の位置を追跡する（ステップＳ１０６）。

合成部１５０ｆは、選手に対する選手関連データを検索する（ステップＳ１０７）。合成部１５０ｆは、仮想カメラパラメータおよび選手（選手モデル）の位置関係から、背景領域を算出する（ステップＳ１０８）。

合成部１５０ｆは、自由視点映像データ１４０ｊの背景領域に、選手関連データを表示するウィンドウを合成する（ステップＳ１０９）。映像生成装置１００の出力部１５０ｇは、選手関連データおよびコンテンツデータを合成した、自由視点映像データ１４０ｊを、ユーザの端末装置６０に送信する（ステップＳ１１０）。

映像生成装置１００は、処理を継続する場合には（ステップＳ１１１，Ｙｅｓ）、ステップＳ１１２に移行する。一方、映像生成装置１００は、処理を継続しない場合には（ステップＳ１１１，Ｎｏ）、処理を終了する。ステップＳ１１２において、映像生成装置１００の受信部１５０ｂは、端末装置６０から、仮想カメラパラメータ１４０ｉの更新を受け付けた場合には、仮想カメラパラメータ１４０ｉを更新し（ステップＳ１１２）、ステップＳ１０５に移行する。

次に、本実施例に係る映像生成装置１００の効果について説明する。映像生成装置１００は、自由視点映像データ１４０ｊに含まれる選手の位置付近の背景領域を特定し、特定した背景領域に選手関連データを表示するウィンドウを合成する処理を実行する。これにより、ユーザの希望する視点の自由視点映像データに、選手に関連する情報を表示することができる。

たとえば、スポーツの試合の自由視点映像において、選手２に関連するデータを、選手２と全く関係のない場所に表示すると、選手の動きと情報とを一度に視認しながら、試合を観戦することが難しくなる。こういった観点から、選手２の自由視点映像における位置付近に、選手に関連する情報を表示することが好ましい。

映像生成装置１００は、ユーザＩＤを取得し、ユーザＩＤに対応するコンテンツデータを特定し、特定したコンテンツデータを、自由視点映像データの所定領域に表示させる。これにより、ユーザの希望する視点の自由視点映像データを視聴可能としつつ、ユーザに商品の宣伝を行うことができる。

なお、本実施例では一例として、映像生成装置１００が、端末装置６０から、ユーザＩＤを取得する場合について説明したがこれに限定されるものではない。たとえば、広告管理テーブル１４０ｄは、ユーザの属性情報と、コンテンツデータとを対応づけた情報を保持しておく。映像生成情報１００は、端末装置６０から、ユーザの属性情報を取得し、コンテンツデータを広告管理テーブル１４０ｄから取得してもよい。たとえば、ユーザの属性情報は、ユーザの性別、年齢、居住地区等の情報とする。

映像生成装置１００は、仮想カメラパラメータ１４０ｉと、選手モデルの位置とを基にして、コメントを配置する背景領域を特定する。これにより、選手関連データが、選手の映像と重複することを抑止することができる。

映像生成装置１００は、選手関連データとして、たとえば、選手の試合の情報、選手の過去の成績、選手に対するコメント情報、または、選手が契約中のスポンサーに関する情報をウィンドウに表示させる。これにより、選手に関する様々な情報を、ユーザに通知することが可能となる。

なお、表示生成装置１００の合成部１５０ｆは、自由視点映像データ１４０ｊに含まれる全ての選手２について、上記のウィンドウを合成すると、様々な情報が一度に表示させてしまい、情報をうまく伝えられない場合がある。このため、合成部１５０ｆは、合成するウィンドウを取捨選択してもよい。たとえば、合成部１５０ｆは、自由視点映像データ１４０ｊに、所定人数以上の選手２が含まれている場合には、予め指定した選手２に関するウィンドウを、自由視点映像データ１４０ｊに合成する。または、合成部１５０ｆは、ボールの支配率等の高い選手（試合のキーパーソンとなる選手）のウィンドウを優先的に選択するように処理を行ってもよい。

ここで、本実施例で説明した映像生成装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１６は、映像生成装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図１６に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、無線ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７は、収集プログラム２０７ａ、受信プログラム２０７ｂ、トラッキング処理プログラム２０７ｃ、生成プログラム２０７ｄを有する。また、ハードディスク装置２０７は、自由視点映像生成プログラム２０７ｅ、合成プログラム２０７ｆ、出力プログラム２０７ｇを有する。

ＣＰＵ２０１は、収集プログラム２０７ａ、受信プログラム２０７ｂ、トラッキング処理プログラム２０７ｃ、生成プログラム２０７ｄを読み出して、ＲＡＭ２０６に展開する。ＣＰＵ２０１は、自由視点映像生成プログラム２０７ｅ、合成プログラム２０７ｆ、出力プログラム２０７ｇを読み出してＲＡＭ２０６に展開する。

収集プログラム２０７ａは、収集プロセス２０６ａとして機能する。受信プログラム２０７ｂは、受信プロセス２０６ｂとして機能する。トラッキング処理プログラム２０７ｃは、トラッキング処理プロセス２０６ｃとして機能する。生成プログラム２０７ｄは、生成プロセス２０６ｄとして機能する。自由視点映像生成プログラム２０７ｅは、自由視点映像生成プロセス２０６ｅとして機能する。合成プログラム２０７ｆは、合成プロセス２０６ｆとして機能する。出力プログラム２０７ｇは、出力プロセス２０６ｇとして機能する。

収集プロセス２０６ａの処理は、収集部１５０ａの処理に対応する。受信プロセス２０６ｂの処理は、受信部１５０ｂの処理に対応する。トラッキング処理プロセス２０６ｃの処理は、トラッキング処理部１５０ｃの処理に対応する。生成プロセス２０６ｄの処理は、生成部１５０ｄの処理に対応する。自由視点映像生成プロセス２０６ｅの処理は、自由視点映像生成部１５０ｅの処理に対応する。合成プロセス２０６ｆの処理は、合成部１５０ｆの処理に対応する。出力プロセス２０６ｇの処理は、出力部１５０ｇの処理に対応する。

なお、各プログラム２０７ａ〜２０７ｇについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ〜２０７ｇを読み出して実行するようにしても良い。

１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ，１０ｆ，１０ｇ，１０ｈ，１０ｉ，１０ｊ，１０ｋ，１０ｌ，１０ｍ，１０ｎ，１０ｏ，１０ｐ，１０ｑ，１０ｒ カメラ
５０ ネットワーク
６０ 端末装置
１００ 映像生成装置

Claims (15)

1. コンピュータに、
   複数の被写体に対して、複数のカメラにより複数の方向から撮影された複数の撮像フレームを合成することで生成される３次元空間内の各被写体の３次元モデルの位置を追跡し、
   前記３次元空間内に含まれる被写体の位置情報を取得し、
   前記被写体に関連する情報を取得し、
   前記各被写体の３次元モデルに基づいて生成された自由視点映像の領域のうち、前記被写体の位置情報に基づく前記被写体の付近の背景領域に、前記被写体に関連する情報を合成することで、合成映像を生成する
   処理を実行させることを特徴とする映像生成プログラム。
2. 前記合成映像を、前記自由視点映像の視点位置を指定した端末装置に送信する処理を更にコンピュータに実行させることを特徴とする請求項１に記載の映像生成プログラム。
3. 前記端末装置からユーザの属性情報を取得し、前記属性情報に対応する広告情報を特定する処理を更にコンピュータに実行させ、前記合成映像を生成する処理は、前記広告情報を、前記自由視点映像の所定領域に合成することで、前記合成映像を生成することを特徴とする請求項２に記載の映像生成プログラム。
4. 前記自由視点映像は、前記３次元空間内の仮想カメラ位置から前記各被写体の３次元モデルを撮影した映像であり、前記合成映像を生成する処理は、前記仮想カメラ位置と、前記被写体の位置情報とを基にして、前記背景領域を特定することを特徴とする請求項１に記載の映像生成プログラム。
5. 前記被写体に関連する情報は、前記被写体の試合の情報、前記被写体の過去の成績、前記被写体に対するコメント情報、または、前記被写体が契約中のスポンサーに関する情報を含むことを特徴とする請求項１に記載の映像生成プログラム。
6. コンピュータが実行する映像生成方法であって、
   複数の被写体に対して、複数のカメラにより複数の方向から撮影された複数の撮像フレームを合成することで生成される３次元空間内の各被写体の３次元モデルの位置を追跡し、
   前記３次元空間内に含まれる被写体の位置情報を取得し、
   前記被写体に関連する情報を取得し、
   前記各被写体の３次元モデルに基づいて生成された自由視点映像の領域のうち、前記被写体の位置情報に基づく前記被写体の付近の背景領域に、前記被写体に関連する情報を合成することで、合成映像を生成する
   処理を実行することを特徴とする映像生成方法。
7. 前記合成映像を、前記自由視点映像の視点位置を指定した端末装置に送信する処理を更に実行することを特徴とする請求項６に記載の映像生成方法。
8. 前記端末装置からユーザの属性情報を取得し、前記属性情報に対応する広告情報を特定する処理を更にコンピュータに実行させ、前記合成映像を生成する処理は、前記広告情報を、前記自由視点映像の所定領域に合成することで、前記合成映像を生成することを特徴とする請求項７に記載の映像生成方法。
9. 前記自由視点映像は、前記３次元空間内の仮想カメラ位置から前記各被写体の３次元モデルを撮影した映像であり、前記合成映像を生成する処理は、前記仮想カメラ位置と、前記被写体の位置情報とを基にして、前記背景領域を特定することを特徴とする請求項６に記載の映像生成方法。
10. 前記被写体に関連する情報は、前記被写体の試合の情報、前記被写体の過去の成績、前記被写体に対するコメント情報、または、前記被写体が契約中のスポンサーに関する情報を含むことを特徴とする請求項６に記載の映像生成方法。
11. 複数の被写体に対して、複数の方向から撮影した複数の撮像フレームを複数のカメラから取得し、前記複数の撮像フレームを合成することで生成される３次元空間内の各被写体の３次元モデルの位置を追跡するトラッキング処理部と、
    前記３次元空間内に含まれる被写体の位置情報を取得し、前記被写体に関連する情報を取得し、前記各被写体の３次元モデルに基づいて生成された自由視点映像の領域のうち、前記被写体の位置情報に基づく前記被写体の付近の背景領域に、前記被写体に関連する情報を合成することで、合成映像を生成する合成部と
    を含むことを特徴とする映像生成装置。
12. 前記合成映像を、前記自由視点映像の視点位置を指定した端末装置に送信する出力部を更に含むことを特徴とする請求項１１に記載の映像生成装置。
13. 前記端末装置からユーザの属性情報を取得する受信部を更に有し、前記合成部は、前記属性情報に対応する広告情報を特定し、前記広告情報を、前記自由視点映像の所定領域に合成することで、前記合成映像を生成することを特徴とする請求項１２に記載の映像生成装置。
14. 前記自由視点映像は、前記３次元空間内の仮想カメラ位置から前記各被写体の３次元モデルを撮影した映像であり、前記合成部は、前記仮想カメラ位置と、前記被写体の位置情報とを基にして、前記背景領域を特定することを特徴とする請求項１１に記載の映像生成装置。
15. 前記被写体に関連する情報は、前記被写体の試合の情報、前記被写体の過去の成績、前記被写体に対するコメント情報、または、前記被写体が契約中のスポンサーに関する情報を含むことを特徴とする請求項１１に記載の映像生成装置。

Images