JP5687670B2 - 表示制御システム、ゲームシステム、表示制御装置、及びプログラム - Google Patents

Description

本発明は、表示制御システム、ゲームシステム、表示制御システムの制御方法、表示制御装置、表示制御装置の制御方法、及びプログラムに関する。

従来から、現実空間の現在の様子を撮影した画像（以下、現実空間画像という。）と、予め用意した映像と、を合成して表示させることによって、ＡＲ（Augmented Reality：以下、拡張現実という）を提供する表示制御装置が知られている。例えば、特許文献１には、ユーザの顔を撮影した現実空間画像と、架空の眼鏡の画像と、を合成し、ユーザが架空の眼鏡をかけているような合成画像を表示させる技術が記載されている。

特開２０１０−１４２５９２号公報

しかしながら、上記のような技術では、現実空間画像に特定の物体が撮影される場合、当該物体のために、合成画像における映像が見にくくなってしまうことがある。例えば、特許文献１において、実際に眼鏡をかけているユーザの顔を撮影した現実空間画像と、架空の眼鏡の画像と、を合成する場合、現実の眼鏡と架空の眼鏡が重なってしまうので、合成画像における架空の眼鏡が見にくい状態となる。

本発明は上記課題に鑑みてなされたものであって、その目的は、映像が見にくい状態で合成画像が表示されてしまうことを防止することが可能な表示制御システム、ゲームシステム、表示制御システムの制御方法、表示制御装置、表示制御装置の制御方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る表示制御システム（１）は、現実空間を示す現実空間画像と所与の映像とを合成して表示手段（１５）に表示させる表示制御システム（１）であって、撮影手段（１６）から前記現実空間画像を取得する画像取得手段（８２）と、前記映像を示す映像データを記憶する記憶手段（８０）に記憶される当該映像データを取得する映像データ取得手段（８４）と、前記現実空間に所与の除外対象がいない場合、前記現実空間画像と前記映像とを合成して前記表示手段（１５）に表示させる表示制御手段（９０）と、前記現実空間に前記除外対象がいる場合、前記表示制御手段（９０）による表示制御処理の実行を制限する制限手段（９２）と、を含むことを特徴とする。

本発明に係る表示制御システム（１）の制御方法は、現実空間を示す現実空間画像と所与の映像とを合成して表示手段（１５）に表示させる表示制御システム（１）の制御方法であって、撮影手段（１６）から前記現実空間画像を取得する画像取得ステップ（８２）と、前記映像を示す映像データを記憶する記憶手段（８０）に記憶される当該映像データを取得する映像データ取得ステップ（８４）と、前記現実空間に所与の除外対象がいない場合、前記現実空間画像と前記映像とを合成して前記表示手段（１５）に表示させる表示制御ステップ（９０）と、前記現実空間に前記除外対象がいる場合、前記表示制御ステップ（９０）における表示制御処理の実行を制限する制限ステップ（９２）と、を含むことを特徴とする。

本発明に係る表示制御装置（１０）は、現実空間を示す現実空間画像と所与の映像とを合成して表示手段（１５）に表示させる表示制御装置（１０）であって、撮影手段（１６）から前記現実空間画像を取得する画像取得手段（８２）と、前記映像を示す映像データを記憶する記憶手段（８０）に記憶される当該映像データを取得する映像データ取得手段（８４）と、前記現実空間に所与の除外対象がいない場合、前記現実空間画像と前記映像とを合成して前記表示手段（１５）に表示させる表示制御手段（９０）と、を含むことを特徴とする。

本発明に係る表示制御装置（１０）の制御方法は、現実空間を示す現実空間画像と所与の映像とを合成して表示手段（１５）に表示させる表示制御装置（１０）の制御方法であって、撮影手段（１６）から前記現実空間画像を取得する画像取得ステップ（８２）と、前記映像を示す映像データを記憶する記憶手段（８０）に記憶される当該映像データを取得する映像データ取得ステップ（８４）と、前記現実空間に所与の除外対象がいない場合、前記現実空間画像と前記映像とを合成して前記表示手段（１５）に表示させる表示制御ステップ（９０）と、を含むことを特徴とする。

本発明に係る現実空間を示す現実空間画像と所与の映像とを合成して表示手段（１５）に表示させるコンピュータを機能させるためのプログラムであって、撮影手段（１６）から前記現実空間画像を取得する画像取得手段（８２）、前記映像を示す映像データを記憶する記憶手段（８０）に記憶される当該映像データを取得する映像データ取得手段（８４）、前記現実空間に所与の除外対象がいない場合、前記現実空間画像と前記映像とを合成して前記表示手段（１５）に表示させる表示制御手段（９０）、として前記コンピュータを機能させる。

また、本発明に係る情報記憶媒体は、上記プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。

本発明によれば、映像が見にくい状態で合成画像が表示されてしまうことを防止することが可能になる。

また、本発明の一態様では、前記記憶手段（８０）には、複数の映像データが記憶されており、前記複数の映像データの各々は、互いに異なる位置から前記現実空間を撮影した、前記現実空間の過去の様子を示す映像であり、前記映像データ取得手段（８４）は、前記複数の映像データのうち、前記撮影手段（１６）の撮影位置に対応する位置から撮影された前記映像を示す前記映像データを取得し、前記表示制御手段（９０）は、前記現実空間画像に前記除外対象がいない場合、前記現実空間画像と、前記撮影手段（１６）の撮影位置に対応する位置から撮影された前記映像と、を合成して前記表示手段（１５）に表示させる、ことを特徴とする。

また、本発明の一態様では、前記映像データが示す映像は、前記現実空間を所与の位置から撮影した、前記現実空間の過去の様子を示す映像であり、前記表示制御システム（１）は、前記撮影手段（１６）の撮影位置と、前記映像の撮影位置と、のずれに関する撮影ずれ情報を取得する手段（９４）を更に含み、前記表示制御手段（９０）は、前記撮影ずれ情報に基づいて前記映像の表示位置と大きさとの少なくとも一方を決定する手段を含み、前記現実空間画像と、当該手段により表示位置と大きさとの少なくとも一方が決定された前記映像と、を合成して前記表示手段（１５）に表示させる、ことを特徴とする。

また、本発明の一態様では、前記映像データが示す映像は、前記現実空間を所与の位置から撮影した、前記現実空間の過去の様子を示す映像であり、前記現実空間には、検出対象が配置されており、前記画像取得手段（８２）は、前記検出対象が撮影された現実空間画像を取得し、前記映像データ取得手段（８４）は、前記検出対象が撮影された前記映像を示す映像データを取得し、前記表示制御システム（１）は、前記現実空間画像における前記検出対象の位置と大きさとの少なくとも一方と、前記映像における前記検出対象の位置と大きさとの少なくとも一方と、のずれに関する検出対象ずれ情報を取得する手段（９６）を更に含み、前記表示制御手段（９０）は、前記検出対象ずれ情報に基づいて前記映像の表示位置と大きさとの少なくとも一方を決定する手段を含み、前記現実空間画像と、当該手段により表示位置と大きさとの少なくとも一方が決定された前記映像と、を合成して前記表示手段（１５）に表示させる、ことを特徴とする。

また、本発明の一態様では、前記表示制御手段（９０）は、前記現実空間に前記除外対象がいない場合、又は、前記現実空間にいる前記除外対象の数が基準数未満である場合、前記現実空間画像と前記映像とを合成して前記表示手段（１５）に表示させ、前記制限手段（９２）は、前記現実空間にいる前記除外対象の数が基準数以上である場合、前記表示制御手段（９０）による表示制御処理の実行を制限する、ことを特徴とする。

また、本発明の一態様では、前記表示制御手段（９０）は、前記現実空間の所定領域内に前記除外対象がいない場合、前記現実空間画像と前記映像とを合成して前記表示手段（１５）に表示させ、前記制限手段（９２）は、前記現実空間の所定領域内に前記除外対象がいる場合、前記表示制御手段（９０）による表示制御処理の実行を制限する、ことを特徴とする。

また、本発明の一態様では、前記表示制御手段（９０）は、前記現実空間に、前記映像に関連する種類の除外対象がいない場合、前記現実空間画像と前記映像とを合成して前記表示手段（１５）に表示させ、前記制限手段（９２）は、前記現実空間に、前記映像に関連する種類の除外対象がいる場合、前記表示制御手段（９０）による表示制御処理の実行を制限する、ことを特徴とする。

また、本発明の一態様では、前記画像取得手段（８２）は、現実空間における競技場の現在の様子を示す現実空間画像を取得し、前記映像データ取得手段（８４）は、前記競技場で行われる競技の過去の映像に関する映像データを取得し、前記表示制御手段（９０）は、前記現実空間に競技者がいない場合、前記競技場の現在の様子を示す前記現実空間画像と、前記競技の過去の映像と、を合成して前記表示手段（１５）に表示させ、前記制限手段（９２）は、前記現実空間に前記競技者がいる場合、前記表示制御手段（９０）による表示制御処理の実行を制限する、ことを特徴とする。

また、本発明の一態様では、前記映像データが示す映像は、前記競技において所与のプレイが行われた場面の映像、又は、前記競技において所与のイベントが発生した場面の映像であり、前記表示制御手段（９０）は、前記現実空間に前記競技者がいない場合、前記競技場の現在の様子を示す前記現実空間画像と、前記所与のプレイが行われた場面の映像又は前記所与のイベントが発生した場面の映像と、を合成して前記表示手段（１５）に表示させる、ことを特徴とする。

また、本発明の一態様では、前記表示制御手段（９０）は、前記現実空間画像に前記除外対象が撮影されていない場合、前記現実空間画像と前記映像とを合成して前記表示手段（１５）に表示させ、前記制限手段（９２）は、前記現実空間画像に前記除外対象が撮影されている場合、前記表示制御手段（９０）による表示制御処理の実行を制限する、ことを特徴とする。

また、本発明の一態様では、前記表示制御手段（９０）は、前記現実空間に前記除外対象がいない第１の期間に現時点が含まれる場合、前記現実空間画像と前記映像とを合成して前記表示手段（１５）に表示させ、前記制限手段（９２）は、前記現実空間に前記除外対象がいる第２の期間に現時点が含まれる場合、前記表示制御手段（９０）による表示制御処理の実行を制限する、ことを特徴とする。

また、本発明の一態様では、上記記載の表示制御システム（１）を含むゲームシステム（１００）であって、前記映像に係るゲームの利用登録を受け付ける手段（１２２）と、前記表示制御システム（１）のユーザが前記ゲームに利用登録しているか否かを判定する手段（１２４）と、前記ユーザが前記ゲームに利用登録していると判定された場合、前記映像が前記表示手段（１５）に表示されることを許可する手段（１２６）と、前記ユーザが前記ゲームに利用登録していないと判定された場合、前記映像が前記表示手段（１５）に表示されることを制限する手段（１２８）と、を含むことを特徴とする。

また、本発明の一態様では、上記記載の表示制御システム（１）を含むゲームシステム（１００）であって、前記映像に係るゲームを前記表示制御システム（１）のユーザに提供する手段（１３０）と、前記ユーザによる前記ゲームのプレイ結果が所与の結果であるか否かを判定する手段（１３２）と、前記ユーザによる前記ゲームのプレイ結果が前記所与の結果であると判定された場合、前記映像が前記表示手段（１５）に表示されることを許可する手段（１２６）と、前記ユーザによる前記ゲームのプレイ結果が前記所与の結果でないと判定された場合、前記映像が前記表示手段（１５）に表示されることを制限する手段（１２８）と、を含むことを特徴とする。

なお、上記では、本発明の理解を容易にするため図面に記載の符号を括弧書きで記載しているが、これにより本発明に係るゲーム装置等が図示の態様に限定されるものではない。

本実施形態に係る表示制御システムの全体構成を示す図である。 ユーザが観戦している野球場の様子を示す模式図である。 現実空間画像とリプレイ映像とが合成される様子を示す図である。 表示制御システムで実現される機能を示す機能ブロック図である。 辞書データのデータ内容を示す模式図である。 映像データサーバの記憶部の記憶内容を示す図である。 内野のテンプレート画像の一例を示す図である。 表示制御システムが実行する処理のうちの、本発明に関連する処理を主に示すフロー図である。 変形例の機能ブロック図である。 撮影部の撮影位置及び焦点の推定方法を説明するための図である。 変形例（１）におけるリプレイ映像の表示位置と大きさの決定方法を説明するための図である。 表示制御部がリプレイ映像の大きさ及び表示位置を制御する様子を示す図である。 現実空間画像とリプレイ映像とが合成される様子を示す図である。 映像データと除外対象の種類との関連付けを示す図である。 表示制御システムを含むゲームシステムの一例を示す図である。 ゲームシステムの機能ブロック図である。

［１．表示制御システムの全体構成］
以下、本発明に係る実施形態について図面に基づき詳細に説明する。本発明に係る表示制御装置は、例えば、携帯電話機等の携帯端末（例えば、スマートフォンやタブレット型端末）、携帯ゲーム機、又はパーソナルコンピュータ等の各種コンピュータを用いて実現される。

図１は、本実施形態に係る表示制御システムの全体構成を示す図である。図１に示すように、表示制御システム１は、表示制御装置１０、映像データサーバ２０（サーバ装置）、及び複数のビデオカメラ３０を含む。ここでは、表示制御装置１０と映像データサーバ２０とは、ネットワークＮを介して互いにデータ送受信可能に接続される。

表示制御装置１０は、ＣＰＵ等を含む制御部１１と、フラッシュメモリやＲＡＭ等を含む記憶部１２と、タッチパネルや各種ボタン等を含む操作部１３と、メモリカードスロット等を含む入力部１４と、液晶パネル等を含む表示部１５と、ＣＭＯＳカメラ等を含む撮影部１６と、無線通信又は有線通信を行うためのネットワークカード等を含む通信部１７と、を含んで構成される。

制御部１１は、例えば、記憶部１２に記憶された各種プログラムを実行する。また、制御部１１は、リアルタイムクロック等を含み、現時点に関する情報を取得する。記憶部１２は、制御部１１がプログラムを実行するために必要な各種データ等を記憶する。操作部１３は、各種操作信号を制御部１１に入力する。入力部１４は、各種記憶媒体からプログラムやデータを読み込む。撮影部１６は、現実空間を撮影する。撮影部１６により撮影された現実空間画像は、表示部１５に表示される。通信部１７は、ネットワークＮを介して他の端末と通信を行う。

なお、本実施形態では、記憶部１２にプログラムやデータが記憶される場合を説明するが、光ディスクなどの他の情報記憶媒体が用いられるようにしてもよい。他にも、ネットワークＮを介して遠隔地からプログラムやデータが、表示制御装置１０に供給されるようにしてもよい。あるいは、赤外線通信などの各種データ通信を利用してプログラムやデータが表示制御装置１０に供給されるようにしてもよい。

映像データサーバ２０は、公知のサーバコンピュータであり、制御部２１、記憶部２２、及び通信部２３を含む。制御部２１、記憶部２２、及び通信部２３は、それぞれ、制御部１１、記憶部１２、及び通信部１７と同様のハードウェア構成である。

ビデオカメラ３０は、現実空間を撮影する公知のカメラである。例えば、ビデオカメラ３０は、業務用ビデオカメラにより実現され、現実空間を所与のフレームレートで連続撮影する。なお、ビデオカメラ３０は、現実空間を連続撮影して得られる動画ではなく、静止画を撮影することとしてもよい。

各ビデオカメラ３０は、映像データを伝達するためのケーブルＣを介して映像データサーバ２０とデータ送受信可能に接続される。ここでは、映像データサーバ２０とビデオカメラ３０とは、ビデオカメラ３０の規格で定められた所与のケーブルＣにより接続されるものとするが、ネットワークＮを介して接続されるようにしてもよい。ビデオカメラ３０により撮影された映像を示す映像データは、映像データサーバ２０に蓄積される。

［２．表示制御システムにおいて実行される処理の概要］
次に、表示制御システム１において実行される処理の概要について説明する。表示制御システム１は、現実空間を示す現実空間画像と所与の映像とを合成して表示部１５に表示させる。本実施形態では、野球の試合を観戦しているユーザが、野球場の現在の様子を撮影部１６で撮影すると、野球場の現在の様子を示す画像と、ビデオカメラ３０で撮影された試合の過去の映像（以降、リプレイ映像という。）と、が合成される。リプレイ映像は、ユーザが観戦している試合において発生した直前のプレイ（例えば、ユーザがもう一度見てみたいとい思うような素晴らしいプレイ）を撮影した映像や、過去の試合（例えば、昨日行われた試合）におけるプレイを撮影した映像等である。

図２は、ユーザが観戦している野球場の様子を示す模式図である。図２に示すように、野球場４０の観客席４２において、ユーザＵは、表示制御装置１０を持ちながら試合を観戦している。観客席４２は、グラウンド４４を囲むように配置される。

グラウンド４４上には、ホームベース４４ａ、一塁ベース４４ｂ、二塁ベース４４ｃ、及び三塁ベース４４ｄが、野球規則に定められた所定位置に配置される。更に、ホームベース４４ａを挟むようにして、バッターボックス４４ｅが配置される。グラウンド４４上では、複数の野球選手４６により野球の試合が行われている。

試合の様子は、複数のビデオカメラ３０の各々により撮影されている。ここでは、５台のビデオカメラ３０が用意されており、各々をビデオカメラ３０ａ〜３０ｅという。また、これらをまとめて単にビデオカメラ３０ともいう。各ビデオカメラ３０は、グラウンド４４の周囲に配置され、互いに異なる方向からグラウンド４４を撮影し、リプレイ映像を生成する。

例えば、ビデオカメラ３０ａは、バックネット裏観客席４２ａに配置される。ビデオカメラ３０ｂは、一塁側観客席４２ｂに配置される。ビデオカメラ３０ｃは、三塁側観客席４２ｃに配置される。ビデオカメラ３０ｄは、ライトスタンド観客席４２ｄに配置される。ビデオカメラ３０ｅは、レフトスタンド観客席４２ｅに配置される。

ユーザが撮影部１６を用いてグラウンド４４を撮影すると、所定条件のもとで、現実空間画像とリプレイ映像とが表示部１５に合成表示される。

図３は、現実空間画像とリプレイ映像とが合成される様子を示す図である。ユーザが操作部１３から所与の撮影操作を行うと、グラウンド４４の現在の様子が撮影され、現実空間画像５０が生成される。図３に示すように、野球選手４６がグラウンド４４上にいない状態でユーザが撮影操作を行うと、現実空間画像５０には、野球選手４６が撮影されず、グラウンド４４のみが撮影されることになる。

なお、ユーザが撮影操作を行った場合、１枚の静止画としての現実空間画像５０が表示部１５に表示されるようにしてもよいし、グラウンド４４が連続撮影されることによって現実空間画像５０が時系列的に連続して表示部１５に表示される（即ち、動画として現実空間画像５０が連続表示される）ようにしてもよい。

本実施形態では、現実空間画像５０に野球選手４６が含まれない場合に、現実空間画像５０とリプレイ映像６０とが合成された合成画面７０が表示される。合成画面７０に表れるリプレイ映像６０は、撮影部１６の撮影位置に対応するビデオカメラ３０（即ち、ユーザと同じ観客席４２に配置されたビデオカメラ３０）が撮影したリプレイ映像となる。

ここでは、ユーザが三塁側観客席４２ｃからグラウンド４４を撮影しているので、三塁側観客席４２ｃに配置されたビデオカメラ３０ｃのリプレイ映像６０と、現実空間画像５０と、が合成された合成画面７０が表示されることになる。実際にはグラウンド４４上に野球選手４６がいないので、ユーザは、撮影部１６を介してグラウンド４４を覗くと、誰もいないグラウンド４４において試合が行われているかのように体感しつつ、合成画面７０におけるリプレイ映像６０を楽しむことができる。

一方、グラウンド４４上に野球選手４６がいる状態でユーザが撮影部１６でグラウンド４４を撮影すると、現実空間画像５０に野球選手４６が撮影されることになる。この状態で現実空間画像５０とリプレイ映像６０とを合成すると、合成画面７０において、現実空間画像５０に撮影された野球選手４６と、リプレイ映像６０に撮影された野球選手４６と、が重なって表示されてしまうため、リプレイ映像６０が見にくくなってしまう。

本実施形態の表示制御装置１０は、現実空間画像５０に野球選手４６が撮影されている場合、現実空間画像５０とリプレイ映像６０とを合成させないように制限することによって、リプレイ映像６０が見にくい状態で表示されてしまうことを防止する構成になっている。以降、本技術について詳細に説明する。

［３．表示制御システムにおいて実現される機能］
図４は、表示制御システム１で実現される機能を示す機能ブロック図である。図４に示すように、表示制御システム１は、データ記憶部８０、画像取得部８２、映像データ取得部８４、判定部８６、推定部８８、表示制御部９０、及び制限部９２を含む。

本実施形態では、これら各機能が、表示制御装置１０により実現され、例えば、制御部１１が記憶部１２に記憶されたプログラムを実行することによって実現される。なお、表示制御システム１において必須の構成は、画像取得部８２、映像データ取得部８４、表示制御部９０、及び制限部９２であり、他の構成は省略するようにしてもよい。

［３−１．データ記憶部］
データ記憶部８０は、記憶部１２を主として実現される。データ記憶部８０は、現実空間画像５０とリプレイ映像６０とを合成するために必要な各種データを記憶する。ここでは、データ記憶部８０は、除外対象（例えば、野球選手４６）の基本形状を定義したテンプレート画像が格納された辞書データを記憶する。除外対象とは、所定形状の物体であり、ここでは、野球選手４６である。

図５は、辞書データのデータ内容を示す模式図である。図５に示すように、辞書データには、野球選手４６の基本形状（人型形状）を示すテンプレート画像が格納される。例えば、野球選手４６を種々の方向（角度）から見た場合の画像が、テンプレート画像として格納される。ここでは、下記の種類のテンプレート画像が辞書データに格納される。
（１）直立した野球選手４６を示すテンプレート画像
（２）守備の構えをしている野球選手４６を示すテンプレート画像
（３）投球の構えをしている野球選手４６を示すテンプレート画像
（４）打撃の構えをしている野球選手４６を示すテンプレート画像

なお、制御部１１は、データ記憶部８０の記憶内容を取得する手段として機能する。また、データ記憶部８０に記憶される内容は、上記の例に限られない。例えば、上記以外の画像がテンプレート画像として格納されているようにしてもよい。

［３−２．画像取得部］
画像取得部８２は、制御部１１を主として実現される。画像取得部８２は、撮影手段（例えば、撮影部１６）から現実空間画像５０（例えば、現実空間における競技場の現在の様子を示す画像）を取得する。現実空間画像５０は、撮影部１６の検出信号により生成される。画像取得部８２が取得した現実空間画像５０を示すデータは、データ記憶部８０に一時的に記憶される。

［３−３．映像データ取得部］
映像データ取得部８４は、制御部１１を主として実現される。映像データ取得部８４は、所与の映像（例えば、リプレイ映像６０）を示す映像データを記憶する記憶手段（例えば、映像データサーバ２０の記憶部２２）に記憶される当該映像データを取得する。

映像データサーバ２０の記憶部２２には、複数の映像データが記憶されている。当該複数の映像データの各々は、互いに異なる位置から現実空間（例えば、野球場４０）を撮影した、現実空間の過去の様子を示す映像である。また、本実施形態においては、映像データは、競技場（例えば、野球場４０）で行われる競技の過去の映像に関するデータであり、映像データが示す映像は、競技において所与のプレイが行われた場面の映像、又は、競技において所与のイベントが発生した場面の映像である。

図６は、映像データサーバ２０の記憶部２２の記憶内容を示す図である。図６に示すように、本実施形態では、各映像データは、位置に関する情報に関連付けられて記憶されている。位置に関する情報は、映像データが示すリプレイ映像６０が撮影された位置、又は、撮影部１６の位置に関する情報である。ここでは、位置に関する情報として、バックネット裏観客席４２ａ、一塁側観客席４２ｂ、三塁側観客席４２ｃ、ライトスタンド観客席４２ｄ、及びレフトスタンド観客席４２ｅの何れかを示す情報が格納される。

なお、図６では説明の簡略化のため、各ビデオカメラ３０につき１つの映像データのみを図示しているが、映像データサーバ２０の記憶部２２の記憶内容は上記の例に限られない。各ビデオカメラ３０で撮影されたリプレイ映像６０は、試合の進行に応じて記憶部２２に順次蓄積されるので、多数の映像データが記憶部２２に記憶されることになる。例えば、試合において所与のプレイが行われた場合に、当該プレイが行われた場面の映像が蓄積されたり、試合において所与のイベントが行われたりした場合に、当該イベントが発生した場面の映像が蓄積されるようにしてもよい。

［３−４．判定部］
判定部８６は、制御部１１を主として実現される。判定部８６は、現実空間（例えば、野球場４０）に所与の除外対象（例えば、競技者。ここでは、野球選手４６）がいるか否かを判定する。本実施形態では、判定部８６は、現実空間画像５０に野球選手４６が撮影されているか否かを判定する。即ち、判定部８６は、現実空間画像５０に野球選手４６が含まれるか否かを判定する。

ここでは、判定部８６は、パターンマッチング法に基づいて、現実空間画像５０に野球選手４６が撮影されているか否かを判定する。即ち、判定部８６は、辞書データが示すテンプレート画像と、現実空間画像５０と、を比較することによって、現実空間画像５０に野球選手４６が撮影されているか否かを判定する。

より具体的には、まず、判定部８６は、公知のエッジ検出処理に基づいて、現実空間画像５０に撮影された物体の境界（輪郭）を示す画素を抽出する。当該抽出される画素は、例えば、隣接画素との画素値の差が閾値以上となる画素となる。ここでは、判定部８６は、グラウンド４４の色（例えば、緑色や茶色等）との画素値の差が閾値以上となる画素を抽出することになる。

そして、判定部８６は、辞書データに格納された各テンプレート画像と、上記抽出した画素により囲まれる領域（以降、対象領域という。）と、を比較することによって、互いの類似具合を示す一致度を算出する。例えば、判定部８６は、各テンプレート画像が示す各画素の画素値と、対象領域が示す各画素の画素値と、の差に基づいて一致度を算出する。例えば、当該差が基準値未満である場合に、互いの画素が類似しているとして、一致度をインクリメントする。同様に、他の画素についても比較を行い、画素値の差が基準値未満であれば、一致度をインクリメントする。

判定部８６は、各テンプレート画像毎に算出される一致度に基づいて、現実空間画像５０に野球選手４６が撮影されているか否かを判定する。例えば、判定部８６は、各テンプレート画像に対応する一致度の何れかが基準範囲（例えば、基準値以上）である場合、対象領域内に野球選手４６が撮影されていると判定する。現実空間画像５０に複数の対象領域が存在する場合には、各対象領域について一致度が算出されることになる。

なお、判定部８６が、現実空間画像５０に野球選手４６が撮影されているか否かを判定する方法は、上記の例に限られない。公知の種々の検出方法（ここでは、人物検出方法）が適用可能である。例えば、対象領域の大きさに基づいてテンプレート画像の大きさを調整してから、パターンマッチングが行われるようにしてもよい。

［３−５．推定部］
推定部８８は、制御部１１を主として実現される。推定部８８は、現実空間画像５０に基づいて撮影手段（例えば、撮影部１６）の撮影位置を推定（算出又は特定）する。撮影部１６の撮影位置とは、現実空間画像５０が撮影された場合（ユーザにより撮影部１６の撮影操作が行われた場合）の撮影部１６の位置である。

推定部８８は、現実空間画像５０の撮影内容（即ち、現実空間画像５０に撮影されている物体）に基づいて、撮影部１６の撮影位置を推定する。ここでは、現実空間に検出対象が配置されており、推定部８８は、現実空間画像５０に撮影された検出対象の形状に基づいて、撮影部１６の撮影位置を推定する。より具体的には、推定部８８は、現実空間画像５０に撮影された検出対象と、当該検出対象の基本形状を示す画像と、を比較することによって、撮影部１６の撮影位置を推定する。

ここでは、グラウンド４４上の内野４４ｆ（図２）が、「検出対象」に相当する。内野４４ｆは、グラウンド４４内の所定領域であり、ホームベース４４ａ、一塁ベース４４ｂ、二塁ベース４４ｃ、及び三塁ベース４４ｄを含む。これらホームベース４４ａ、一塁ベース４４ｂ、二塁ベース４４ｃ、及び三塁ベース４４ｄにより囲まれる正方形の領域が、内野４４ｆとなる。

推定部８８は、現実空間画像５０から、ホームベース４４ａ、一塁ベース４４ｂ、二塁ベース４４ｃ、及び三塁ベース４４ｄを抽出する。ここでは、ホームベース４４ａ、一塁ベース４４ｂ、二塁ベース４４ｃ、及び三塁ベース４４ｄの色が白であり、それぞれの周囲に配置された土が茶色であることを利用する。即ち、推定部８８は、現実空間画像５０の各画素のうち、画素値が白いことを示している四角形の領域を抽出し、当該領域の周囲の画素値が茶色である領域を４つ抽出する。

そして、推定部８８は、これら４つの領域のうち、バッターボックス４４ｅが両側に配置されている領域をホームベース４４ａとして推定し、他の３つの領域とホームベース４４ａとの位置関係に応じて、これら３つの領域をそれぞれ、一塁ベース４４ｂ、二塁ベース４４ｃ、及び三塁ベース４４ｄとして推定する。推定部８８は、当該推定されたホームベース４４ａ、一塁ベース４４ｂ、二塁ベース４４ｃ、及び三塁ベース４４ｄをつなぎ合わせた四角形の領域を、内野４４ｆとして抽出する。

推定部８８は、現実空間画像５０に撮影された内野４４ｆと、内野４４ｆのテンプレート画像と、を比較することによって、撮影部１６の位置を特定する。内野４４ｆのテンプレート画像は、内野４４ｆの基本形状を示す画像であり、予め種々の方向から内野４４ｆを撮影した画像である。内野４４ｆのテンプレート画像を示すデータは、予めデータ記憶部８０に記憶されている。

図７は、内野４４ｆのテンプレート画像の一例を示す図である。図７に示すように、ここでは、バックネット裏観客席４２ａ、一塁側観客席４２ｂ、三塁側観客席４２ｃ、ライトスタンド観客席４２ｄ、及びレフトスタンド観客席４２ｅのそれぞれから内野４４ｆを撮影した画像が、内野４４ｆのテンプレート画像として用意されている。

推定部８８は、現実空間画像５０に撮影された内野４４ｆと、各テンプレート画像と、を比較することによって、互いの類似具合を示す一致度を算出する。一致度の算出方法は、判定部８６による算出方法と同様であり、画素値の差に基づいて算出される。推定部８８は、一致度が最も高いテンプレート画像に関連付けられた位置（即ち、バックネット裏観客席４２ａ、一塁側観客席４２ｂ、三塁側観客席４２ｃ、ライトスタンド観客席４２ｄ、及びレフトスタンド観客席４２ｅの何れか）を、撮影部１６の撮影位置として推定する。

合成画面７０においては、推定部８８により推定された撮影部１６の撮影位置に対応する映像データが示すリプレイ映像６０が表示されることになる。即ち、映像データ取得部８４は、複数の映像データのうち、現実空間画像５０に基づいて推定される撮影部１６の撮影位置に対応する位置から撮影された映像を示す映像データを取得する。映像データ取得部８４は、映像データサーバ２０の記憶部２２に記憶された複数の映像データのうち、推定部８８により推定された位置が関連付けられた映像データを取得する。

なお、現実空間画像５０から検出対象を抽出する方法は、上記の例に限られない。画像から物体を検出するための種々の方法が適用可能である。ここでは、ホームベース４４ａ等の位置を特定することによって内野４４ｆを抽出する場合を説明したが、他にも例えば、内野４４ｆのテンプレート画像と現実空間画像５０の全体とのパターンマッチングを行うことによって、内野４４ｆが抽出されるようにしてもよい。

また、推定部８８による撮影位置の推定方法は、上記の例に限られない。ここでは、現実空間画像５０の撮影内容に基づいて、撮影部１６の撮影位置が推定されるようにすればよい。他にも例えば、バックネット裏観客席４２ａ、一塁側観客席４２ｂ、三塁側観客席４２ｃ、ライトスタンド観客席４２ｄ、及びレフトスタンド観客席４２ｅのそれぞれからでのみ撮影される所与の物体をグラウンド４４上に配置しておき、当該物体が撮影されているか否かを判定することによって、撮影部１６の撮影位置が推定されるようにしてもよい。

また、推定部８８は、表示制御装置１０と他の通信機器との通信結果に基づいて、撮影位置を推定するようにしてもよい。例えば、推定部８８は、ＧＰＳ受信機によるＧＰＳ受信の受信結果や無線ＬＡＮのアクセスポイントとの通信結果に基づいて、撮影位置を推定するようにしてもよい。推定部８８は、現実空間画像又は通信結果に基づいて、撮影位置の推定を行うようにすればよい。

［３−６．表示制御部］
表示制御部９０は、制御部１１を主として実現される。表示制御部９０は、現実空間（例えば、野球場４０）に除外対象（例えば、競技者。ここでは、野球選手４６）がいない場合、現実空間画像５０（例えば、競技場の現在の様子を示す画像）と映像（例えば、競技の過去の映像。即ち、リプレイ映像６０）とを合成して表示手段（例えば、表示部１５）に表示させる。野球場４０に野球選手４６がいない場合とは、現実空間画像５０に野球選手４６が撮影されない場合である。

本実施形態においては、表示制御部９０は、現実空間画像５０に除外対象（例えば、競技者。ここでは、野球選手４６）が撮影されていない場合、合成画面７０を表示させる。即ち、表示制御部９０は、判定部８６により、現実空間画像５０に野球選手４６が撮影されていないと判定された場合、合成画面７０を表示させる。

ここでは、表示制御部９０は、競技場（例えば、野球場４０）の現在の様子を示す現実空間画像５０と、所与のプレイが行われた場面の映像又は所与のイベントが発生した場面の映像と、を合成して表示手段（例えば、表示部１５）に表示させることになる。

更に、本実施形態においては、表示制御部９０は、現実空間画像５０と、撮影手段（例えば、撮影部１６）の撮影位置に対応する位置から撮影された映像（例えば、リプレイ映像６０）と、を合成して表示手段（例えば、表示部１５）に表示させる。「撮影部１６の撮影位置に対応する位置」とは、推定部８８により推定された撮影部１６の撮影位置に関連付けられた位置であり、ここでは、バックネット裏観客席４２ａ、一塁側観客席４２ｂ、三塁側観客席４２ｃ、ライトスタンド観客席４２ｄ、及びレフトスタンド観客席４２ｅの何れかである。

［３−７．制限部］
制限部９２は、制御部１１を主として実現される。制限部９２は、現実空間（例えば、野球場４０）に除外対象（例えば、競技者。ここでは、野球選手４６）がいる場合、表示制御部９０による表示制御処理の実行を制限する。野球場４０に野球選手４６がいる場合とは、現実空間画像５０に野球選手４６が撮影される場合である。

「表示制御処理の実行を制限する」とは、合成画面７０が表示されないように抑止することであり、例えば、現実空間画像５０とリプレイ映像６０とを合成させないように抑止することである。映像データ取得部８４が映像データを取得しないように抑止することが、表示制御処理の実行を制限することに相当するようにしてもよい。

本実施形態では、制限部９２は、現実空間画像５０に除外対象（例えば、競技者。ここでは、野球選手４６）が撮影されている場合、表示制御部９０による表示制御処理の実行を制限する。即ち、表示制御部９０は、判定部８６により、現実空間画像５０に野球選手４６が撮影されていると判定された場合、表示制御部９０による表示制御処理の実行を制限する。

［４．表示制御システムにおいて実行される処理］
次に、表示制御システム１が実行する処理について説明する。図８は、表示制御システム１が実行する処理のうちの、本発明に関連する処理を主に示すフロー図である。例えば、ユーザが操作部１３から撮影操作を行った場合、制御部１１は、記憶部１２に記憶されるプログラムに従って、図８に示す処理を実行する。

図８に示すように、まず、制御部１１は、撮影部１６から現実空間画像５０を取得する（Ｓ１）。Ｓ１において取得された現実空間画像５０の画像データは、記憶部１２に記憶される。

制御部１１は、Ｓ１で取得した現実空間画像５０に野球選手４６が撮影されているか否かを判定する（Ｓ２）。Ｓ２においては、制御部１１は、辞書データに格納されているテンプレート画像と現実空間画像５０とを比較することによって算出される一致度に基づいて、現実空間画像５０に野球選手４６が撮影されているか否かを判定する。

現実空間画像５０に野球選手４６が撮影されていると判定された場合（Ｓ２；Ｙ）、処理は終了する。この場合、後述するＳ６の処理が行われないので、合成画面７０の表示が制限され、現実空間画像５０とリプレイ映像６０とが合成されないことになる。

一方、現実空間画像５０に野球選手４６が撮影されていないと判定された場合（Ｓ２；Ｎ）、制御部１１は、現実空間画像５０に内野４４ｆが撮影されているか否かを判定する（Ｓ３）。Ｓ３においては、制御部１１は、現実空間画像５０からホームベース４４ａ、一塁ベース４４ｂ、二塁ベース４４ｃ、及び三塁ベース４４ｄが抽出されるか否かを判定することによって、現実空間画像５０に内野４４ｆが撮影されているか否かを判定する。

現実空間画像５０に内野４４ｆが撮影されていないと判定された場合（Ｓ３；Ｎ）、処理は、終了する。

一方、現実空間画像５０に内野４４ｆが撮影されていると判定された場合（Ｓ３；Ｙ）、制御部１１は、現実空間画像５０に撮影された内野４４ｆの形状に基づいて、撮影部１６の撮影位置を推定する（Ｓ４）。Ｓ４においては、制御部１１は、現実空間画像５０に撮影された内野４４ｆと、内野４４ｆのテンプレート画像と、を比較することによって算出される一致度が最も高いテンプレート画像に関連付けられた位置を、撮影部１６の撮影位置として推定する。

制御部１１は、映像データサーバ２０の記憶部２２に記憶された映像データのうち、Ｓ４で推定した撮影位置に対応する位置から撮影されたリプレイ映像６０を示す映像データをネットワークＮを介して取得する（Ｓ５）。Ｓ５においては、制御部１１は、映像データサーバ２０に対し、Ｓ４で推定した撮影位置に関する情報とともに、映像データの取得要求を送信する。映像データサーバ２０は、映像データの取得要求を受信すると、記憶部２２に蓄積されている複数の映像データのうち、上記撮影位置に関する情報が関連付けられた映像データを表示制御装置１０に対して送信する。制御部１１は、当該映像データを受信することによって、映像データを取得することになる。

制御部１１は、Ｓ１で取得した現実空間画像５０と、Ｓ５で取得した映像データが示すリプレイ映像６０と、を合成し、合成画面７０を表示部１５に表示させる（Ｓ６）。Ｓ６においては、制御部１１は、現実空間画像５０とリプレイ映像６０とを所与の割合で合成（アルファブレンド）した合成画像を生成し、合成画面７０として表示させる。例えば、ある画素における現実空間画像５０の割合をα（例えば、０＜α＜１）とすると、当該画素におけるリプレイ映像６０の割合は「１−α」となる。なお、既にＳ６の処理が実行されている場合には、続きのリプレイ映像６０から合成画面７０が表示されることになる。

制御部１１は、リプレイ映像６０の再生が終了したか否かを判定する（Ｓ７）。リプレイ映像６０の再生が終了したと判定されない場合（Ｓ７；Ｎ）、処理はＳ６に戻り、リプレイ映像６０の続きが再生される。リプレイ映像６０の再生が終了したと判定された場合（Ｓ７；Ｙ）、処理は終了する。

以上説明した表示制御システム１によれば、現実空間画像５０に野球選手４６が撮影されている場合には、現実空間画像５０とリプレイ映像６０とを合成しないように制限されるので、現実空間画像５０に撮影された野球選手４６と、リプレイ映像６０に撮影された野球選手４６と、が重なってしまい、リプレイ映像６０が見にくい状態で表示されてしまうことを防止することができる。

また、撮影部１６の撮影位置に対応する位置から撮影されたリプレイ映像６０を合成することによって、ユーザがいる観客席４２に応じた最適なリプレイ映像６０を表示させることができる。

なお、実施形態においては、図４に示す各機能が表示制御装置１０により実現される場合を説明したが、データ記憶部８０、判定部８６、及び制限部９２については、映像データサーバ２０により実現されるようにしてもよい。この場合、データ記憶部８０は、記憶部２２を主として実現され、判定部８６及び制限部９２は、制御部２１を主として実現される。

判定部８６は、ネットワークＮを介して現実空間画像５０を取得し、現実空間画像５０に野球選手４６が撮影されているか否かを判定することになる。また、制限部９２は、判定部８６の判定結果に基づいて、映像データを表示制御装置１０に配信するか否かを決定することになる。この場合、制限部９２は、映像データを表示制御装置１０に配信しないことによって（映像データ取得部８４による映像データの取得を制限することによって）、合成画面７０が表示されることを制限する。

［５．変形例］
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。

図９は、変形例の機能ブロック図である。図９に示すように、下記に説明する変形例の表示制御システム１は、実施形態の機能に加えて、第１ずれ情報取得部９４と、第２ずれ情報取得部９６と、除外対象数取得部９８と、の少なくとも一つを含む。なお、以降では、これら各機能が表示制御装置１０において実現される場合を説明するが、映像データサーバ２０において実現されるようにしてもよい。

（１）例えば、撮影部１６はビデオカメラ３０と完全に同じ位置から完全に同じ方向に向けてグラウンド４４を撮影しているわけではないので、撮影部１６の位置及び撮影方向とビデオカメラ３０の位置及び撮影方向とのずれに応じて、リプレイ映像６０の大きさや位置を調整するようにしてもよい。

変形例（１）の表示制御システム１は、第１ずれ情報取得部９４を含む。第１ずれ情報取得部９４は、制御部１１を主として実現される。第１ずれ情報取得部９４は、現実空間画像５０に基づいて推定される撮影部１６の撮影位置と、映像（ここでは、リプレイ映像６０）の撮影位置と、のずれに関する撮影ずれ情報を取得する。リプレイ映像６０の撮影位置とは、リプレイ映像６０を撮影したビデオカメラ３０の位置である。また、撮影ずれ情報は、撮影部１６の撮影位置及びビデオカメラ３０の撮影位置のずれと、撮影部１６の焦点（注視点）及びビデオカメラ３０の焦点のずれと、を含む。

変形例（１）の推定部８８は、現実空間画像５０に基づいて撮影部１６の撮影位置及び焦点を推定する。ここでは、推定部８８は、現実空間画像５０に撮影された内野４４ｆの位置、大きさ、及び向き（形状）に基づいて、現実空間における撮影部１６の撮影位置及び焦点を推定する。

図１０は、撮影部１６の撮影位置及び焦点の推定方法を説明するための図である。図１０に示すように、例えば、グラウンド４４上の内野４４ｆに基づいて現実空間座標系（Ｘ_Ｗ−Ｙ_Ｗ−Ｚ_Ｗ座標系）が現実空間に設定され、撮影部１６の撮影位置と撮影方向（視線方向）に基づいて撮影部座標系（Ｘ_Ｃ１−Ｙ_Ｃ１−Ｚ_Ｃ１座標系）が設定される。撮影部１６の撮影方向は、撮影部１６の撮影位置と焦点とを結ぶ方向である。

現実空間座標系は、現実空間に配置される物体の位置を表すための座標系であり、例えば、現実空間に配置された検出対象（ここでは、内野４４ｆ）が基準となる座標系である。一方、撮影部座標系は、現実空間に配置された各物体と撮影部１６との位置関係を表すための座標系であり、撮影部１６が基準となる座標系である。

ここでは、現実空間座標系の原点Ｏ_Ｗは、内野４４ｆに含まれるホームベース４４ａに設定される。例えば、ホームベース４４ａと一塁ベース４４ｂとを結ぶ方向が、Ｘ_Ｗ軸方向として設定され、ホームベース４４ａと三塁ベース４４ｄとを結ぶ方向が、Ｙ_Ｗ軸方向として設定される。Ｚ_Ｗ軸方向は、Ｘ_Ｗ軸方向とＹ_Ｗ軸方向の外積方向となる。

一方、撮影部座標系の原点Ｏ_Ｃ１は、撮影部１６の位置に設定される。そして、例えば、Ｘ_Ｃ１軸方向が現実空間画像５０の長手方向（即ち、撮影部１６から見て水平方向）に対応し、Ｙ_Ｃ１軸方向が現実空間画像５０の短手方向（即ち、撮影部１６から見て垂直方向）に対応する。また例えば、Ｚ_Ｃ１軸方向が、撮影部１６の撮影方向に設定される。

現実空間座標系（Ｘ_Ｗ−Ｙ_Ｗ−Ｚ_Ｗ座標系）は、回転及び平行移動することによって、撮影部座標系（Ｘ_Ｃ１−Ｙ_Ｃ１−Ｚ_Ｃ１座標系）に変換可能である。推定部８８は、現実空間画像５０における内野４４ｆの位置、大きさ、及び向き（形状）に基づいて、現実空間座標系から撮影部座標系へ変換を行う場合の回転成分及び平行移動成分を算出する。

具体的には、まず、推定部８８は、実施形態と同様の手法に基づいて、現実空間画像５０に撮影された内野４４ｆの位置を抽出する。即ち、内野４４ｆが抽出される際には、現実空間画像５０における内野４４ｆの四隅の位置（即ち、ホームベース４４ａ、一塁ベース４４ｂ、二塁ベース４４ｃ、及び三塁ベース４４ｄ）が特定されることによって、現実空間画像５０に表れる内野４４ｆが特定される。

そして、推定部８８は、抽出された内野４４ｆと、内野４４ｆのテンプレート画像と、のパターンマッチング処理を行うことによって、内野４４ｆの大きさ及び向き（内野４４ｆの歪み具合）を特定する。現実空間画像５０に撮影された内野４４ｆの位置、大きさ、及び向きに基づいて、現実空間座標系から撮影部座標系へ変換する場合の回転成分と平行移動成分とが算出される。例えば、現実空間画像５０に撮影された内野４４ｆの位置、大きさ、及び向きを示す数値を所与の変換行列に代入することによって、現実空間座標系から撮影部座標系へ変換する場合の回転成分と平行移動成分とが算出される。

推定部８８は、現実空間座標系を上記回転成分だけ回転させ、上記平行移動成分だけ平行移動させて撮影部座標系を推定することによって、現実空間における撮影部１６の位置及び撮影方向を推定する。当該推定された撮影部１６の撮影位置から撮影方向に所定距離だけ離れた位置が撮影部１６の焦点となる。

変形例（１）の表示制御部９０は、撮影ずれ情報に基づいて映像の表示位置と大きさとの少なくとも一方を決定する。表示制御部９０は、撮影部１６の撮影位置とビデオカメラ３０の撮影位置とのずれに基づいて、リプレイ映像６０の大きさを決定する。表示制御部９０は、撮影部１６の焦点とビデオカメラ３０の焦点とのずれに基づいて、リプレイ映像６０の表示位置を決定する。

図１１は、変形例（１）におけるリプレイ映像６０の表示位置と大きさの決定方法を説明するための図である。図１１に示すように、リプレイ映像６０の撮影位置及び撮影方向を示す座標系を、ビデオカメラ座標系（Ｘ_Ｃ２−Ｙ_Ｃ２−Ｚ_Ｃ２座標系）という。ビデオカメラ座標系の原点Ｏ_Ｃ１及び三軸の方向を示す情報は、予め映像データに関連付けられて記憶されているようにしてもよいし、撮影部座標系の推定方法と同様の方法により算出されるようにしてもよい。

まず、表示制御部９０は、現実空間座標系の原点Ｏ_ｗと撮影部座標系の原点Ｏ_Ｃ１との距離ｄ_１と、現実空間座標系の原点Ｏ_ｗとビデオカメラ座標系の原点Ｏ_Ｃ２との距離ｄ_２と、を算出する。また、表示制御部９０は、撮影部１６の焦点Ｑ_１と、ビデオカメラ３０の焦点Ｑ_２と、を特定し、焦点Ｑ_１と焦点Ｑ_２とを結ぶベクトルＶ_１２を算出する。撮影部１６の焦点Ｑ_１は、撮影部座標系の原点Ｏ_Ｃ１からＺ_Ｃ１軸方向に所定距離だけ離れた位置となる。ビデオカメラ３０の焦点Ｑ_２は、撮影部座標系の原点Ｏ_Ｃ２からＺ_Ｃ２軸方向に所定距離だけ離れた位置となる。例えば、表示制御部９０は、距離ｄ_１と距離ｄ_２とに基づいてリプレイ映像の大きさを決定し、ベクトルＶ_２１に基づいてリプレイ映像６０の表示位置を決定する。

図１２は、表示制御部９０がリプレイ映像６０の大きさ及び表示位置を制御する様子を示す図である。例えば、図１２に示すように、表示制御部９０は、距離ｄ_１と距離ｄ_２との差Δｄに基づいてリプレイ映像６０の大きさを変更する（図１２のリプレイ映像６０ａの状態）。

具体的には、表示制御部９０は、撮影部１６の撮影位置とリプレイ映像６０の撮影位置とのずれとリプレイ映像６０の大きさとの関連付けに基づいて、撮影部１６の撮影位置とリプレイ映像６０の撮影位置との実際のずれに関連付けられたリプレイ映像６０の大きさを取得する。当該関連付けは、データ記憶部８０に記憶され、テーブル形式であってもよいし、数式形式であってもよい。

例えば、距離ｄ_１が距離ｄ_２よりも長くΔｄが正である場合には、撮影部１６がビデオカメラ３０よりも内野４４ｆから遠く、現実空間画像５０の内野４４ｆがリプレイ映像６０の内野４４ｆよりも小さいので、リプレイ映像６０が現実空間画像５０に合うように縮小される。距離ｄ_１が距離ｄ_２と略同じでありΔｄが略０の場合には、撮影部１６とビデオカメラ３０とは内野４４ｆからの距離が略同じであり、現実空間画像５０の内野４４ｆがリプレイ映像６０の内野４４ｆと略同じ大きさであるので、リプレイ映像６０の大きさは変わらない。距離ｄ_１が距離ｄ_２よりも短くΔｄが負である場合には、撮影部１６がビデオカメラ３０よりも内野４４ｆに近く、現実空間画像５０の内野４４ｆがリプレイ映像６０の内野４４ｆよりも大きいので、リプレイ映像６０が現実空間画像５０に合うよう拡大される。

なお、数式形式の関連付けによってリプレイ映像６０の大きさが決定される場合には、表示制御部９０は、距離ｄ_１が距離ｄ_２の差Δｄを所与の数式に代入することにより得られる拡大率又は縮小率に基づいてリプレイ映像６０の大きさを決定するようにしてもよい。例えば、表示制御部９０は、リプレイ映像６０を（１−ｋ×Δｄ）倍（ｋは任意の係数）するように、リプレイ映像６０の大きさを決定するようにしてもよい。

また、図１２に示すように、表示制御部９０は、ベクトルＶ_２１に基づいてリプレイ映像６０の表示位置を変更する（図１２のリプレイ映像６０ｂの状態）。

具体的には、表示制御部９０は、撮影部１６の焦点Ｑ_１とリプレイ映像６０の焦点Ｑ_２とのずれとリプレイ映像６０の表示位置との関連付けに基づいて、撮影部１６の焦点Ｑ_１とリプレイ映像６０の焦点Ｑ_２との実際のずれに関連付けられた表示位置を取得する。当該関連付けは、データ記憶部８０に記憶され、テーブル形式であってもよいし、数式形式であってもよい。

例えば、表示制御部９０は、リプレイ映像６０を、ベクトルＶ_１２が示す方向に、ベクトルＶ_２１の大きさに応じた距離だけ移動させる。例えば、撮影部１６から見てベクトルＶ_１２が左方向を向いている場合、リプレイ映像６０を左方向に移動させる。例えば、撮影部１６から見てベクトルＶ_１２が右方向を向いている場合、リプレイ映像６０を右方向に移動させる。

なお、上記においては、リプレイ映像６０の大きさと表示位置との両方が調整される場合を説明するが、リプレイ映像６０の大きさと表示位置との何れか一方のみが調整されるようにしてもよい。

表示制御部９０は、現実空間画像５０と、表示位置と大きさとの少なくとも一方が決定された映像と、を合成して表示部１５に表示させる（図１２の合成画面７０）。即ち、表示制御部９０は、上記のようにして決定された大きさのリプレイ映像６０を、上記のようにして決定された表示位置に表示されるように、合成画面７０に表示させることになる。

変形例（１）によれば、リプレイ映像を最適な位置及び大きさで合成画面７０に表示させることができる。

（２）また例えば、リプレイ映像６０における内野４４ｆの位置及び大きさを、現実空間画像５０における内野４４ｆの位置及び大きさに略一致させるように、リプレイ映像６０の表示位置や大きさを調整するようにしてもよい。

変形例（２）の表示制御システム１は、第２ずれ情報取得部９６を含む。第２ずれ情報取得部９６は、制御部１１を主として実現される。第２ずれ情報取得部９６は、現実空間画像５０における検出対象（例えば、内野４４ｆ）の位置と大きさとの少なくとも一方と、映像（例えば、リプレイ映像６０）における検出対象の位置と大きさとの少なくとも一方と、のずれに関する検出対象ずれ情報を取得する。

図１３は、現実空間画像５０とリプレイ映像６０とが合成される様子を示す図である。例えば、現実空間画像５０及びリプレイ映像６０の左上を原点Ｏｓとするスクリーン座標系（Ｘ_Ｓ−Ｙ_Ｓ座標系）が、現実空間画像５０及びリプレイ映像６０のそれぞれに設定される。

第２ずれ情報取得部９６は、実施形態と同様の方法により、現実空間画像５０における内野４４ｆの位置を特定する。ここでは、第２ずれ情報取得部９６は、内野４４ｆ内のホームベース４４ａの位置Ｐ_１の座標を特定する。また、第２ずれ情報取得部９６は、内野４４ｆの大きさとして、内野４４ｆに対応する画素数Ｘ_１を取得する。

一方、リプレイ映像６０における内野４４ｆの表示位置及び大きさを示す情報は、予めリプレイ映像６０に関連付けられて記憶されているようにしてもよいし、上記と同様の方法に基づいて算出されるようにしてもよい。例えば、各リプレイ映像６０に関連付けて、当該リプレイ映像６０における内野４４ｆ内のホームベースの位置Ｐ_２の座標と、内野４４ｆに対応する画素数Ｘ_２が記憶されているようにしてもよいし、これらが算出されるようにしてもよい。

ここでは、検出対象ずれ情報は、位置Ｐ_１及び位置Ｐ_２のずれに関する情報と、画素数Ｘ_１及び画素数Ｘ_２のずれに関する情報と、を含むことになる。変形例（２）の表示制御部９０は、検出対象ずれ情報に基づいて映像の表示位置と大きさとの少なくとも一方を決定する。

表示制御部９０は、リプレイ映像６０における内野４４ｆの大きさを示す画素数Ｘ_２を、現実空間画像５０における内野４４ｆの大きさを示す画素数Ｘ_１に合わせるように、リプレイ映像６０の大きさを調整する（図１３のリプレイ映像６０ｃの状態）。そして、表示制御部９０は、リプレイ映像６０における内野４４ｆの位置Ｐ_２を、現実空間画像５０における内野４４ｆの位置Ｐ_１に合わせるように、リプレイ映像６０の位置を調整する（図１３のリプレイ映像６０ｄの状態）。

なお、上記においては、リプレイ映像６０の大きさと表示位置との両方が調整される場合を説明するが、リプレイ映像６０の大きさと表示位置との何れか一方のみが調整されるようにしてもよい。

表示制御部９０は、現実空間画像５０と、表示位置と大きさとの少なくとも一方が決定された映像と、を合成して表示手段に表示させる。即ち、表示制御部９０は、上記のようにして決定された大きさのリプレイ映像６０を、上記のようにして決定された表示位置に表示されるように、合成画面７０に表示させることになる。

変形例（２）によれば、リプレイ映像を最適な位置及び大きさで合成画面７０に表示させることができる。

（３）また例えば、実施形態においては、野球場４０に野球選手４６が一人でもいれば（即ち、野球選手４６が一人でも現実空間画像５０に撮影されていれば）リプレイ映像６０を合成させない場合を説明したが、野球場４０にいる野球選手４６が少なければ（現実空間画像５０に撮影されている野球選手４６が少なければ）、現実空間画像５０に撮影された野球選手４６とリプレイ映像６０に撮影された野球選手４６とが、あまり重ならないので、リプレイ映像６０が見にくくならないことがある。したがって、野球場４０にいる野球選手４６の数（現実空間画像５０に撮影された野球選手４６の数）に応じて、合成画面７０の表示を制限するか否かを決定するようにしてもよい。

変形例（３）の表示制御システム１は、除外対象数取得部９８を含む。除外対象数取得部９８は、制御部１１を主として実現される。除外対象数取得部９８は、現実空間（例えば、野球場４０）にいる除外対象（例えば、野球選手４６）の数を取得する。例えば、除外対象数取得部９８は、現実空間画像５０の撮影内容に基づいて、野球場４０にいる野球選手４６の数を取得する。ここでは、除外対象数取得部９８は、現実空間画像５０に野球選手４６が撮影されていると判定された場合、現実空間画像５０に撮影されている野球選手４６の数を取得する。

除外対象数取得部９８は、現実空間画像５０と野球選手４６のテンプレート画像との比較結果に基づいて、現実空間画像５０に撮影された野球選手４６の数を取得する。ここでは、除外対象数取得部９８は、現実空間画像５０から抽出された対象領域のうち、テンプレート画像との一致度が閾値以上となった対象領域の数をカウントすることによって、現実空間画像５０に撮影された野球選手４６の数を取得する。

変形例（３）の表示制御部９０は、現実空間（例えば、野球場４０）に除外対象（例えば、野球選手４６）がいない場合、又は、現実空間にいる除外対象の数が基準数未満である場合、現実空間画像５０と映像とを合成して表示部１５に表示させる。基準数は、予め定められた数値（例えば、３）であればよい。また、基準数は、リプレイ映像６０毎に共通の数であってもよいし、互いに異なる数であってもよい。

ここでは、表示制御部９０は、現実空間画像５０に除外対象（例えば、野球選手４６）が撮影されていないと判定された場合、又は、現実空間画像５０に撮影されている除外対象の数が基準数未満である場合、現実空間画像５０と映像とを合成して表示部１５に表示させることになる。

変形例（３）の制限部９２は、現実空間（例えば、野球場４０）にいる除外対象（例えば、野球選手４６）数が基準数以上である場合、表示制御部９０による表示制御処理の実行を制限する。ここでは、制限部９２は、現実空間画像５０に除外対象（例えば、野球選手４６）が撮影されていると判定され、かつ、現実空間画像５０に撮影されている除外対象の数が基準数以上である場合、表示制御部９０による表示制御処理の実行を制限することになる。

変形例（３）によれば、野球場４０に野球選手４６がいたとしても（現実空間画像５０に野球選手４６が撮影されていたとしても）、この野球選手４６が比較的少ない数であれば、リプレイ映像６０を合成しても見にくくならないことがあるので、リプレイ映像６０が比較的見やすい状態で合成画面７０を表示させることができる。

（４）また例えば、ホームベース４４ａ付近でのクロスプレイを示すリプレイ映像６０が用意されている場合、現実空間画像５０に野球選手４６が撮影されていたとしても、ホームベース４４ａ付近にさえ野球選手４６が撮影されていなければ、リプレイ映像６０を合成させても、クロスプレイが見にくくなることがない。このように、所定領域内に野球選手４６が撮影されていなければ、リプレイ映像６０を合成させるようにしてもよい。

変形例（４）の判定部８６は、現実空間（例えば、野球場４０）の所定領域内に除外対象（例えば、野球選手４６）がいるか否かを判定する。所定領域とは、現実空間に設定される領域であり、ここでは、ホームベース４４ａを含む領域である。例えば、ホームベース４４ａから一定距離以内の領域が、「所定領域」に相当する。

なお、所定領域は、リプレイ映像６０毎に異なるようにしてもよい。この場合、映像データと所定領域とが関連付けられて映像データサーバ２０に記憶されているようにしてもよい。即ち、この場合、リプレイ映像６０が示すプレイ又はイベントが行われている領域を示す情報が、所定領域に相当する。

ここでは、判定部８６は、現実空間画像５０が示す現実空間の所定領域内に除外対象（例えば、野球選手４６）が撮影されているか否かを判定することになる。例えば、データ記憶部８０には、現実空間の所定領域にある物体のテンプレート画像が記憶される。ここでは、ホームベース４４ａのテンプレート画像が記憶される。判定部８６は、現実空間画像５０とホームベース４４ａのテンプレート画像とを比較することによって、現実空間画像５０にホームベース４４ａが撮影されているか否かを判定する。判定部８６は、現実空間画像５０のうち、上記所定領域が撮影されている領域内と、野球選手４６のテンプレート画像と、を比較することによって、所定領域内に野球選手４６が撮影されているか否かを判定する。

変形例（４）の表示制御部９０は、現実空間（例えば、野球場４０）の所定領域内に除外対象（例えば、野球選手４６）がいない場合、現実空間画像５０と映像（例えば、リプレイ映像６０）とを合成して表示部１５に表示させる。ここでは、表示制御部９０は、現実空間画像５０が示す野球場４０の所定領域内に野球選手４６が撮影されていないと判定された場合、合成画面７０を表示させることになる。

変形例（４）の制限部９２は、現実空間（例えば、野球場４０）の所定領域内に除外対象（例えば、野球選手４６）がいる場合、表示制御部９０による表示制御処理の実行を制限する。ここでは、制限部９２は、現実空間画像５０が示す野球場４０の所定領域内に野球選手４６が撮影されていると判定された場合、表示制御部９０による表示制御処理の実行を制限することになる。

変形例（４）によれば、リプレイ映像６０にとって重要な領域内に野球選手４６がいない場合に、合成画面７０を表示させることができるので、重要なシーンが見にくい状態で表示されてしまうことを防止することができる。

（５）また例えば、映像データ毎に、除外対象となるものが異なっていてもよい。例えば、試合のプレイに係る映像データについては、野球選手４６を除外対象とし、野球チームのマスコット人形の応援映像を示す映像データについては、野球選手４６ではなく、当該マスコット人形を除外対象とするようにしてもよい。

図１４は、映像データと除外対象の種類との関連付けを示す図である。例えば、図１４に示す関連付けは、テーブル形式であってもよいし、数式形式であってもよく、データ記憶部８０に記憶される。

変形例（５）の判定部８６は、映像データと除外対象の種類との関連付けに基づいて、映像データ取得部８４により取得される映像データに関連付けられた除外対象の種類を特定する手段を含み、当該特定された種類の除外対象が、現実空間画像に撮影されているか否かを判定する。

例えば、データ記憶部８０の辞書データには、除外対象の種類毎に、当該除外対象の基本形状を示すテンプレート画像が登録されている。判定部８６は、表示対象となる映像データに関連付けられた除外対象の種類を取得し、当該除外対象の種類に対応するテンプレート画像を用いて、現実空間画像５０に除外対象が撮影されているか否かを判定することになる。

変形例（５）の表示制御部９０は、現実空間に、映像に関連する種類の除外対象（例えば、野球選手４６又はマスコット人形）がいない場合、現実空間画像５０と映像とを合成して表示手段（例えば、表示部１５）に表示させる。ここでは、表示制御部９０は、映像データに関連付けられた種類の除外対象が現実空間画像５０に撮影されていないと判定された場合、合成画面７０を表示させることになる。

変形例（５）の制限部９２は、現実空間に、映像に関連する種類の除外対象（例えば、野球選手４６又はマスコット人形）がいる場合、表示制御部９０による表示制御処理の実行を制限する。ここでは、制限部９２は、映像データに関連付けられた種類の除外対象が現実空間画像５０に撮影されていると判定された場合、表示制御部９０による表示制御処理の実行を制限する。

変形例（５）によれば、映像データに応じた除外対象を設定することができる。

（６）また例えば、上記においては、現実空間画像５０に野球選手４６が撮影されているか否かが判定されることによって、合成画面７０を表示させるか否かが決定される場合を説明したが、合成画面７０を表示させるか否かを決定する方法は、これに限られない。野球場４０に野球選手４６がいるか否かに応じて、合成画面７０を表示させるか否かが制御されるようにすればよい。

例えば、実際の野球の試合においては、試合の開始前、試合の終了後、攻守交代のタイミング、雨天等のために試合が中断しているタイミング、及びグラウンド４４の整備をするタイミング等では、野球場４０に野球選手４６がいないことが多い。このため、現時点がこれらのタイミングであるか否かに応じて、合成画面７０を表示させるか否かが決定されるようにしてもよい。

変形例（６）の機能ブロックは、実施形態と同様であるが、ここでは、判定部８６及び制限部９２が映像データサーバ２０において実現される場合を説明する。変形例（６）の判定部８６は、現時点が第１の期間に含まれるか否か、又は、現時点が第２の期間に含まれるか否か、の少なくとも一方を判定する。

ここで、第１の期間とは、野球場４０に野球選手４６がいない期間である。例えば、試合開始前の期間、試合終了後の期間、攻守交代の期間、及び試合が中断する期間が、第１の期間に相当する。一方、第２の期間とは、野球場４０に野球選手４６がいる期間であり、第１の期間とは異なる期間である。例えば、試合が中断せずに進行している期間が、第２の期間に相当する。

これら第１の期間及び第２の期間は、予め指定された期間（例えば、記憶部２２等に記憶された日時）であってもよいし、試合の進行状況に応じて、映像データサーバ２０の操作部等からオペレーターが入力する期間であってもよい。

変形例（６）の表示制御部９０は、現実空間（例えば、野球場４０）に除外対象（例えば、野球選手４６）がいない第１の期間に現時点が含まれる場合、現実空間画像５０と映像とを合成して表示手段（例えば、表示部１５）に表示させる。ここでは、判定部８６により現時点が第１の期間に含まれると判定された場合、映像データ取得部８４により映像データが取得され、表示制御部９０は、合成画面７０を表示させる。即ち、映像データサーバ２０は、現時点が第１の期間に含まれる場合、映像データを表示制御装置１０に配信することになる。

変形例（６）の制限部９２は、現実空間（例えば、野球場４０）に除外対象（例えば、野球選手４６）がいる第２の期間に現時点が含まれる場合、表示制御部９０による表示制御処理の実行を制限する。ここでは、判定部８６により現時点が第２の期間に含まれると判定された場合、映像データ取得部８４により映像データが取得されず、合成画面７０が表示されないことになる。即ち、制限部９２は、現時点が第２の期間に含まれる場合、映像データを表示制御装置１０に配信することを制限（抑止又は禁止）する。「映像データが表示制御装置１０に配信されることを制限する」とは、映像データを配信しないことである。

変形例（６）によれば、現時点が属する期間に応じて、合成画面７０を表示させるか否かを決定することができる。即ち、野球場４０に野球選手４６がいない時間帯（第１の期間）には、映像データを配信して合成画面７０を表示させるようにして、野球場４０に野球選手４６がいる時間帯（第２の期間）には、映像データを配信せず合成画面７０が表示されないようにすることができる。

なお、第１の期間及び第２の期間は、映像データの内容に応じて適宜設定されるようにすればよい。例えば、映像データがサッカーの試合内容を示すものであれば、試合前半と試合後半との間に設けられたハーフタイム、試合開始前、及び試合終了後のタイミングが、第１の期間に相当し、試合の前半及び試合の後半のタイミングが、第２の期間に相当することになる。この場合も、上記変形例と同様に、第１の期間及び第２の期間が、予め指定された期間であってもよいし、試合の進行に応じてオペレーターにより入力された期間であってもよい。

また、上記においては、判定部８６及び制限部９２が映像データサーバ２０により実現される場合を説明したが、判定部８６及び制限部９２は、表示制御装置１０により実現されるようにしてもよい。この場合には、表示制御装置１０において、現時点が第１の期間に含まれるか第２の期間に含まれるかが判定され、映像データサーバ２０から映像データを取得するか否かが決定されることになる。

また、現時点が第２の期間に含まれる場合に、映像データサーバ２０が映像データを表示制御装置１０に配信しない場合を説明したが、現時点が第２の期間に含まれる場合に合成画面７０が表示されることが制限されるようにすればよく、当該制限方法は、これに限られない。他にも例えば、映像データサーバ２０は映像データを表示制御装置１０に配信しておいて、合成画面７０を表示させる処理の実行をさせないようにしてもよい。この場合には、現時点が第１の期間に含まれるようになった場合に、当該配信した映像データをもとに合成画面７０が表示されることになる。

また、オペレーターは、映像データサーバ２０の操作部等を介して、合成画面７０の表示を許可するための第１の操作と、合成画面７０の表示を制限するための第２の操作と、を行うようにしてもよい。例えば、攻守交代のタイミングになり野球場４０から野球選手４６がいなくなった場合に、オペレーターは第１の操作を行い、攻守交代が終了して野球場４０に野球選手４６が戻った場合に、オペレーターは第２の操作を行う。即ち、オペレーターは、試合の進行に応じて第１の操作と第２の操作とを交互に行うことになる。この場合、第１の操作が行われてから第２の操作が行われるまでの期間が、第１の期間に相当し、第２の操作が行われてから第１の操作が行われるまでの期間が、第２の期間に相当することになる。

また、実施形態、変形例（１）、変形例（２）、及び変形例（６）を組み合わせてもよい。例えば、表示制御部９０は、現実空間画像５０に野球選手４６が撮影されている場合、又は、現時点が第１の期間に含まれる場合、合成画面７０を表示させるようにしてもよい。また例えば、制限部９２は、現実空間画像５０に野球選手４６が撮影されている場合、又は、現時点が第２の期間に含まれる場合、合成画面７０の表示を制限するようにしてもよい。

また、変形例（３）と変形例（６）とを組み合わせてもよい。この場合、野球場４０に野球選手４６がいない期間、又は、野球場４０にいる野球選手４６の数が基準数未満である期間が、第１の期間に相当する。そして、野球場４０にいる野球選手４６の数が基準数以上である期間が、第２の期間に相当する。即ち、野球場４０に野球選手４６がいたとしても、基準数以上の野球選手がいなければ、その期間は、第２の期間となる。

また、変形例（４）と変形例（６）とを組み合わせてもよい。この場合、野球場４０の所定領域に野球選手４６がいない期間が、第１の期間に相当する。そして、野球場４０の所定領域に野球選手４６がいる期間が、第２の期間に相当する。即ち、野球場４０の所定領域以外の場所に野球選手４６がいたとしても、所定領域内に野球選手４６がいなければ、その期間は、第２の期間となる。

また、変形例（５）と変形例（６）とを組み合わせてもよい。この場合、野球場４０に関連する種類の除外対象（即ち、野球選手４６）がいない期間が、第１の期間に相当する。そして、野球場４０に関連する種類の除外対象（即ち、野球選手４６）がいる期間が、第２の期間に相当する。即ち、野球場４０に何らかの物体（例えば、マスコット人形）がいたとしても、野球場４０に野球選手４６がいないのであれば、その期間は、第２の期間となる。

（７）また例えば、野球場４０に来場したユーザのうち、所与の条件を満たしたユーザにのみリプレイ映像を見ることを許可し、他のユーザについてはリプレイ映像を見ることが制限されるようにしてもよい。例えば、野球ゲームに利用登録しているユーザにのみ、その特典として実際の試合の攻守交代タイミング等でリプレイ映像を見せたり、野球ゲームで所与の結果を収めたユーザにのみ、その特典として実際の試合の攻守交代タイミング等でリプレイ映像を見せたりするようにしてもよい。

図１５は、表示制御システム１を含むゲームシステム１００の一例を示す図である。図１５に示すように、ゲームシステム１００は、ゲームサーバ１１０を含む。ゲームサーバ１１０は、制御部１１１、記憶部１１２、及び通信部１１３を含む。これら制御部１１１、記憶部１１２、及び通信部１１３のハードウェア構成は、それぞれ制御部１１、記憶部１２、及び通信部１７と同様である。

制御部１１１は、記憶部１１２に記憶されたプログラム及びデータを読み出して、ゲームを統括的に制御する。ここでは、制御部１１１は、リプレイ映像に係るゲームを実行する。リプレイ映像に係るゲームとは、ビデオカメラ３０に撮影された画像に対応する画像が表示されるゲームであり、例えば、リプレイ映像が示す競技に係るゲームである。ここでは、制御部１１１が野球ゲームを実行する場合を説明する。

記憶部１１２は、野球ゲームに利用登録したユーザを識別する情報や、各ユーザがプレイしている野球ゲームに関する各種情報を記憶する。記憶部１１２の記憶内容は、ゲームサーバ１１０の制御部１１１や表示制御装置１０の制御部１１により取得及び更新される。

図１６は、ゲームシステム１００の機能ブロック図である。図１６に示すように、ゲームシステム１００は、図４に示す実施形態の各機能に加えて、ゲームデータ記憶部１２０、利用登録受付部１２２、登録判定部１２４、表示許可部１２６、表示制限部１２８、ゲーム提供部１３０、及び結果判定部１３２を実現する。これら各機能は、制御部１１１が記憶部１１２に記憶されたプログラムを実行することによって実現され、例えば、ゲームデータ記憶部１２０は、記憶部１１２を主として実現され、その他の各機能は、制御部１１１を主として実現される。

（７−１）まず、ユーザが野球ゲームに利用登録しているか否かに応じて、リプレイ映像の表示を許可するか否かが決定される場合を説明する。野球ゲームをプレイすることを許可するためのユーザの所定操作が行われた場合に、野球ゲームの利用登録が行われる。

ゲームデータ記憶部１２０は、ゲームに関する各種情報を記憶する。ここでは、ゲームデータ記憶部１２０は、ゲームに利用登録したユーザに関する利用登録データを記憶する。利用登録データは、ゲームの利用が許可されたユーザのリストともいえる。例えば、利用登録データには、ユーザを一意に識別するＩＤと、当該ユーザに関する個人情報と、が関連付けられている。利用登録データに格納されているユーザは、ゲームの利用が可能になり、利用登録データに格納されていないユーザは、ゲームの利用が制限（抑止又は禁止）される。

利用登録受付部１２２は、リプレイ映像に係るゲームの利用登録を受け付ける。利用登録受付部１２２は、ユーザによる操作部１３の操作内容を取得することによって、ゲームの利用登録を受け付ける。ここでは、ゲームの利用登録をするための画面が表示部１５に表示され、ユーザが当該画面から所与の操作をすると、利用登録受付部１２２がゲームの利用登録を受け付けることになる。利用登録受付部１２２が利用登録を受け付けたユーザは、利用登録データに追加される。

登録判定部１２４は、表示制御装置１０のユーザがゲームに利用登録しているか否かを判定する。登録判定部１２４は、表示制御装置１０のユーザを識別する情報が、利用登録データに格納しているか否かを判定することによって、ユーザがゲームに登録しているか否かを判定する。なお、ユーザを識別する情報は、表示制御装置１０の記憶部１２に記憶されており、登録判定部１２４は、ネットワークＮを介して表示制御装置１０からユーザを識別する情報を取得し、当該情報が利用登録データに格納されているか否かを判定する。

表示許可部１２６は、ユーザがゲームに利用登録していると判定された場合、映像が表示部１５に表示されることを許可する。例えば、表示許可部１２６は、映像データ取得部８４がリプレイ映像を取得することを許可したり、表示制御部９０がリプレイ映像を合成表示する処理を実行することを許可したりする。

表示制限部１２８は、ユーザがゲームに利用登録していないと判定された場合、映像が表示部１５に表示されることを制限する。例えば、表示許可部１２６は、映像データ取得部８４がリプレイ映像を取得することを制限（抑止又は禁止）したり、表示制御部９０がリプレイ映像を合成表示する処理を実行することを制限（抑止又は禁止）したりする。

変形例（７−１）によれば、野球ゲームへの利用登録を済ませていないユーザについては、野球のリプレイ映像を見ることができず、野球ゲームへの利用登録を済ませたユーザについては、野球のリプレイ映像を見せることができるので、野球ゲームの利用登録を促進することができる。更に、限られたユーザにのみリプレイ映像を見せるため、映像データサーバ２０の処理負荷やネットワークＮの通信負荷を軽減することができる。

（７−２）次に、野球ゲームに利用登録したユーザのプレイ結果が所与の結果であるか否かに応じて、リプレイ映像の表示を許可するか否かが決定される場合を説明する。

ゲーム提供部１３０は、映像に係るゲームを表示制御装置１０のユーザに提供する。ここでは、ゲーム提供部１３０は、野球ゲームをユーザに提供する。ゲームを提供するとは、ユーザにゲームをプレイさせること（例えば、表示部１５にゲームの画面を表示させること）であり、ユーザの操作に応じてゲームを進行させること（例えば、ゲームの状況を示すデータを更新すること）である。

結果判定部１３２は、ユーザによるゲームのプレイ結果が所与の結果であるか否かを判定する。プレイ結果が所与の結果であるとは、ゲームにおいてユーザが所与の成績を収めることであり、ゲームの現在の状況を示すデータが所与の値を示すことともいえる。ここでは、ユーザがゲーム課題をクリアすることが、プレイ結果が所与の結果であることに相当する。

例えば、結果判定部１３２は、ゲームの状況を示すデータに基づいて、ユーザが所与のゲーム課題をクリアしたか否かを判定する。例えば、ゲーム課題としては、野球の試合の進行を予想して正解することであり、例えば、実際の試合に出場する選手をユーザが当てること、又は、実際の試合の進行内容（結果）をユーザが当てることである。この場合、実際の試合の進行に関する情報が、システム管理者等によりゲームデータ記憶部１２０に登録される。結果判定部１３２は、当該登録された情報とユーザのプレイ結果（予想結果）とを比較することによって、ユーザがゲーム課題をクリアしたか否かを判定する。

表示許可部１２６は、ユーザによるゲームのプレイ結果が所与の結果であると判定された場合、映像が表示部１５に表示されることを許可する。表示制限部１２８は、ユーザによるゲームのプレイ結果が所与の結果でないと判定された場合、映像が表示部１５に表示されることを制限する。

変形例（７−２）によれば、現実の野球を観戦するユーザが、野球ゲームにおいて所与の結果を出した際にリプレイ映像を見ることができるので、野球観戦及びゲームの興趣性を高めることができる。また、変形例（７−１）と同様に、限られたユーザにのみリプレイ映像を見せるため、映像データサーバ２０の処理負荷やネットワークＮの通信負荷を軽減することができる。

なお、上記説明した野球ゲームは、ユーザ同士が仮想コミュニケーションを行うゲーム（いわゆるソーシャルゲーム）であってもよい。当該ゲームに利用登録したユーザ同士でメッセージを送りあうことによって、仮想コミュニケーションが実行される。

また、ゲームデータ記憶部１２０、利用登録受付部１２２、登録判定部１２４、表示許可部１２６、表示制限部１２８、ゲーム提供部１３０、及び結果判定部１３２がゲームサーバ１１０により実現される場合を説明したが、これら各機能は、表示制御装置１０又は映像データサーバ２０により実現されるようにしてもよい。即ち、これら各機能は、ゲームシステム１００に含まれる各装置（ここでは、表示制御装置１０と映像データサーバ２０とゲームサーバ１１０）の何れかにより実現されるようにすればよい。

（８）また例えば、上記実施形態と変形例とを組み合わせてもよい。更に、上記においては、ユーザが野球場を撮影すると野球のリプレイ映像が流れる場合を説明したが、合成画面に表示される映像は、これに限られない。合成画面に表示される映像は、予め用意された映像であればよく、例えば、サッカーの試合の映像が合成画面に表示されるようにしてもよい。他にも例えば、ユーザが所与の風景を撮影すると、架空のキャラクタが合成されるようにしてもよい。この場合に除外対象として人型のシルエットを設定しておくことにより、ユーザが撮影した写真内に人間が写っていない場合に、風景とキャラクタとを合成することが許可されることになる。

また例えば、本発明は、実施形態や変形例において説明した表示制御装置以外のコンピュータにも適用することができる。他にも例えば、デジタルカメラや携帯型ゲーム機に本発明を適用するようにしてもよい。

１ 表示制御システム、１０ 表示制御装置、１１，２１，１１１ 制御部、１２，２２，１１２ 記憶部、１３ 操作部、１４ 入力部、１５ 表示部、１６ 撮影部、１７，２３，１１３ 通信部、２０ 映像データサーバ、３０，３０ａ，３０ｂ，３０ｃ，３０ｄ，３０ｅ ビデオカメラ、Ｃ ケーブル、Ｎ ネットワーク、４０ 野球場、４２ 観客席、４２ａ バックネット裏観客席、４２ｂ 一塁側観客席、４２ｃ 三塁側観客席、４２ｄ ライトスタンド観客席、４２ｅ レフトスタンド観客席、４４ グラウンド、４４ａ ホームベース、４４ｂ 一塁ベース、４４ｃ 二塁ベース、４４ｄ 三塁ベース、４４ｅ バッターボックス、４４ｆ 内野、４６ 野球選手、５０ 現実空間画像、６０ リプレイ映像、７０ 合成画面、８０ データ記憶部、８２ 画像取得部、８４ 映像データ取得部、８６ 判定部、８８ 推定部、９０表示制御部、９２ 制限部、９４ 第１ずれ情報取得部、９６ 第２ずれ情報取得部、９８ 除外対象数取得部、１００ ゲームシステム、１１０ ゲームサーバ、１２０ ゲームデータ記憶部、１２２ 利用登録受付部、１２４ 登録判定部、１２６ 表示許可部、１２８ 表示制限部、１３０ ゲーム提供部、１３２ 結果判定部。

Claims (17)

1. 現実空間を示す現実空間画像と所与の映像とを合成して表示手段に表示させる表示制御システムであって、
   撮影手段から前記現実空間画像を取得する画像取得手段と、
   前記映像を示す映像データを記憶する記憶手段に記憶される当該映像データを取得する映像データ取得手段と、
   前記現実空間に、前記映像に含まれる特定種類の被写体と同種類の除外対象がいない場合、前記現実空間画像と前記映像とを合成して前記表示手段に表示させる表示制御手段と、
   前記現実空間に、前記映像に含まれる前記特定種類の被写体と同種類の前記除外対象がいる場合、前記表示制御手段による表示制御処理の実行を制限する制限手段と、
   を含むことを特徴とする表示制御システム。
2. 前記映像データが示す映像は、前記現実空間の過去の様子を示す映像である、
   請求項１に記載の表示制御システム。
3. 前記画像取得手段は、現実空間における競技場の現在の様子を示す現実空間画像を取得し、
   前記映像データ取得手段は、前記競技場で行われる競技の過去の映像に関する映像データを取得し、
   前記表示制御手段は、前記現実空間に競技者がいない場合、前記競技場の現在の様子を示す前記現実空間画像と、前記競技の過去の映像と、を合成して前記表示手段に表示させ、
   前記制限手段は、前記現実空間に前記競技者がいる場合、前記表示制御手段による表示制御処理の実行を制限する、
   ことを特徴とする請求項１又は２に記載の表示制御システム。
4. 前記映像データが示す映像は、前記競技において所与のプレイが行われた場面の映像、又は、前記競技において所与のイベントが発生した場面の映像であり、
   前記表示制御手段は、前記現実空間に前記競技者がいない場合、前記競技場の現在の様子を示す前記現実空間画像と、前記所与のプレイが行われた場面の映像又は前記所与のイベントが発生した場面の映像と、を合成して前記表示手段に表示させる、
   ことを特徴とする請求項３に記載の表示制御システム。
5. 前記記憶手段には、複数の映像データが記憶されており、
   前記複数の映像データの各々は、互いに異なる位置から前記現実空間を撮影した、前記現実空間の過去の様子を示す映像であり、
   前記映像データ取得手段は、前記複数の映像データのうち、前記撮影手段の撮影位置に対応する位置から撮影された前記映像を示す前記映像データを取得し、
   前記表示制御手段は、
   前記現実空間に、前記映像に含まれる前記特定種類の被写体と同種類の前記除外対象がいない場合、前記現実空間画像と、前記撮影手段の撮影位置に対応する位置から撮影された前記映像と、を合成して前記表示手段に表示させる、
   ことを特徴とする請求項１〜４の何れかに記載の表示制御システム。
6. 前記映像データが示す映像は、前記現実空間を所与の位置から撮影した、前記現実空間の過去の様子を示す映像であり、
   前記表示制御システムは、
   前記撮影手段の撮影位置と、前記映像の撮影位置と、のずれに関する撮影ずれ情報を取得する手段を更に含み、
   前記表示制御手段は、
   前記撮影ずれ情報に基づいて前記映像の表示位置と大きさとの少なくとも一方を決定する手段を含み、前記現実空間画像と、当該手段により表示位置と大きさとの少なくとも一方が決定された前記映像と、を合成して前記表示手段に表示させる、
   ことを特徴とする請求項１〜５の何れかに記載の表示制御システム。
7. 前記映像データが示す映像は、前記現実空間を所与の位置から撮影した、前記現実空間の過去の様子を示す映像であり、
   前記現実空間には、検出対象が配置されており、
   前記画像取得手段は、前記検出対象が撮影された現実空間画像を取得し、
   前記映像データ取得手段は、前記検出対象が撮影された前記映像を示す映像データを取得し、
   前記表示制御システムは、
   前記現実空間画像における前記検出対象の位置と大きさとの少なくとも一方と、前記映像における前記検出対象の位置と大きさとの少なくとも一方と、のずれに関する検出対象ずれ情報を取得する手段を更に含み、
   前記表示制御手段は、
   前記検出対象ずれ情報に基づいて前記映像の表示位置と大きさとの少なくとも一方を決定する手段を含み、前記現実空間画像と、当該手段により表示位置と大きさとの少なくとも一方が決定された前記映像と、を合成して前記表示手段に表示させる、
   ことを特徴とする請求項１〜６の何れか一項に記載の表示制御システム。
8. 前記表示制御手段は、前記現実空間画像に、前記映像に含まれる前記特定種類の被写体と同種類の前記除外対象が撮影されていない場合、前記現実空間画像と前記映像とを合成して前記表示手段に表示させ、
   前記制限手段は、前記現実空間画像に、前記映像に含まれる前記特定種類の被写体と同種類の前記除外対象が撮影されている場合、前記表示制御手段による表示制御処理の実行を制限する、
   ことを特徴とする請求項１〜７の何れか一項に記載の表示制御システム。
9. 前記表示制御手段は、前記現実空間に、前記映像に含まれる前記特定種類の被写体と同種類の前記除外対象がいない第１の期間に現時点が含まれる場合、前記現実空間画像と前記映像とを合成して前記表示手段に表示させ、
   前記制限手段は、前記現実空間に、前記映像に含まれる前記特定種類の被写体と同種類の前記除外対象がいる第２の期間に現時点が含まれる場合、前記表示制御手段による表示制御処理の実行を制限する、
   ことを特徴とする請求項１〜８の何れか一項に記載の表示制御システム。
10. 請求項１〜９の何れか一項に記載の表示制御システムを含むゲームシステムであって、
    前記映像に係るゲームの利用登録を受け付ける手段と、
    前記表示制御システムのユーザが前記ゲームに利用登録しているか否かを判定する手段と、
    前記ユーザが前記ゲームに利用登録していると判定された場合、前記映像が前記表示手段に表示されることを許可する手段と、
    前記ユーザが前記ゲームに利用登録していないと判定された場合、前記映像が前記表示手段に表示されることを制限する手段と、
    を含むことを特徴とするゲームシステム。
11. 請求項１〜１０の何れか一項に記載の表示制御システムを含むゲームシステムであって、
    前記映像に係るゲームを前記表示制御システムのユーザに提供する手段と、
    前記ユーザによる前記ゲームのプレイ結果が所与の結果であるか否かを判定する手段と、
    前記ユーザによる前記ゲームのプレイ結果が前記所与の結果であると判定された場合、前記映像が前記表示手段に表示されることを許可する手段と、
    前記ユーザによる前記ゲームのプレイ結果が前記所与の結果でないと判定された場合、前記映像が前記表示手段に表示されることを制限する手段と、
    を含むことを特徴とするゲームシステム。
12. 現実空間を示す現実空間画像と所与の映像とを合成して表示手段に表示させる表示制御システムであって、
    撮影手段から前記現実空間画像を取得する画像取得手段と、
    前記映像を示す映像データを記憶する記憶手段に記憶される当該映像データを取得する映像データ取得手段と、
    前記現実空間に所与の除外対象がいない場合、又は、前記現実空間にいる前記除外対象の数が基準数未満である場合、前記現実空間画像と前記映像とを合成して前記表示手段に表示させる表示制御手段と、
    前記現実空間にいる前記除外対象の数が前記基準数以上である場合、前記表示制御手段による表示制御処理の実行を制限する制限手段と、
    を含むことを特徴とする表示制御システム。
13. 現実空間を示す現実空間画像と所与の映像とを合成して表示手段に表示させる表示制御システムであって、
    撮影手段から前記現実空間画像を取得する画像取得手段と、
    前記映像を示す映像データを記憶する記憶手段に記憶される当該映像データを取得する映像データ取得手段と、
    前記現実空間の所定領域内に所与の除外対象がいない場合、前記現実空間画像と前記映像とを合成して前記表示手段に表示させる表示制御手段と、
    前記現実空間の所定領域内に前記除外対象がいる場合、前記表示制御手段による表示制御処理の実行を制限する制限手段と、
    を含むことを特徴とする表示制御システム。
14. 現実空間を示す現実空間画像と所与の映像とを合成して表示手段に表示させる表示制御装置であって、
    撮影手段から前記現実空間画像を取得する画像取得手段と、
    前記映像を示す映像データを記憶する記憶手段に記憶される当該映像データを取得する映像データ取得手段と、
    前記現実空間に、前記映像に含まれる特定種類の被写体と同種類の除外対象がいない場合、前記現実空間画像と前記映像とを合成して前記表示手段に表示させる表示制御手段と、
    を含むことを特徴とする表示制御装置。
15. 現実空間を示す現実空間画像と所与の映像とを合成して表示手段に表示させる表示制御装置であって、
    撮影手段から前記現実空間画像を取得する画像取得手段と、
    前記映像を示す映像データを記憶する記憶手段に記憶される当該映像データを取得する映像データ取得手段と、
    前記現実空間に所与の除外対象がいない場合、又は、前記現実空間にいる前記除外対象の数が基準数未満である場合、前記現実空間画像と前記映像とを合成して前記表示手段に表示させる表示制御手段と、
    を含むことを特徴とする表示制御装置。
16. 現実空間を示す現実空間画像と所与の映像とを合成して表示手段に表示させる表示制御装置であって、
    撮影手段から前記現実空間画像を取得する画像取得手段と、
    前記映像を示す映像データを記憶する記憶手段に記憶される当該映像データを取得する映像データ取得手段と、
    前記現実空間の所定領域内に所与の除外対象がいない場合、前記現実空間画像と前記映像とを合成して前記表示手段に表示させる表示制御手段と、
    を含むことを特徴とする表示制御装置。
17. 請求項１４〜１６の何れかに記載の表示制御装置としてコンピュータを機能させるためのプログラム。

Images