WO2016157247A1 - 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体 - Google Patents

仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体 Download PDF

Info

Publication number
WO2016157247A1
WO2016157247A1 PCT/JP2015/001812 JP2015001812W WO2016157247A1 WO 2016157247 A1 WO2016157247 A1 WO 2016157247A1 JP 2015001812 W JP2015001812 W JP 2015001812W WO 2016157247 A1 WO2016157247 A1 WO 2016157247A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
data
space
dimensional
image
Prior art date
Application number
PCT/JP2015/001812
Other languages
English (en)
French (fr)
Inventor
トマス ハート
実 中井
宏一 山岸
Original Assignee
株式会社カプコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社カプコン filed Critical 株式会社カプコン
Priority to JP2017508793A priority Critical patent/JP6317854B2/ja
Priority to PCT/JP2015/001812 priority patent/WO2016157247A1/ja
Priority to CN201580078470.2A priority patent/CN107430788A/zh
Priority to US15/563,320 priority patent/US10176643B2/en
Publication of WO2016157247A1 publication Critical patent/WO2016157247A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　実写映像を含む第１データから、実写映像を映し出す仮想スクリーン位置とカメラ位置に対応する仮想カメラ位置との位置関係に基づいて、実写映像に含まれる基準物の境界を表す三次元の基準物データを生成し、実写映像が撮影された実在空間を再現した仮想三次元ＣＧ空間を構成するオブジェクトを表す第２データを生成し、第１データと第２データとに基づいて、仮想三次元空間を生成するための第３データを生成する。第３データは、基準物データにおける基準物の境界と第２データにおける基準物に対応するオブジェクトの境界とを合わせることにより、仮想三次元ＣＧ空間における、仮想カメラ位置が定められたデータである。

Description

仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体
　本発明は、仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体に関する。
　従来、アクションゲームやロールプレイングゲーム等、プレイヤの操作に応じてプレイヤキャラクタを仮想の三次元ゲーム空間内で動作させるゲームがある。通常、三次元ゲーム空間はコンピュータグラフィックスによって生成されている。近年ではコンピュータグラフィックスも高精細となり、実際の風景等を高い再現度で表すことができるようになってきている。しかし、ビデオカメラ等で撮影した実際の映像（実写映像）には及ばない。
　コンピュータグラフィックスによる背景画像に代えて、実際の映像を用いて生成された三次元ゲーム空間内でキャラクタを操作できるゲームも開発されている（例えば非特許文献１参照）。
ステイトオブプレイ（State of play）、"ルミノシティ（Lumino City）"、[online]、[平成２７年２月２４日検索]、インターネット<http://www.stateofplaygames.com/work/lumino-city>
　しかし、非特許文献１のゲームでは、実写映像として表示される二次元画像の上を平面的にキャラクタが動くような構成としている。このため、奥行き方向への移動が制限されている。このように、従来の構成では、奥行きのあるような実写映像を用いて、キャラクタを奥行方向に移動させようとすると、違和感が生じる問題があった。
　そこで本発明は、実写映像を用いた仮想三次元空間における奥行き方向の表現を違和感なく行うことができる仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体を提供することを目的とする。
　本発明の一態様に係る仮想三次元空間生成方法は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データから、前記実写映像を映し出す仮想スクリーン位置と前記カメラ位置に対応する仮想カメラ位置との位置関係を特定し、前記実写映像に含まれる所定の基準物の境界を表すデータであって前記位置関係に基づき当該境界が前記実写映像中の前記基準物と対応付けられている三次元の基準物データを生成する基準物データ生成ステップ、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトを表す第２データを生成する第２データ生成ステップ、および前記第１データと前記第２データとに基づいて、仮想三次元空間を生成するための第３データを生成する第３データ生成ステップを含み、前記第３データ生成ステップは、前記基準物データにおける前記基準物の境界と前記第２データにおける前記基準物に対応するオブジェクトの境界とを合わせることにより、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記仮想カメラ位置を定めた前記第３データを生成する。
　本発明によれば、実写映像を用いた仮想三次元空間における奥行き方向の表現を違和感なく行うことができる仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体を提供することができる。
図１は本実施の形態におけるゲーム画面の例を示す図である。 図２は本実施の形態における仮想三次元空間の例を示す上面図である。 図３は本実施の形態における仮想三次元空間を作成するためのコンピュータシステムの概略構成を示すブロック図である。 図４は本実施の形態における基準物データの生成過程において、基準物の境界を示す特徴点の生成過程を示す図である。 図５は本実施の形態における基準物データの生成過程において、仮想基準物の生成過程を示す図である。 図６は本実施の形態における基準物データの生成過程において、基準物データに含まれる特徴的な情報を模式的に示す図である。 図７は本実施の形態における第２データの生成過程において、第２データ生成画面の例を示す図である。 図８は本実施の形態における第２データの生成過程において、第２データに含まれる特徴的な情報を模式的に示す図である。 図９は本実施の形態における第３データの生成過程において、仮想基準物と基準物オブジェクトとが一致する前の状態を示す図である。 図１０は本実施の形態における第３データの生成過程において、仮想基準物と基準物オブジェクトとが一致した後の状態を示す図である。 図１１は本実施の形態におけるゲーム装置のハードウェア構成を示すブロック図である。 図１２は図１１に示すゲーム装置の機能的な構成を示すブロック図である。 図１３は本実施の形態におけるゲーム画面の他の例を示す図である。 図１４は本実施の形態における仮想三次元空間の他の例を示す上面図である。
　本発明の一態様に係る仮想三次元空間生成方法は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データから、前記実写映像を映し出す仮想スクリーン位置と前記カメラ位置に対応する仮想カメラ位置との位置関係を特定し、前記実写映像に含まれる所定の基準物の境界を表すデータであって前記位置関係に基づき当該境界が前記実写映像中の前記基準物と対応付けられている三次元の基準物データを生成する基準物データ生成ステップ、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトを表す第２データを生成する第２データ生成ステップ、および前記第１データと前記第２データとに基づいて、仮想三次元空間を生成するための第３データを生成する第３データ生成ステップを含み、前記第３データ生成ステップは、前記基準物データにおける前記基準物の境界と前記第２データにおける前記基準物に対応するオブジェクトの境界とを合わせることにより、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記仮想カメラ位置を定めた前記第３データを生成する。
　前記仮想三次元空間生成方法は、前記仮想三次元空間内で移動可能なキャラクタを生成するキャラクタ生成ステップを含んでもよい。
　前記仮想三次元空間生成方法は、前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および前記キャラクタが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップを含んでもよい。
　前記基準物データ生成手段は、前記基準物データを、前記基準物を含む前記実写映像の特徴点群を取得することにより生成してもよい。
　前記基準物は、前記実在空間に設置した人工物であってもよい。
　前記実写映像は、前記基準物として設定した人工物を含めて撮影した後、当該撮影を継続しながら前記人工物を取り除いたものであり、前記基準物データを生成する際には前記実写映像のうちの前記人工物が撮影されている部分を利用し、前記実写映像による仮想三次元空間を生成する際には前記実写映像のうちの前記人工物を取り除いて撮影されている部分を利用してもよい。
　本発明の一態様に係るユーザ操作可能な映像システムは、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データと、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトの境界を表す第２データと、前記実写映像に含まれるオブジェクトが前記仮想三次元ＣＧ空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第３データと、を含むデータ群を読み出すデータ読み出しモジュール、前記第３データに基づいて前記第１データと前記第２データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成モジュール、前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示モジュール、および所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御モジュール、を備えている。
　前記映像システムは、前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理モジュールを備えてもよい。
　本発明の一態様に係るユーザ操作可能な映像システムの制御方法は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データと、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトの境界を表す第２データと、前記実写映像に含まれるオブジェクトが前記仮想三次元ＣＧ空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第３データと、含むデータ群を読み出すデータ読み出しステップ、前記第３データに基づいて前記第１データと前記第２データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成ステップ、前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御ステップ、を含んでいる。
　前記制御方法は、前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップを含んでもよい。
　本発明の一態様に係る記録媒体は、コンピュータ装置の制御部により実行可能な指令を記憶した、該コンピュータ装置での読み取りが可能な記録媒体であって、前記指令は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データと、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトの境界を表す第２データと、前記実写映像に含まれるオブジェクトが前記仮想三次元ＣＧ空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第３データと、を含むデータ群を読み出すデータ読み出しステップ、前記第３データに基づいて前記第１データと前記第２データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成ステップ、前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御ステップ、を含んでいる。
　前記指令は、前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップを含んでもよい。
　以下、本発明の実施の形態に係る仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体について、図面を参照しつつ説明する。本実施の形態においては、生成された仮想三次元空間内を行動可能なキャラクタを操作するゲームを例として説明する。
　［本実施の形態において生成される仮想三次元空間の概要］
　本実施の形態における仮想三次元空間は、まるで実在空間を撮影した実写映像内をキャラクタが行動しているように見せることのできるゲーム画面を表示するために生成される。図１は本実施の形態におけるゲーム画面の例を示す図である。また、図２は本実施の形態における仮想三次元空間の例を示す上面図である。図１に示すゲーム画面Ｇは、図２に示す仮想三次元空間Ｆを仮想カメラＣ（実線）から見た二次元画像として表現される。
　図１および図２に示すように、ゲーム画面Ｇ上において、キャラクタＰが行動する仮想三次元空間Ｆは実写映像により表現されている。すなわち、仮想三次元空間Ｆを仮想三次元空間Ｆ内の仮想カメラ位置に設置された仮想カメラＣから撮像した映像として実写映像がゲーム画面Ｇに表示される。仮想カメラＣの撮像範囲は、仮想カメラＣの画角により定められ、仮想三次元空間Ｆの仮想カメラ位置に対応する仮想スクリーン位置に設置された仮想スクリーンＳの範囲となる。さらに、ゲーム画面Ｇには、仮想カメラＣの撮像範囲内における仮想三次元空間Ｆに配置され、キャラクタＰが取得可能なアイテム等のオブジェクトＡも表示される。
　また、実写映像に含まれているオブジェクトには、境界が設定されている。例えば、木または壁等に設定される境界により、キャラクタＰの行動（移動等）が制限される。また、地面等に設定される境界により、当該境界上に位置するキャラクタＰの上下方向の位置（高さ方向の位置）が決定される。
　キャラクタＰが所定のカメラ切り替え位置Ｈに位置するとゲーム画面Ｇに表示される映像が別の仮想カメラＣから撮像した映像に切り替わる。例えば、図２において実線で示される仮想カメラＣで撮像した映像がゲーム画面Ｇに表示されている状態（図１に示すゲーム画面が表示されている状態）でキャラクタＰがカメラ切り替え位置Ｈに到達すると、図２において破線で示す仮想カメラＣで撮像した映像がゲーム画面Ｇに表示される。
　［仮想三次元空間作成方法］
　図３は本実施の形態における仮想三次元空間を作成するためのコンピュータシステムの概略構成を示すブロック図である。図３に示すように、コンピュータシステム１００は、各種演算を行うコンピュータ１０１と、各種データを記憶するハードディスク装置等の記憶装置１０２と、キーボードまたはマウス等の入力装置１０３と、モニタ１０４と、を備えている。これらの各構成は、バス信号線１０５により相互に信号の伝送が可能となっている。
　記憶装置１０２には、仮想三次元空間生成プログラム１２１が記憶されている。図３において、仮想三次元空間生成プログラム１２１は、１つのプログラムとして表現されているが、後述するように、複数のプログラムから構成されていてもよい。さらに、記憶装置１０２には、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データ１２２が記憶されている。
　コンピュータ１０１は、ＣＰＵ、内部メモリ等を備え、記憶装置１０２に記憶された仮想三次元空間生成プログラム１２１に基づいて、基準物データ生成部（基準物データ生成手段、基準物データ生成モジュール）１１１、第２データ生成部（第２データ生成手段、第２データ生成モジュール）１１２、第３データ生成部（第３データ生成手段、第３データ生成モジュール）１１３、キャラクタ生成部（キャラクタ生成手段、キャラクタ生成モジュール）１１４、および光源情報反映部（光源情報反映手段、光源情報反映モジュール）１１５の各機能を発揮する。
　［基準物データの生成］
　以下、順に説明する。基準物データ生成部１１１は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データ（実写映像データ）１２２から、実写映像を映し出す仮想スクリーン位置とカメラ位置に対応する仮想カメラ位置との位置関係を特定し、実写映像に含まれる所定の基準物の境界を表すデータであって当該位置関係に基づき当該境界が実写映像中の前記基準物と対応付けられている三次元の基準物データ１２３を生成する。
　図４から図６は本実施の形態における基準物データの生成過程を示す図である。まず、図４に示すような撮像領域の実写映像がデジタルビデオカメラ等で撮影される。この際、実写映像の縮尺を判定するための基準物Ｄとして人工物が実在空間に設置され、当該人工物が実写映像に含まれるように撮影される。図４の例においては、基準物Ｄとして人工物である段ボール箱等の直方体が用いられている。基準物Ｄは、角があり、当該角を構成する複数の面が互いに直角になっていることが好ましい。なお、人工物が実写映像内に設置される代わりに、元々実写映像内に含まれている人工物または自然物が基準物Ｄとして設定されてもよい。基準物データ生成過程では、仮想三次元空間生成プログラム１２１として、例えば、“SynthEyes”（Andersson Technologies LLC）等の三次元カメラトラッキングプログラムが利用できる。
　基準物データ生成部１１１は、撮像された実写映像をトラッキング処理することにより、当該実写映像を撮影したカメラ位置と当該実写映像に撮像された物（基準物、地面、壁、木等）の境界との位置関係を示す境界データを生成する。境界データおよび実写映像を撮影したカメラの画角により、実写映像を映し出す仮想スクリーン位置とカメラ位置に対応する仮想カメラ位置との位置関係が特定される。図４の例において、基準物データ生成部１１１は、境界データを、基準物を含む実写映像の特徴点群を取得することにより生成する。特徴点群は、各特徴点が三次元の位置座標を有するデータの集合である。図４に示す処理画面Ｅ上において各特徴点が×印で示される。特に、基準物Ｄについての正確な境界データを取得するために、実写映像は、カメラ位置が基準物Ｄの周囲のある程度の範囲を回るように、デジタルビデオカメラをパンさせて撮影されたものであることが好ましい。
　トラッキング処理だけでは基準物Ｄの境界データが十分に生成されない場合、ユーザが実写映像上に基準物Ｄの三次元の位置座標（を示す特徴点）を配置可能に構成されてもよい。なお、基準物Ｄの境界を示す特徴点Ｂは、角のある基準物Ｄにおいては角における位置に設置されることが好ましい。図４の例のように大きさが既知の直方体を用いた場合、基準物Ｄの境界を示す特徴点Ｂは、何れか一の平面に含まれる当該平面の頂点に少なくとも３点設置されればよい。これにより残りの角の位置座標は演算によっても取得することができる。
　基準物Ｄの境界を示す特徴点Ｂを特定した後、当該特徴点Ｂに基づいて、図５に示すような、基準物Ｄ全体の三次元の境界を示す仮想基準物ＶＤが生成される。仮想基準物ＶＤは例えばポリゴン等により生成される。仮想基準物ＶＤの生成は、基準物Ｄの境界を示す特徴点Ｂに基づいて、ユーザが入力装置１０３を操作して描画することとしてもよいし、基準物データ生成部１１１が自動的に生成してもよい。この結果、図６に示すように、仮想カメラＣの位置から仮想スクリーンＳを見たときに、仮想スクリーンＳと仮想カメラＣと仮想基準物ＶＤとの位置関係が、仮想基準物ＶＤと実写映像に含まれる基準物Ｄとが一致するような位置関係となるように、仮想基準物ＶＤ（すなわち基準物Ｄの境界）が実写映像中の基準物Ｄと対応付けられた基準物データ１２３が生成される。なお、図６の処理画面Ｅにおいては、仮想基準物ＶＤ以外の物の境界を示す特徴点群も表示されているが、当該特徴点群は基準物データ１２３に含まれなくてもよいし、含まれてもよい。生成された基準物データ１２３は、記憶装置１０２に記憶される。
　［第２データの生成］
　第２データ生成部１１２は、実写映像が撮影された実在空間をコンピュータグラフィックス（ＣＧ）で再現した仮想三次元ＣＧ空間を構成するオブジェクトを表す第２データ１２５を生成する。図７および図８は本実施の形態における第２データの生成過程を示す図である。図７の例において、第２データ生成部１１２は、第２データ１２５の元となる仮想三次元ＣＧ空間Ｋを、実写映像に含まれる実在空間において撮影された複数の静止画を用いて三次元スキャニング処理を行うことにより生成する。静止画は、デジタルスチルカメラ等で撮影され、静止画データ１０８として記憶装置１０２に記憶される。この際、実写映像の撮影時において基準物Ｄを設置した状態で静止画も撮影される。すなわち、実写映像における基準物Ｄの設置位置と、静止画における基準物Ｄの設置位置とは同じ位置である。この結果、生成される仮想三次元ＣＧ空間Ｋを構成するオブジェクトには、基準物Ｄのオブジェクト（後述する図９に示される基準物オブジェクトＯＤ）が含まれる。
　図７に示すように、図７に示す第２データ生成画面Ｊの上段Ｊ１には、生成された仮想三次元ＣＧ空間Ｋと、当該仮想三次元ＣＧ空間Ｋの部分を生成するために用いられた静止画Ｌとが対応付けられて示されている。第２データ生成画面Ｊの下段Ｊ２には、上段の仮想三次元ＣＧ空間Ｋを生成するために用いられた静止画の一覧が上段の静止画群と対応付けられて示されている。このように複数（例えば数百枚程度）の静止画Ｌが隣り合う静止画が重なり合うように複数の角度から撮影され、隣り合う静止画Ｌ内の画像が連続するように配置される。その後、三次元スキャニング処理が行われることにより、仮想三次元ＣＧ空間Ｋが生成される。第２データ生成過程では、仮想三次元空間生成プログラム１２１として、例えば、“PhotoScan”（Agisoft LLC）等の三次元スキャニングプログラムが利用できる。
　仮想三次元ＣＧ空間Ｋには、当該仮想三次元ＣＧ空間Ｋ内のオブジェクトの境界を示す情報が含まれる。当該オブジェクトの境界は、仮想三次元ＣＧ空間Ｋ内を行動するキャラクタとの接触判定（移動制限）を行う、または、地面の高低差の表現（キャラクタの足と地面とが離れたら落下する等の表現）を行うために用いられる。第２データ生成部１１２は、仮想三次元ＣＧ空間Ｋ内のオブジェクトを第２データ１２５として生成する。具体的には、仮想三次元ＣＧ空間Ｋを透明化したものが第２データ１２５として生成される。例えば第２データ１２５は、図８に示すように、仮想三次元ＣＧ空間Ｋにおけるオブジェクトの境界を形成するポリゴンメッシュＭのみの情報のみを有している。なお、図８においては、ポリゴンメッシュＭが可視化されているが、後述する仮想三次元空間生成完了時にはポリゴンメッシュＭ自体が透明化されている。
　このように、最終的に生成される仮想三次元空間には仮想三次元ＣＧ空間Ｋに貼られたテクスチャ（複数の静止画からのモデリングにより生成されたテクスチャ）は必要ない。しかし、後述する第３データを生成するために、仮想三次元ＣＧ空間Ｋが高解像度のテクスチャにより構成されることが好ましい。特に、後述する仮想基準物ＶＤと基準物オブジェクトＯＤとの位置および大きさの調整をユーザが行う場合、仮想三次元ＣＧ空間Ｋが高解像度のテクスチャにより構成されることが好ましい。これにより、上記調整における微調整をユーザが行い易くすることができる。なお、第３データが生成されるまでは、第２データ１２５に、仮想三次元ＣＧ空間Ｋのテクスチャ情報が含まれるようにしておき、第３データの生成完了後、第２データ１２５から当該テクスチャ情報が削除されてもよい。また、第２データ１２５においてテクスチャ情報が削除されなくてもよい。生成された第２データ１２５は、記憶装置１０２に記憶される。
　［第３データの生成］
　第３データ生成部１１３は、第１データ１２２と第２データ１２５とに基づいて、仮想三次元空間を生成するための第３データを生成する。図９および図１０は本実施の形態における第３データの生成過程を示す図である。第３データ生成部１１３は、図９に示す状態から図１０に示す状態となるように、基準物データ１２３における基準物Ｄの境界と第２データ１２５における基準物に対応するオブジェクトの境界とを合わせることにより、実写映像の画角に基づいて、仮想三次元ＣＧ空間Ｋにおける、仮想カメラＣの仮想カメラ位置を定めた第３データを生成する。第３データ生成過程では、仮想三次元空間生成プログラム１２１として、例えば、“Blender”（Blender.org、フリーソフトウェア）等の三次元ＣＧ統合環境アプリケーションが利用できる。
　図９に示すように、第３データ生成画面Ｎには、第２データ１２５を含む仮想三次元ＣＧ空間Ｋの描画データおよび基準物データ１２３がそれぞれ１つの仮想三次元空間内に読み出される。基準物データ１２３に含まれる仮想基準物ＶＤの位置および大きさが仮想三次元ＣＧ空間Ｋに含まれる基準物オブジェクトＯＤに一致するように、調整される（移動および拡大縮小処理が行われる）。このような調整により、仮想基準物ＶＤの位置が変化すると、それに対応して仮想カメラＣおよび仮想スクリーンＳの位置も変化する。仮想基準物ＶＤの大きさが変化すると、仮想カメラＣの画角（実写映像を撮影したカメラの画角）が一定であることから、それに対応して仮想カメラＣと仮想スクリーンＳとの間の距離および仮想スクリーンＳの大きさ（縮尺）が変化する。
　このような調整は、仮想三次元ＣＧ空間Ｋに対して仮想基準物ＶＤを移動する操作および／または拡大縮小する操作を、入力装置１０３を用いてユーザが行ってもよいし、第３データ生成部１１３が自動的に調整処理を行ってもよい。第３データ生成部１１３が自動的に調整する場合には、仮想三次元ＣＧ空間Ｋのテクスチャは第３データ生成開始時点で第２データ１２５に含まれていなくてもよい。
　このような調整の結果、図１０に示すように、基準物データ１２３から、仮想三次元ＣＧ空間Ｋにおける仮想カメラＣの位置が決定される。決定された仮想カメラＣの位置に基づいて仮想スクリーンＳの位置も定められる。決定された仮想カメラＣの仮想三次元ＣＧ空間Ｋ上の位置座標が第３データ１２６として生成され、記憶装置１０２に記憶される。
　第３データ１２６により、仮想カメラＣから見た映像として仮想スクリーンＳに実写映像を再生した場合に、当該再生された実写映像と同じ仮想カメラＣから見た仮想三次元ＣＧ空間Ｋとが実質的に同じ情景となる。したがって、図１に示すようなゲーム画面Ｇとして仮想カメラＣを通して透明化された仮想三次元ＣＧ空間Ｋに（第２データ１２５であるオブジェクトの境界に基づいて）配置されたアイテムオブジェクトＡ、および、仮想三次元ＣＧ空間Ｋ内を行動するキャラクタＰ等の追加オブジェクトを見せることにより、あたかも実写映像内をキャラクタＰが行動しているかのようにゲームのプレイヤに感じさせることができる。
　以上のように生成された第３データ１２６に基づいて第１データ１２２と第２データ１２５とが結合されることによって、仮想三次元空間Ｆ（図２）が生成される。したがって、このような仮想三次元空間Ｆを用いたゲームにおいては、仮想カメラＣを通じて仮想三次元空間Ｆを見た情景として実写映像がゲーム画面Ｇ（図１）に表示される。一方、当該ゲーム画面Ｇ内に表示されるキャラクタＰまたはアイテムオブジェクトＡ等の追加オブジェクトは、実写映像に対応するオブジェクトの境界に基づいて行動が制御され、または配置される。このように、実写映像にオブジェクトの境界についての情報を適用することにより、二次元画像である実写映像に奥行き方向の概念を追加することができる。したがって、実写映像を用いた仮想三次元空間Ｆにおける奥行き方向の表現を違和感なく行うことができる。
　なお、図２に示すように、仮想三次元空間Ｆに複数の異なる仮想カメラ位置に仮想カメラＣが配置され、キャラクタＰの異同に応じて仮想カメラＣを切り替えてゲーム画面Ｇに表示される実写映像が切り替えられる場合、当該仮想三次元空間Ｆを生成するための基準物Ｄは、複数の実写映像に共通するものが用いられる。すなわち、複数の仮想カメラ位置で実写映像を撮影する際に、各仮想カメラ位置における仮想カメラＣの撮像範囲内に、共通する基準物Ｄが含まれるようにする。これに代えて、複数の仮想カメラ位置における仮想カメラＣの撮像範囲内に含まれる同型の物（例えば、ベンチ、電話ボックス、信号機等）を基準物Ｄとして採用してもよい。
　［実写映像］
　ここで、改めて第１データ１２２に含まれる実写映像について説明する。実写映像は、基準物データ１２３を作成するために、基準物として設定した人工物を含めて撮影されたものが用いられる。一方で、ゲーム画面として表示する実写映像には基準物Ｄが映り込んでいない方が違和感のない映像となる場合がある。この場合、実写映像は、基準物Ｄとして設定した人工物を含めて撮影した後、当該撮影を継続しながら基準物Ｄを取り除いたものが用いられてもよい。
　例えば、最終的に生成される仮想三次元空間Ｆにおいて仮想スクリーンＳの位置が固定されている場合（固定位置の映像がゲーム画面Ｇ内に表示される場合）、まず、基準物Ｄを実在空間の所定位置（カメラの固定位置における撮像範囲内の所定位置）に設置し、カメラによる撮影が開始される。カメラを固定せずに撮影が開始され、基準点データを取り易くするために、カメラを基準物Ｄを中心に左右に所定範囲でパンさせて撮影が行われる。その後、撮影を継続しながら、カメラが固定位置に固定される。さらに、カメラが固定位置に完全に静止している状態で基準物Ｄを撮像範囲内に含む撮影を所定の期間行った後、撮影を継続しながら、基準物Ｄが撮像範囲外に取り除かれる。その上で、仮想三次元空間Ｆを仮想カメラＣからみた二次元画像（図１に示すゲーム画面）として必要な所定時間撮影が行われた後、撮影が終了される。
　このようにして撮影された実写映像のうち、カメラをパンさせた後、静止させた状態で基準物Ｄが含まれている部分を基準物データ１２３を生成する際に利用する。また、上記実写映像のうち、カメラの静止状態において基準物Ｄを取り除いた部分を実写映像による仮想三次元空間Ｆを生成する際に利用する。すなわち、当該部分を仮想三次元空間Ｆにおいて仮想スクリーンＳに再生する（二次元画像としてゲーム画面Ｇに表示する）実写映像として利用する。これにより、基準物Ｄとして実写映像中の情景と全く関係のない人工物を採用しても、生成された仮想三次元空間Ｆにおいて基準物Ｄの存在を消去することができる。
　また、仮想スクリーンＳの位置が固定の場合、仮想三次元空間Ｆにおいて仮想スクリーンＳに再生する実写映像は、所定期間の映像が繰り返されるループ映像が用いられる。すなわち、撮影された一連の実写映像から基準物Ｄが含まれていない期間の映像をループ再生するように設定した再生映像データが生成される。再生映像データは、ループ期間およびループ期間の初期と終期との繋がりとを調整することにより、違和感のない実写映像とすることができる。後述するゲームプログラムに用いられるゲームデータに含まれる第１データ１２２として、このような再生映像データ１２９を採用してもよい。
　［キャラクタの生成］
　キャラクタ生成部１１４は、仮想三次元空間Ｆ内で移動可能なキャラクタＰを生成する。キャラクタＰは、三次元オブジェクトで構成されてもよい。さらに、キャラクタＰは、実在の物体を複数の角度から撮影した複数の静止画から三次元スキャニング処理により生成された、三次元オブジェクトでもよい。生成されたキャラクタＰのデータは、キャラクタデータ１２７として記憶装置１０２に記憶される。
　［光源情報の生成］
　光源情報反映部１１５は、実写映像が撮影された実在空間の所定位置において撮影された静止画１０８から実在空間における光源の情報を取得し、当該光源の情報を、実写映像による仮想三次元空間Ｆに配置されるオブジェクト（キャラクタＰ、アイテムオブジェクトＡ等）に反映させる。このため、記憶装置１０２には、光源の情報を得るための静止画データ１０８として、所定位置の周囲が連続するように撮影された画像が別途記憶される。このような静止画データ１０８は、実写映像が撮影された条件（季節、時刻、天候等）と略同じ条件において例えば３６０度撮影カメラにより撮像された画像である。光源の情報を得るための静止画データ１０８は、ハイダイナミックレンジ合成（ＨＤＲｉ）処理が行われた静止画が用いられてもよい。幅広いダイナミックレンジ（明暗の比）を有する静止画を用いることにより、より細かい光源の情報を得ることができる。このようにして生成された光源の情報は、光源データ１２８として記憶装置１０２に記憶される。
　これによれば、ゲーム画面Ｇ内において実写映像以外のオブジェクト（キャラクタＰおよびアイテムオブジェクトＡ等）が表示された場合に、当該実写映像以外のオブジェクトにも、実写映像と同様の陰影表現を容易に付加することができる。
　［生成された仮想三次元空間を用いた映像プログラムの例］
　以下に、上記のような方法で生成された仮想三次元空間Ｆを用いた映像プログラムの一例として、当該仮想三次元空間Ｆ内をキャラクタＰが行動可能なゲームを実現するための構成について説明する。本実施の形態におけるゲームにおいて、プレイヤは図１に示すゲーム画面Ｇを見ながらキャラクタＰを操作してアイテムオブジェクトＡを取得したり、仮想三次元空間Ｆ内を行動している他のキャラクタ（ノンプレイヤキャラクタ。図示せず）に出会って会話をしたりしながら、所定の目標が設定されたシナリオ（ゲーム本編）を進行させる。
　［ハードウェア構成］
　上述したゲームを実現するゲーム装置の構成について説明する。上述したゲームを実現するゲームシステムの構成について説明する。本実施形態におけるゲームシステムは、下記ゲーム装置２と、当該ゲーム装置２に接続されるモニタ１９、スピーカ２２およびコントローラ２４などの外部装置とで構成され、下記ディスク型記録媒体３０から読み込んだゲームプログラム３０ａおよびゲームデータ３０ｂに基づいてゲームを行い得る。ただし、以下では、説明を簡単にするため、単にゲーム装置２と称する場合がある。図１１は本実施の形態におけるゲーム装置２のハードウェア構成を示すブロック図である。図１１に示すように、ゲーム装置２は、他のゲーム装置２およびサーバ装置３との間で、インターネットまたはＬＡＮなどの通信ネットワークＮＷを介して互いに通信可能である。このゲーム装置２は、その動作を制御するコンピュータであるＣＰＵ１０を備え、このＣＰＵ１０にはバス１１を介してディスクドライブ１２、メモリカードスロット１３、プログラム記憶部を成すＨＤＤ１４、ＲＯＭ１５およびＲＡＭ１６が接続されている。
　ディスクドライブ１２には、ＤＶＤ－ＲＯＭ等のディスク型記録媒体３０が装填可能である。該ディスク型記録媒体３０には、本発明の実施の形態に係るゲームプログラム３０ａおよび本実施の形態で説明するゲームに登場するキャラクタならびにゲーム空間を形成するのに必要なオブジェクトおよびテクスチャ等のゲームデータ３０ｂが記録されている。また、メモリカードスロット１３にはカード型記録媒体３１が装填でき、ゲームの途中経過等のプレイ状況を示すセーブデータを、ＣＰＵ１０からの指示に応じて記録可能である。
　ＨＤＤ１４はゲーム装置２に内蔵される大容量記録媒体であって、ディスク型記録媒体３０から読み込んだゲームプログラム３０ａおよびゲームデータ３０ｂならびにセーブデータなどを記録する。ＲＯＭ１５は、マスクＲＯＭまたはＰＲＯＭなどの半導体メモリであり、ゲーム装置２を起動する起動プログラム、および、ディスク型記録媒体３０が装填されたときの動作を制御するプログラムなどを記録している。ＲＡＭ１６は、ＤＲＡＭまたはＳＲＡＭなどからなり、ＣＰＵ１０が実行すべきゲームプログラム３０ａ、およびその実行の際に必要になるゲームデータ３０ｂ等を、ゲームのプレイ状況に応じてディスク型記録媒体３０またはＨＤＤ１４から読み込んで一時的に記憶する。
　また、ＣＰＵ１０には、バス１１を介してグラフィック処理部１７、オーディオ合成部２０、無線通信制御部２３およびネットワークインタフェース２５が接続されている。
　このうちグラフィック処理部１７は、ＣＰＵ１０の指示に従ってゲーム空間や各キャラクタなどを含むゲーム画像を描画する。また、グラフィック処理部１７にはビデオ変換部１８を介して外部のモニタ１９が接続されており、グラフィック処理部１７にて描画されたゲーム画像はビデオ変換部１８において動画形式に変換され、モニタ１９にて表示される。
　オーディオ合成部２０は、ＣＰＵ１０の指示に従ってデジタルのゲーム音声を再生および合成する。また、オーディオ合成部２０にはオーディオ変換部２１を介して外部のスピーカ２２が接続されている。従って、オーディオ合成部２０にて再生および合成されたゲーム音声は、オーディオ変換部２１にてアナログ形式にデコードされ、更にスピーカ２２から外部へ出力される。
　無線通信制御部２３は、２．４ＧＨｚ帯の無線通信モジュールを有し、ゲーム装置２に付属するコントローラ２４との間で無線により接続され、データの送受信が可能である。ユーザは、このコントローラ２４に設けられたボタン等の操作子（図示せず）を操作することにより、ゲーム装置２へ信号を入力することができ、モニタ１９に表示されるプレイヤキャラクタの動作を制御可能である。また、ネットワークインタフェース２５は、インターネットまたはＬＡＮなどの通信ネットワークＮＷに対してゲーム装置２を接続し、他のゲーム装置２またはサーバ装置３との間の通信を可能とする。そして、ゲーム装置２を、通信ネットワークＮＷを介して他のゲーム装置２と接続し、互いにデータを送受信することにより、同一のゲーム空間内で同期して複数のプレイヤキャラクタを表示させることができる。したがって、複数人が協力してゲームを進行させるマルチプレイが可能になっている。
　［ゲーム装置の機能的構成］
　図１２は図１１に示すゲーム装置２の機能的な構成を示すブロック図である。図１１に示すようにゲーム装置２は、ＣＰＵ１０、ＨＤＤ１４、ＲＯＭ１５、ＲＡＭ１６、グラフィック処理部１７、ビデオ変換部１８、オーディオ合成部２０、オーディオ変換部２１、ネットワークインタフェース２５などを含む制御部４を備えたコンピュータとして動作する。ゲームデータ３０ｂには、仮想三次元空間Ｆを生成するためのデータ群として、第１データ１２２（またはこれに基づく再生映像データ１２９）、第２データ１２５、第３データ１２６、キャラクタデータ１２７、および光源データ１２８が含まれている。そして、図１２に示すように、ゲーム装置２の制御部４は、本発明のゲームプログラム３０ａを実行することで、データ読み出し部（データ読み出し手段、データ読み出しモジュール）４１、仮想三次元空間生成部（仮想三次元空間生成手段、仮想三次元空間生成モジュール）４２、二次元画像表示部（二次元画像表示手段、二次元画像表示モジュール）４３、キャラクタ制御部（キャラクタ制御手段、キャラクタ制御モジュール）４４、および透過処理部（透過処理手段、透過処理モジュール）４５などの機能を発揮する。
　このうち、データ読み出し部４１は、ゲームデータ３０ｂに含まれるデータ群を読み出す。仮想三次元空間生成部４２は、読み出された第３データ１２６に基づいて第１データ１２２と第２データ１２５とが結合されることによって、仮想三次元空間Ｆ（図２）を生成する。さらに、仮想三次元空間生成部４２は、仮想三次元空間Ｆの所定位置にアイテムオブジェクトＡ等を配置する。
　なお、第１データ１２２と第２データ１２５とは第３データ１２６によって予め結合された状態でゲームデータ３０ｂとして保存されていてもよい。この場合、データ読み出し部４１は、第１データ１２２、第２データ１２５および第３データ１２６が互いに結合された状態で、これらのデータを読み出す。第１データ１２２と第２データ１２５とが１対１で対応している場合等には予め結合した状態でデータ化しておくことにより読み出し速度または描画速度を速くすることができる。
　これに代えて、第１データ１２２、第２データ１２５および第３データ１２６は、それぞれ別々の状態でゲームデータ３０ｂとして保存されていてもよい。この場合、仮想三次元空間生成部４２は、第３データ１２６に基づいて第１データ１２２と第２データ１２５とを結合する処理を行う。例えば、ゲーム内時間に応じて昼と夜とが切り替わるようなゲームにおいては、時間帯に応じて異なる複数の実写映像を含む複数の第１データ１２２がゲームデータ３０ｂとして保存され、仮想三次元空間生成部４２が、複数の第１データ１２２からゲーム内時間に応じて第２データ１２５と結合する第１データ１２２を選択することも可能である。
　二次元画像表示部４３は、仮想カメラＣの位置から仮想三次元空間Ｆを見た二次元画像、すなわち図１に示すゲーム画面Ｇとして、仮想スクリーンＳの位置において再生される実写映像を表示する。キャラクタ制御部４４は、所定のキャラクタオブジェクト（キャラクタＰ）を、二次元画像として表示される仮想三次元空間Ｆ内で移動可能に制御する。キャラクタＰはプレイヤのコントローラ２４の操作に応じて仮想三次元空間Ｆ内を行動する。
　図１３は本実施の形態におけるゲーム画面の他の例を示す図である。また、図１４は本実施の形態における仮想三次元空間の他の例を示す上面図である。図１３に示すゲーム画面Ｇは、図１４に示す仮想三次元空間Ｆを仮想カメラＣから見た二次元画像として表現される。図１４に示すように、仮想三次元空間Ｆには、光源データ１２８に基づいた陰を示す領域（陰領域）Ｒが設定される。二次元画像表示部４３は、キャラクタＰが陰領域Ｒ内に位置したか否かを判定し、キャラクタＰが陰領域Ｒ内に位置した場合に当該キャラクタＰに陰影をつける陰付け処理を行う。例えば、図２に示すように、キャラクタＰ（１）が陰に入っている（陰領域Ｒ内に位置する）場合、図１に示すようなキャラクタＰが陰に入っていない（陰領域Ｒ内に位置していない）場合に比べて、キャラクタ全体に陰影を付加したり、キャラクタ全体の明度を下げる処理を行ったりする。陰付け処理は、キャラクタＰだけでなく仮想三次元空間Ｆ内に存在するすべてのオブジェクトに適用され得る。
　さらに、二次元画像表示部４３は、陰付け処理を、陰領域Ｒ内に位置していない場合にも行ってもよい。この場合、二次元画像表示部４３は、光源データ１２８に基づいて仮想三次元空間Ｆ（仮想三次元ＣＧ空間Ｋ）における光源位置（図示せず）と、キャラクタＰの位置との位置関係から、キャラクタＰのうち光源位置と対向する面ほど明るくなり、光源位置とは反対側となる面ほど暗くなるように陰付け処理を行う。これにより、キャラクタＰ等のオブジェクトを実在空間における陰影の付き方に近付けることができる。したがって、キャラクタＰ等のオブジェクトを実写映像で示されるゲーム画面Ｇ上に表示した際に、実写映像内に実在しないオブジェクトが存在することの違和感を低減させることができる。
　ここで、前述の通り、本実施の形態におけるゲーム画面Ｇにおいて、キャラクタＰが移動する空間は、実写映像によって表現される。すなわち、キャラクタＰは、常に実写映像上に表現される。このため、図１３に示すように、ゲーム画面Ｇ上において、キャラクタＰが移動し得る領域（通路）より手前に木等の遮蔽物Ｖが存在する場合、そのままキャラクタＰが通路上を移動すれば、本来遮蔽物Ｖにより隠れるべきキャラクタＰが遮蔽物Ｖの手前に表示されてしまう。このままでは仮想三次元空間Ｆの現実性が失われてしまうため、実写映像として図１３のような配置の構図が使えないとすると、仮想カメラＣを設置する位置の自由度（すなわち実写映像の選択の自由度）が低くなってしまう。
　そこで、透過処理部４５は、キャラクタＰが二次元画像として表示される実写映像における所定の物体に重なったときに、キャラクタＰが仮想三次元空間Ｆにおいて物体（遮蔽物）Ｖに対応するオブジェクト（遮蔽物オブジェクト）Ｔの位置を基準として仮想カメラ位置とは反対側（すなわち、仮想スクリーン位置側）に位置している場合、キャラクタＰにおける物体に重なっている部分Ｑを透明化する透過処理を行う。より詳しくは、仮想三次元空間Ｆにおいて仮想カメラＣの位置とキャラクタＰが位置し得る通路等の間に遮蔽物Ｖが存在する場合、当該遮蔽物Ｖに対応するオブジェクトが遮蔽物オブジェクトＴとして予め指定される。透過処理部４５は、当該遮蔽物オブジェクトＴと仮想スクリーンＳとの間の遮蔽領域Ｕ内にキャラクタＰの少なくとも一部が入ったか否かを判定する。遮蔽領域Ｕは、キャラクタＰの少なくとも一部が遮蔽領域Ｕ内に入ったと判定された場合、透過処理部４５は、当該遮蔽領域Ｕ内に入ったキャラクタＰの部分Ｑを透明化する。キャラクタＰ以外のオブジェクトについても同様に透過処理される。
　これにより、ゲーム画面ＧにおいてキャラクタＰが実写映像より常に手前に表示されているにもかかわらず、所定の遮蔽物Ｖに対してあたかも遮蔽物Ｖの後にキャラクタＰが回り込んだかのような表現とすることができる。これにより、実写映像を用いた仮想三次元空間における奥行き方向の表現をより効果的に行うことができる。また、ゲーム画面Ｇに表示される二次元画像として採用可能な実写映像の選択の自由度を高くすることができる。
　以上、本発明の実施形態について説明したが、本発明は上記実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲内で種々の改良、変更、修正が可能である。
　例えば、上記実施の形態では、仮想カメラＣおよび仮想スクリーンＳがそれぞれ配置される位置が固定されている場合について説明したが、仮想カメラＣおよび仮想スクリーンＳが移動する構成（カメラを移動させながら撮影した実写映像を用いた構成）も採用可能である。
　また、上記実施の形態では、二次元画像表示部４３および透過処理部４５を、ゲーム装置２の制御部４が実行する機能モジュールとして説明したが、二次元画像表示部４３および透過処理部４５が、仮想三次元空間を生成するためのコンピュータ１０１が実行する機能モジュールとして構成されてもよい。言い換えると、コンピュータ１０１において、二次元画像の表示と、透過処理とが実行可能な仮想三次元空間が生成されてもよい。
　また、上記実施の形態では、生成された仮想三次元空間Ｆを、プレイヤが当該仮想三次元空間内で行動するキャラクタＰを操作してシナリオを進行させるゲームプログラムに適用した例に基づいて説明したが、ユーザと映像プログラムとの間でインタラクティブに動作する構成である限り、これに限られない。
　また、上記実施の形態では据え置き型のゲーム装置について説明したが、携帯型のゲーム装置、携帯電話機、およびパーソナルコンピュータなどのコンピュータについても、本発明を好適に適用することができる。
　本発明は、実写映像を用いた仮想三次元空間における奥行き方向の表現を違和感なく行うために有用である。
２　ゲーム装置
４　制御部
３０ａ　ゲームプログラム
３０ｂ　ゲームデータ
４１　データ読み出し部
４２　仮想三次元空間生成部
４３　二次元画像表示部
４４　キャラクタ制御部
４５　透過処理部
１０１　コンピュータ
１０２　記憶装置
１１１　基準物データ生成部
１１２　第２データ生成部
１１３　第３データ生成部
１１４　キャラクタ生成部
１２１　仮想三次元空間生成プログラム
１２２　第１データ
１２３　静止画データ
１２４　基準物データ
１２５　第２データ
１２６　第３データ
Ｂ　基準物の特徴点
Ｃ　仮想カメラ
Ｄ　基準物
Ｆ　仮想三次元空間
Ｇ　ゲーム画面（二次元画像）
Ｍ　ポリゴンメッシュ（オブジェクトの境界）
ＯＤ　基準物オブジェクト
Ｐ　キャラクタ（キャラクタオブジェクト）
Ｓ　仮想スクリーン
Ｔ　遮蔽物オブジェクト
Ｖ　遮蔽物
ＶＤ　仮想基準物

Claims (12)

  1. 　実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データから、前記実写映像を映し出す仮想スクリーン位置と前記カメラ位置に対応する仮想カメラ位置との位置関係を特定し、前記実写映像に含まれる所定の基準物の境界を表すデータであって前記位置関係に基づき当該境界が前記実写映像中の前記基準物と対応付けられている三次元の基準物データを生成する基準物データ生成ステップ、
    　前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトを表す第２データを生成する第２データ生成ステップ、および
    　前記第１データと前記第２データとに基づいて、仮想三次元空間を生成するための第３データを生成する第３データ生成ステップを含み、
    　前記第３データ生成ステップは、前記基準物データにおける前記基準物の境界と前記第２データにおける前記基準物に対応するオブジェクトの境界とを合わせることにより、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記仮想カメラ位置を定めた前記第３データを生成する、仮想三次元空間生成方法。
  2. 　前記仮想三次元空間内で移動可能なキャラクタを生成するキャラクタ生成ステップを含む、請求項１に記載の仮想三次元空間生成方法。
  3. 　前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および
    　前記キャラクタが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップを含む、請求項２に記載の仮想三次元空間生成方法。
  4. 　前記基準物データ生成ステップは、前記基準物データを、前記基準物を含む前記実写映像の特徴点群を取得することにより生成する、請求項１に記載の仮想三次元空間生成方法。
  5. 　前記基準物は、前記実在空間に設置した人工物である、請求項１に記載の仮想三次元空間生成方法。
  6. 　前記実写映像は、前記基準物として設定した人工物を含めて撮影した後、当該撮影を継続しながら前記人工物を取り除いたものであり、前記基準物データを生成する際には前記実写映像のうちの前記人工物が撮影されている部分を利用し、前記実写映像による仮想三次元空間を生成する際には前記実写映像のうちの前記人工物を取り除いて撮影されている部分を利用する、請求項５に記載の仮想三次元空間生成方法。
  7. 　実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データと、
    　前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトの境界を表す第２データと、
    　前記実写映像に含まれるオブジェクトが前記仮想三次元ＣＧ空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第３データと、
    を含むデータ群を読み出すデータ読み出しモジュール、
    　前記第３データに基づいて前記第１データと前記第２データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成モジュール、
    　前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示モジュール、および
    　所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御モジュール、
    を備えた、ユーザ操作可能な映像システム。
  8. 　前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理モジュール
    を備えた、請求項７に記載の映像システム。
  9. 　実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データと、
    　前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトの境界を表す第２データと、
    　前記実写映像に含まれるオブジェクトが前記仮想三次元ＣＧ空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第３データと、
    を含むデータ群を読み出すデータ読み出しステップ、
    　前記第３データに基づいて前記第１データと前記第２データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成ステップ、
    　前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および
    　所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御ステップ、
    を含む、ユーザ操作可能な映像システムの制御方法。
  10. 　前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップ
    を含む、請求項９に記載の映像システムの制御方法。
  11. コンピュータ装置の制御部により実行可能な指令を記憶した、該コンピュータ装置での読み取りが可能な記録媒体であって、
    　前記指令は、
    　実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第１データと、
    　前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元ＣＧ空間を構成するオブジェクトの境界を表す第２データと、
    　前記実写映像に含まれるオブジェクトが前記仮想三次元ＣＧ空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元ＣＧ空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第３データと、
    を含むデータ群を読み出すデータ読み出しステップ、
    　前記第３データに基づいて前記第１データと前記第２データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成ステップ、
    　前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および
    　所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御ステップ、
    を含む、記録媒体。
  12. 　前記指令は、
    　前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップ
    を含む、請求項１１に記載の記録媒体。
     
PCT/JP2015/001812 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体 WO2016157247A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017508793A JP6317854B2 (ja) 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体
PCT/JP2015/001812 WO2016157247A1 (ja) 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体
CN201580078470.2A CN107430788A (zh) 2015-03-30 2015-03-30 虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质
US15/563,320 US10176643B2 (en) 2015-03-30 2015-03-30 Method of generating virtual three-dimensional space, video system, method of controlling video system, and non-transitory computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/001812 WO2016157247A1 (ja) 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2016157247A1 true WO2016157247A1 (ja) 2016-10-06

Family

ID=57006747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/001812 WO2016157247A1 (ja) 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体

Country Status (4)

Country Link
US (1) US10176643B2 (ja)
JP (1) JP6317854B2 (ja)
CN (1) CN107430788A (ja)
WO (1) WO2016157247A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021078943A (ja) * 2019-11-21 2021-05-27 株式会社コーエーテクモゲームス ゲームプログラム、ゲーム処理方法及び情報処理装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
CN106056663B (zh) * 2016-05-19 2019-05-24 京东方科技集团股份有限公司 增强现实场景中的渲染方法、处理模块和增强现实眼镜
US10831333B2 (en) * 2017-07-26 2020-11-10 Adobe Inc. Manipulating a camera perspective within a three-dimensional space
CN108257215A (zh) * 2017-12-06 2018-07-06 石化盈科信息技术有限责任公司 信息展板展示方法和装置
WO2019130374A1 (ja) * 2017-12-25 2019-07-04 ガンホー・オンライン・エンターテイメント株式会社 端末装置、システム、プログラム及び方法
JP2020042503A (ja) * 2018-09-10 2020-03-19 株式会社ＭｉｎＤ ｉｎ ａ Ｄｅｖｉｃｅ 三次元表象生成システム
CN109829977A (zh) * 2018-12-30 2019-05-31 贝壳技术有限公司 在虚拟三维空间中看房的方法、装置、电子设备及介质
CN110264568B (zh) * 2019-06-21 2023-07-25 网易（杭州）网络有限公司 一种三维虚拟模型交互方法和装置
WO2021132013A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11410387B1 (en) 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US11210860B2 (en) * 2020-01-27 2021-12-28 Facebook Technologies, Llc. Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
US11200745B2 (en) 2020-01-27 2021-12-14 Facebook Technologies, Llc. Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality
US11113891B2 (en) 2020-01-27 2021-09-07 Facebook Technologies, Llc Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
US11451758B1 (en) 2020-02-12 2022-09-20 Meta Platforms Technologies, Llc Systems, methods, and media for colorizing grayscale images
CN113516761B (zh) * 2021-08-05 2024-02-27 四开花园网络科技(广州)有限公司 视错觉类裸眼3d内容制作方法及装置
US11684848B2 (en) * 2021-09-28 2023-06-27 Sony Group Corporation Method to improve user understanding of XR spaces based in part on mesh analysis of physical surfaces
US11948257B2 (en) * 2022-05-09 2024-04-02 Rovi Guides, Inc. Systems and methods for augmented reality video generation
CN115761141B (zh) * 2022-11-30 2023-07-07 灵瞳智能科技(北京)有限公司 一种虚拟数字人三维模型采集装置
CN117132507B (zh) * 2023-10-23 2023-12-22 光轮智能(北京)科技有限公司 图像增强方法、图像处理方法、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013092964A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
RU2498408C2 (ru) * 2007-12-10 2013-11-10 Абб Рисерч Лтд Реализуемые компьютером способ и система для дистанционного контроля производственного процесса
HRP20211664T1 (hr) * 2011-11-09 2022-02-18 Abyssal S.A. Sustav za i postupak rada s daljinski upravljanim vozilima uz superponirane 3d slike
US9058693B2 (en) * 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US10013506B2 (en) * 2015-11-20 2018-07-03 Dassault Systems Solidworks Corporation Annotating real-world objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013092964A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021078943A (ja) * 2019-11-21 2021-05-27 株式会社コーエーテクモゲームス ゲームプログラム、ゲーム処理方法及び情報処理装置
US11298617B2 (en) 2019-11-21 2022-04-12 Koei Tecmo Games Co., Ltd. Game program, game processing method, and information processing device

Also Published As

Publication number Publication date
US10176643B2 (en) 2019-01-08
US20180068488A1 (en) 2018-03-08
JP6317854B2 (ja) 2018-04-25
JPWO2016157247A1 (ja) 2018-02-08
CN107430788A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
JP6317854B2 (ja) 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体
KR101623288B1 (ko) 렌더링 시스템, 렌더링 서버, 그 제어 방법, 및 기록 매체
CN103544441B (zh) 移动图像生成装置
US10859852B2 (en) Real-time video processing for pyramid holographic projections
KR101791778B1 (ko) 게임 플레이 동영상에 광고 컨텐츠를 추가 적용하여 제공하는 서비스 방법
WO2018135343A1 (ja) 情報処理装置、情報処理方法及びプログラム
US7277571B2 (en) Effective image processing, apparatus and method in virtual three-dimensional space
JP4761528B2 (ja) ゲームプログラムおよびゲーム装置
JP6669783B2 (ja) 端末装置、システム、プログラム及び方法
WO2019123509A1 (ja) 端末装置、システム、プログラム及び方法
WO2016145048A1 (en) Three-dimensional image source for enhanced pepper&#39;s ghost illusion
CN114327700A (zh) 一种虚拟现实设备及截屏图片播放方法
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
JP2017111719A (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
KR102337020B1 (ko) 3d스캔데이터를 이용한 증강현실 동영상제작시스템 및 그 방법
JP2020107251A (ja) 画像生成システム及びプログラム
US11287658B2 (en) Picture processing device, picture distribution system, and picture processing method
WO2023090038A1 (ja) 情報処理装置、映像処理方法、プログラム
JP2010125040A (ja) 画像処理装置
JP2006198136A (ja) ゲーム装置
JP2024014517A (ja) 情報処理システム、情報処理方法及びコンピュータプログラム
JP2009140237A (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2020149146A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
KR20230078171A (ko) 게임 제공 장치 및 게임 제공 방법
CN117043823A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15887404

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017508793

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15563320

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15887404

Country of ref document: EP

Kind code of ref document: A1