JP6317854B2 - 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体 - Google Patents

仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体 Download PDF

Info

Publication number
JP6317854B2
JP6317854B2 JP2017508793A JP2017508793A JP6317854B2 JP 6317854 B2 JP6317854 B2 JP 6317854B2 JP 2017508793 A JP2017508793 A JP 2017508793A JP 2017508793 A JP2017508793 A JP 2017508793A JP 6317854 B2 JP6317854 B2 JP 6317854B2
Authority
JP
Japan
Prior art keywords
virtual
data
space
dimensional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017508793A
Other languages
English (en)
Other versions
JPWO2016157247A1 (ja
Inventor
トマス ハート
トマス ハート
実 中井
実 中井
宏一 山岸
宏一 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capcom Co Ltd
Original Assignee
Capcom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capcom Co Ltd filed Critical Capcom Co Ltd
Publication of JPWO2016157247A1 publication Critical patent/JPWO2016157247A1/ja
Application granted granted Critical
Publication of JP6317854B2 publication Critical patent/JP6317854B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体に関する。
従来、アクションゲームやロールプレイングゲーム等、ユーザの操作に応じてプレイヤキャラクタを仮想の三次元ゲーム空間内で動作させるゲームがある。通常、三次元ゲーム空間はコンピュータグラフィックスによって生成されている。近年ではコンピュータグラフィックスも高精細となり、実際の風景等を高い再現度で表すことができるようになってきている。しかし、ビデオカメラ等で撮影した実際の映像(実写映像)には及ばない。
コンピュータグラフィックスによる背景画像に代えて、実際の映像を用いて生成された三次元ゲーム空間内でキャラクタを操作できるゲームも開発されている(例えば非特許文献1参照)。
ステイトオブプレイ(State of play)、"ルミノシティ(Lumino City)"、[online]、[平成27年2月24日検索]、インターネット<http://www.stateofplaygames.com/work/lumino-city>
しかし、非特許文献1のゲームでは、実写映像として表示される二次元画像の上を平面的にキャラクタが動くような構成としている。このため、奥行き方向への移動が制限されている。このように、従来の構成では、奥行きのあるような実写映像を用いて、キャラクタを奥行方向に移動させようとすると、違和感が生じる問題があった。
そこで本発明は、実写映像を用いた仮想三次元空間における奥行き方向の表現を違和感なく行うことができる仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体を提供することを目的とする。
本発明の一態様に係る仮想三次元空間生成方法は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第1データから、前記実写映像を映し出す仮想スクリーン位置と前記カメラ位置に対応する仮想カメラ位置との位置関係を特定し、前記実写映像に含まれる所定の基準物の境界を表すデータであって前記位置関係に基づき当該境界が前記実写映像中の前記基準物と対応付けられている三次元の基準物データを生成する基準物データ生成ステップ、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元CG空間を構成するオブジェクトを表す第2データを生成する第2データ生成ステップ、および前記第1データと前記第2データとに基づいて、仮想三次元空間を生成するための第3データを生成する第3データ生成ステップを含み、前記第3データ生成ステップは、前記基準物データにおける前記基準物の境界と前記第2データにおける前記基準物に対応するオブジェクトの境界とを合わせることにより、前記実写映像の前記画角に基づいて、前記仮想三次元CG空間における、前記仮想カメラ位置を定めた前記第3データを生成する。
本発明によれば、実写映像を用いた仮想三次元空間における奥行き方向の表現を違和感なく行うことができる仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体を提供することができる。
図1は本実施の形態におけるゲーム画面の例を示す図である。 図2は本実施の形態における仮想三次元空間の例を示す上面図である。 図3は本実施の形態における仮想三次元空間を作成するためのコンピュータシステムの概略構成を示すブロック図である。 図4は本実施の形態における基準物データの生成過程において、基準物の境界を示す特徴点の生成過程を示す図である。 図5は本実施の形態における基準物データの生成過程において、仮想基準物の生成過程を示す図である。 図6は本実施の形態における基準物データの生成過程において、基準物データに含まれる特徴的な情報を模式的に示す図である。 図7は本実施の形態における第2データの生成過程において、第2データ生成画面の例を示す図である。 図8は本実施の形態における第2データの生成過程において、第2データに含まれる特徴的な情報を模式的に示す図である。 図9は本実施の形態における第3データの生成過程において、仮想基準物と基準物オブジェクトとが一致する前の状態を示す図である。 図10は本実施の形態における第3データの生成過程において、仮想基準物と基準物オブジェクトとが一致した後の状態を示す図である。 図11は本実施の形態におけるゲーム装置のハードウェア構成を示すブロック図である。 図12は図11に示すゲーム装置の機能的な構成を示すブロック図である。 図13は本実施の形態におけるゲーム画面の他の例を示す図である。 図14は本実施の形態における仮想三次元空間の他の例を示す上面図である。
本発明の一態様に係る仮想三次元空間生成方法は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第1データから、前記実写映像を映し出す仮想スクリーン位置と前記カメラ位置に対応する仮想カメラ位置との位置関係を特定し、前記実写映像に含まれる所定の基準物の境界を表すデータであって前記位置関係に基づき当該境界が前記実写映像中の前記基準物と対応付けられている三次元の基準物データを生成する基準物データ生成ステップ、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元CG空間を構成するオブジェクトを表す第2データを生成する第2データ生成ステップ、および前記第1データと前記第2データとに基づいて、仮想三次元空間を生成するための第3データを生成する第3データ生成ステップを含み、前記第3データ生成ステップは、前記基準物データにおける前記基準物の境界と前記第2データにおける前記基準物に対応するオブジェクトの境界とを合わせることにより、前記実写映像の前記画角に基づいて、前記仮想三次元CG空間における、前記仮想カメラ位置を定めた前記第3データを生成する。
前記仮想三次元空間生成方法は、前記仮想三次元空間内で移動可能なキャラクタを生成するキャラクタ生成ステップを含んでもよい。
前記仮想三次元空間生成方法は、前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および前記キャラクタが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップを含んでもよい。
前記基準物データ生成ステップは、前記基準物データを、前記基準物を含む前記実写映像の特徴点群を取得することにより生成してもよい。
前記基準物は、前記実在空間に設置した人工物であってもよい。
前記実写映像は、前記基準物として設定した人工物を含めて撮影した後、当該撮影を継続しながら前記人工物を取り除いたものであり、前記基準物データを生成する際には前記実写映像のうちの前記人工物が撮影されている部分を利用し、前記実写映像による仮想三次元空間を生成する際には前記実写映像のうちの前記人工物を取り除いて撮影されている部分を利用してもよい。
本発明の一態様に係るユーザ操作可能な映像システムは、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第1データと、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元CG空間を構成するオブジェクトの境界を表す第2データと、前記実写映像に含まれるオブジェクトが前記仮想三次元CG空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元CG空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第3データと、を含むデータ群を読み出すデータ読み出しモジュール、前記第3データに基づいて前記第1データと前記第2データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成モジュール、前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示モジュール、および所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御モジュール、を備えている。
前記映像システムは、前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理モジュールを備えてもよい。
本発明の一態様に係るユーザ操作可能な映像システムの制御方法は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第1データと、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元CG空間を構成するオブジェクトの境界を表す第2データと、前記実写映像に含まれるオブジェクトが前記仮想三次元CG空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元CG空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第3データと、含むデータ群を読み出すデータ読み出しステップ、前記第3データに基づいて前記第1データと前記第2データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成ステップ、前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御ステップ、を含んでいる。
前記制御方法は、前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップを含んでもよい。
本発明の一態様に係る記録媒体は、コンピュータ装置の制御部により実行可能な指令を記憶した、該コンピュータ装置での読み取りが可能な記録媒体であって、前記指令は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第1データと、前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元CG空間を構成するオブジェクトの境界を表す第2データと、前記実写映像に含まれるオブジェクトが前記仮想三次元CG空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元CG空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第3データと、を含むデータ群を読み出すデータ読み出しステップ、前記第3データに基づいて前記第1データと前記第2データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成ステップ、前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御ステップ、を含んでいる。
前記指令は、前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップを含んでもよい。
以下、本発明の実施の形態に係る仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体について、図面を参照しつつ説明する。本実施の形態においては、生成された仮想三次元空間内を行動可能なキャラクタを操作するゲームを例として説明する。
[本実施の形態において生成される仮想三次元空間の概要]
本実施の形態における仮想三次元空間は、まるで実在空間を撮影した実写映像内をキャラクタが行動しているように見せることのできるゲーム画面を表示するために生成される。図1は本実施の形態におけるゲーム画面の例を示す図である。また、図2は本実施の形態における仮想三次元空間の例を示す上面図である。図1に示すゲーム画面Gは、図2に示す仮想三次元空間Fを仮想カメラC(実線)から見た二次元画像として表現される。
図1および図2に示すように、ゲーム画面G上において、キャラクタPが行動する仮想三次元空間Fは実写映像により表現されている。すなわち、仮想三次元空間Fを仮想三次元空間F内の仮想カメラ位置に設置された仮想カメラCから撮像した映像として実写映像がゲーム画面Gに表示される。仮想カメラCの撮像範囲は、仮想カメラCの画角により定められ、仮想三次元空間Fの仮想カメラ位置に対応する仮想スクリーン位置に設置された仮想スクリーンSの範囲となる。さらに、ゲーム画面Gには、仮想カメラCの撮像範囲内における仮想三次元空間Fに配置され、キャラクタPが取得可能なアイテム等のオブジェクトAも表示される。
また、実写映像に含まれているオブジェクトには、境界が設定されている。例えば、木または壁等に設定される境界により、キャラクタPの行動(移動等)が制限される。また、地面等に設定される境界により、当該境界上に位置するキャラクタPの上下方向の位置(高さ方向の位置)が決定される。
キャラクタPが所定のカメラ切り替え位置Hに位置するとゲーム画面Gに表示される映像が別の仮想カメラCから撮像した映像に切り替わる。例えば、図2において実線で示される仮想カメラCで撮像した映像がゲーム画面Gに表示されている状態(図1に示すゲーム画面が表示されている状態)でキャラクタPがカメラ切り替え位置Hに到達すると、図2において破線で示す仮想カメラCで撮像した映像がゲーム画面Gに表示される。
[仮想三次元空間作成方法]
図3は本実施の形態における仮想三次元空間を作成するためのコンピュータシステムの概略構成を示すブロック図である。図3に示すように、コンピュータシステム100は、各種演算を行うコンピュータ101と、各種データを記憶するハードディスク装置等の記憶装置102と、キーボードまたはマウス等の入力装置103と、モニタ104と、を備えている。これらの各構成は、バス信号線105により相互に信号の伝送が可能となっている。
記憶装置102には、仮想三次元空間生成プログラム121が記憶されている。図3において、仮想三次元空間生成プログラム121は、1つのプログラムとして表現されているが、後述するように、複数のプログラムから構成されていてもよい。さらに、記憶装置102には、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第1データ122が記憶されている。
コンピュータ101は、CPU、内部メモリ等を備え、記憶装置102に記憶された仮想三次元空間生成プログラム121に基づいて、基準物データ生成部(基準物データ生成手段、基準物データ生成モジュール)111、第2データ生成部(第2データ生成手段、第2データ生成モジュール)112、第3データ生成部(第3データ生成手段、第3データ生成モジュール)113、キャラクタ生成部(キャラクタ生成手段、キャラクタ生成モジュール)114、および光源情報反映部(光源情報反映手段、光源情報反映モジュール)115の各機能を発揮する。
[基準物データの生成]
以下、順に説明する。基準物データ生成部111は、実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第1データ(実写映像データ)122から、実写映像を映し出す仮想スクリーン位置とカメラ位置に対応する仮想カメラ位置との位置関係を特定し、実写映像に含まれる所定の基準物の境界を表すデータであって当該位置関係に基づき当該境界が実写映像中の前記基準物と対応付けられている三次元の基準物データ123を生成する。
図4から図6は本実施の形態における基準物データの生成過程を示す図である。まず、図4に示すような撮像領域の実写映像がデジタルビデオカメラ等で撮影される。この際、実写映像の縮尺を判定するための基準物Dとして人工物が実在空間に設置され、当該人工物が実写映像に含まれるように撮影される。図4の例においては、基準物Dとして人工物である段ボール箱等の直方体が用いられている。基準物Dは、角があり、当該角を構成する複数の面が互いに直角になっていることが好ましい。なお、人工物が実写映像内に設置される代わりに、元々実写映像内に含まれている人工物または自然物が基準物Dとして設定されてもよい。基準物データ生成過程では、仮想三次元空間生成プログラム121として、例えば、“SynthEyes”(Andersson Technologies LLC)等の三次元カメラトラッキングプログラムが利用できる。
基準物データ生成部111は、撮像された実写映像をトラッキング処理することにより、当該実写映像を撮影したカメラ位置と当該実写映像に撮像された物(基準物、地面、壁、木等)の境界との位置関係を示す境界データを生成する。境界データおよび実写映像を撮影したカメラの画角により、実写映像を映し出す仮想スクリーン位置とカメラ位置に対応する仮想カメラ位置との位置関係が特定される。図4の例において、基準物データ生成部111は、境界データを、基準物を含む実写映像の特徴点群を取得することにより生成する。特徴点群は、各特徴点が三次元の位置座標を有するデータの集合である。図4に示す処理画面E上において各特徴点が×印で示される。特に、基準物Dについての正確な境界データを取得するために、実写映像は、カメラ位置が基準物Dの周囲のある程度の範囲を回るように、デジタルビデオカメラをパンさせて撮影されたものであることが好ましい。
トラッキング処理だけでは基準物Dの境界データが十分に生成されない場合、ユーザが実写映像上に基準物Dの三次元の位置座標(を示す特徴点)を配置可能に構成されてもよい。なお、基準物Dの境界を示す特徴点Bは、角のある基準物Dにおいては角における位置に設置されることが好ましい。図4の例のように大きさが既知の直方体を用いた場合、基準物Dの境界を示す特徴点Bは、何れか一の平面に含まれる当該平面の頂点に少なくとも3点設置されればよい。これにより残りの角の位置座標は演算によっても取得することができる。
基準物Dの境界を示す特徴点Bを特定した後、当該特徴点Bに基づいて、図5に示すような、基準物D全体の三次元の境界を示す仮想基準物VDが生成される。仮想基準物VDは例えばポリゴン等により生成される。仮想基準物VDの生成は、基準物Dの境界を示す特徴点Bに基づいて、ユーザが入力装置103を操作して描画することとしてもよいし、基準物データ生成部111が自動的に生成してもよい。この結果、図6に示すように、仮想カメラCの位置から仮想スクリーンSを見たときに、仮想スクリーンSと仮想カメラCと仮想基準物VDとの位置関係が、仮想基準物VDと実写映像に含まれる基準物Dとが一致するような位置関係となるように、仮想基準物VD(すなわち基準物Dの境界)が実写映像中の基準物Dと対応付けられた基準物データ123が生成される。なお、図6の処理画面Eにおいては、仮想基準物VD以外の物の境界を示す特徴点群も表示されているが、当該特徴点群は基準物データ123に含まれなくてもよいし、含まれてもよい。生成された基準物データ123は、記憶装置102に記憶される。
[第2データの生成]
第2データ生成部112は、実写映像が撮影された実在空間をコンピュータグラフィックス(CG)で再現した仮想三次元CG空間を構成するオブジェクトを表す第2データ125を生成する。図7および図8は本実施の形態における第2データの生成過程を示す図である。図7の例において、第2データ生成部112は、第2データ125の元となる仮想三次元CG空間Kを、実写映像に含まれる実在空間において撮影された複数の静止画を用いて三次元スキャニング処理を行うことにより生成する。静止画は、デジタルスチルカメラ等で撮影され、静止画データ108として記憶装置102に記憶される。この際、実写映像の撮影時において基準物Dを設置した状態で静止画も撮影される。すなわち、実写映像における基準物Dの設置位置と、静止画における基準物Dの設置位置とは同じ位置である。この結果、生成される仮想三次元CG空間Kを構成するオブジェクトには、基準物Dのオブジェクト(後述する図9に示される基準物オブジェクトOD)が含まれる。
図7に示すように、図7に示す第2データ生成画面Jの上段J1には、生成された仮想三次元CG空間Kと、当該仮想三次元CG空間Kの部分を生成するために用いられた静止画Lとが対応付けられて示されている。第2データ生成画面Jの下段J2には、上段の仮想三次元CG空間Kを生成するために用いられた静止画の一覧が上段の静止画群と対応付けられて示されている。このように複数(例えば数百枚程度)の静止画Lが隣り合う静止画が重なり合うように複数の角度から撮影され、隣り合う静止画L内の画像が連続するように配置される。その後、三次元スキャニング処理が行われることにより、仮想三次元CG空間Kが生成される。第2データ生成過程では、仮想三次元空間生成プログラム121として、例えば、“PhotoScan”(Agisoft LLC)等の三次元スキャニングプログラムが利用できる。
仮想三次元CG空間Kには、当該仮想三次元CG空間K内のオブジェクトの境界を示す情報が含まれる。当該オブジェクトの境界は、仮想三次元CG空間K内を行動するキャラクタとの接触判定(移動制限)を行う、または、地面の高低差の表現(キャラクタの足と地面とが離れたら落下する等の表現)を行うために用いられる。第2データ生成部112は、仮想三次元CG空間K内のオブジェクトを第2データ125として生成する。具体的には、仮想三次元CG空間Kを透明化したものが第2データ125として生成される。例えば第2データ125は、図8に示すように、仮想三次元CG空間Kにおけるオブジェクトの境界を形成するポリゴンメッシュMのみの情報のみを有している。なお、図8においては、ポリゴンメッシュMが可視化されているが、後述する仮想三次元空間生成完了時にはポリゴンメッシュM自体が透明化されている。
このように、最終的に生成される仮想三次元空間には仮想三次元CG空間Kに貼られたテクスチャ(複数の静止画からのモデリングにより生成されたテクスチャ)は必要ない。しかし、後述する第3データを生成するために、仮想三次元CG空間Kが高解像度のテクスチャにより構成されることが好ましい。特に、後述する仮想基準物VDと基準物オブジェクトODとの位置および大きさの調整をユーザが行う場合、仮想三次元CG空間Kが高解像度のテクスチャにより構成されることが好ましい。これにより、上記調整における微調整をユーザが行い易くすることができる。なお、第3データが生成されるまでは、第2データ125に、仮想三次元CG空間Kのテクスチャ情報が含まれるようにしておき、第3データの生成完了後、第2データ125から当該テクスチャ情報が削除されてもよい。また、第2データ125においてテクスチャ情報が削除されなくてもよい。生成された第2データ125は、記憶装置102に記憶される。
[第3データの生成]
第3データ生成部113は、第1データ122と第2データ125とに基づいて、仮想三次元空間を生成するための第3データを生成する。図9および図10は本実施の形態における第3データの生成過程を示す図である。第3データ生成部113は、図9に示す状態から図10に示す状態となるように、基準物データ123における基準物Dの境界と第2データ125における基準物に対応するオブジェクトの境界とを合わせることにより、実写映像の画角に基づいて、仮想三次元CG空間Kにおける、仮想カメラCの仮想カメラ位置を定めた第3データを生成する。第3データ生成過程では、仮想三次元空間生成プログラム121として、例えば、“Blender”(Blender.org、フリーソフトウェア)等の三次元CG統合環境アプリケーションが利用できる。
図9に示すように、第3データ生成画面Nには、第2データ125を含む仮想三次元CG空間Kの描画データおよび基準物データ123がそれぞれ1つの仮想三次元空間内に読み出される。基準物データ123に含まれる仮想基準物VDの位置および大きさが仮想三次元CG空間Kに含まれる基準物オブジェクトODに一致するように、調整される(移動および拡大縮小処理が行われる)。このような調整により、仮想基準物VDの位置が変化すると、それに対応して仮想カメラCおよび仮想スクリーンSの位置も変化する。仮想基準物VDの大きさが変化すると、仮想カメラCの画角(実写映像を撮影したカメラの画角)が一定であることから、それに対応して仮想カメラCと仮想スクリーンSとの間の距離および仮想スクリーンSの大きさ(縮尺)が変化する。
このような調整は、仮想三次元CG空間Kに対して仮想基準物VDを移動する操作および/または拡大縮小する操作を、入力装置103を用いてユーザが行ってもよいし、第3データ生成部113が自動的に調整処理を行ってもよい。第3データ生成部113が自動的に調整する場合には、仮想三次元CG空間Kのテクスチャは第3データ生成開始時点で第2データ125に含まれていなくてもよい。
このような調整の結果、図10に示すように、基準物データ123から、仮想三次元CG空間Kにおける仮想カメラCの位置が決定される。決定された仮想カメラCの位置に基づいて仮想スクリーンSの位置も定められる。決定された仮想カメラCの仮想三次元CG空間K上の位置座標が第3データ126として生成され、記憶装置102に記憶される。
第3データ126により、仮想カメラCから見た映像として仮想スクリーンSに実写映像を再生した場合に、当該再生された実写映像と同じ仮想カメラCから見た仮想三次元CG空間Kとが実質的に同じ情景となる。したがって、図1に示すようなゲーム画面Gとして仮想カメラCを通して透明化された仮想三次元CG空間Kに(第2データ125であるオブジェクトの境界に基づいて)配置されたアイテムオブジェクトA、および、仮想三次元CG空間K内を行動するキャラクタP等の追加オブジェクトを見せることにより、あたかも実写映像内をキャラクタPが行動しているかのようにゲームのユーザに感じさせることができる。
以上のように生成された第3データ126に基づいて第1データ122と第2データ125とが結合されることによって、仮想三次元空間F(図2)が生成される。したがって、このような仮想三次元空間Fを用いたゲームにおいては、仮想カメラCを通じて仮想三次元空間Fを見た情景として実写映像がゲーム画面G(図1)に表示される。一方、当該ゲーム画面G内に表示されるキャラクタPまたはアイテムオブジェクトA等の追加オブジェクトは、実写映像に対応するオブジェクトの境界に基づいて行動が制御され、または配置される。このように、実写映像にオブジェクトの境界についての情報を適用することにより、二次元画像である実写映像に奥行き方向の概念を追加することができる。したがって、実写映像を用いた仮想三次元空間Fにおける奥行き方向の表現を違和感なく行うことができる。
なお、図2に示すように、仮想三次元空間Fに複数の異なる仮想カメラ位置に仮想カメラCが配置され、キャラクタPの異同に応じて仮想カメラCを切り替えてゲーム画面Gに表示される実写映像が切り替えられる場合、当該仮想三次元空間Fを生成するための基準物Dは、複数の実写映像に共通するものが用いられる。すなわち、複数の仮想カメラ位置で実写映像を撮影する際に、各仮想カメラ位置における仮想カメラCの撮像範囲内に、共通する基準物Dが含まれるようにする。これに代えて、複数の仮想カメラ位置における仮想カメラCの撮像範囲内に含まれる同型の物(例えば、ベンチ、電話ボックス、信号機等)を基準物Dとして採用してもよい。
[実写映像]
ここで、改めて第1データ122に含まれる実写映像について説明する。実写映像は、基準物データ123を作成するために、基準物として設定した人工物を含めて撮影されたものが用いられる。一方で、ゲーム画面として表示する実写映像には基準物Dが映り込んでいない方が違和感のない映像となる場合がある。この場合、実写映像は、基準物Dとして設定した人工物を含めて撮影した後、当該撮影を継続しながら基準物Dを取り除いたものが用いられてもよい。
例えば、最終的に生成される仮想三次元空間Fにおいて仮想スクリーンSの位置が固定されている場合(固定位置の映像がゲーム画面G内に表示される場合)、まず、基準物Dを実在空間の所定位置(カメラの固定位置における撮像範囲内の所定位置)に設置し、カメラによる撮影が開始される。カメラを固定せずに撮影が開始され、基準点データを取り易くするために、カメラを基準物Dを中心に左右に所定範囲でパンさせて撮影が行われる。その後、撮影を継続しながら、カメラが固定位置に固定される。さらに、カメラが固定位置に完全に静止している状態で基準物Dを撮像範囲内に含む撮影を所定の期間行った後、撮影を継続しながら、基準物Dが撮像範囲外に取り除かれる。その上で、仮想三次元空間Fを仮想カメラCからみた二次元画像(図1に示すゲーム画面)として必要な所定時間撮影が行われた後、撮影が終了される。
このようにして撮影された実写映像のうち、カメラをパンさせた後、静止させた状態で基準物Dが含まれている部分を基準物データ123を生成する際に利用する。また、上記実写映像のうち、カメラの静止状態において基準物Dを取り除いた部分を実写映像による仮想三次元空間Fを生成する際に利用する。すなわち、当該部分を仮想三次元空間Fにおいて仮想スクリーンSに再生する(二次元画像としてゲーム画面Gに表示する)実写映像として利用する。これにより、基準物Dとして実写映像中の情景と全く関係のない人工物を採用しても、生成された仮想三次元空間Fにおいて基準物Dの存在を消去することができる。
また、仮想スクリーンSの位置が固定の場合、仮想三次元空間Fにおいて仮想スクリーンSに再生する実写映像は、所定期間の映像が繰り返されるループ映像が用いられる。すなわち、撮影された一連の実写映像から基準物Dが含まれていない期間の映像をループ再生するように設定した再生映像データが生成される。再生映像データは、ループ期間およびループ期間の初期と終期との繋がりとを調整することにより、違和感のない実写映像とすることができる。後述するゲームプログラムに用いられるゲームデータに含まれる第1データ122として、このような再生映像データ129を採用してもよい。
[キャラクタの生成]
キャラクタ生成部114は、仮想三次元空間F内で移動可能なキャラクタPを生成する。キャラクタPは、三次元オブジェクトで構成されてもよい。さらに、キャラクタPは、実在の物体を複数の角度から撮影した複数の静止画から三次元スキャニング処理により生成された、三次元オブジェクトでもよい。生成されたキャラクタPのデータは、キャラクタデータ127として記憶装置102に記憶される。
[光源情報の生成]
光源情報反映部115は、実写映像が撮影された実在空間の所定位置において撮影された静止画データ108から実在空間における光源の情報を取得し、当該光源の情報を、実写映像による仮想三次元空間Fに配置されるオブジェクト(キャラクタP、アイテムオブジェクトA等)に反映させる。このため、記憶装置102には、光源の情報を得るための静止画データ108として、所定位置の周囲が連続するように撮影された画像が別途記憶される。このような静止画データ108は、実写映像が撮影された条件(季節、時刻、天候等)と略同じ条件において例えば360度撮影カメラにより撮像された画像である。光源の情報を得るための静止画データ108は、ハイダイナミックレンジ合成(HDRi)処理が行われた静止画が用いられてもよい。幅広いダイナミックレンジ(明暗の比)を有する静止画を用いることにより、より細かい光源の情報を得ることができる。このようにして生成された光源の情報は、光源データ128として記憶装置102に記憶される。
これによれば、ゲーム画面G内において実写映像以外のオブジェクト(キャラクタPおよびアイテムオブジェクトA等)が表示された場合に、当該実写映像以外のオブジェクトにも、実写映像と同様の陰影表現を容易に付加することができる。
[生成された仮想三次元空間を用いた映像プログラムの例]
以下に、上記のような方法で生成された仮想三次元空間Fを用いた映像プログラムの一例として、当該仮想三次元空間F内をキャラクタPが行動可能なゲームを実現するための構成について説明する。本実施の形態におけるゲームにおいて、ユーザは図1に示すゲーム画面Gを見ながらキャラクタPを操作してアイテムオブジェクトAを取得したり、仮想三次元空間F内を行動している他のキャラクタ(ノンプレイヤキャラクタ。図示せず)に出会って会話をしたりしながら、所定の目標が設定されたシナリオ(ゲーム本編)を進行させる。
[ハードウェア構成]
上述したゲームを実現するゲームシステムの構成について説明する本実施形態におけるゲームシステムは、下記ゲーム装置2と、当該ゲーム装置2に接続されるモニタ19、スピーカ22およびコントローラ24などの外部装置とで構成され、下記ディスク型記録媒体30から読み込んだゲームプログラム30aおよびゲームデータ30bに基づいてゲームを行い得る。ただし、以下では、説明を簡単にするため、単にゲーム装置2と称する場合がある。図11は本実施の形態におけるゲーム装置2のハードウェア構成を示すブロック図である。図11に示すように、ゲーム装置2は、他のゲーム装置2およびサーバ装置3との間で、インターネットまたはLANなどの通信ネットワークNWを介して互いに通信可能である。このゲーム装置2は、その動作を制御するコンピュータであるCPU10を備え、このCPU10にはバス11を介してディスクドライブ12、メモリカードスロット13、プログラム記憶部を成すHDD14、ROM15およびRAM16が接続されている。
ディスクドライブ12には、DVD−ROM等のディスク型記録媒体30が装填可能である。該ディスク型記録媒体30には、本発明の実施の形態に係るゲームプログラム30aおよび本実施の形態で説明するゲームに登場するキャラクタならびにゲーム空間を形成するのに必要なオブジェクトおよびテクスチャ等のゲームデータ30bが記録されている。また、メモリカードスロット13にはカード型記録媒体31が装填でき、ゲームの途中経過等のプレイ状況を示すセーブデータを、CPU10からの指示に応じて記録可能である。
HDD14はゲーム装置2に内蔵される大容量記録媒体であって、ディスク型記録媒体30から読み込んだゲームプログラム30aおよびゲームデータ30bならびにセーブデータなどを記録する。ROM15は、マスクROMまたはPROMなどの半導体メモリであり、ゲーム装置2を起動する起動プログラム、および、ディスク型記録媒体30が装填されたときの動作を制御するプログラムなどを記録している。RAM16は、DRAMまたはSRAMなどからなり、CPU10が実行すべきゲームプログラム30a、およびその実行の際に必要になるゲームデータ30b等を、ゲームのプレイ状況に応じてディスク型記録媒体30またはHDD14から読み込んで一時的に記憶する。
また、CPU10には、バス11を介してグラフィック処理部17、オーディオ合成部20、無線通信制御部23およびネットワークインタフェース25が接続されている。
このうちグラフィック処理部17は、CPU10の指示に従ってゲーム空間や各キャラクタなどを含むゲーム画像を描画する。また、グラフィック処理部17にはビデオ変換部18を介して外部のモニタ19が接続されており、グラフィック処理部17にて描画されたゲーム画像はビデオ変換部18において動画形式に変換され、モニタ19にて表示される。
オーディオ合成部20は、CPU10の指示に従ってデジタルのゲーム音声を再生および合成する。また、オーディオ合成部20にはオーディオ変換部21を介して外部のスピーカ22が接続されている。従って、オーディオ合成部20にて再生および合成されたゲーム音声は、オーディオ変換部21にてアナログ形式にデコードされ、更にスピーカ22から外部へ出力される。
無線通信制御部23は、2.4GHz帯の無線通信モジュールを有し、ゲーム装置2に付属するコントローラ24との間で無線により接続され、データの送受信が可能である。ユーザは、このコントローラ24に設けられたボタン等の操作子(図示せず)を操作することにより、ゲーム装置2へ信号を入力することができ、モニタ19に表示されるプレイヤキャラクタの動作を制御可能である。また、ネットワークインタフェース25は、インターネットまたはLANなどの通信ネットワークNWに対してゲーム装置2を接続し、他のゲーム装置2またはサーバ装置3との間の通信を可能とする。そして、ゲーム装置2を、通信ネットワークNWを介して他のゲーム装置2と接続し、互いにデータを送受信することにより、同一のゲーム空間内で同期して複数のプレイヤキャラクタを表示させることができる。したがって、複数人が協力してゲームを進行させるマルチプレイが可能になっている。
[ゲーム装置の機能的構成]
図12は図11に示すゲーム装置2の機能的な構成を示すブロック図である。図11に示すようにゲーム装置2は、CPU10、HDD14、ROM15、RAM16、グラフィック処理部17、ビデオ変換部18、オーディオ合成部20、オーディオ変換部21、ネットワークインタフェース25などを含む制御部4を備えたコンピュータとして動作する。ゲームデータ30bには、仮想三次元空間Fを生成するためのデータ群として、第1データ122(またはこれに基づく再生映像データ129)、第2データ125、第3データ126、キャラクタデータ127、および光源データ128が含まれている。そして、図12に示すように、ゲーム装置2の制御部4は、本発明のゲームプログラム30aを実行することで、データ読み出し部(データ読み出し手段、データ読み出しモジュール)41、仮想三次元空間生成部(仮想三次元空間生成手段、仮想三次元空間生成モジュール)42、二次元画像表示部(二次元画像表示手段、二次元画像表示モジュール)43、キャラクタ制御部(キャラクタ制御手段、キャラクタ制御モジュール)44、および透過処理部(透過処理手段、透過処理モジュール)45などの機能を発揮する。
このうち、データ読み出し部41は、ゲームデータ30bに含まれるデータ群を読み出す。仮想三次元空間生成部42は、読み出された第3データ126に基づいて第1データ122と第2データ125とが結合されることによって、仮想三次元空間F(図2)を生成する。さらに、仮想三次元空間生成部42は、仮想三次元空間Fの所定位置にアイテムオブジェクトA等を配置する。
なお、第1データ122と第2データ125とは第3データ126によって予め結合された状態でゲームデータ30bとして保存されていてもよい。この場合、データ読み出し部41は、第1データ122、第2データ125および第3データ126が互いに結合された状態で、これらのデータを読み出す。第1データ122と第2データ125とが1対1で対応している場合等には予め結合した状態でデータ化しておくことにより読み出し速度または描画速度を速くすることができる。
これに代えて、第1データ122、第2データ125および第3データ126は、それぞれ別々の状態でゲームデータ30bとして保存されていてもよい。この場合、仮想三次元空間生成部42は、第3データ126に基づいて第1データ122と第2データ125とを結合する処理を行う。例えば、ゲーム内時間に応じて昼と夜とが切り替わるようなゲームにおいては、時間帯に応じて異なる複数の実写映像を含む複数の第1データ122がゲームデータ30bとして保存され、仮想三次元空間生成部42が、複数の第1データ122からゲーム内時間に応じて第2データ125と結合する第1データ122を選択することも可能である。
二次元画像表示部43は、仮想カメラCの位置から仮想三次元空間Fを見た二次元画像、すなわち図1に示すゲーム画面Gとして、仮想スクリーンSの位置において再生される実写映像を表示する。キャラクタ制御部44は、所定のキャラクタオブジェクト(キャラクタP)を、二次元画像として表示される仮想三次元空間F内で移動可能に制御する。キャラクタPはユーザのコントローラ24の操作に応じて仮想三次元空間F内を行動する。
図13は本実施の形態におけるゲーム画面の他の例を示す図である。また、図14は本実施の形態における仮想三次元空間の他の例を示す上面図である。図13に示すゲーム画面Gは、図14に示す仮想三次元空間Fを仮想カメラCから見た二次元画像として表現される。図14に示すように、仮想三次元空間Fには、光源データ128に基づいた陰を示す領域(陰領域)Rが設定される。二次元画像表示部43は、キャラクタPが陰領域R内に位置したか否かを判定し、キャラクタPが陰領域R内に位置した場合に当該キャラクタPに陰影をつける陰付け処理を行う。例えば、図13に示すように、キャラクタP(1)が陰に入っている(陰領域R内に位置する)場合、図1に示すようなキャラクタPが陰に入っていない(陰領域R内に位置していない)場合に比べて、キャラクタ全体に陰影を付加したり、キャラクタ全体の明度を下げる処理を行ったりする。陰付け処理は、キャラクタPだけでなく仮想三次元空間F内に存在するすべてのオブジェクトに適用され得る。
さらに、二次元画像表示部43は、陰付け処理を、陰領域R内に位置していない場合にも行ってもよい。この場合、二次元画像表示部43は、光源データ128に基づいて仮想三次元空間F(仮想三次元CG空間K)における光源位置(図示せず)と、キャラクタPの位置との位置関係から、キャラクタPのうち光源位置と対向する面ほど明るくなり、光源位置とは反対側となる面ほど暗くなるように陰付け処理を行う。これにより、キャラクタP等のオブジェクトを実在空間における陰影の付き方に近付けることができる。したがって、キャラクタP等のオブジェクトを実写映像で示されるゲーム画面G上に表示した際に、実写映像内に実在しないオブジェクトが存在することの違和感を低減させることができる。
ここで、前述の通り、本実施の形態におけるゲーム画面Gにおいて、キャラクタPが移動する空間は、実写映像によって表現される。すなわち、キャラクタPは、常に実写映像上に表現される。このため、図13に示すように、ゲーム画面G上において、キャラクタPが移動し得る領域(通路)より手前に木等の遮蔽物Vが存在する場合、そのままキャラクタPが通路上を移動すれば、本来遮蔽物Vにより隠れるべきキャラクタPが遮蔽物Vの手前に表示されてしまう。このままでは仮想三次元空間Fの現実性が失われてしまうため、実写映像として図13のような配置の構図が使えないとすると、仮想カメラCを設置する位置の自由度(すなわち実写映像の選択の自由度)が低くなってしまう。
そこで、透過処理部45は、キャラクタPが二次元画像として表示される実写映像における所定の物体に重なったときに、キャラクタPが仮想三次元空間Fにおいて物体(遮蔽物)Vに対応するオブジェクト(遮蔽物オブジェクト)Tの位置を基準として仮想カメラ位置とは反対側(すなわち、仮想スクリーン位置側)に位置している場合、キャラクタPにおける物体に重なっている部分Qを透明化する透過処理を行う。より詳しくは、仮想三次元空間Fにおいて仮想カメラCの位置とキャラクタPが位置し得る通路等の間に遮蔽物Vが存在する場合、当該遮蔽物Vに対応するオブジェクトが遮蔽物オブジェクトTとして予め指定される。透過処理部45は、当該遮蔽物オブジェクトTと仮想スクリーンSとの間の遮蔽領域U内にキャラクタPの少なくとも一部が入ったか否かを判定する。遮蔽領域Uは、キャラクタPの少なくとも一部が遮蔽領域U内に入ったと判定された場合、透過処理部45は、当該遮蔽領域U内に入ったキャラクタPの部分Qを透明化する。キャラクタP以外のオブジェクトについても同様に透過処理される。
これにより、ゲーム画面GにおいてキャラクタPが実写映像より常に手前に表示されているにもかかわらず、所定の遮蔽物Vに対してあたかも遮蔽物Vの後にキャラクタPが回り込んだかのような表現とすることができる。これにより、実写映像を用いた仮想三次元空間における奥行き方向の表現をより効果的に行うことができる。また、ゲーム画面Gに表示される二次元画像として採用可能な実写映像の選択の自由度を高くすることができる。
以上、本発明の実施形態について説明したが、本発明は上記実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲内で種々の改良、変更、修正が可能である。
例えば、上記実施の形態では、仮想カメラCおよび仮想スクリーンSがそれぞれ配置される位置が固定されている場合について説明したが、仮想カメラCおよび仮想スクリーンSが移動する構成(カメラを移動させながら撮影した実写映像を用いた構成)も採用可能である。
また、上記実施の形態では、二次元画像表示部43および透過処理部45を、ゲーム装置2の制御部4が実行する機能モジュールとして説明したが、二次元画像表示部43および透過処理部45が、仮想三次元空間を生成するためのコンピュータ101が実行する機能モジュールとして構成されてもよい。言い換えると、コンピュータ101において、二次元画像の表示と、透過処理とが実行可能な仮想三次元空間が生成されてもよい。
また、上記実施の形態では、生成された仮想三次元空間Fを、ユーザが当該仮想三次元空間内で行動するキャラクタPを操作してシナリオを進行させるゲームプログラムに適用した例に基づいて説明したが、ユーザと映像プログラムとの間でインタラクティブに動作する構成である限り、これに限られない。
また、上記実施の形態では据え置き型のゲーム装置について説明したが、携帯型のゲーム装置、携帯電話機、およびパーソナルコンピュータなどのコンピュータについても、本発明を好適に適用することができる。
本発明は、実写映像を用いた仮想三次元空間における奥行き方向の表現を違和感なく行うために有用である。
2 ゲーム装置
4 制御部
30a ゲームプログラム
30b ゲームデータ
41 データ読み出し部
42 仮想三次元空間生成部
43 二次元画像表示部
44 キャラクタ制御部
45 透過処理部
101 コンピュータ
102 記憶装置
111 基準物データ生成部
112 第2データ生成部
113 第3データ生成部
114 キャラクタ生成部
121 仮想三次元空間生成プログラム
122 第1データ
123 静止画データ
124 基準物データ
125 第2データ
126 第3データ
B 基準物の特徴点
C 仮想カメラ
D 基準物
F 仮想三次元空間
G ゲーム画面(二次元画像)
M ポリゴンメッシュ(オブジェクトの境界)
OD 基準物オブジェクト
P キャラクタ(キャラクタオブジェクト)
S 仮想スクリーン
T 遮蔽物オブジェクト
V 遮蔽物
VD 仮想基準物

Claims (12)

  1. 実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第1データから、前記実写映像を映し出す仮想スクリーン位置と前記カメラ位置に対応する仮想カメラ位置との位置関係を特定し、前記実写映像に含まれる所定の基準物の境界を表すデータであって前記位置関係に基づき当該境界が前記実写映像中の前記基準物と対応付けられている三次元の基準物データを生成する基準物データ生成ステップ、
    前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元CG空間を構成するオブジェクトを表す第2データを生成する第2データ生成ステップ、および
    前記第1データと前記第2データとに基づいて、仮想三次元空間を生成するための第3データを生成する第3データ生成ステップを含み、
    前記第3データ生成ステップは、前記基準物データにおける前記基準物の境界と前記第2データにおける前記基準物に対応するオブジェクトの境界とを合わせることにより、前記実写映像の前記画角に基づいて、前記仮想三次元CG空間における、前記仮想カメラ位置を定めた前記第3データを生成する、仮想三次元空間生成方法。
  2. 前記仮想三次元空間内で移動可能なキャラクタを生成するキャラクタ生成ステップを含む、請求項1に記載の仮想三次元空間生成方法。
  3. 前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および
    前記キャラクタが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップを含む、請求項2に記載の仮想三次元空間生成方法。
  4. 前記基準物データ生成ステップは、前記基準物データを、前記基準物を含む前記実写映像の特徴点群を取得することにより生成する、請求項1に記載の仮想三次元空間生成方法。
  5. 前記基準物は、前記実在空間に設置した人工物である、請求項1に記載の仮想三次元空間生成方法。
  6. 前記実写映像は、前記基準物として設定した人工物を含めて撮影した後、当該撮影を継続しながら前記人工物を取り除いたものであり、前記基準物データを生成する際には前記実写映像のうちの前記人工物が撮影されている部分を利用し、前記実写映像による仮想三次元空間を生成する際には前記実写映像のうちの前記人工物を取り除いて撮影されている部分を利用する、請求項5に記載の仮想三次元空間生成方法。
  7. 実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第1データと、
    前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元CG空間を構成するオブジェクトの境界を表す第2データと、
    前記実写映像に含まれるオブジェクトが前記仮想三次元CG空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元CG空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第3データと、
    を含むデータ群を読み出すデータ読み出しモジュール、
    前記第3データに基づいて前記第1データと前記第2データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成モジュール、
    前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示モジュール、および
    所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御モジュール、
    を備えた、ユーザ操作可能な映像システム。
  8. 前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理モジュール
    を備えた、請求項7に記載の映像システム。
  9. 実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第1データと、
    前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元CG空間を構成するオブジェクトの境界を表す第2データと、
    前記実写映像に含まれるオブジェクトが前記仮想三次元CG空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元CG空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第3データと、
    を含むデータ群を読み出すデータ読み出しステップ、
    前記第3データに基づいて前記第1データと前記第2データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成ステップ、
    前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および
    所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御ステップ、
    を含む、ユーザ操作可能な映像システムの制御方法。
  10. 前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップ
    を含む、請求項9に記載の映像システムの制御方法。
  11. コンピュータ装置の制御部により実行可能な指令を記憶した、該コンピュータ装置での読み取りが可能な記録媒体であって、
    前記指令は、
    実在空間を所定のカメラ位置から所定の画角で撮影した実写映像を含む第1データと、
    前記実写映像が撮影された実在空間をコンピュータグラフィックスで再現した仮想三次元CG空間を構成するオブジェクトの境界を表す第2データと、
    前記実写映像に含まれるオブジェクトが前記仮想三次元CG空間を構成する前記オブジェクトの境界に一致するように、前記実写映像の前記画角に基づいて、前記仮想三次元CG空間における、前記実写映像の前記カメラ位置に対応する仮想カメラ位置を定めた第3データと、
    を含むデータ群を読み出すデータ読み出しステップ、
    前記第3データに基づいて前記第1データと前記第2データとが結合されることによって、仮想三次元空間を生成する仮想三次元空間生成ステップ、
    前記仮想カメラ位置から前記仮想三次元空間を見た二次元画像として再生される前記実写映像を表示する二次元画像表示ステップ、および
    所定のキャラクタオブジェクトを、前記二次元画像として表示される前記仮想三次元空間内で移動可能に制御するキャラクタ制御ステップ、
    を含む、記録媒体。
  12. 前記指令は、
    前記キャラクタオブジェクトが前記二次元画像として表示される前記実写映像における所定の物体に重なったときに、前記キャラクタオブジェクトが前記仮想三次元空間において前記物体に対応するオブジェクトの位置を基準として前記仮想カメラ位置とは反対側に位置している場合、前記キャラクタオブジェクトにおける前記物体に重なっている部分を透明化する透過処理を行う透過処理ステップ
    を含む、請求項11に記載の記録媒体。
JP2017508793A 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体 Active JP6317854B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/001812 WO2016157247A1 (ja) 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2016157247A1 JPWO2016157247A1 (ja) 2018-02-08
JP6317854B2 true JP6317854B2 (ja) 2018-04-25

Family

ID=57006747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017508793A Active JP6317854B2 (ja) 2015-03-30 2015-03-30 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体

Country Status (4)

Country Link
US (1) US10176643B2 (ja)
JP (1) JP6317854B2 (ja)
CN (1) CN107430788A (ja)
WO (1) WO2016157247A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
CN106056663B (zh) * 2016-05-19 2019-05-24 京东方科技集团股份有限公司 增强现实场景中的渲染方法、处理模块和增强现实眼镜
US10831333B2 (en) * 2017-07-26 2020-11-10 Adobe Inc. Manipulating a camera perspective within a three-dimensional space
CN108257215A (zh) * 2017-12-06 2018-07-06 石化盈科信息技术有限责任公司 信息展板展示方法和装置
JP6669783B2 (ja) * 2017-12-25 2020-03-18 ガンホー・オンライン・エンターテイメント株式会社 端末装置、システム、プログラム及び方法
JP2020042503A (ja) * 2018-09-10 2020-03-19 株式会社MinD in a Device 三次元表象生成システム
CN109829977A (zh) * 2018-12-30 2019-05-31 贝壳技术有限公司 在虚拟三维空间中看房的方法、装置、电子设备及介质
CN110264568B (zh) * 2019-06-21 2023-07-25 网易(杭州)网络有限公司 一种三维虚拟模型交互方法和装置
JP6905568B2 (ja) * 2019-11-21 2021-07-21 株式会社コーエーテクモゲームス ゲームプログラム、ゲーム処理方法及び情報処理装置
WO2021132013A1 (ja) * 2019-12-27 2021-07-01 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11410387B1 (en) 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US11200745B2 (en) 2020-01-27 2021-12-14 Facebook Technologies, Llc. Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality
US11113891B2 (en) 2020-01-27 2021-09-07 Facebook Technologies, Llc Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
US11210860B2 (en) * 2020-01-27 2021-12-28 Facebook Technologies, Llc. Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
US11451758B1 (en) 2020-02-12 2022-09-20 Meta Platforms Technologies, Llc Systems, methods, and media for colorizing grayscale images
CN113516761B (zh) * 2021-08-05 2024-02-27 四开花园网络科技(广州)有限公司 视错觉类裸眼3d内容制作方法及装置
US11684848B2 (en) * 2021-09-28 2023-06-27 Sony Group Corporation Method to improve user understanding of XR spaces based in part on mesh analysis of physical surfaces
US11948257B2 (en) * 2022-05-09 2024-04-02 Rovi Guides, Inc. Systems and methods for augmented reality video generation
CN115761141B (zh) * 2022-11-30 2023-07-07 灵瞳智能科技(北京)有限公司 一种虚拟数字人三维模型采集装置
CN117132507B (zh) * 2023-10-23 2023-12-22 光轮智能(北京)科技有限公司 图像增强方法、图像处理方法、计算机设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
EP2232437B1 (en) * 2007-12-10 2013-09-18 ABB Research Ltd. A computer implemented method and system for remote inspection of an industrial process
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9195231B2 (en) * 2011-11-09 2015-11-24 Abyssal S.A. System and method of operation for remotely operated vehicles with superimposed 3D imagery
US9058693B2 (en) * 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US10013506B2 (en) * 2015-11-20 2018-07-03 Dassault Systems Solidworks Corporation Annotating real-world objects

Also Published As

Publication number Publication date
JPWO2016157247A1 (ja) 2018-02-08
CN107430788A (zh) 2017-12-01
US10176643B2 (en) 2019-01-08
US20180068488A1 (en) 2018-03-08
WO2016157247A1 (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
JP6317854B2 (ja) 仮想三次元空間生成方法、映像システム、その制御方法およびコンピュータ装置での読み取りが可能な記録媒体
KR101623288B1 (ko) 렌더링 시스템, 렌더링 서버, 그 제어 방법, 및 기록 매체
JP3786132B2 (ja) ゲーム画像処理プログラム及び記憶媒体
CN103544441B (zh) 移动图像生成装置
US10859852B2 (en) Real-time video processing for pyramid holographic projections
WO2018135343A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2014238731A (ja) 画像処理装置、画像処理システム、および画像処理方法
JP2018074294A (ja) 情報処理システムおよび情報処理方法
JP6669783B2 (ja) 端末装置、システム、プログラム及び方法
KR20160096019A (ko) 게임 플레이 동영상에 광고 컨텐츠를 추가 적용하여 제공하는 서비스 방법
WO2019123509A1 (ja) 端末装置、システム、プログラム及び方法
JP7563393B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
JP2017111719A (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
CN117043823A (zh) 信息处理装置、信息处理方法和程序
KR102337020B1 (ko) 3d스캔데이터를 이용한 증강현실 동영상제작시스템 및 그 방법
JP2020107251A (ja) 画像生成システム及びプログラム
JP2021051537A (ja) 画像表示システム、方法、およびプログラム
US11287658B2 (en) Picture processing device, picture distribution system, and picture processing method
JP2015060061A (ja) カラオケ装置、画像出力方法、およびプログラム
WO2023090038A1 (ja) 情報処理装置、映像処理方法、プログラム
JP2010125040A (ja) 画像処理装置
US20230410416A1 (en) Image processing system, image processing method, and storage medium
JP2018151793A (ja) プログラム、情報処理装置
JP2024014517A (ja) 情報処理システム、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180330

R150 Certificate of patent or registration of utility model

Ref document number: 6317854

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250