JP4851504B2 - デジタル・イメージ・キャプチャを用いて対話型エンタテインメントのためにアセットを生成する方法 - Google Patents

デジタル・イメージ・キャプチャを用いて対話型エンタテインメントのためにアセットを生成する方法 Download PDF

Info

Publication number
JP4851504B2
JP4851504B2 JP2008268431A JP2008268431A JP4851504B2 JP 4851504 B2 JP4851504 B2 JP 4851504B2 JP 2008268431 A JP2008268431 A JP 2008268431A JP 2008268431 A JP2008268431 A JP 2008268431A JP 4851504 B2 JP4851504 B2 JP 4851504B2
Authority
JP
Japan
Prior art keywords
digital image
image
dimensional
objects
polygon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008268431A
Other languages
English (en)
Other versions
JP2009095677A (ja
Inventor
ミハイロフ アントン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2009095677A publication Critical patent/JP2009095677A/ja
Application granted granted Critical
Publication of JP4851504B2 publication Critical patent/JP4851504B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6009Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本発明は、対話型エンタテインメントに関し、特にデジタル・イメージ・キャプチャを使って対話型エンタテインメントのためにアセットを生成することに関する。
インターネットが成長し、ビデオゲームのような対話型エンタテインメントが人気を博するようになったため、対話型エンタテインメントに対して、ビデオ・ゲームプログラムと他のプログラムのコンテキスト内でアセットをカスタマイズする機会が増えるに至っている。ビデオゲームでは、ユーザはシミュレーションされた地形やコンピュータにより生成された他のオブジェクトと相互作用することが可能である。多くの場合、ユーザのインタラクションは、アバターとして知られている、コンピュータによって生成されたシンボルまたはキャラクタを用いてなされる。アバターとシミュレーションされた地形は、大抵は、ソフトウェア開発者が生成する。アバターと地形のカスタマイズにおいていくつかの試みがなされてきた。これらの試みは、ゲームとともに使われるインタフェース・コントローラの能力によって、たいていは制限される。多くの場合、インターフェースは2、3のボタンとジョイスティックを備えている。これらのコントロールは、ゲーム・キャラクターや地形を描くようなタスクのためには使いにくいものである。
最近、マイクロソフトはデジタルカメラ周辺に構築されるインターフェースを開発した。カメラがシーンのデジタル・イメージをキャプチャし、専用ソフトウェアがそのデジタル・イメージを分析して高さフィールドを生成する。あるインプリメンテーションでは、デジタル・イメージから深さ情報をとらえるために深さを検知するカメラを使う。
その後、高さフィールドは、ビデオゲームのために地形を生成するために用いられる。残念なことに、この技術は単一の高さフィールドを生成するため、異なるオブジェクトをイメージから切り離すことはできない。
もう一つの先行技術のインターフェースは、普通のカメラを使って、イメージのシェーディングに基づいて深さを推論する。そのようなアプローチは、イメージの明るさと何らかの相関がある高さフィールドを構築することになる。たとえば、明るい領域が高く、影は低い。別の開発者は、シーンからオブジェクトを区分けし、合成オブジェクトを現実のシーンに挿入するために深さカメラを使っている。このインターフェースは、http://www.ee.ic.ac.uk/gelenbe/index_files/Games.pdfに詳述されている。
残念ながら、深さ情報を検知するカメラは高価であり、また、そのような先行技術を用いて深さ情報をシミュレーション環境に取り込むことは複雑である。
こういった事情のもと、本発明の実施の形態が考えられた。
本発明のある態様は、シミュレーション環境とのインタラクションを促進するよう構成されたシステムにおける、シミュレーション環境のためのアセットを生成するためのコンピュータ実装された方法である。この方法は、自動的にデジタルイメージ内のオブジェクトの輪郭をデジタル的にトレースすることにより、輪郭をトレースするためにユーザからのさらなる入力に頼ることなく、前記オブジェクトを包含する2次元ポリゴンを表すデータを生成するステップと、前記2次元ポリゴンによって囲まれたイメージの部分を前記デジタルイメージの残りから切り離すステップと、前記2次元ポリゴンによって囲まれたイメージの部分をシミュレーション環境におけるアセットと関連づけるステップとを含む。
これから述べる詳細な説明には、例示のために特定の詳細な内容が多く含まれるが、当業者であれば、これらの詳細な内容にいろいろなバリエーションや変更を加えても、本発明の範囲を超えないことは理解できよう。したがって、以下で説明する本発明の例示的な実施の形態は、権利請求された発明に対して、一般性を失わせることなく、また、何ら限定をすることもなく、述べられたものである。
「シミュレーション環境」という用語は、ここでは、その環境内の異なるオブジェクト間の相互作用を制御するシミュレートされた物理法則を含む、コンピュータ読み取り可能なデータとインストラクションで表現される環境を指す。環境内のオブジェクトには、アバター、地形特徴、その他のオブジェクトが含まれる。シミュレーション環境とのユーザのインタラクションは、アバターと呼ばれる、コンピュータによって生成されたキャラクタあるいはオブジェクトの形でビデオスクリーンに表される。アバターとシミュレーション環境の間のインタラクションの度合いは、シミュレーション物理やユーザ間の情報交換といったようなインタラクションを管理するコンピュータアプリケーションによって実装される。シミュレーション環境の例は、ビデオゲームと仮想世界を含む。ビデオゲームはユーザのインタラクション(相互作用)が競争的であるようなシミュレーション環境である。ビデオゲームでは、ユーザは、他のユーザまたはコンピュータが生成した敵と競争したり、あるタスクを完了する時間を競ったりする。それとは対照的に、仮想世界ではユーザは主に非競争的なやり方で、社会的、教育的、あるいは娯楽の目的でシミュレーション環境と相互作用する。仮想世界の例は、米国特許出願第11/682,281号、第11/682,284号、第11/682,287号、第11/682,292号、第11/682,298号、および第11/682,299号に記述されており、その内容を参照によりここに組み入れる。ビデオゲームと仮想世界の間には重複もあることに留意する。具体的には、あるビデオゲームには、競争する側面に加えて、教育的、社会的、あるいは娯楽的な側面も含まれる。
「シミュレーション環境のためのアセット」という用語は、ここでは、シミュレーション環境のコンテキスト内で使われる、デジタル的に生成されたアバター、地形特徴、オブジェクトを含む。そのようなアセットは、コンピュータインストラクションによって生成され、シミュレーション環境と関連づけられたデータとして記憶される。具体的には、アバターはデジタル的に生成されたキャラクタ、車、あるいは他のオブジェクトをいう。ユーザはアバターを通してシミュレーション環境と相互作用し、アバターを直接的にコントロールする。地形特徴はユーザが直接コントロールしないアセットのことである。地形特徴とシミュレーション環境の他のアセットの間の相互作用は主に、シミュレートされた物理法則によって決定される。地形特徴は、固体、液体、気体のオブジェクトのシミュレーションを支配する法則に従ってもよい。ユーザがシミュレーション環境内で相互作用する他のオブジェクトは、シミュレーション環境のアセットとみなされてもよい。そのようなオブジェクトの例は、アバターと関連づけられた、武器、ツール、コミュニケーションデバイス、通貨や財宝のようなシミュレートされた経済的なアセット、ユーザがコントロールすることのないコンピュータが生成したキャラクタ、およびシミュレーション環境の異なる場所間を移動するのを助ける輸送手段のアセットなどを含むが、これに限るものではない。
「対話型(インタラクティブ)エンターテインメント」という用語は、ここでは、主にユーザの娯楽のために使われるコンピュータ実装されたアプリケーションをいう。
図1は、本発明の実施の形態によるシミュレーション環境とのインタラクションを促進するよう構成されたシステム100の例を示す。システム100は、一般にプロセッサ110とメモリ120を備えるコントローラ102を含む。プロセッサ110とメモリ120は、例えば、適当なデータバスによって、互いに機能的に接続される。システムは、コントローラ102に接続されたビデオ表示装置104と、プロセッサ110に接続されたイメージ・キャプチャ・デバイス106をオプションとして含む。イメージ・キャプチャ・デバイスは、オブジェクトのデジタル・イメージをキャプチャすることのできる任意のデバイスである。イメージ・キャプチャ・デバイスの例には、これに限らないが、デジタルカメラやイメージスキャナが含まれる。イメージ・キャプチャ・デバイス106は、例えば、直接のデータバス接続によって直接的にプロセッサ110に接続される。あるいは、イメージ・キャプチャ・デバイス106は、例えば、メモリ120とのデータの交換によって、プロセッサ110に間接的に接続されてもよい。ビデオ表示装置104は、コントローラ102から信号に応じてビジュアル情報を表示することができる任意のデバイスであり、CRT、液晶ディスプレイ(LCD)、プラズマディスプレイ、および発光ダイオード(LED)ディスプレイが含まれる。
システム100は、一つ以上の現実のオブジェクト105、107または描かれたオブジェクト107のイメージ101からシミュレーション環境のためのアセット(有用物)を生成するために構成される。イメージ101はイメージ・キャプチャ・デバイス106で得られるか、メモリ120にイメージデータ122として格納されていてもよい。イメージデータ122は、イメージ101を構成する画素と関連づけられた明るさ、色、コントラスト、その他の情報を特定する。ビデオ表示装置104はイメージ101を表示する。システム100は、デジタル・イメージ101において自動的にオブジェクト103、105、107の輪郭をたどることにより動作し、オブジェクト103、105、107を包含する二次元のポリゴン113、115、117を表すデータを生成する。一旦デジタル・イメージ101がキャプチャされると、輪郭はユーザからの更なる入力に頼ることなくたどられる。二次元のポリゴン113、115、117によって囲まれているデジタル・イメージ101の部分は、デジタル・イメージ101の残りから切り離される。システム100は、その後、二次元のポリゴンによって囲まれたイメージの一部をシミュレーション環境のアセットに関連づける。
プロセッサ110は、そのようなオペレーションを容易にするインストラクションを用いてプログラムされる。特に、プロセッサ110は、イメージ・キャプチャ・デバイス106からイメージ101を得て、イメージ101を表しているデータ122を格納し、または、格納されたイメージデータ122を他のデバイスから取り出すといったイメージ・キャプチャ・インストラクション112を用いてプログラムされてもよい。プロセッサ110は、イメージ101においてオブジェクト103、105、107のエッジを見つけるためにイメージデータ122を分析して、対応しているポリゴン113、115、117を表すデータ124を生成するといった、輪郭を描くためのインストラクション114を用いてさらにプログラムされてもよい。ポリゴン・データ124は、とりわけ、各々のポリゴンの各辺を構成する複数のライン・セグメントの端点の位置を特定する。イメージ101内の端点の位置は、ある座標系に関して定められる。座標系の原点は任意に定められ、各位置は、端点と原点の間でいくつかの画素に関して水平方向および垂直方向に特定される。
プロセッサ110は、ポリゴンによって囲まれるイメージ101の部分をイメージの残りから切り離して、それらの部分をシミュレーション環境の対応するアセットと関連づけるといったアセット生成インストラクション116を用いて、さらにプログラムされてもよい。
図1に示されたシステムのオペレーションは、図2と図3A−3Cのフローチャートを参照することによって理解される。図2に示されるフローチャートは、図1に示されるタイプのシステムを使用してシミュレーション環境に対してアセットを生成する方法200を例示する。ステップ202で示されるように、この方法200はイメージデータ122を受けることで始まる。イメージデータ122は、プロセッサ110によって読み取り可能なデジタル・データフォーマットでイメージ101を表す。イメージデータ122のフォーマットは、ビットマップ、MPEG、JPEG、TIFF(Tagged Image File Format)、PDF(Portable Document Format)などの何らかの適切な画像フォーマットである。イメージデータ122は、独立したイメージ・キャプチャ・プロセス203の間、イメージ・キャプチャ・デバイス106から得られる。あるいは、イメージデータ122は、イメージ・キャプチャ・デバイス106を使用することなく、あるリモート・ソースから受け取られたデータファイルから読み出されてもよい。
イメージ101を生成するためにイメージ・キャプチャ・デバイス106を使用することの長所は、ユーザにとって、イメージ101に置くことのできるオブジェクトについてほとんど無制限の可能性があることである。具体的には、図3Aを参照して、イメージ・キャプチャ・デバイスは、現実のオブジェクト(例えば立方体103とシリンダー105)を使ってイメージ101を生成することができる。それに加えて、イメージ101は、稲妻107のような手で描いたオブジェクトを使用して生成してもよい。稲妻107のようなオブジェクトは、フリーハンドで、普通のペン、鉛筆またはマーカーを使って普通の紙に描いてもよい。これらのオブジェクトは、図3Bに示すようにビデオ表示装置に提示されるイメージ101の中に現れる。ステップ204に示されるように、一旦イメージ101がキャプチャされて、イメージデータ122としてメモリに格納されるならば、イメージ内の個々のオブジェクトの位置を特定する。イメージ101において個々のオブジェクト103、105、107の位置を決めるために利用される従来の画像解析技術がいくつかある。たとえば、オブジェクトの境界は、オブジェクトのエッジまたは境界の特徴であるコントラストの変化を求めてイメージデータ122を分析することによって決定される。コントラストは、イメージの近隣の画素の間のグレースケールの明るさの違いとして定義される。より複雑な形は、エッジ検出によって特定される。コントラスト分析またはエッジ検出を通してデジタル・イメージ内のオブジェクトの位置を特定することができる市販の画像解析ソフトウェアプログラムがいくつかある。たとえば、オブジェクトの位置決めのためのフィルタリングツールは、アドビフォトショップに組み込まれている。アドビフォトショップにもエッジ検出のためのフィルタがあり、それはオブジェクトの位置決めのためのアルゴリズムで使われている。アドビフォトショップには「魔法の杖」ツールもあり、オブジェクトの位置決めのために使うことができる。「魔法の杖」ツールは、ここに記述されるものに類似した効果を得るために、エッジ検出と閾値フィルタリングといっしょに使ってもよい。実施の形態において、ポリゴニゼーションを実行する前に、イメージ101がこのように処理される。本質的には、オブジェクト位置選定とエッジ検出は「第1のパス」と考えられる。
一旦オブジェクト103、105、107の位置がイメージ101内に決められると、ステップ206に示されるように、そして、図3Cで例示されるように、ポリゴン113、115、117が各オブジェクトのまわりにトレースされる。ポリゴン・データ124は、メモリ120に格納される。ポリゴンをトレースするための異なる技術がいくつかある。図4A−4Dは、そのような技術の例を示す。図4Aに示すように、複数の境界点402がオブジェクト401と関連づけられている。各境界点はオブジェクト401のエッジまたは境界上の画素であり、イメージデータ122上で実行されるコントラスト分析またはエッジ検出によって特定される。境界点は、オブジェクト401のエッジに沿って、通常の距離間隔を空けて配置される。境界点の数は、部分的にはオブジェクト401のサイズに依存し、部分的にはオブジェクトの境界の複雑さに依存する点に注意する。仮に各境界点402が端点として使われるとすると、結果として生じるポリゴンは多数のエッジを持つことになる。多数のエッジがあると、処理時間とリソースが余分に必要となる。長いまっすぐなエッジに対しては比較的少ないライン・セグメントを用い、鋭角に対してはより多くのライン・セグメントを用いることが望ましい。
オブジェクト401を囲んでいるポリゴンにおいてライン・セグメントの数を最適化するために、輪郭インストラクション114が以下の手続きを実装するように構成される。第1、第2、および第3の境界隣接点は、イメージデータ内で位置決定される。第1の境界点と第2の境界点をつなぐ第1のライン・セグメントと、第1の境界点と第3の境界点をつなぐ第2のライン・セグメントの間の角度が決定される。その角度が閾値未満であるならば、第3のライン・セグメントがポリゴンの辺と関連づけられる。その角度が閾値より大きいならば、第1のライン・セグメントはポリゴンの第1の辺と関連づけられ、第2のライン・セグメントが第1の辺に隣接したポリゴンの第2の辺と関連づけられる。
図4A−4Cに示すように、図2のステップ206で用いられるポリゴニゼーション・アルゴリズムがオブジェクト401の境界に沿って境界画素402のいくつかを取り除きながら進み、残った境界画素をライン・セグメントでつなぐ。図4Aにおいて、交互に画素をシェーディングしたのは、隣接した画素をより容易に識別するためである。実際は、境界画素402のすべては、1色の値である。一例として、ポリゴニゼーションは画素毎に進行してもよい。オブジェクト401の境界の曲折は、角度に関して言えば、(左から右にオブジェクト401の境界を進む)先端403に入るときもそこから出るときも非常に鋭い。実際には、画素毎に進行するとき、45度または90度の角度で動くことは可能である。それでも、先端の少数の画素、例えば、3ピクセルの先端は無視してもよい。このように、境界画素の除去は距離基準にしたがって決定されるが、先端を除くためには、ローカルな尺度で動作することが望ましい。それで、本当に必要なことは、境界画素402のある部分にローカルに線形に適合することである。
一例として、アルゴリズムは、頂点の境界画素から始めて、その頂点画素をライン・セグメントによって一つずつ他の境界画素とつないでいく。各ライン・セグメントに対して、垂直距離dが、ライン・セグメントと、以前に別のライン・セグメントによって頂点画素に接続されていた各境界画素の間で計算される。以前に接続されていた各画素からの垂直距離dがある閾値距離より小さいならば、その画素は、潜在的な頂点として無視される。以前にライン・セグメントによって画素Aに接続していた画素に対して、垂直距離dが閾値距離以上であるなら、現在の線形適合状態からはほど遠い。図4B−4Cは、ポリゴニゼーションでセグメントを得ることの背後にある原理の具体例を提供する。図4Bにおいて、左にある画素A以前のあらゆる境界画素は、既にポリゴニゼーション・アルゴリズムによって取り扱われた。たとえば、図4Bに示すように、画素A’と、画素Aと画素Oを結ぶライン・セグメントAOとの間の垂直距離は、ある閾値距離dより小さい。したがって、画素A’は、潜在的頂点として無視される。垂直距離は、ライン・セグメントAOと、画素Aと画素Oの間の各中間画素との間で計算される。これらの垂直距離のどれも閾値より大きくないならば、これらの画素は潜在的頂点として捨てられる。
この処理は画素Oに達した後も進み、画素Aと画素Oの間のどんな画素もライン・セグメントAOからの垂直距離dが閾値より大きくないため、画素Oをその時点で頂点として特定しない点に留意する。しかし、一旦プロセスが画素Cに達するならば、画素Oは、現在のポリゴニゼーションの末端(画素Aの先端に位置する頂点)と「問題としている点」(潜在的頂点と解釈される画素C)から形成されたライン・セグメントACから距離‘d’離れている。この時点で、頂点は画素Cにおいて追加され、AとCの間の他の画素は潜在的頂点としてクリアされる。オブジェクトがポリゴンで完全に輪郭を描かれるまで、プロセスは再び繰り返す。
ある実施の形態において、ポリゴニゼーションアルゴリズムは、隣接したセグメント間の角度を考慮に入れてもよい。例えば、図4Dに示されるような鋭い直角の隅があるオブジェクト401を考える。このシナリオでは、直交する辺404,406を持っているオブジェクト401の直角の隅を追跡するポリゴンでオブジェクト401の輪郭を描くことが望ましい。好ましくは、ポリゴニゼーション・アルゴリズムは、画素A、画素O、下の辺406に沿った他の画素(例えば画素C)に頂点を置くことを含む。画素Cが追加されることに留意する。しかし、辺406は画素Oの後、直線になるため、この例では技術的には必要ではない。したがって、頂点として画素Cを加えることは、冗長である。
しかし、仮に図4Bに関して上述の提案されたアルゴリズムが、図4Cに示されるオブジェクト401に適用されるならば、画素Aと画素Cだけが頂点として特定されるだろう。隅に位置する画素Oが(以前の例のように)不必要とみなされるためである。しかし、頂点として画素Oを含むことは、美学的には望ましい。ほとんどの場合、これは、人々は、スムーズな形に角度がつけられることには問題を感じない(私たちが技術的にどちらのケースでも精度を失ってるため)が、斜めになった箱を見るのは不愉快であることによる。
要約すると、角度検出は、均一で行儀が良い形を拾うことにはたけている。人がポリゴンを描くならば、たとえば、角度検出が大いに作用するだろう。なぜなら、アルゴリズムはまっすぐなセグメントを予想し、曲がることに敏感であるからである。しかし、角度検出は、図4Aに示されるようなジャギーな特徴を取り除くことについては劣っている。ジャギーはユーザが生成したコンテンツには存在することがある。たとえば、人々はたいていは完全にまっすぐには描かないためである。
したがって、図4Bと角度検出に関して先に述べたように、ポリゴニゼーションは距離検出のハイブリッドを伴ってもよい。具体的には、問題となる点Oが距離に基づいてポリゴンにおけるブレーク(新しい頂点)をトリガーしたあと、形成された三角形において長さAC/OBの比率についてチェックが実行される。この比率がある予め定められた閾値未満であるならば、問題となる点Oは頂点としてポリゴニゼーションに加えられる。一例として、およそ2の閾値は、経験的なテストからうまく作用することがわかった。
場合によっては、ポリゴニゼーションから画素C上の頂点を(もしそれが必要でないならば)取り除くことが望ましい。これは必要でないかもしれない。まれで損害を与えないケースである傾向があるためである。しかし、ポリゴニゼーションにおいて頂点の数を減らすためには、全体の完成したポリゴニゼーションの第2パスを実行し、同じ比率テストを用いるが、ずっと厳しい比率の尺度(例えば7または10の指数)で、点を取り除く。さもなければ、ポリゴン401の全体が「まっすぐ」になり、特徴が失われてしまう。
ポリゴンがイメージ101の各オブジェクトのまわりでトレースされた後、図2のステップ208に示されるように、ポリゴン113、115、117に包含されるイメージの部分がイメージから切り離される。一例として、ポリゴン113、115、117に包含されるイメージ101の部分は、アセット・データ126としてメモリ120に格納される。
イメージ・キャプチャを使用することにより、イメージ101の残りの部分からポリゴン113、115、117によって囲まれた部分を切り離すとき、面白い視覚的効果を手にすることができる。たとえば、図5A−5Dは、背景がアセットの生成に含まれる方法の例を例示する。具体的には、図5Aに示すように、模様のついた背景502のデジタル・イメージが、イメージ・キャプチャ・デバイス106によってキャプチャされ、イメージデータ122の一部として格納される。オブジェクト503、505、507は、一枚の紙のような平坦な背景504の上に置かれるか、オブジェクトを含むイメージ501がキャプチャされ、図5Bに示すようなイメージデータ122の一部として格納される。その後、オブジェクト503、505、507をそれぞれ囲んでいるポリゴン513、515、517を表すデータが、上述のように生成され、図5Cに示すようなポリゴン・データ124として格納される。その後、オブジェクト503、505、507を含むポリゴン513、515、517は、平坦な背景504から切り離され、オブジェクトによって以前占有されていた空間は、図5Dに示すように模様のついた背景502の対応する部分で補充される。
ステップ210に示されるように、その切り離された部分は、シミュレーション環境に対するアセットと関連づけられる。アセット・データ126をアセットと関連づけるいくつかの異なる方法がある。切り離された部分をアセットと結びつけることには、シミュレーションされた物理学特性を切り離された部分と関連づけることが含まれる。シミュレーションされた物理学特性には、サイズ、重さ、その他の物理的性質の他、可動性(例えば、アセットは固定されているか、移動可能か)、境界衝突特性(例えば、アセットは他のアセットの中を貫通することができるかどうか)が含まれる。さらに、回転中心がオブジェクトと関連づけられてもよい。たとえば、重心(例えば質量中心またはそれと等価なもの)がオブジェクトに対して計算され、オブジェクトを回転させるための回転中心として使われてもよい。
本発明の実施の形態によれば、コントローラ102によって、一つのイメージから自動的に異なるタイプのゲーム・アセットを生成することもできる。たとえば、図6A−6Bで例示されるように、あるビデオゲームアプリケーションにおいて、アバターと地形の両方を生成することが望ましい。図6Aに示すように、ユーザは平坦な背景602(例えば一枚の紙)の上に2つ以上のオブジェクト603、605を描く。デジタル・イメージ・キャプチャ・デバイス106は、これらのオブジェクトのデジタル・イメージ601をキャプチャする。イメージ601は、イメージデータ122の一部としてメモリ120で格納される。上述の技術を使用して、図6Bで示すように、オブジェクト603、605を囲むポリゴン613、615を表すデータ124が生成される。ポリゴン613、615によって囲まれているデジタル・イメージ601の部分は、デジタル・イメージ601の残りから切り離される。これらの部分は、アセット・データ126として格納される。一つの部分は対話型エンターテインメントプログラムの中のアバターとして使われ、もう一つの部分は対話型環境の地形として使われる。
どの部分がアバターとして使われるか、地形機能としてどの部分を使うべきかを決定するためのいくつかの異なる方法がある。一例として、一般性を損なうことなく、この決定は、イメージにおいて2つのオブジェクトの相対的なサイズに基づいてもよい。具体的には、第1のオブジェクト603は、第2のオブジェクト605よりも小さい。相対的なサイズは、対応しているポリゴン613、615の領域から決定される。一例として、より大きなポリゴン615は地形と関連づけられ、より小さなポリゴン613はアバターと関連づけられる。あるいは、この決定はポリゴン613、615の相対的な位置関係に基づいてもよい。たとえば、イメージ601の上側619に最も近いポリゴン613は、アバターと関連づけられる。他のポリゴン615はいずれも地形と関連づけられる。
先の例では二次元のアセットの生成を例示したが、本発明の実施の形態はそのようなアセットの生成に限られない。本発明の実施の形態は、二次元のイメージから三次元のアセットを生成するためにも利用される。図7A−7Cは、そのような三次元アセットの生成の一例を示す。具体的には、図7Aに示すように、二次元のパターン702は、平坦な背景701(例えば一枚の紙)の上に描かれる。イメージは、イメージデータ122として格納される。その後、上述の技術を使用して、二次元のパターン702のいろいろな部分を囲むポリゴン712を表すデータ124が図7Bに示すように生成される。ポリゴン712は、その後、図7Cで示すように三次元形状722に投射される。ポリゴン712の三次元形状722への投射は、三次元アセット・データ126を作るために、ポリゴン・データ124を適切に操作することによって実現される。図7Cに示された例では、ポリゴンの面に対して垂直な軸に沿って二次元のポリゴン712を単純な円筒図法で投射する。
図7A−7Cに示されるような技術を用いて、ユーザは迷路のパターンを普通の紙に描いて、イメージ・キャプチャ・デバイス106でその迷路パターンをキャプチャする。コントローラ102は、その後、ビデオゲームまたはシミュレーション環境において使用する三次元迷路を生成する。
一例として、本発明の実施の形態によれば、上述のシステム100は、図8に示すような装置800を用いて実装される。一例として、一般性を損なうことなく、装置800は、本発明の実施の形態を実行するのにふさわしいコンピューターシステム(例えばパーソナルコンピュータ、テレビゲーム機、パーソナル携帯情報機器または他のデジタル装置)として実装される。装置800は、ソフトウェアアプリケーションと任意であるがオペレーティングシステムを走らせるように構成された中央演算処理装置(CPU)805を含む。CPU805は、一つ以上のプロセッシングコアを含む。一例として、これに限定するものではないが、CPU805はセルプロセッサのような並列プロセッサモジュールであってもよい。セルプロセッサアーキテクチャの例は、「セルブロードバンドエンジンアーキテクチャ」に詳細が記述されている。これは、IBM、ソニー・コンピュータエンタテインメント、東芝の2005年8月8日付けの著作権で保護されており、コピーはhttp://cell.scei.co.jp/からダウンロード可能であり、その内容全体を参照によってここに組み入れる。
メモリ806はCPU805に接続される。メモリ806は、CPU805が使用するためのアプリケーションとデータを格納する。メモリ806は、集積回路(例えばRAM、DRAM、ROM、など)の形態をとる。コンピュータプログラム801は、プロセッサ805上で実行することができるインストラクションの形で、メモリ806に格納される。プログラム801のインストラクションは、例えば、図1〜図7Cを参照して上述したように、シミュレーション環境のためのアセットを生成する方法の特定のステップを実装するために構成される。一例として、アセット生成プログラム801は、a)自動的にデジタルイメージ内のオブジェクトの輪郭をデジタル的にトレースすることにより、輪郭をトレースするためにユーザからのさらなる入力に頼ることなく、オブジェクトを包含する2次元のポリゴンを表すデータを生成し、b)2次元ポリゴンによって囲まれたイメージの部分をデジタルイメージの残りから切り離し、c)2次元ポリゴンによって囲まれたイメージの部分をシミュレーション環境におけるアセットと関連づけるためのインストラクションを含む。
プログラム801は、対話型環境を実装するために構成されたインストラクションとともに動作する。一例として、そのようなインストラクションは、メインプログラム803(例えばビデオ・ゲームプログラム)の一部である。あるいは、メインプログラム803は仮想世界とインターフェイスするためのプログラムである。シミュレーション環境に対してユーザがインタラクションする間、カメラ経路に沿ったカメラPOVの動きに応じて、カメラPOVが変わるとき、メインプログラム803は、ビデオディスプレイ上にカメラPOVからのシミュレーション環境の一部のシーンを表示し、そのシーンを変えるように構成される。メインプログラム803は、物理シミュレーション804およびカメラ管理807のためのインストラクションを含む。メモリ806は、いろいろなアセット、たとえば、アバター、地形特徴、およびシミュレーション環境で使われるその他のオブジェクトを表すアセットデータ809を含む。メインプログラム803は、アセット生成プログラム801、物理シミュレーション・インストラクション804、カメラ管理インストラクション807、およびアセットに関するインストラクションおよび/またはデータ809を呼び出す。
装置800は、周知の支援機能810として、例えば、入出力(I/O)エレメント811、電源(P/S)812、クロック(CLK)813およびキャッシュ814が含まれる。装置800は、さらに、アプリケーションとデータを格納するための不揮発性のストレージを提供するストレージ・デバイス815を含む。ストレージ・デバイス815は、リモート・コンテンツ・サーバ(図示せず)からダウンロードされた、広告のような補助コンテンツ・アセット816を一時的または長期的に保管するために使われる。一例として、ストレージ・デバイス815は固定ディスク装置、取り外し可能なディスクドライブ、フラッシュメモリ・デバイス、テープ装置、CD−ROM、DVD−ROM、ブルーレイ(商標または登録商標)、HD−DVD、UMDまたは他の光ストレージ・デバイスである。
ユーザ入力デバイス820は、ユーザから装置800に対するユーザー入力を伝えるために用いられる。一例として、ユーザ入力デバイス820は、I/Oエレメント811を通して装置800に接続される。適当な入力装置820の例は、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、ライトペン、静止画またはビデオのカメラ、および/またはマイクを含む。装置800は、電子通信ネットワーク827を介したコミュニケーションを容易にするためのネットワークインターフェース825を含む。ネットワークインターフェース825は、ローカルエリアネットワークとインターネットのようなワイドエリアネットワーク上で有線または無線のコミュニケーションを実装するために構成される。装置800は、ネットワーク827を介してメッセージパケット826によってデータやファイルの要求を送受信する。
装置800は、グラフィックプロセッシングユニット(GPU)835とグラフィックスメモリ840とを有するグラフィックス・サブシステム830を更に含む。グラフィックスメモリ840は、出力イメージの各画素に対する画素データを格納するために使われるディスプレイメモリ(例えばフレーム・バッファ)を含む。グラフィックスメモリ840は、GPU835と同じデバイス内に統合されてもよく、別のデバイスとしてGPU835に結合されてもよく、メモリ806内に実装されてもよい。画素データは、CPU805から直接グラフィックスメモリ840に提供される。あるいは、CPU805は、所望の出力イメージを定めるデータやインストラクションをGPU835に提供する。GPU835はそれを用いて出力イメージの画素データを生成する。所望出力イメージを定めるデータやインストラクションは、メモリ806やグラフィックスメモリ840に格納される。ある実施の形態では、GPU835は、例えば、適当なプログラミングまたはハードウェア・コンフィギュレーションによって構成され、シーンのためにジオメトリ、ライティング(照明)、シェーディング、テクスチャリング、モーション、および/またはカメラパラメータを定めるインストラクションとデータから出力イメージに対する画素データを生成するための3Dレンダリング機能をもつ。GPU835は、シェーダプログラムを実行することができるプログラム可能な実行ユニットを更に含む。
グラフィックス・サブシステム830は、ビデオ表示装置850で表示されるべきグラフィックスメモリ840からのイメージに対する画素データを周期的に出力する。ビデオ表示装置850は、装置800からの信号に応じてビジュアル情報を表示することができる任意のデバイスであり、CRT、LCD、プラズマ、およびOLEDディスプレイを含む。装置800は、表示装置850にアナログまたはデジタル信号を提供する。一例として、ディスプレイ850はテキスト、数字、グラフィカルシンボルまたはイメージを表示するCRTまたはフラットパネルのスクリーンを含む。さらに、ディスプレイ850は、可聴もしくは検知可能な音を出すオーディオスピーカーを含む。そのような音の生成を容易にするために、装置800は、CPU805、メモリ806、および/またはストレージ815によって提供されたインストラクションおよび/またはデータからアナログまたはデジタル音声出力を生成するために適したオーディオプロセッサ855を更に含む。イメージ・キャプチャ・デバイス860は、I/O機能811を介して装置800に接続されている。上述のように、イメージ・キャプチャ・デバイス860はデジタルカメラであってもよい。
CPU805、メモリ806、支援機能810、データストレージ815、ユーザ入力デバイス820、ネットワークインターフェース825、およびオーディオプロセッサ855を含む装置800の構成要素は、データバス870を介して互いに機能的に接続されている。これらの構成要素は、ハードウェア、ソフトウェアまたはファームウェア、あるいはこれらのうちの2つ以上の組合せで実装される。
デジタルカメラのようなデバイスを使用して容易にイメージをキャプチャすることにより、例えばペン、鉛筆、消しゴム、カップ、おもちゃのような、シミュレーション環境のアセットの基礎となる、実質的に無制限の種類の日常的なオブジェクトを使うことができるようになる。ほとんどコンピュータ・グラフィックスの知識がなく、芸術的な能力もほとんどないか、皆無であるユーザであっても、本発明の実施の形態を使ってカスタマイズされたアセットを迅速かつ容易に生成することができる。さらに、イメージ・キャプチャのおかげで、手で描いたオブジェクトをアセットの基礎として使うことが可能になる。このように、カスタマイズされたアセットは、普通の紙、黒板、ホワイトボードまたは他の描画面上に手で描かれた図面から手早く生成することができる。さらに、複数の現実の、あるいは描かれたオブジェクトを写真に撮って、その結果生じるイメージ内の各オブジェクトを切り離して、シミュレーション環境内の異なるアセットに関連づけてもよい。
本発明の好ましい実施の形態を完全な形で説明してきたが、いろいろな代替物、変形、等価物を用いることができる。したがって、本発明の範囲は、上記の説明を参照して決められるものではなく、請求項により決められるべきであり、均等物の全範囲も含まれる。ここで述べた特徴はいずれも、好ましいかどうかを問わず、他の特徴と組み合わせてもよい。請求項において、明示的に断らない限り、各項目は1またはそれ以上の数量である。請求項において「〜のための手段」のような語句を用いて明示的に記載する場合を除いて、請求項がミーンズ・プラス・ファンクションの限定を含むものと解してはならない。
本発明の実施の形態による、シミュレーション環境に対するインタラクションを促進するように構成されたシステムの一例を示す3次元ダイアグラムである。 本発明の実施の形態による、シミュレーション環境のためにアセットを生成する例を示すフローチャートである。 本発明の実施の形態による、シミュレーション環境システムのためにアセットを生成することの例を示す3次元ダイアグラムである。 本発明の実施の形態による、シミュレーション環境システムのためにアセットを生成することの例を示す3次元ダイアグラムである。 本発明の実施の形態による、シミュレーション環境システムのためにアセットを生成することの例を示す3次元ダイアグラムである。 デジタル・イメージにおいてオブジェクトの輪郭をたどるための技術の例を示すダイアグラムである。 本発明の別の実施の形態による、シミュレーション環境システムのためにアセットを生成する例を示す3次元ダイアグラムである。 本発明の別の実施の形態による、シミュレーション環境システムのためにアセットを生成する例を示す3次元ダイアグラムである。 本発明の別の実施の形態による、シミュレーション環境システムのためにアセットを生成する例を示す3次元ダイアグラムである。 本発明の別の実施の形態による、シミュレーション環境システムのためにアセットを生成する例を示す3次元ダイアグラムである。 本発明の別の実施の形態による、シミュレーション環境システムのためにアセットを生成する例を示す3次元ダイアグラムである。 本発明の別の実施の形態による、シミュレーション環境システムのためにアセットを生成する例を示す3次元ダイアグラムである。にアセットを生成する例を示す3次元ダイアグラムである。 本発明の別の実施の形態による、シミュレーション環境システムのために3次元のアセットを生成する例を示す3次元ダイアグラムである。 本発明の別の実施の形態による、シミュレーション環境システムのために3次元のアセットを生成する例を示す3次元ダイアグラムである。 本発明の別の実施の形態による、シミュレーション環境システムのために3次元のアセットを生成する例を示す3次元ダイアグラムである。 本発明の実施の形態による、クライアント・デバイスの例を示すブロックダイヤグラムである。

Claims (25)

  1. シミュレーション環境とのインタラクションを促進するよう構成されたシステムにおける、シミュレーション環境のためのアセットを生成するためのコンピュータ実装された方法であって、
    (a)自動的にデジタルイメージ内のオブジェクトの輪郭をデジタル的にトレースすることにより、輪郭をトレースするためにユーザからのさらなる入力に頼ることなく、前記オブジェクトを包含する2次元ポリゴンを表すデータを生成するステップと、
    (b)前記2次元ポリゴンによって囲まれたイメージの部分を前記デジタルイメージの残りから切り離すステップと、
    (c)前記2次元ポリゴンによって囲まれたイメージの部分をシミュレーション環境におけるアセットと関連づけるステップとを含み、
    前記デジタルイメージは、2以上のオブジェクトを含み、
    ステップ(a)は、前記デジタルイメージ内の2以上のオブジェクトの各々の輪郭をデジタル的にトレースすることにより、前記2以上のオブジェクトを包含する2以上の2次元ポリゴンを表すデータを生成するステップを含み、
    ステップ(b)は、前記2以上の2次元ポリゴンによって囲まれたイメージの第1部分および第2部分を前記デジタルイメージの残りから切り離すステップを含み、
    ステップ(c)は、前記イメージの前記第1部分を対話型エンターテインメントプログラムにおけるアバターとして用い、前記第2部分を対話型環境における地形特徴として用いるステップを含むことを特徴とする方法。
  2. 前記シミュレーション環境はビデオゲームである請求項1の方法。
  3. 前記シミュレーション環境は仮想世界である請求項1の方法。
  4. 前記アセットはアバターである請求項1の方法。
  5. 前記アセットはシミュレーション環境の地形特徴である請求項1の方法。
  6. 背景のデジタルイメージをキャプチャするステップをさらに含み、
    ステップ(b)は、デジタルイメージの前記部分を以前は含んでいたポリゴン内部を前記背景の対応する部分で埋めるステップを含む請求項1の方法。
  7. ステップ(a)は、
    オブジェクトのエッジにおいて第1、第2および第3の点を位置決めするステップと、 第1の点および第2の点の間をつなぐラインセグメントと、第1の点と第2の点の中間にあるオブジェクトのエッジ上の第3の点との間の垂直距離を決定するステップと、
    もし、垂直距離が閾値よりも大きいなら、第1の点および第2の点をポリゴンの頂点と関連づけるステップとを含む請求項1の方法。
  8. 第1の点と第2の点の間の距離と、前記ラインセグメントと第3の点の間の垂直距離の比を決定するステップと、
    もし前記比が閾値よりも大きいなら、前記第3の点を前記ポリゴンの頂点と関連づけるステップとをさらに含み、
    第1の点と第3の点をつなぐラインセグメントは、前記ポリゴンの第1の辺を構成し、第3の点と第2の点をつなぐラインセグメントは、前記第1の辺に隣接する前記ポリゴンの第2の辺を構成する請求項7の方法。
  9. ステップ(b)は前記ポリゴンを所定の投射法で投射することによって3次元形状を形成するステップを含む請求項1の方法。
  10. ステップ(c)は前記3次元形状をシミュレーション環境における地形特徴として用いるステップを含む請求項9の方法。
  11. ステップ(a)の前に、写真を撮影し、前記写真をデジタル化して前記デジタルイメージを形成する請求項1の方法。
  12. ステップ(a)の前に、ユーザからの入力コマンドに応じてデジタル写真の一部を前記デジタルイメージとして選択するステップをさらに含む請求項1の方法。
  13. ステップ(c)は、第1部分および第2部分のどちらがより大きな2次元領域をもつかを決めるステップと、より大きな2次元領域をもつ方の部分を地形特徴として用いるステップとを含む請求項の方法。
  14. ステップ(c)は、第1部分および第2部分のどちらがより小さな2次元領域をもつかを決めるステップと、より小さな2次元領域をもつ方の部分をアバターとして用いるステップとを含む請求項の方法。
  15. ステップ(c)は、第1部分および第2部分のどちらが、前記デジタルイメージの上部に近いかを決定するステップと、前記デジタルイメージの上部に近い方の部分をアバターとして用いるステップとを含む請求項の方法。
  16. ステップ(c)は、第1部分および第2部分のどちらが、前記デジタルイメージの底部に近いかを決定するステップと、前記デジタルイメージの底部に近い方の部分を地形特徴として用いるステップとを含む請求項の方法。
  17. デジタルイメージキャプチャを用いてシミュレーション環境のためのアセットを生成するための装置であって、
    プロセッサと、
    プロセッサに接続されたメモリと、
    プロセッサによって実行されるためにメモリに具現化されたインストラクションとを含み、
    当該インストラクションは、デジタルイメージキャプチャを用いて対話型エンターテインメントのためのアセットを生成するための方法を実装するように構成されており、当該インストラクションは、
    (a)一旦オブジェクトのデジタルイメージがキャプチャされると、自動的に前記メモリに記憶されたデジタルイメージ内のオブジェクトの輪郭をデジタル的にトレースすることにより、輪郭をトレースするためにユーザからのさらなる入力に頼ることなく、前記オブジェクトを包含する2次元ポリゴンを表すデータを生成するインストラクションと、
    (b)前記プロセッサに、前記2次元ポリゴンによって囲まれたイメージの部分を前記デジタルイメージの残りから切り離させるインストラクションと、
    (c)前記プロセッサに、前記2次元ポリゴンによって囲まれたイメージの部分をシミュレーション環境におけるアセットと関連づけさせるインストラクションとを含み、
    前記デジタルイメージは、2以上のオブジェクトを含み、
    インストラクション(a)は、前記デジタルイメージ内の2以上のオブジェクトの各々の輪郭をデジタル的にトレースすることにより、前記2以上のオブジェクトを包含する2以上の2次元ポリゴンを表すデータを生成するインストラクションを含み、
    インストラクション(b)は、前記2以上の2次元ポリゴンによって囲まれたイメージの第1部分および第2部分を前記デジタルイメージの残りから切り離すインストラクションを含み、
    インストラクション(c)は、前記イメージの前記第1部分を対話型エンターテインメントプログラムにおけるアバターとして用い、前記第2部分を対話型環境における地形特徴として用いるインストラクションを含むことを特徴とする装置。
  18. 前記プロセッサに接続されたデジタルイメージキャプチャデバイスをさらに含む請求項17の装置。
  19. 前記デジタルイメージキャプチャデバイスはデジタルカメラである請求項18の装置。
  20. 前記オブジェクトの前記デジタルイメージを前記デジタルイメージキャプチャデバイスでキャプチャし、前記デジタルイメージを表すデータを前記メモリに格納するインストラクションをさらに含む請求項18の装置。
  21. コンピュータ読み取り可能なインストラクションが格納されたコンピュータ読み取り可能な媒体であって、当該インストラクションが実行されると、プロセッサとプロセッサに接続されたメモリを有するシステムにおいてデジタルイメージキャプチャを用いてシミュレーション環境のためのアセットを生成するための方法が実装されるものであり、当該インストラクションは、
    (a)自動的にデジタルイメージ内のオブジェクトの輪郭をデジタル的にトレースすることにより、輪郭をトレースするためにユーザからのさらなる入力に頼ることなく、前記オブジェクトを包含する2次元ポリゴンを表すデータを生成するインストラクションと、
    (b)前記プロセッサに、前記2次元ポリゴンによって囲まれたイメージの部分をシミュレーション環境におけるアセットとして使用させるインストラクションと、
    (c)前記プロセッサに、前記2次元ポリゴンによって囲まれたイメージの部分をシミュレーション環境におけるアセットと関連づけさせるインストラクションとを含み、
    前記デジタルイメージは、2以上のオブジェクトを含み、
    インストラクション(a)は、前記デジタルイメージ内の2以上のオブジェクトの各々の輪郭をデジタル的にトレースすることにより、前記2以上のオブジェクトを包含する2以上の2次元ポリゴンを表すデータを生成するインストラクションを含み、
    インストラクション(b)は、前記2以上の2次元ポリゴンによって囲まれたイメージの第1部分および第2部分を前記デジタルイメージの残りから切り離すインストラクションを含み、
    インストラクション(c)は、前記イメージの前記第1部分を対話型エンターテインメントプログラムにおけるアバターとして用い、前記第2部分を対話型環境における地形特徴として用いるインストラクションを含むことを特徴とするコンピュータ読み取り可能な媒体。
  22. 前記オブジェクトの前記デジタルイメージを前記プロセッサに接続された前記デジタルイメージキャプチャデバイスでキャプチャし、前記デジタルイメージを表すデータを前記メモリに格納するインストラクションをさらに含む請求項21のコンピュータ読み取り可能な媒体。
  23. デジタルイメージキャプチャを用いてシミュレーション環境のためのアセットを生成するための装置であって、
    (a)一旦オブジェクトのデジタルイメージがキャプチャされると、自動的にデジタルイメージ内のオブジェクトの輪郭をデジタル的にトレースすることにより、輪郭をトレースするためにユーザからのさらなる入力に頼ることなく、前記オブジェクトを包含する2次元ポリゴンを表すデータを生成する手段と、
    (b)前記2次元ポリゴンによって囲まれたイメージの部分を前記デジタルイメージの残りから切り離す手段と、
    (c)前記2次元ポリゴンによって囲まれたイメージの部分をシミュレーション環境におけるアセットと関連づける手段とを含み、
    前記デジタルイメージは、2以上のオブジェクトを含み、
    手段(a)は、前記デジタルイメージ内の2以上のオブジェクトの各々の輪郭をデジタル的にトレースすることにより、前記2以上のオブジェクトを包含する2以上の2次元ポリゴンを表すデータを生成する手段を含み、
    手段(b)は、前記2以上の2次元ポリゴンによって囲まれたイメージの第1部分および第2部分を前記デジタルイメージの残りから切り離す手段を含み、
    手段(c)は、前記イメージの前記第1部分を対話型エンターテインメントプログラムにおけるアバターとして用い、前記第2部分を対話型環境における地形特徴として用いる手段を含むことを特徴とする装置。
  24. 前記デジタルイメージをキャプチャする手段をさらに含む請求項23の装置。
  25. 前記デジタルイメージをキャプチャする手段はデジタルカメラを含む請求項24の装置。
JP2008268431A 2007-10-17 2008-10-17 デジタル・イメージ・キャプチャを用いて対話型エンタテインメントのためにアセットを生成する方法 Active JP4851504B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US98064007P 2007-10-17 2007-10-17
US60/980,640 2007-10-17

Publications (2)

Publication Number Publication Date
JP2009095677A JP2009095677A (ja) 2009-05-07
JP4851504B2 true JP4851504B2 (ja) 2012-01-11

Family

ID=40297847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008268431A Active JP4851504B2 (ja) 2007-10-17 2008-10-17 デジタル・イメージ・キャプチャを用いて対話型エンタテインメントのためにアセットを生成する方法

Country Status (3)

Country Link
US (1) US8395614B2 (ja)
EP (1) EP2051208A3 (ja)
JP (1) JP4851504B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) * 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
TWI420440B (zh) * 2010-08-16 2013-12-21 Hon Hai Prec Ind Co Ltd 物品展示系統及方法
US9311549B2 (en) * 2012-08-17 2016-04-12 Evernote Corporation Using surfaces with printed patterns for identification of imaging and data processing activities
JP6399840B2 (ja) * 2014-07-22 2018-10-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN107079112B (zh) * 2014-10-28 2020-09-29 惠普发展公司,有限责任合伙企业 一种分割图像数据的方法、系统及计算机可读存储介质
US20180013997A1 (en) * 2015-01-30 2018-01-11 Ent. Services Development Corporation Lp Room capture and projection
CN105373224B (zh) * 2015-10-22 2016-06-22 山东大学 一种基于普适计算的混合现实游戏系统及方法
US10489693B2 (en) * 2017-08-03 2019-11-26 Motorola Solutions, Inc. Method and apparatus for distributed edge learning
US10580207B2 (en) * 2017-11-24 2020-03-03 Frederic Bavastro Augmented reality method and system for design
US10977859B2 (en) 2017-11-24 2021-04-13 Frederic Bavastro Augmented reality method and system for design
US11620800B2 (en) 2019-03-27 2023-04-04 Electronic Arts Inc. Three dimensional reconstruction of objects based on geolocation and image data
US11488290B2 (en) * 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit
US11887253B2 (en) * 2019-07-24 2024-01-30 Electronic Arts Inc. Terrain generation and population system
US11335058B2 (en) 2020-10-13 2022-05-17 Electronic Arts Inc. Spatial partitioning for graphics rendering

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5054098A (en) * 1990-05-21 1991-10-01 Eastman Kodak Company Method of detecting the skew angle of a printed business form
US5050222A (en) * 1990-05-21 1991-09-17 Eastman Kodak Company Polygon-based technique for the automatic classification of text and graphics components from digitized paper-based forms
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
JPH07111721B2 (ja) * 1992-06-05 1995-11-29 日本アイ・ビー・エム株式会社 線要素データの3次元変換装置及び方法
JPH0652305A (ja) 1992-07-31 1994-02-25 Tokyo Gas Co Ltd データの圧縮装置
JP3638637B2 (ja) * 1994-06-17 2005-04-13 株式会社ナムコ ポリゴンデータ変換装置及び3次元シミュレータ装置
US5838830A (en) * 1996-09-18 1998-11-17 Sharp Laboratories Of America, Inc. Vertex-based hierarchical shape representation and coding method and apparatus
US6229546B1 (en) * 1997-09-09 2001-05-08 Geosoftware, Inc. Rapid terrain model generation with 3-D object features and user customization interface
US6295066B1 (en) * 1997-09-12 2001-09-25 Hitachi, Ltd. Method for generating virtual three-dimensional space
US6734855B2 (en) * 2000-07-11 2004-05-11 Sony Corporation Image editing system and method, image processing system and method, and recording media therefor
US20020067354A1 (en) * 2000-10-02 2002-06-06 Beom-Soo Oh Method and system for reconstructing 3D objects from free-hand line drawing
JP2002133438A (ja) * 2000-10-19 2002-05-10 Mitsubishi Electric Corp 3次元グラフィックス描画装置、3次元グラフィックス描画方法および3次元ポリゴンデータを記録したコンピュータで読取可能な記録媒体
US7061501B1 (en) * 2000-11-07 2006-06-13 Intel Corporation Rendering a pencil-sketch image
JP2002216148A (ja) 2001-01-12 2002-08-02 Mitsubishi Electric Corp 画像表示制御装置、画像表示制御方法およびその方法をコンピュータに実行させるプログラム
US6901167B2 (en) * 2001-04-04 2005-05-31 Microsoft Corporation Detecting multiple objects in digital image data
JP2003284868A (ja) 2002-03-28 2003-10-07 Toshiba Corp ゲーム装置およびゲーム方法
US7586490B2 (en) * 2004-10-20 2009-09-08 Siemens Aktiengesellschaft Systems and methods for three-dimensional sketching
US9566522B2 (en) * 2005-05-27 2017-02-14 Nokia Technologies Oy Device, method, and computer program product for customizing game functionality using images
JP2007089763A (ja) * 2005-09-28 2007-04-12 Toshiba Corp 放射線透視画像処理装置、放射線透視画像処理方法および放射線透視画像処理プログラム
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
US7843471B2 (en) * 2006-03-09 2010-11-30 International Business Machines Corporation Persistent authenticating mechanism to map real world object presence into virtual world object awareness
US7847808B2 (en) * 2006-07-19 2010-12-07 World Golf Tour, Inc. Photographic mapping in a simulation
US20100110073A1 (en) * 2006-11-15 2010-05-06 Tahg Llc Method for creating, storing, and providing access to three-dimensionally scanned images
WO2008131093A2 (en) * 2007-04-17 2008-10-30 Fox Chase Cancer Center Method and apparatus for endoscopic examination of lesions
US20080310707A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects

Also Published As

Publication number Publication date
US20090102835A1 (en) 2009-04-23
JP2009095677A (ja) 2009-05-07
EP2051208A2 (en) 2009-04-22
EP2051208A3 (en) 2017-05-24
US8395614B2 (en) 2013-03-12

Similar Documents

Publication Publication Date Title
JP4851504B2 (ja) デジタル・イメージ・キャプチャを用いて対話型エンタテインメントのためにアセットを生成する方法
JP6501017B2 (ja) 画像処理装置、プログラム、画像処理方法および画像処理システム
US8882593B2 (en) Game processing system, game processing method, game processing apparatus, and computer-readable storage medium having game processing program stored therein
US8411092B2 (en) 2D imposters for simplifying processing of plural animation objects in computer graphics generation
TWI469813B (zh) 在動作擷取系統中追踪使用者群組
US10204404B2 (en) Image processing device and image processing method
JP4833674B2 (ja) ゲーム装置、ゲーム装置の制御方法及びプログラム
US20090179892A1 (en) Image viewer, image displaying method and information storage medium
EP2786353A1 (en) Methods and systems for capturing and moving 3d models and true-scale metadata of real world objects
JP2010026818A (ja) 画像処理プログラム、画像処理装置及び画像処理方法
JP2009237680A (ja) プログラム、情報記憶媒体および画像生成システム
JP5960409B2 (ja) ゲーム処理システム、ゲーム処理方法、ゲーム処理装置およびゲーム処理プログラム
JP3926828B1 (ja) ゲーム装置、ゲーム装置の制御方法及びプログラム
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2008302130A (ja) 画像処理プログラムおよび画像処理装置
JP2003022452A (ja) 画像処理装置および立体形状表示プログラム
JP2012070781A (ja) ゲーム装置、ゲーム制御方法、ならびに、プログラム
JP2005182207A (ja) 画像描画装置及び方法、プログラム並びに記録媒体
CN112292656B (zh) 影像显示系统、影像显示方法及记录计算机程序的计算机能读取的记录介质
JP5007633B2 (ja) 画像処理用プログラム、当該プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置、画像処理方法
CN108986228B (zh) 用于虚拟现实中界面显示的方法及装置
JP2023171298A (ja) 拡張現実及び複合現実のための空間とコンテンツの適合
JP2005149315A (ja) 画像描画装置及び方法、プログラム並びに記録媒体
KR101211178B1 (ko) 증강 현실 컨텐츠 재생 시스템 및 방법
JP2009251887A (ja) 画像生成システム、プログラム及び情報記憶媒体

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101126

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111020

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4851504

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141028

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250