JP5198423B2 - 現実の物理的な対象物を、仮想世界にトランスポートするシステムおよび方法 - Google Patents

現実の物理的な対象物を、仮想世界にトランスポートするシステムおよび方法 Download PDF

Info

Publication number
JP5198423B2
JP5198423B2 JP2009293556A JP2009293556A JP5198423B2 JP 5198423 B2 JP5198423 B2 JP 5198423B2 JP 2009293556 A JP2009293556 A JP 2009293556A JP 2009293556 A JP2009293556 A JP 2009293556A JP 5198423 B2 JP5198423 B2 JP 5198423B2
Authority
JP
Japan
Prior art keywords
physical object
component
virtual world
detected
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009293556A
Other languages
English (en)
Other versions
JP2010231764A (ja
Inventor
ウォーヘイビー、リタ
エイチ. ボウマン、ミック
クナウエルハーゼ、ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2010231764A publication Critical patent/JP2010231764A/ja
Application granted granted Critical
Publication of JP5198423B2 publication Critical patent/JP5198423B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Description

本発明は、概して、仮想コンピューティングに係る。より詳しくは、本発明は、現実の物理的なモジュール状の対象物を仮想世界にトランスポートする機能に係る。
今日、仮想世界で行われる金銭上の振替およびトランザクションは、基本的に対象物の売買に関する。対象物の作成は、高度に洗練された作業と考えられており、仮想世界の極少数のユーザしか行うことができない。先ず対象物を設計してから、仮想世界での規定を行う必要がある。仮想世界で見栄えのする対象物を提供するべくユーザは、芸術的才能を有する設計者である必要があるとともに、モジュールのプログラミングの技量をも問われることが多い。
添付図面は、明細書の一部を形成するものとしてここに含められているが、本発明の実施形態を示しており、記載とともに読まれることで、当業者が本発明を実施および利用する際に本発明の原理の理解に役立つことが意図されている。図面では、同様の参照番号は、概して、同一の、機能的に類似した、および/または、構造的に類似した部材を示している。部材が最初に現れる図面を、参照番号の一番左の桁(1または複数)で示している。
本発明の一実施形態による、ユーザに、現実の物理的な対象物を作成して、現実の物理な対象物を仮想世界の対象物にトランスポートさせる方法を示すフロー図である。
本発明の一実施形態による、家屋その他の種類の建造物を構築するのに利用されうる構築キットの例示的なモジュール部品またはコンポーネントを示す。
本発明の一実施形態による、構築キットのモジュールコンポーネントを利用して実世界で構築される家屋の例を示す。
本発明の一実施形態による、センサの例示的なブロック図を示す。
本発明の一実施形態による、対象物の特性および構造を検知するべく、対象物の近傍に配置されるインテリジェントセンサを用いて、実世界で構築される対象物を示す。
本発明の一実施形態による、コンピューティングデバイスと通信して、実世界の対象物のデータをコンピューティングデバイスに送信する基地局センサを示す。
本発明の一実施形態による、自己編成型センサが埋め込まれたモジュール状の物理的な対象物を示す。
家屋のアッセンブラージュを検出するよう自己編成を行う接続されたモジュールコンポーネントを示す。
壁のアッセンブラージュを検出するよう自己編成を行う接続されたモジュールコンポーネントを示す。
本発明の一実施形態による、モジュールコンポーネントに埋め込まれた自己編成型センサを利用して仮想の対象物を構築する例示的な方法を示すフロー図である。
本発明の一実施形態による、ユーザに、カメラを利用して実世界の対象物を撮像した一枚の写真または一連の写真から仮想世界の対象物を作成させる方法を示すフロー図である。
本発明の実施形態のある側面が実装されうる例示的なコンピュータデバイスを示すブロック図である。
本発明を特別な用途の例示的な実施形態を参照して記載するが、本発明がそれに限定されない旨を理解されたい。本教示を読んだ当業者であれば、発明の範囲内でさらなる変形例、用途、および実施形態について想到するであろうし、本発明の実施形態を利用する価値のある別の用途分野について想到するであろう。
明細書における、本発明の「一実施形態」「1つの実施形態」「別の実施形態」といった言い回しは、その実施形態との関連で記載された特定の特徴、構造、または特性が、少なくとも幾らかの実施形態に含まれることを示すが、必ずしも全ての実施形態に含まれなくてもよい。「一実施形態」「1つの実施形態」といった言い回しは随所に出てくるが、必ずしもこれら全部が同じ実施形態のことを意味しているわけではない。
前述したように、仮想世界で対象物を作成することは非常に難しく、仮想世界の極少数のユーザしか、対象物を机上の描画から仮想世界の対象物にできない。本発明の実施形態は、仮想世界の対象物の作成を、幅広い顧客に可能とさせる。想到したものから仮想の対象物の直接的具現化を行うことによる対象物の作成をユーザが行うのではなくて、ユーザは、実世界の対象物として想到したものから仮想の対象物への具現化を自動変換機能により行うことができるようになる。これは、対象物の実世界のモデルを構築する構築キットと、対象物の実世界のモデルの特性および構造を検知するインテリジェントセンサを利用して、この情報をコンピューティングデバイス上のソフトウェアモジュールへ送ることで行われる。ソフトウェアモジュールはこの情報を仮想世界で利用される仮想対象物(例えばセカンドライフであるがこれに限定されない)に変換する。本発明の実施形態は、ユーザに、実世界の対象物を作成させ、その実世界の対象物を仮想対象物に自動変換することにより、物理世界と仮想世界の間で橋渡しを行う。
本発明はセカンドライフ向けの仮想世界対象物を作成する観点から説明されるが、本発明はセカンドライフ向けの仮想世界対象物には限定されない。本発明は他の種類の仮想世界向けの仮想世界対象物の作成に応用することもできる。
図1は、本発明の一実施形態による、ユーザに、現実の物理的な対象物を作成して、現実の物理的な対象物を仮想世界の対象物にトランスポートさせる方法を示すフロー図100である。本発明はフロー図100に関して記載する実施形態に限定されない。本教示を読んだ当業者であれば、他の機能フロー図も本発明の範囲に含まれることを理解しよう。処理はブロック102から始まり、すぐにブロック104に移行する。
ブロック104で、ユーザは構築キットを利用して実空間に対象物を構築することができる。構築キットは、互いに連係する機能を有する複数の構築ブロックを含むという点で、LEGO(登録商標)と類似した種類であってよい。構築キットは、現実の対象物に類似しているモジュール部品を含む。一実施形態では、モジュールコンポーネントは、容易に認識できるように注釈が付けてある。例えば、モジュールコンポーネントは、本発明の他のコンポーネントが容易に認識できるよう、テクスチャ、パターン、可視のまたは赤外線の塗料等を付されたコーナマークが付されていてよい。
図2aは、本発明の一実施形態による、家屋その他の種類の建造物を構築するのに利用されうる構築キットの例示的なモジュール部品またはコンポーネントを示す。モジュール部品は窓202、煙突204、玄関アプローチ206、ドア208、屋根210、および、れんが壁212を含む。ユーザは、これらモジュールコンポーネントそれぞれを少なくとも1以上利用して対象物(例えば仮想世界で利用する家屋等)を組み立てることができる。図2bは、本発明の一実施形態による、構築キットのモジュールコンポーネント202、204、206、208、210および212を利用して実世界で構築される家屋220の例を示す。
一実施形態では、各モジュールコンポーネントまたは部品が予め規定されていてよい。例えば、各モジュールコンポーネントは、モジュールコンポーネントライブラリの一部であってよく、このライブラリの各モジュールコンポーネントは固有のIDを有する。例えば、一実施形態では、正方形を表すモジュールコンポーネントは、「1」または「S」で始まり、その後に固有のシリアル番号が続く固有のIDを利用して識別することができる。この場合、一文字目が「1」または「S」であることで、そのモジュールコンポーネントが正方形であることが分かる。「2」または「R」で始まるモジュールコンポーネントは、矩形のコンポーネントを表すと決めてもよい。「3」または「C」で始まるモジュールコンポーネントを、円形のコンポーネントであるとしてもよい。つまり、固有のIDの一文字目は、モジュールコンポーネントの形状を表し、残りの文字はそのモジュールコンポーネントの固有のシリアル番号を表す、ということである。
別の実施形態では、モジュールコンポーネントの識別子の固有のシリアル番号の前に、形状、色、テクスチャ、およびサイズに応じた識別子をもうけてもよい。例えば、固有のIDの一文字目をモジュールコンポーネントの形状を表すことにする。固有のIDの二文字目をモジュールコンポーネントの色を表すことにする。固有のIDの三文字目をモジュールコンポーネントのテクスチャを表すことにする。固有のIDの四文字目をモジュールコンポーネントのサイズを表すことにする。例えば、5インチの赤い正方形であり、滑らかなテクスチャを有する物体には、SRS576942という識別番号が与えられ、ここでは一文字目が正方形形状を表し、二文字目が赤色を表し、三文字目が滑らかなテクスチャを表し、四文字目が5インチのサイズを表し、残りの文字がシリアル番号76942を表す。
また別の実施形態では、モジュールコンポーネントは、例えば76942といった固有のアドレスまたはシリアル番号を用いて表すこともできる。固有のアドレスまたはシリアル番号は、モジュールコンポーネントの特性を一意に規定するライブラリのコンポーネントにマッピングしてよい。
図1に戻ると、ブロック106で、ひとたびユーザが実世界で対象物を構築すると、インテリジェントセンサを対象物の近傍に配置して、対象物の異なる特性および構造を検知する。センサは、コンピューティングデバイス上で実行されているソフトウェアモジュールに、無線通信チャネルを介してこの情報を伝送する。センサの数および各センサの位置は、構造の外形を識別して対象物を検知できる程度の要件を満たす必要がある。
センサは、視覚的なもの(カメラベース)、赤外線、または音響ベース、またはセンサが伝送すべき対象物の特性および構造を適切に検知できる任意の他の検知技術に基づいていてよい。図3は、本発明の一実施形態による、センサ300の例示的なブロック図を示す。センサ300は、物理検知コンポーネント302、データ合成コンポーネント304、メモリ306、送信コンポーネント308、および通信バス310を含む。物理検知コンポーネント302、データ合成コンポーネント304、メモリ306、および送信コンポーネント308は、通信バス310を介して互いに連結されている。
物理検知コンポーネント302は、視覚センサ、温度センサ、動きセンサ、音響ベースのセンサ、レーザセンサ、赤外線センサ、これらの組み合わせ、または実世界の対象物の特性および構造を適切に検知する機能を有する任意の他のセンサコンポーネントであってよい。データ合成コンポーネント304は、小さな処理コンポーネントであってよい。一実施形態では、データ合成コンポーネント304は、検知データを物理検知コンポーネント302から受信して、検知データを別のセンサ300または別のコンピューティングデバイス上のソフトウェアモジュールへの送信コンポーネント306を介した送信用にキューに入れておく。別の実施形態では、データ合成コンポーネント304は、より洗練された処理コンポーネント(Intel Corporation社製造のAtomプロセッサ等であるがこれに限定されない)であってもよく、または、コンピューティングリソースおよび電力を有する別の小さなプロセッサであってもよい。メモリはデータ記憶用の不揮発性メモリおよび/または揮発性メモリを含んでよく、実世界の対象物の特性および構造に関して実行可能な命令を実行するための実行可能領域を含んでよい。送信コンポーネント308は、無線通信技術(Bluetooth(登録商標)、WiFi、またはWiMax(Worldwide Interoperability for Microwave Access)等であるがこれらに限定されない)を利用することができる。
一実施形態では、センサ300の一つが基地局として機能し、他のセンサ300と通信して他のセンサ300の全てのデータを受信したり、コンピューティングデバイスと通信することで、受信データをソフトウェアモジュールへ配信または送信して、仮想世界の対象物に変換させたりする。一実施形態では、基地局センサは、データをソフトウェアモジュールへ送信する前にデータ合成を行うというより実質的な役割を担ってもよい。例えば、基地局センサは、壁に窓があるかを認識して、ソフトウェアモジュールに「X、Y、およびZのサイズの窓があり、X1、Y1、およびZ1のサイズの壁がある」と伝えるのではなく、「X1、Y1、およびZ1のサイズの壁があり、壁の中央にX、Y、およびZのサイズの窓がある」と伝えることが出来る。基地局センサは、各モジュールコンポーネントの特性および実世界の対象物の構造をコンピューティングデバイスに伝える。
図4は、本発明の一実施形態による、対象物の近傍に戦略的に配置されるインテリジェントセンサを用いて、実世界で構築される対象物を示す。図4に示すように、家屋220はインテリジェントセンサ300に包囲されている。インテリジェントセンサ300は、家屋220を構築するのに利用される各モジュールコンポーネント202−212に基づいて家屋220の異なる特性および構造を検知するのに利用される。基地局センサ330も示されている。基地局センサ330は、インテリジェントセンサ300からデータを収集して、このデータをソフトウェアモジュールに伝えて、均等の仮想対象物を設置させる。
図1に戻ると、ブロック108で、基地局センサ330が収集したデータは、コンピューティングデバイスを介して、ソフトウェアモジュールで入力として受信される。そして処理はブロック110へ進む。
ブロック110で、ソフトウェアモジュールは、実世界の対象物データを入力として受信した後で、実世界の対象物と均等な仮想世界の対象物を作成するのに必要なコードを生成するよう実行される。生成されるコードの種類は、対象物を配置する仮想世界に応じて異なる。一実施形態では、マッピング処理を用いてコードを得る。対象物をそこに変換する仮想世界を選択する。実世界の対象物の各コンポーネントを、選択された仮想世界の予め規定されたライブラリの対応するコンポーネントにマッピングして、仮想世界の対象物のコードを得る。実世界の対象物を撮像する一実施形態では、画像を、選択された仮想世界の予め規定された対象物上にマッピングして、仮想世界の対象物のコードを得る。実際の物理的な対象物が基地局センサで認識されるまた別の実施形態では、実際の対象物を、選択された仮想世界の対応する対象物または基本要素(primitive)に伝送する、またはマッピングする。
一実施形態では、生成されたコードは、インスタンス化されると、例えばセカンドライフといった仮想世界の仮想対象物の均等表現を生じる。つまり、実行されるとコードは、実世界の対象物を表す正確な構成のセカンドライフ「prims」または基本要素を生成する。別の実施形態では、コードは、対象物のKML記述を生じてもよい。KMLは、グラフィックデータを表示するのに用いられるXML規格に基づくファイルフォーマットである。対象物を利用する仮想世界によっては他のコードフォーマットも生成可能である。
図5は、本発明の一実施形態による、コンピューティングデバイスと通信して、実世界の対象物のデータをコンピューティングデバイスに送信する基地局センサを示す。図5は、無線でコンピューティングデバイス502に連結された基地局センサ330を示す。コンピューティングデバイス502は、基地局センサ330から受信した実世界の対象物と均等な仮想世界の対象物の表示を示す。
また別の実施形態では、モジュールコンポーネントにはインテリジェントセンサが埋め込まれていてよい。この場合、インテリジェントセンサは、モジュールコンポーネントの特性および構造を規定する情報を含んでよい。これらセンサは図3を参照して上述したが、さらに自己編成型センサとして規定されてもよい。故に、埋め込みセンサを有する各モジュールコンポーネントは、特性および構造の知識を有し、互いに接続されると、パターン認識または関連位置および形状のライブラリから単に発見することにより、検知動作を行い、形成する合成形状を検出する。
図6aは、本発明の一実施形態による、インテリジェントセンサが埋め込まれたモジュールコンポーネントを示す。図6aは、窓602、煙突604、玄関アプローチ606、ドア608、屋根610、および、れんが壁612を示す。モジュールコンポーネント602、604、606、608、610および612各々に、インテリジェントセンサ614が埋め込まれている。前述したように、インテリジェントセンサ614は、各モジュールコンポーネント602、604、606、608、610および612に、特性および構造の知識を提供する。これらモジュールコンポーネントは、互いに接続されると、自己編成して単一の対象物を作成する。例えば、図6bは、接続されると、家屋616のアッセンブラージュを検出するよう自己編成を行うモジュールコンポーネント602−612を示す。
図6cは、壁のアッセンブラージュを検出するよう自己編成を行うモジュールコンポーネント618を示す。図6cでは、複数のれんが618が接続されている。各れんが618にはインテリジェントセンサ620が埋め込まれている。埋め込みインテリジェントセンサについては図3を参照して上述した。モジュールコンポーネントの自己編成型のセンサが自身の特性、構造、位置、および相互接続する領域について通信すると、それらが全体として描きたい大きな構図を検出しはじめる。図6cから分かるように、れんが618は、組み立てられると壁622を構成する。
図7aは、本発明の一実施形態による、モジュールコンポーネントに埋め込まれた自己編成型センサを利用して仮想の対象物を構築する例示的な方法を示すフロー図700である。本発明はフロー図700に関して記載する実施形態に限定されない。本教示を読んだ当業者であれば、他の機能フロー図も本発明の範囲に含まれることを理解しよう。処理はブロック702から始まり、すぐにブロック704に移行する。
ブロック704で、ユーザは、自己編成型センサを埋め込まれたモジュールコンポーネントを実世界で組み立てて対象物を形成する。処理は次にブロック706へ進む。
ブロック706で、自己編成型の埋め込みセンサは、モジュールコンポーネントが接続されると互いを通信させ、互いの間で自身の特性(形状、色、テクスチャ、サイズ等)、構造、位置、および相互接続する領域についての情報を交換させて、それらが全体として描きたい大きな構図を伝える。つまり、パターン認識または関連位置および形状のライブラリから単に発見することにより、検知動作を行う。検知動作によって、共通の合成形状(例えば壁、家屋等)、および、テクスチャ(例えばれんが、こけら板、カーペット、塗料の色)が検出される。処理は次にブロック708に移る。
ブロック708で、ひとたび共通の合成形状が検知動作により決定されると、この共通の合成形状を、選択された仮想世界の対応する合成形状にマッピングして、対象物の対応するコードを得る。処理は次にブロック710へ移る。
ブロック710で、対象物を仮想世界でインスタンス化して、ユーザに提示する。処理は次に決定ブロック712へ進む。
ブロック712で、仮想対象物の解釈が、実世界の対象物と均等であるか否かを判断する。ユーザが、仮想対象物が満足いくほど均等ではないと判断すると(例えばクリスマスツリーであるべきものがボートに見えると解釈した場合等)、処理はブロック714へ移る。
ブロック714で、ユーザは、対象物をクリックすることで、仮想対象物または少なくともその一部を上書きする。対象物をクリックすることにより、ユーザは予め規定されたライブラリをブラウズして、より良い表現でありうる別の仮想世界対象物を選択するというオプションを与えられる。別の対象物をより良い表現として選択することは、センサが提示するデータを、予め規定されたライブラリからユーザが選択した対象物と関連付ける学習メカニズムとして利用される。このようにして、次にユーザが実世界の同じ対象物を構築する場合には、予め規定されたライブラリからユーザが選択した仮想対象物をインスタンス化することができる。
決定ブロック712に戻ると、仮想対象物が実世界の対象物と均等であると解釈された場合には、処理はブロック716へ移り、そこで処理が終了する。
代替的な実施形態では、ユーザは仮想世界に形成を所望する対象物の一枚の写真または一連の写真を撮像して、対象物を仮想世界の対象物に変換する。一実施形態では、ユーザはカメラにより撮像を行ってよい。別の実施形態では、ユーザは、本、雑誌等から画像を得ることもできる。図7bは、本発明の一実施形態による、ユーザに、実世界の対象物を撮像した一枚の写真または一連の写真から仮想世界の対象物を作成させる方法を示すフロー図720である。本発明はフロー図720に関して記載する実施形態に限定されない。本教示を読んだ当業者であれば、他の機能フロー図も本発明の範囲に含まれることを理解しよう。処理はブロック722から始まり、すぐにブロック724に移行する。
ブロック724で、ユーザは、ユーザが仮想世界に形成を所望する対象物の一枚の写真または一連の写真を撮像してよい。一実施形態では、ユーザは、個人的に対象物の一枚の写真または一連の写真を撮像することで対象物を得ることができる。例えば、ユーザが美術館の見学中、またはモールでのショッピング中に、仮想世界に形成を所望する目を引くようなものを発見したとする。ユーザは対象物の一枚の写真または各アングルから一連の写真を撮像する。一実施形態では、写真は低解像度で撮像されることで、ユーザが撮像に利用するカメラの種類の柔軟性を高めることができる。例えば、ユーザは携帯電話機に埋め込まれている低画質のカメラを利用することができる。ユーザは低解像度のカメラの利用に制限されるわけではなく、高解像度のカメラを利用することもできる。
別の実施形態では、ユーザは、雑誌、本等に、仮想世界での形成を所望する対象物の写真を見つけてもよい。処理は次にブロック726に進む。
ブロック726で、カメラから得た画像を、コンピューティングデバイス上のソフトウェアモジュールへの入力として伝送する。これは、当業者には公知の方法で無線接続または有線接続により行われてよい。本、雑誌等から画像を得る実施形態では、画像をスキャンによりコンピューティングデバイスに取り込み、ソフトウェアモジュールへの入力として利用することができる。処理は次にブロック728に移る。
ブロック728で、画像を、ソフトウェアモジュールを用いて再構築することで仮想対象物を作成する。ソフトウェアモジュールは、画像に関するグラフィック技術および視覚化技術および対象物認識技術を用いて、物理的な対象物を、仮想世界の均等/類似対象物にマッピングする。代替的な実施形態では、予め規定された対象物のライブラリを利用して、実世界の対象物を、仮想対象物のライブラリのものに近接している対象物にマッピングしてもよい。処理は次にブロック730に移り、ここで処理が終了する。
本発明の実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを利用した実装が可能であり、1以上のコンピュータシステムまたは他の処理システムでの実装が可能である。一実施形態では、本発明は、ここで記載する機能を実行可能な1以上のコンピュータシステムを対象とする。コンピュータシステム800の一実装例を図8に示す。様々な実施形態が、この例示的なコンピュータシステム800との関連で説明される。本記載を読めば、当業者は本発明を他のコンピュータシステムおよび/またはコンピュータアーキテクチャを利用して実装する方法について容易に想到するであろう。
コンピュータシステム800は、プロセッサ803等の1以上のプロセッサを含む。プロセッサ803は通信バス802に接続されている。さらにコンピュータシステム800は、メインメモリ805(好適にはランダムアクセスメモリ(RAM))を含み、さらに、二次メモリ810を含む。二次メモリ810は、例えば、ハードディスクドライブ812および/または取り外し可能な記憶ドライブ814(例えばフロッピー(登録商標)ディスクドライブ、磁気テープドライブ、光学ディスクドライブ等)を含みうる。取り外し可能な記憶ドライブ814は、公知の方法で取り外し可能な記憶ユニット818に対して読み書きを行う。取り外し可能な記憶ユニット818は、取り外し可能な記憶ドライブ814が読み書きを行うことのできるフロッピー(登録商標)ディスク、磁気テープ、光学ディスク等であってよい。理解されるように、取り外し可能な記憶ユニット818は、コンピュータソフトウェアおよび/またはデータを記憶するコンピュータ利用可能な記憶媒体を含む。
代替的な実施形態では、二次メモリ810は、コンピュータプログラムその他の命令をコンピュータシステム800にロードさせる他の類似した手段を含むこともできる。この手段には、例えば、取り外し可能な記憶ユニット822およびインタフェース820が含まれてよい。これらの例には、プログラムカートリッジおよびカートリッジインタフェース(例えばビデオゲームデバイスに見られるようなもの)、取り外し可能なメモリチップ(例えばEPROM(erasable programmable read-only memory)またはPROM(programmable read-only memory))および関連ソケット、並びに、ソフトウェアおよびデータを取り外し可能な記憶ユニット822からコンピュータシステム800へ転送することのできる他の取り外し可能な記憶ユニット822およびインタフェース820が含まれてよい。
さらにコンピュータシステム800は通信インタフェース824を含んでよい。通信インタフェース824は、ソフトウェアおよびデータをコンピュータシステム800と外部デバイスとの間で転送させてよい。通信インタフェース824の例には、モデム、ネットワークインタフェース(例えばイーサネット(登録商標)カード)、通信ポート、PCMCIA(personal computer memory card international association)スロットおよびカード、無線LAN(ローカルエリアネットワーク)インタフェース等が含まれてよい。通信インタフェース824を介して転送されたソフトウェアおよびデータは、電子信号、電磁信号、光信号、または通信インタフェース824が受信可能な他の信号であってよい信号828の形式である。これら信号828は、通信パス(つまりチャネル)826を介して通信インタフェース824に提供される。チャネル826は信号828を搬送し、有線またはケーブル、光ファイバ、電話線、携帯電話リンク、無線リンク、その他の通信チャネルを利用して実装されうる。
本書類では、「コンピュータプログラムプロダクト」という用語は、取り外し可能な記憶ユニット818、822、および信号828を意味する。これらコンピュータプログラムプロダクトは、コンピュータシステム800にソフトウェアを提供する手段である。本発明の実施形態は、このようなコンピュータプログラムプロダクトを対象としている。
コンピュータプログラム(コンピュータ制御ロジックとも称される)は、メインメモリ805および/または二次メモリ810および/またはコンピュータプログラムプロダクトに格納される。コンピュータプログラムはさらに、通信インタフェース824を介して受信されてもよい。このようなコンピュータプログラムは、実行されると、ここで記載する本発明の特徴をコンピュータシステム800に実行させる。特に、コンピュータプログラムは、実行されると、プロセッサ803に、本発明の実施形態の特徴を実行させる。故に、このようなコンピュータプログラムは、コンピュータシステム800のコントローラを表す。
本発明がソフトウェアを利用して実装される実施形態では、ソフトウェアはコンピュータプログラムプロダクトが記憶しており、取り外し可能な記憶ドライブ814、ハードドライブ812、または通信インタフェース824を利用してコンピュータシステム800にロードされてよい。制御ロジック(ソフトウェア)は、プロセッサ803により実行されると、プロセッサ803に、ここに記載する本発明の機能の1以上を実行させる。
別の実施形態では、本発明は、主に、例えばASIC(特定用途向けIC)等のハードウェアコンポーネントを利用してハードウェアに実装される。ハードウェア状態マシンをここで記載する機能を実行するよう実装することは、当業者には明らかである。また別の実施形態では、本発明はハードウェアおよびソフトウェア両方の組み合わせにより実装される。
本発明の様々な実施形態を上述してきたが、これらは例示目的として提示されたにすぎず、限定を目的とはしていないことに留意されたい。当業者であれば、添付請求項に規定される本発明の精神および範囲から逸脱せずに形状および詳細において様々な変形例を加えることが可能であることを理解する。本発明の範囲は、上述の例示的な実施形態による制限は受けず、以下の請求項およびその均等物により定義されるべきである。

Claims (22)

  1. 外形を有する物理的な対象物を仮想世界にトランスポートする方法であって、
    前記物理的な対象物の近傍に配置され、前記物理的な対象物を包囲する複数のインテリジェントセンサであって、前記物理的な対象物から離間しており、前記物理的な対象物の近傍で移動可能である複数のインテリジェントセンサを用いて、互いに接続されることで前記物理的な対象物を生じる複数のモジュールコンポーネントから形成された前記物理的な対象物の特性および外形を検知する段階と、
    前記複数のインテリジェントセンサを用いて、前記複数のモジュールコンポーネントのうちの各々のモジュールコンポーネントの外部表面に注釈付けされた固有のIDを検知する段階と、
    検知された前記物理的な対象物の特性、検知された前記物理的な対象物の外形、および前記複数のモジュールコンポーネントのうちの各々のモジュールコンポーネントの外部表面から検知された前記固有のIDに対応するデータをコンピューティングデバイスに送信する段階と、
    検知された前記物理的な対象物の特性、検知された前記物理的な対象物の外形、および前記モジュールコンポーネントの外部表面から検知された前記固有のIDに対応する前記データを、仮想世界にインスタンス化されると仮想世界の対象物を生じるコードに自動的に変換段階
    とを備える方法。
  2. 前記物理的な対象物は、前記複数のモジュールコンポーネントを持つ構築キットを持つユーザにより構築される対象物を含み、前記複数のモジュールコンポーネントは互いに接続されることで前記物理的な対象物を生じ、前記複数のモジュールコンポーネントの各々は、対象物の現実のコンポーネントに類似している請求項1に記載の方法。
  3. 前記固有のID、前記各々のモジュールコンポーネントの外部表面に注釈付けされたテクスチャ、パターン、色、および、可視のまたは赤外線の塗料を付されたコーナマークを含む請求項2に記載の方法。
  4. 前記複数のインテリジェントセンサの各々は、検知コンポーネント、データ合成コンポーネント、メモリコンポーネント、送信コンポーネント、および通信バスを含み、前記通信バスは、前記検知コンポーネント、前記データ合成コンポーネント、前記メモリコンポーネント、および前記送信コンポーネント間を通信させる請求項1から3のいずれか1項に記載の方法。
  5. 前記検知コンポーネントは、視覚センサ、温度センサ、動きセンサ、音響ベースのセンサ、レーザセンサ、赤外線センサ、これらの組み合わせ、または前記物理的な対象物の前記特性、前記物理的な対象物の前記外形、および前記各々のモジュールコンポーネントの外部表面に注釈付けされた前記固有のIDを検知する機能を持つ任意の他のセンサコンポーネントを含む請求項に記載の方法。
  6. 前記データ合成コンポーネントは、前記検知コンポーネントから前記検知された特性および前記物理的な対象物の外形に対応するデータを受信して別の検知コンポーネントまたはコンピューティングデバイスのソフトウェアモジュールへの送信用に前記特性および前記物理的な対象物の外形に対応するデータをキューに入れる小さな処理コンポーネントを含み、前記小さな処理コンポーネントは、洗練された処理を行うのに足る計算能力をさらに持つ請求項4または5に記載の方法。
  7. 前記送信コンポーネントは無線通信コンポーネントを含む請求項4から6のいずれか1項に記載の方法。
  8. 前記複数のインテリジェントセンサの1つは、前記複数のインテリジェントセンサの残りとの通信用に基地局センサを持ち、前記基地局センサは、前記複数のインテリジェントセンサの前記残りからの全てのデータを受信して、前記データを前記コンピューティングデバイス上のソフトウェアモジュールへ入力として送信する請求項1から7のいずれか1項に記載の方法。
  9. 前記基地局センサは、前記データを前記ソフトウェアモジュールへ入力として送信する前にデータ合成を行う請求項に記載の方法。
  10. 前記コードは、前記対象物を配置する前記仮想世界に基づくコードを含む請求項1から9のいずれか1項に記載の方法。
  11. 前記検知された前記物理的な対象物の特性、検知された前記物理的な対象物の外形、および前記モジュールコンポーネントの外部表面から検知された前記固有のIDに対応する前記データを前記コードへ自動的に変換する段階は、前記物理的な対象物の各々のモジュールコンポーネントを、前記各々のモジュールコンポーネントの外部表面から検知された前記固有のIDを利用して、仮想世界のモジュールコンポーネントの予め規定されたライブラリの対応する仮想のコンポーネントにマッピングして、前記仮想世界の対象物の前記コードを得る段階を含む請求項1から10のいずれか1項に記載の方法。
  12. 前記物理的な対象物が前記基地局センサに認識される場合、前記検知された前記物理的な対象物の特性、検知された前記物理的な対象物の外形、および前記モジュールコンポーネントの外部表面から検知された前記固有のIDに対応する前記データを前記コードへ自動的に変換する段階は、前記物理的な対象物を、選択された仮想世界の対応する仮想世界の対象物または基本要素へマッピングする段階を含む請求項に記載の方法。
  13. 外形を有する物理的な対象物を仮想世界にトランスポートする方法であって、
    前記物理的な対象物の近傍に配置され、前記物理的な対象物を包囲する複数のインテリジェントセンサであって、前記物理的な対象物から離間しており、前記物理的な対象物の近傍で移動可能である複数のインテリジェントセンサを用いて、互いに接続されることで前記物理的な対象物を生じる複数のモジュールコンポーネントから形成された前記物理的な対象物の特性および外形を検知する段階と、
    前記複数のモジュールコンポーネントの各々のモジュールコンポーネントが、認識を容易にするべく前記モジュールコンポーネントの外部表面に注釈付けされた固有のシリアルナンバーを有しており、前記物理的な対象物の各々のモジュールコンポーネントの外部表面から検知された前記固有のシリアルナンバーを、予め規定されたライブラリに格納された仮想世界のモジュールコンポーネントにマッピングして、前記物理的な対象物に類似する仮想世界の対象物のコードを得る段階と、
    前記仮想世界内で前記仮想世界の対象物の前記コードをインスタンス化して前記仮想世界の対象物を生成する段階と、
    前記仮想世界の対象物をユーザに提示する段階とを備え、
    前記仮想世界の対象物の解釈が不満足なものである場合、前記ユーザに前記仮想世界の対象物をクリックさせ、予め規定されたライブラリをブラウズさせ、前記物理的な対象物を表す仮想世界の対象物を選択させる方法。
  14. ユーザが同じ物理的な対象物を構築する場合に、前記選択された仮想世界の対象物がインスタンス化されるべく、学習メカニズムとして、前記複数のインテリジェントセンサによって検知された前記物理的な対象物の特性および外形を、前記予め規定されたライブラリから選択された前記仮想世界の対象物と関連付ける段階をさらに備える請求項13に記載の方法。
  15. 前記物理的な対象物の近傍に配置された前記複数のインテリジェントセンサを用いて前記物理的な対象物の外形および特性を検知する段階形状、色、テクスチャ、およびサイズを検知することを含む請求項13または14に記載の方法。
  16. 物理的な対象物の近傍に配置され、前記物理的な対象物を包囲する複数のインテリジェントセンサであって、前記物理的な対象物から離間しており、前記物理的な対象物の近傍で移動可能である複数のインテリジェントセンサを用いて、互いに接続されることで前記物理的な対象物を生じる複数のモジュールコンポーネントから形成された前記物理的な対象物の特性および外形を検知する段階と、
    前記複数のインテリジェントセンサを用いて、前記複数のモジュールコンポーネントのうちの各々のモジュールコンポーネントの外部表面に注釈付けされた固有のアドレスを検知する段階と、
    検知された前記物理的な対象物の特性、検知された前記物理的な対象物の外形、および前記複数のモジュールコンポーネントのうちの各々のモジュールコンポーネントの外部表面から検知された前記固有のアドレスに対応するデータをコンピューティングデバイスに送信する段階と、
    予め規定されたライブラリを用いて、前記複数のモジュールコンポーネントの各々のモジュールコンポーネントの外部表面から検知された前記固有のアドレスを、対応する仮想対象物にマッピングする段階と、
    前記検知された前記物理的な対象物の特性、検知された前記物理的な対象物の外形、および前記モジュールコンポーネントの外部表面から検知された前記固有のアドレスに対応する前記データを、仮想世界にインスタンス化されると前記仮想世界の対象物を生じるコードに自動的に変換する段階と
    をコンピュータに実行させるためのプログラム。
  17. 前記物理的な対象物は、前記複数のモジュールコンポーネントを持つ構築キットを持つユーザにより構築される対象物を含み、前記複数のモジュールコンポーネントは互いに接続されることで物理的な対象物を生じ、前記複数のモジュールコンポーネントの各々は、対象物の現実のコンポーネントに類似している請求項16に記載のプログラム。
  18. 前記複数のインテリジェントセンサの各々は、検知コンポーネント、データ合成コンポーネント、メモリコンポーネント、送信コンポーネント、および通信バスを含み、前記通信バスは、前記検知コンポーネント、前記データ合成コンポーネント、前記メモリコンポーネント、および前記送信コンポーネント間を通信させる請求項16または17に記載のプログラム。
  19. 前記複数のインテリジェントセンサの1つは、前記複数のインテリジェントセンサの残りとの通信用に少なくとも1つの基地局センサを持ち、
    前記プログラムはさらに、前記基地局センサに、前記複数のインテリジェントセンサの前記残りからの全てのデータを受信させ、前記データを前記コンピューティングデバイス上のソフトウェアモジュールへ入力として送信させる段階を備える請求項16から18のいずれか1項に記載のプログラム。
  20. 少なくとも1つの前記基地局センサは、前記データを前記ソフトウェアモジュールへ入力として送信する前にデータ合成を行う請求項19に記載のプログラム。
  21. 前記検知された前記物理的な対象物の特性、検知された前記物理的な対象物の外形、および前記モジュールコンポーネントの外部表面から検知された前記固有のアドレスに対応する前記データを前記コードへ自動的変換する段階は、前記物理的な対象物の各々のモジュールコンポーネントを、前記各々のモジュールコンポーネントの外部表面から検知された前記固有のアドレスを利用して、仮想世界のモジュールコンポーネントの予め規定されたライブラリの対応する仮想世界のコンポーネントにマッピングして、前記仮想世界の対象物の前記コードを得る段階を含む請求項16から20のいずれか1項に記載のプログラム。
  22. 前記物理的な対象物が少なくとも1つの前記基地局センサに認識される場合、前記検知された前記物理的な対象物の特性、検知された前記物理的な対象物の外形、および前記モジュールコンポーネントの外部表面から検知された前記固有のアドレスに対応する前記データを前記コードへ自動的変換する段階は、前記物理的な対象物を、前記各々のモジュールコンポーネントの外部表面から検知された前記固有のアドレスを利用して、選択された仮想世界の対応する仮想世界の対象物または基本要素へマッピングする段階を含む請求項19に記載のプログラム。
JP2009293556A 2008-12-29 2009-12-24 現実の物理的な対象物を、仮想世界にトランスポートするシステムおよび方法 Expired - Fee Related JP5198423B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/317,737 2008-12-29
US12/317,737 US8754886B2 (en) 2008-12-29 2008-12-29 Systems and methods for transporting physical objects from real physical life into virtual worlds

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013021811A Division JP2013152720A (ja) 2008-12-29 2013-02-06 現実の物理的な対象物を、仮想世界にトランスポートするシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2010231764A JP2010231764A (ja) 2010-10-14
JP5198423B2 true JP5198423B2 (ja) 2013-05-15

Family

ID=42061113

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009293556A Expired - Fee Related JP5198423B2 (ja) 2008-12-29 2009-12-24 現実の物理的な対象物を、仮想世界にトランスポートするシステムおよび方法
JP2013021811A Pending JP2013152720A (ja) 2008-12-29 2013-02-06 現実の物理的な対象物を、仮想世界にトランスポートするシステムおよび方法
JP2014185085A Expired - Fee Related JP5869640B2 (ja) 2008-12-29 2014-09-11 現実の物理的な対象物を、仮想世界にトランスポートするシステムおよび方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2013021811A Pending JP2013152720A (ja) 2008-12-29 2013-02-06 現実の物理的な対象物を、仮想世界にトランスポートするシステムおよび方法
JP2014185085A Expired - Fee Related JP5869640B2 (ja) 2008-12-29 2014-09-11 現実の物理的な対象物を、仮想世界にトランスポートするシステムおよび方法

Country Status (5)

Country Link
US (1) US8754886B2 (ja)
EP (1) EP2202608B1 (ja)
JP (3) JP5198423B2 (ja)
KR (1) KR101087390B1 (ja)
CN (2) CN103488275B (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8754886B2 (en) 2008-12-29 2014-06-17 Intel Corporation Systems and methods for transporting physical objects from real physical life into virtual worlds
CN103702726B (zh) * 2011-05-23 2016-01-13 乐高公司 玩具搭建系统、产生构建指令的方法和数据处理系统
EP3042704B1 (en) * 2011-05-23 2019-03-06 Lego A/S A toy construction system
EP2783340A4 (en) * 2011-11-21 2015-03-25 Nant Holdings Ip Llc SUBSCRIPTION ACCOUNTING SERVICE AND SYSTEMS AND METHOD THEREFOR
US9400569B2 (en) 2011-11-23 2016-07-26 At&T Intellectual Property I, L.P. Three dimensional building blocks
US9443353B2 (en) * 2011-12-01 2016-09-13 Qualcomm Incorporated Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
FR2984561B1 (fr) * 2011-12-15 2014-01-10 Commissariat Energie Atomique Procede et dispositif de conception solide d'un systeme
US9501700B2 (en) 2012-02-15 2016-11-22 Xactware Solutions, Inc. System and method for construction estimation using aerial images
GB201209176D0 (en) * 2012-05-25 2012-07-04 Lunar Lime Ltd Model card
JP6073110B2 (ja) * 2012-11-12 2017-02-01 株式会社ヴェルト 3次元データ生成システム
CA2920251A1 (en) 2013-08-02 2015-02-05 Xactware Solutions, Inc. System and method for detecting features in aerial images using disparity mapping and segmentation techniques
KR102197504B1 (ko) * 2013-12-18 2020-12-31 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
WO2015185629A2 (en) 2014-06-06 2015-12-10 Lego A/S Interactive game apparatus and toy construction system
US20160085518A1 (en) * 2014-09-21 2016-03-24 Jang Hee I Systems and methods for imaging and generation of executable processor instructions based on ordered objects
EP3200886B1 (en) 2014-10-02 2023-09-20 Lego A/S Game system
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US10552550B2 (en) 2015-09-26 2020-02-04 Intel Corporation Technologies for physical programming
US10037085B2 (en) * 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
US10275222B2 (en) 2016-03-15 2019-04-30 Intel Corporation Technologies for physical programming
DK3436773T3 (da) 2016-04-01 2021-07-12 Lego As Legetøjsscanner
CN105978959B (zh) * 2016-04-29 2019-08-30 腾讯科技(深圳)有限公司 虚拟模型展示方法、装置以及系统
GB2550911B (en) 2016-05-27 2021-02-10 Swap Bots Ltd Augmented reality toy
WO2018007369A1 (en) * 2016-07-05 2018-01-11 Lego A/S Method for creating a virtual object
US10074205B2 (en) 2016-08-30 2018-09-11 Intel Corporation Machine creation of program with frame analysis method and apparatus
US10720082B1 (en) 2016-09-08 2020-07-21 Ctskh, Llc Device and system to teach stem lessons using hands-on learning method
KR101911686B1 (ko) * 2016-11-16 2018-10-25 (주)파인원커뮤니케이션즈 디바이스 가상화 시스템 및 방법
CN108245894B (zh) * 2017-12-29 2019-04-30 网易(杭州)网络有限公司 信息处理方法及装置、存储介质、电子设备
US10500496B2 (en) 2018-01-12 2019-12-10 International Business Machines Corporation Physical obstacle avoidance in a virtual reality environment
US11010986B2 (en) * 2018-08-30 2021-05-18 Apple Inc. Virtual object kit
US10888777B2 (en) 2018-10-01 2021-01-12 International Business Machines Corporation Deep learning from real world and digital exemplars
JP6609363B1 (ja) * 2018-11-12 2019-11-20 みんとる合同会社 建造物設計支援装置、建造物設計支援方法、及び建造物設計支援システム
US10994201B2 (en) * 2019-03-21 2021-05-04 Wormhole Labs, Inc. Methods of applying virtual world elements into augmented reality
US11094113B2 (en) 2019-12-04 2021-08-17 Geomni, Inc. Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs
JP7071454B2 (ja) * 2020-08-27 2022-05-19 株式会社バンダイ ゲーム支援システム、プログラム及び情報通信端末
US20220383601A1 (en) * 2021-05-25 2022-12-01 Samsung Electronics Co., Ltd. Virtual avatars and physical object interaction in augmented reality applications

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2642491B2 (ja) 1989-10-25 1997-08-20 株式会社日立製作所 商品仕様決定方法、並びに商品仕様決定見積方法とその装置
JPH09330336A (ja) * 1996-06-11 1997-12-22 Sony Corp 情報処理装置
JP3611239B2 (ja) 1999-03-08 2005-01-19 富士通株式会社 三次元cgモデル作成装置および処理プログラムを記録した記録媒体
US6741245B1 (en) 1999-04-23 2004-05-25 Mitsubishi Electric Research Laboratories, Inc. Method for decorating a virtual model
WO2002035909A2 (en) 2000-11-03 2002-05-10 Siemens Corporate Research, Inc. Video-supported planning and design with physical marker objects sign
US20020107679A1 (en) 2001-02-05 2002-08-08 Koninklijke Philips Electronics N. V. Virtual model generation via physical components
WO2002102484A1 (en) * 2001-06-15 2002-12-27 Walker Digital, Llc Method and apparatus for planning and customizing a gaming experience
US20020196250A1 (en) 2001-06-20 2002-12-26 Gateway, Inc. Parts assembly for virtual representation and content creation
JP2003216981A (ja) * 2002-01-25 2003-07-31 Iwane Kenkyusho:Kk 自動作業システム
JP2004326384A (ja) 2003-04-24 2004-11-18 Mitsubishi Electric Corp データ変換装置及びデータ変換方法及びデータ変換プログラム
CN1657884A (zh) 2004-02-20 2005-08-24 林金 一种物位传感器的测量方法及其装置
US20050280534A1 (en) * 2004-06-16 2005-12-22 Navarro Pamela W Clothing item registration system
JP2006230603A (ja) 2005-02-23 2006-09-07 Canon Inc 撮像装置、生体認証システム及び画像取得方法
CN100465999C (zh) 2006-10-26 2009-03-04 上海交通大学 基于激光扫描的沉箱三维场景重建与挖掘机避碰系统
JP2008261755A (ja) * 2007-04-12 2008-10-30 Canon Inc 情報処理装置、情報処理方法
CN201111049Y (zh) * 2007-06-27 2008-09-03 中国科学院遥感应用研究所 一种数字地球原型系统
CN101127657B (zh) * 2007-07-16 2011-01-05 江南大学 自主移动传感器网络动态建模与控制技术
CN101118654B (zh) * 2007-09-19 2010-09-08 中国科学院上海微系统与信息技术研究所 基于传感器网络的机器视觉计算机模拟仿真系统
US8159662B2 (en) * 2007-10-24 2012-04-17 Exelis Inc. Systems and methods for remote unmanned raman spectroscopy
CN101174332B (zh) * 2007-10-29 2010-11-03 张建中 一种将真实世界实时场景与虚拟现实场景结合交互的方法和装置以及系统
US8228170B2 (en) 2008-01-10 2012-07-24 International Business Machines Corporation Using sensors to identify objects placed on a surface
US8754886B2 (en) 2008-12-29 2014-06-17 Intel Corporation Systems and methods for transporting physical objects from real physical life into virtual worlds
EP3042704B1 (en) 2011-05-23 2019-03-06 Lego A/S A toy construction system
CN103702726B (zh) 2011-05-23 2016-01-13 乐高公司 玩具搭建系统、产生构建指令的方法和数据处理系统

Also Published As

Publication number Publication date
KR20100080386A (ko) 2010-07-08
JP2010231764A (ja) 2010-10-14
US20100164953A1 (en) 2010-07-01
US8754886B2 (en) 2014-06-17
EP2202608A1 (en) 2010-06-30
JP2013152720A (ja) 2013-08-08
KR101087390B1 (ko) 2011-11-25
CN101794423B (zh) 2013-10-23
EP2202608B1 (en) 2016-08-24
CN103488275A (zh) 2014-01-01
CN103488275B (zh) 2018-10-16
JP5869640B2 (ja) 2016-02-24
CN101794423A (zh) 2010-08-04
JP2015018567A (ja) 2015-01-29

Similar Documents

Publication Publication Date Title
JP5198423B2 (ja) 現実の物理的な対象物を、仮想世界にトランスポートするシステムおよび方法
JP6951400B2 (ja) コンテンツ認識フォトフィルタを供給するための装置および方法
CN105637564B (zh) 产生未知对象的扩增现实内容
CN102148917B (zh) 显示处理装置
CN106991723A (zh) 立体虚拟实境的互动房屋浏览方法及其系统
JP6466347B2 (ja) 個人情報コミュニケータ
JP2003256876A (ja) 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
KR20160062294A (ko) 지도 서비스를 제공하는 전자 장치 및 방법
JP2011018313A (ja) モデルを定義するコンピュータ実行方法、システムおよび方法
CN104081307A (zh) 图像处理装置、图像处理方法和程序
EP3438888A1 (en) Information processing device, information processing method, and information provision method
JP5387668B2 (ja) 情報処理端末、情報処理方法、およびプログラム
US9424361B2 (en) Information communication method and information communication apparatus
US8941767B2 (en) Mobile device and method for controlling the same
CN111640190A (zh) Ar效果的呈现方法、装置、电子设备及存储介质
Kember The Becoming-Photographer in Technoculture
JP7130215B1 (ja) 建築予定建物確認システム
JP2019101494A (ja) データ処理装置、データ構造及びデータ処理方法
KR102214292B1 (ko) 모바일 마케팅 어플리케이션 통합 시스템
CN109672798A (zh) 信息处理装置以及存储媒体
TWI639133B (zh) 使用點雲的室內地圖構建裝置及方法
US20210158595A1 (en) Information processing apparatus, information processing method, and information processing system
CN117974880A (zh) 三维彩色地图构建方法及装置、存储介质、电子设备
JP2021090186A (ja) 情報処理装置、プログラム、情報処理方法および情報処理システム
CN109672799A (zh) 信息处理装置、系统以及存储媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121211

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130110

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5198423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees