JP5521628B2 - モデルを定義するプログラム及びシステム - Google Patents
モデルを定義するプログラム及びシステム Download PDFInfo
- Publication number
- JP5521628B2 JP5521628B2 JP2010037287A JP2010037287A JP5521628B2 JP 5521628 B2 JP5521628 B2 JP 5521628B2 JP 2010037287 A JP2010037287 A JP 2010037287A JP 2010037287 A JP2010037287 A JP 2010037287A JP 5521628 B2 JP5521628 B2 JP 5521628B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- marker
- markers
- semantic information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000003550 marker Substances 0.000 claims description 296
- 230000000007 visual effect Effects 0.000 claims description 108
- 238000000034 method Methods 0.000 claims description 84
- 230000008569 process Effects 0.000 claims description 31
- 238000003780 insertion Methods 0.000 claims description 28
- 230000037431 insertion Effects 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 description 38
- 230000003068 static effect Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 20
- 230000006399 behavior Effects 0.000 description 19
- 238000009877 rendering Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000001125 extrusion Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 239000002023 wood Substances 0.000 description 5
- 239000002184 metal Substances 0.000 description 4
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000012804 iterative process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
・1つまたは複数の通信ネットワークインターフェイス204および1つまたは複数の通信ネットワーク、たとえば、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどを介して、計算デバイス200を他のコンピュータに接続するために用いられるネットワーク通信モジュール(または命令)218
・ユーザインターフェイスモジュール221、画像コレクタアプリケーション222、姿勢エスティメータアプリケーション224、1つまたは複数のマークアップハンドラ227を任意に含むモデルビルダアプリケーション226、3次元(3D)モデルレンダラアプリケーション228、を含むことができるアプリケーション220
・データ230(画像データベース232、マーカデータベース236、姿勢データベース238、意味情報データベース240、モデルレンダリング命令データベース242、挿入可能なアイテムデータベース244、CADデータベース246を含むことができる。)
○画像データベース232(一部の実施形態において、1つまたは複数の画像234および他の情報、たとえば、1つまたは複数の画像に関連付けられる一意の識別子、画像が捕捉されたときに、カメラによって自動的に格納された画像に関するメタデータ、またはユーザによって手動入力されるか、またはシステムによって推定された画像に関するメタデータなどを含んでもよい。)
○マーカデータベース236(一部の実施形態において、1つまたは複数のマーカの区別可能な視覚外観を代表するデータなどのマーカ情報、1つまたは複数のマーカのサイズ、1つまたは複数のマーカに関連付けられる一意の識別子、または複数のマーカ間の関連付けを表す関連付けデータを含んでもよい。)
○姿勢データベース238(一部の実施形態において、1つまたは複数のマーカに関する姿勢情報、1つまたは複数の画像に関する姿勢情報、1つまたは複数の特徴の一意の識別子、1つまたは複数の画像の一意の識別子、1つまたは複数のマーカの区別可能な視覚外観を代表するデータ、または1つまたは複数の画像を代表するデータを含んでもよい。)
○意味情報データベース240(一部の実施形態において、1つまたは複数の特徴の一意の識別子、1つまたは複数の特徴に関連付けられた意味情報(図6を参照して以下にさらに詳細に記載される)を含んでもよい。)
○モデルレンダリング命令データベース242(一部の実施形態において、静的パラメータおよび動的パラメータなどのモデルの態様を含んでもよい。)
○挿入可能なアイテムデータベース244(一部の実施形態において、画像ファイル、3D CADファイル、ビデオファイル、ビデオストリームへのリンクまたは挿入可能なアイテム用のプレースホルダオブジェクトなどの挿入可能なアイテムを代表するデータを含んでもよい。)
○オブジェクトの3D表現のライブラリを含むCADデータベース246
ここで、モデル120を定義するための一部の実施形態による方法の記述に対して注意が向けられる。図3Aは、モデル120を定義するための方法の一実施形態を示すフローチャートである。物理空間の1つまたは複数の画像が収集される(302)。画像234が捕捉されるときに、カメラ215が計算デバイス200に関連付けられる実施形態において、画像234の収集は、自動的に行われてもよい。たとえば、画像234が計算デバイス200に関連付けられるカメラ215によって捕捉され、次に、画像データベース232における画像コレクタアプリケーション222によって格納されてもよい。別の実施形態において、画像234は、計算デバイス200に添付されているかどうかに関係なく、カメラ215によって捕捉されてもよい。手動で捕捉された画像234は次に、ユーザの指示によって画像データベース232に格納されてもよい。ユーザはまた、ユーザインターフェイスモジュール221への入力によって、アプリケーション220またはデータベースに格納されるデータ230に他の修正を加えてもよい。ユーザインターフェイスモジュール221は、他のモジュールおよびアプリケーションと別個であってもよく、または他のモジュールおよびアプリケーションと結合されてもよい。
「意味情報」
図3Aに示されるように、一部の実施形態において、所定のマーカ112−1のサブセットに関連付けられた意味情報データベース240からの意味情報が、識別されてもよい(312)。意味情報は、所定のマーカ112−1またはマーカの集合に特定の意味を与える情報である。この意味情報は、予め割り当てられてもよく、またはマーカが物理空間に配置された(たとえば、物理空間における物理的オブジェクトへの関連付け、モデルにおけるオブジェクトの所望の位置への関連付け、またはモデルの環境特徴に関するモデル態様を示す意味のためにモデル内に配置)後、ユーザによって割り当てられてもよい。
マーカと関連付けられた意味情報が、マーカと関連付けられるオブジェクトの実際の色またはテクスチャを表す情報を含むとき、色またはテクスチャは、「サンプリングされる」、とここでは用いる。サンプリングされた色またはテクスチャは、物理空間における任意の関連付けられた領域の色またはテクスチャに一致あるいは一致しない、マーカに設定された意味に従って、他の領域に適用されてもよい。物理空間の画像からテクスチャをサンプリングすることは、1つの画像(または複数の画像)の領域を抽出することを含む。画像のその抽出された領域は次に、ユーザによって決定された位置でモデルに挿入されてもよい。たとえば、関連付けられるオブジェクトが写真またはディスプレイであることを意味情報が表す場合には、オブジェクトを含む画像234の一部(またはすべて)が、選択され、マーカと関連付けられる追加情報として格納されてもよい。この実施例において、マーカと関連付けられた意味情報は、マーカが壁における矩形の画像(たとえば、絵画またはポスタ)を含む特定の領域と関連付けられることを示してもよく、矩形の画像がサンプリングされることになっていることを表してもよい。画像処理ソフトウェアは次に、マーカと関連付けられる領域における最大の矩形を識別するために用いられ、次に挿入可能なアイテムデータベース244にその矩形の内容の新たな画像を格納し、マーカと関連付けられた意味情報として意味情報データベース240にそのアイテムに対する参照先を配置してもよい。一部の実施形態において、3Dモデルレンダラ228は、その関連付けられる情報を用いて、1つまたは複数の場所でモデル120に矩形の画像(たとえば、絵画またはポスタ)を配置してもよい。他の実施形態において、モデルにおける関連付けられるオブジェクトがピクチャまたはディスプレイであることを意味情報が表す場合には、ピクチャまたはディスプレイを含む領域が、モデル中に示されてもよく、その結果、オブジェクトまたはデータストリームは、その位置に現れるようにするために、ユーザによって選択されることができる。
「姿勢決定」
ここで、画像234における区別可能な視覚特徴112の姿勢の決定に注意が向けられる。区別可能な視覚特徴112の姿勢は、その特徴の位置および向きを含む。デカルト座標系において、区別可能な視覚特徴の姿勢は、特徴の位置(たとえば、x軸、y軸およびz軸に沿ったその位置)のほか、特徴の向き(たとえば、x軸、y軸およびz軸を中心としたその回転)によって定義される。この実施例においてデカルト座標系の使用は、便宜上に過ぎないことを理解されるべきであり、当業者は、ユーザにとって好都合である任意の座標系が、物理空間110における区別可能な視覚特徴の姿勢を一意に識別するために、その配置において用いられることが可能であることを容易に理解するであろう。
「マークアップ言語」
一部の実施形態において、たとえば、本願明細書に記載されるようなマーカと関連付けられた意味情報は、モデルを定義するための豊富なマーカに基づくマークアップ言語を形成するために体系化されてもよい。このマークアップ言語は、モデルを構成することができる基本命令の集合を表す所定のマーカと関連付けられることができる異なる意味を多数含んでもよい。1つのマーカは、複数の関連付けられる意味を有することができる。一部の意味は、1つのマーカではなく、マーカの集合と関連付けられるだけであってもよい。一部の実施形態において、マークアップ言語はまた、モデルの要素を記述するためにマーカがどのようにそれらの関連付けられる意味と結合されることができるかを示す規則も含む。一部の実施形態において、これらの規則は、どのマーカが他のマーカと結合されることができるかを制限してもよく、またはマーカ間の競合をどのように克服するかを示してもよい。一部のマーカは、モデルの1つまたは複数の所望の静的態様を表すために、独立に用いられてもよい。これらのマーカは、モデル態様のさらに複雑な集合を表すために、他のマーカと結合されてもよい。一部の実施形態において、同一のタイプの2つまたはそれ以上のマーカが、モデルの所望の態様を表すために用いられなければならない。他の実施形態において、マーカは、物理空間におけるオブジェクトのサンプリングまたは定義を指示する空間をモデル化するための命令を表してもよく、1つまたは複数のモデル位置でモデルに挿入されることになっている命令を表してもよい。一部の実施形態において、このマークアップ言語は、マーカの意味の2つの主要なカテゴリを有し、静的モデルの態様を決定するためのマーカの意味と、動的モデルの態様を決定するためのマーカの意味と、を有する。一部の実施形態において、静的モデルの態様を決定するためのマーカの意味は、動的モデルの態様を決定するためのマーカの意味と結合されてもよい。
○平面:1つまたは複数のマーカが、同一の平面上にある。この意味情報は、平面を定義するために用いられてもよい。
○画像/テクスチャ/色エクストラクタ:ピクチャまたは掲示板などの画像が位置するエリアを定義するマーカの集合。
○線:線上にあるマーカの集合。
「マーカの位置決め」
ここで、図5A〜図5Dに注意が向けられる。図5A〜図5Dは、物理空間に配置された区別可能な視覚特徴112の例示の実施例を提供する。図5Aにおいて、複数の区別可能な視覚特徴112−Aから112−Lが図5Aおよび図5Bに示されているように、部屋の角などの物理空間に配置される。一部の実施形態において、これらの区別可能な視覚特徴112の1つまたは複数は、所定のマーカである。所定のマーカは、ユーザによって物理空間500における種々の物理的要素と関連付けられてもよい。これらの物理的要素は、物理空間における物理的オブジェクトまたは他の特徴であってもよい。所定のマーカは、物理空間の実際の態様に関する情報を表すために用いられてもよく、またはモデルの所望の態様を表すために用いられてもよい。図5Aにおける物理空間500のブロック図において、物理空間は、第1の壁502と、第1の壁502に連結されるが、第1の壁502とは異なり、窓またはディスプレイまたはポスタまたは他の要素または壁502における特定の関心領域であってもよい要素504と、第2の壁506、オブジェクト508、扉510とを含む。ユーザは、物理空間500に含まれる1つまたは複数の要素と1つまたは複数の所定のマーカを関連付けてもよい。たとえば、ユーザは、第1の壁502と1つまたは複数のマーカ112−B、112−Dを関連付けてもよい。ユーザはまた、窓またはディスプレイまたはポスタまたは壁502とは異なる他の要素であってもよい要素504とマーカ112−Cを関連付けてもよい。あるいは、図5D−1、図5D−2および図5D−3に関して以下に記載するように、ユーザは、要素504とマーカ112−Bを関連付けてもよく、または要素504と1つまたは複数のマーカ112−A、112−B、112−Dおよび112−Eを関連付けてもよい。ユーザはまた、第1の壁502とは異なる第2の壁506とマーカ112−Gを関連付けてもよい。一部の実施形態において、オブジェクト508などの他の要素が、たとえば、マーカ112−Fと関連付けられてもよい。扉510は、1つまたは複数のマーカ112−Jおよび112−Iと関連付けられてもよい。マーカ112−Hでない1つまたは複数の追加の区別可能な視覚特徴が、識別されてもよく、物理空間500の物理的パラメータの決定または物理空間の少なくとも一部に基づくモデルの定義を助けるために用いられてもよい。物理空間500は、本願明細書に記載されていない他の要素を含んでもよく、それらの要素は、所定のマーカに関連付けられてもよく、または関連付けられなくてもよいことは理解されるべきである。
「モデルを定義するユーザが実行する方法」
ここで、図8Bから図8Cに注意が向けられる。図8Bは、一部の実施形態に基づく所定のマーカを含むシートを示すブロック図である。本発明の一部の実施形態によれば、複数の所定の物理的マーカが、作成される。これらの所定のマーカは、物理空間に配置されるように構成されてもよい。これらのマーカの少なくとも一部が、関連付け意味情報を有する。ユーザは、マーカの少なくとも一部を提供され、マーカの一部における第1のマーカは、第1のマーカと関連付けられた意味情報を表す関連付けられるラベルを有する。マーカは、マーカのうちの1つまたは複数を含む画像を分析することによって、モデルを定義するアプリケーションプログラムと共に用いられるように構成される。一部の実施形態において、アプリケーションプログラムは、図2に対して前述した方法に基づいて動作する。一部の実施形態において、意味情報は、モデル態様と、複数の所定のマーカと関連付けられた意味情報を結合するための規則と、を特定するマークアップ言語に基づいて定義される。
「動的指定マーカ」
一部の実施形態において、モデルの態様は、前述したように、静的態様に制限される。他の実施形態において、モデルの態様は、静的態様および動的態様の両方を含んでもよい。一実施形態において、モデルを定義するコンピュータ実行方法は、静的構成における物理空間(たとえば、図1Aの110)の図9の1つまたは複数の画像234を分析することを含む。画像の少なくとも1つは、1つまたは複数の区別可能な視覚特徴(たとえば、図1Aの112)を含む。一部の実施形態において、意味情報は、区別可能な視覚特徴と関連付けられ、モデルは、関連付け意味情報に基づいて定義される。定義されたモデルは、区別可能な視覚特徴の1つまたは複数と関連付けられる少なくとも1つのモデルの態様を含み、モデルの態様は、区別可能な視覚特徴の1つまたは複数と関連付けられる意味情報に基づいて、動的挙動を可能にする。一部の実施形態は、ODE、Newton、PhysXなどのアニメーションのスクリプト記述の提供する、および/または、動的物理モデラを使用する表示アプリケーションにおいて、動的挙動をレンダリングするステップを任意に含む。動的態様を含むモデルにおいて、モデルは、モデルにおける2つまたはそれ以上のオブジェクトの間の関係を定義する連携を含んでもよい。第1のオブジェクトと第2のオブジェクトとの間の連携(たとえば、扉と壁との間の蝶番)は、第1のオブジェクトまたは第2のオブジェクトまたはその両方の位置において制約を課してもよい(たとえば、扉は、扉と壁との間の蝶番を中心として回転するだけであってもよい)。以下にさらに詳細に記載するように、動的態様は、連携の制約、動きの特徴、材料特徴、動的要素の挿入およびモデル環境の動的態様を含んでもよい。
・動的3次元モデルの動的挙動および動的態様に少なくとも部分的に基づくモデルにおけるオブジェクトを決定するための手順を含む、モデル表示アプリケーション904(ODE、Newton、PhysXまたは他の剛体物理モデラなど)または他の動的モデラ(VRMLアニメーションを支援するVRMLブラウザなど)。一部の実施形態において、モデル表示アプリケーションは、Open Dynamics Engineなどの剛体物理エンジンであってもよい。(Open Dynamics Engineは、剛体動性をシミュレートするためのオープンソースの高性能ライブラリである。高度連携タイプを有し、摩擦による統合衝突検出を有する。)一部の実施形態において、動的挙動は、ユーザがモデルにおけるオブジェクトと相互作用することにより入力を提供するとき、モデルの適切な応答を表す情報である。一部の実施形態において、動的態様の挙動は、非物理的であり、物理的モデル化は、必要とされない。たとえば、モデルは、ユーザが扉を単にクリックする場合に、開閉の間で扉が切り替わるスクリプト記述された挙動を有してもよい。あるいは、扉は、サイズ、密度および摩擦および壁との蝶番連携を含む動的態様を有してもよい。これにより、ユーザが「仮想的に」扉を押すことによって扉と相互作用するときに、モデル表示アプリケーションは、扉の挙動をシミュレートすることが可能である。この実施例において、扉を開けるユーザを表す入力がある場合には、扉が回転されてもよく、回転速度は、扉のサイズ、密度および摩擦と共に、ユーザが扉を押す力を表す入力によって決定されてもよい。
112 視覚特徴
120 モデル
202 CPU
224 姿勢エスティメータ
238 姿勢データベース
240 意味情報データベース
Claims (10)
- 複数の区別可能な視覚特徴を含む物理空間中の少なくとも1つの画像を分析する処理であって、前記視覚特徴の少なくとも1つは関連付けられた意味情報を有する所定のマーカであるとともに、前記関連付けられた意味情報は、モデルの態様と、複数のマーカから意味情報を結合するための規則と、を特定するマークアップ言語に基づいて定義されることを特徴とする処理と、
前記関連付けられた意味情報に少なくとも部分的に基づき前記モデルを定義する処理と、
前記マーカの少なくとも1つと関連付けられる前記意味情報に基づいて、前記モデルの非幾何特徴を定義する処理と、
をコンピュータに実行させるためのプログラム。 - 前記物理空間において少なくとも1つの所定のマーカの姿勢を決定する処理と、
前記意味情報と共に、前記所定のマーカの少なくとも1つの姿勢に基づいて、前記モデルの幾何特徴を定義する処理と、
をさらにコンピュータに実行させるための、請求項1に記載のプログラム。 - 前記モデルの態様の少なくとも1つは、前記マーカのサブセットと関連付けられる意味情報に基づいて特定され、
前記サブセットは、少なくとも2つのマーカを含む、
請求項1または2に記載のプログラム。 - 前記マーカの前記サブセットと関連付けられる前記意味情報がサブモデルを定義するために用いられる、請求項3に記載のプログラム。
- 前記所定のマーカの少なくとも1つは挿入マーカであり、
前記挿入マーカの少なくともサブセットに関して、前記サブセットにおける各個別の挿入マーカと関連付けられる前記意味情報が、前記サブモデルの複製が、前記個別の挿入マーカの前記物理空間における姿勢に対して相対的に決定される姿勢を有する前記モデル中に、挿入されることを表す、
請求項4に記載のプログラム。 - 前記マーカの前記サブセットと関連付けられる前記意味情報は、前記モデルに含まれる前記少なくとも1つの画像の領域を表す、請求項3〜請求項5のいずれか1項に記載のプログラム。
- 前記モデルの態様は、モデル構成要素、モデル構成要素の姿勢、または、モデル構成要素の視覚的外観の記述のうちの少なくとも1つである、請求項1〜請求項6のいずれか1項に記載のプログラム。
- 前記区別可能な視覚特徴の少なくとも1つは、画像特徴検出アルゴリズムによって識別される視覚的特徴を含む、請求項1〜請求項7のいずれか1項に記載のプログラム。
- 少なくとも1つの所定のマーカと関連付けられる前記意味情報は、前記少なくとも1つの所定のマーカの位置および向きによって表される姿勢で、挿入可能なアイテムが前記モデルに挿入されることを表す、請求項1〜請求項7のいずれか1項に記載のプログラム。
- 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサによる実行のために少なくとも1つのモジュールを格納するメモリと、
を備え、
前記少なくとも1つのモジュールは、
複数の区別可能な視覚特徴を含む物理空間の少なくとも1つの画像を分析する命令と、
関連付けられた意味情報に少なくとも部分的に基づきモデルを定義する命令と、
を含み、
前記視覚特徴の少なくとも1つは、関連付けられた意味情報を有する所定のマーカであり、
前記関連付けられた意味情報は、モデルの態様と、複数のマーカから意味情報を結合するための規則と、を特定するマークアップ言語に基づいて定義され、
前記マーカの少なくとも1つと関連付けられる前記意味情報に基づいて、前記モデルの非幾何特徴を定義する、
モデルを定義するシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/392,056 | 2009-02-24 | ||
US12/392,056 US8411086B2 (en) | 2009-02-24 | 2009-02-24 | Model creation using visual markup languages |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011018313A JP2011018313A (ja) | 2011-01-27 |
JP2011018313A5 JP2011018313A5 (ja) | 2013-03-14 |
JP5521628B2 true JP5521628B2 (ja) | 2014-06-18 |
Family
ID=42630563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010037287A Expired - Fee Related JP5521628B2 (ja) | 2009-02-24 | 2010-02-23 | モデルを定義するプログラム及びシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8411086B2 (ja) |
JP (1) | JP5521628B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200029145A (ko) * | 2018-09-10 | 2020-03-18 | 한국과학기술원 | 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법 및 장치 |
Families Citing this family (89)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4956375B2 (ja) * | 2007-10-30 | 2012-06-20 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US10936650B2 (en) | 2008-03-05 | 2021-03-02 | Ebay Inc. | Method and apparatus for image recognition services |
US9495386B2 (en) | 2008-03-05 | 2016-11-15 | Ebay Inc. | Identification of items depicted in images |
KR20100138700A (ko) * | 2009-06-25 | 2010-12-31 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
US9164577B2 (en) * | 2009-12-22 | 2015-10-20 | Ebay Inc. | Augmented reality system, method, and apparatus for displaying an item image in a contextual environment |
US9098905B2 (en) * | 2010-03-12 | 2015-08-04 | Google Inc. | System and method for determining position of a device |
US10127606B2 (en) | 2010-10-13 | 2018-11-13 | Ebay Inc. | Augmented reality system and method for visualizing an item |
US9424371B2 (en) * | 2010-11-05 | 2016-08-23 | Autodesk, Inc. | Click to accept as built modeling |
JP5704963B2 (ja) * | 2011-02-25 | 2015-04-22 | 任天堂株式会社 | 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム |
JP5704962B2 (ja) * | 2011-02-25 | 2015-04-22 | 任天堂株式会社 | 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム |
JP2012203786A (ja) * | 2011-03-28 | 2012-10-22 | Tomy Co Ltd | 情報処理装置および情報処理プログラム |
JP5812665B2 (ja) * | 2011-04-22 | 2015-11-17 | 任天堂株式会社 | 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム |
US9218789B1 (en) * | 2011-05-02 | 2015-12-22 | Google Inc. | Correcting image positioning data |
CA2835120C (en) * | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
CN103026328A (zh) * | 2011-05-26 | 2013-04-03 | 松下电器产业株式会社 | 电子设备以及合成图像的编辑方法 |
JP5988563B2 (ja) * | 2011-10-25 | 2016-09-07 | キヤノン株式会社 | 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム |
US9449342B2 (en) | 2011-10-27 | 2016-09-20 | Ebay Inc. | System and method for visualization of items in an environment using augmented reality |
US9240059B2 (en) | 2011-12-29 | 2016-01-19 | Ebay Inc. | Personal augmented reality |
US9396577B2 (en) * | 2012-02-16 | 2016-07-19 | Google Inc. | Using embedded camera parameters to determine a position for a three-dimensional model |
US8966635B2 (en) * | 2012-02-24 | 2015-02-24 | Hewlett-Packard Development Company, L.P. | Software module object analysis |
NL2008490C2 (nl) | 2012-03-15 | 2013-09-18 | Ooms Otto Bv | Werkwijze, inrichting en computerprogramma voor het extraheren van informatie over een of meerdere ruimtelijke objecten. |
US10127722B2 (en) | 2015-06-30 | 2018-11-13 | Matterport, Inc. | Mobile capture visualization incorporating three-dimensional and two-dimensional imagery |
US10163261B2 (en) | 2014-03-19 | 2018-12-25 | Matterport, Inc. | Selecting two-dimensional imagery data for display within a three-dimensional model |
US9786097B2 (en) | 2012-06-22 | 2017-10-10 | Matterport, Inc. | Multi-modal method for interacting with 3D models |
US10139985B2 (en) | 2012-06-22 | 2018-11-27 | Matterport, Inc. | Defining, displaying and interacting with tags in a three-dimensional model |
US10846766B2 (en) | 2012-06-29 | 2020-11-24 | Ebay Inc. | Contextual menus based on image recognition |
US9087401B1 (en) * | 2012-07-16 | 2015-07-21 | Google Inc. | Method of annotation across different locations |
US8854362B1 (en) * | 2012-07-23 | 2014-10-07 | Google Inc. | Systems and methods for collecting data |
US9336541B2 (en) | 2012-09-21 | 2016-05-10 | Paypal, Inc. | Augmented reality product instructions, tutorials and visualizations |
US8928695B2 (en) * | 2012-10-05 | 2015-01-06 | Elwha Llc | Formatting of one or more persistent augmentations in an augmented view in response to multiple input factors |
US10180715B2 (en) | 2012-10-05 | 2019-01-15 | Elwha Llc | Correlating user reaction with at least an aspect associated with an augmentation of an augmented view |
US9111383B2 (en) | 2012-10-05 | 2015-08-18 | Elwha Llc | Systems and methods for obtaining and using augmentation data and for sharing usage data |
US9141188B2 (en) | 2012-10-05 | 2015-09-22 | Elwha Llc | Presenting an augmented view in response to acquisition of data inferring user activity |
US9077647B2 (en) | 2012-10-05 | 2015-07-07 | Elwha Llc | Correlating user reactions with augmentations displayed through augmented views |
US10269179B2 (en) | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
US10713846B2 (en) | 2012-10-05 | 2020-07-14 | Elwha Llc | Systems and methods for sharing augmentation data |
US9928652B2 (en) | 2013-03-01 | 2018-03-27 | Apple Inc. | Registration between actual mobile device position and environmental model |
US9679414B2 (en) | 2013-03-01 | 2017-06-13 | Apple Inc. | Federated mobile device positioning |
US9171401B2 (en) * | 2013-03-14 | 2015-10-27 | Dreamworks Animation Llc | Conservative partitioning for rendering a computer-generated animation |
US9224239B2 (en) * | 2013-03-14 | 2015-12-29 | Dreamworks Animation Llc | Look-based selection for rendering a computer-generated animation |
US9659398B2 (en) | 2013-03-15 | 2017-05-23 | Dreamworks Animation Llc | Multiple visual representations of lighting effects in a computer animation scene |
US9230294B2 (en) * | 2013-03-15 | 2016-01-05 | Dreamworks Animation Llc | Preserving and reusing intermediate data |
US9811936B2 (en) | 2013-03-15 | 2017-11-07 | Dreamworks Animation L.L.C. | Level-based data sharing for digital content production |
US9626787B2 (en) | 2013-03-15 | 2017-04-18 | Dreamworks Animation Llc | For node in render setup graph |
US9589382B2 (en) | 2013-03-15 | 2017-03-07 | Dreamworks Animation Llc | Render setup graph |
US9514562B2 (en) | 2013-03-15 | 2016-12-06 | Dreamworks Animation Llc | Procedural partitioning of a scene |
US9208597B2 (en) | 2013-03-15 | 2015-12-08 | Dreamworks Animation Llc | Generalized instancing for three-dimensional scene data |
US9218785B2 (en) | 2013-03-15 | 2015-12-22 | Dreamworks Animation Llc | Lighting correction filters |
US9786246B2 (en) | 2013-04-22 | 2017-10-10 | Ar Tables, Llc | Apparatus for hands-free augmented reality viewing |
US9958858B2 (en) | 2013-05-31 | 2018-05-01 | Ice Edge Business Solutions, Ltd. | Associating computer-executable objects with three-dimensional spaces within an architectural design environment |
WO2014191828A1 (en) * | 2013-05-31 | 2014-12-04 | Dirtt Environmental Solutions Inc. | Automatically resolving boundaries within an architectural design environment |
EP2818948B1 (en) * | 2013-06-27 | 2016-11-16 | ABB Schweiz AG | Method and data presenting device for assisting a remote user to provide instructions |
US10387729B2 (en) * | 2013-07-09 | 2019-08-20 | Outward, Inc. | Tagging virtualized content |
US9934611B2 (en) * | 2013-09-11 | 2018-04-03 | Qualcomm Incorporated | Structural modeling using depth sensors |
US10026001B2 (en) * | 2013-09-25 | 2018-07-17 | Intel Corporation | Systems and methods for mapping |
US9836885B1 (en) | 2013-10-25 | 2017-12-05 | Appliance Computing III, Inc. | Image-based rendering of real spaces |
US9530250B2 (en) * | 2013-12-10 | 2016-12-27 | Dassault Systemes | Augmented reality updating of 3D CAD models |
US9767228B2 (en) * | 2014-01-22 | 2017-09-19 | Honeywell International Inc. | Determining a deployment of an access control system |
EP3111423A4 (en) * | 2014-02-28 | 2018-01-03 | 3M Innovative Properties Company | Method and system for simulating an image of a wall to be painted |
WO2015191112A1 (en) | 2014-06-09 | 2015-12-17 | Dirtt Environmental Solutions Inc. | Associating computer-executable objects with timber frames within an architectural design environment |
JP2016058043A (ja) * | 2014-09-12 | 2016-04-21 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
CA3025312A1 (en) * | 2016-05-24 | 2017-11-30 | Morphotrust Usa, Llc | Shape detection |
GB2550911B (en) * | 2016-05-27 | 2021-02-10 | Swap Bots Ltd | Augmented reality toy |
US10488195B2 (en) * | 2016-10-25 | 2019-11-26 | Microsoft Technology Licensing, Llc | Curated photogrammetry |
CN106504629B (zh) * | 2016-11-04 | 2019-05-24 | 快创科技(大连)有限公司 | 一种基于增强现实技术的汽车组装演示记忆系统 |
US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
EP4300160A3 (en) | 2016-12-30 | 2024-05-29 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
US10534962B2 (en) * | 2017-06-17 | 2020-01-14 | Matterport, Inc. | Automated classification based on photo-realistic image/model mappings |
US10628997B2 (en) | 2017-08-24 | 2020-04-21 | Emilio Santos | Method for generating three-dimensional models from constrained sketches and an instruction set |
KR20230152180A (ko) | 2017-12-10 | 2023-11-02 | 매직 립, 인코포레이티드 | 광학 도파관들 상의 반사―방지 코팅들 |
US10755676B2 (en) | 2018-03-15 | 2020-08-25 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
JP7381556B2 (ja) * | 2018-03-27 | 2023-11-15 | スペースドラフト・プロプライエタリー・リミテッド | メディアコンテンツ計画システム |
US11885871B2 (en) | 2018-05-31 | 2024-01-30 | Magic Leap, Inc. | Radar head pose localization |
US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
US10795458B2 (en) | 2018-08-03 | 2020-10-06 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
US11010919B2 (en) | 2018-09-20 | 2021-05-18 | Ford Global Technologies, Llc | Object locator with fiducial marker |
US11144112B2 (en) * | 2019-04-23 | 2021-10-12 | City University Of Hong Kong | Systems and methods for creating haptic proxies for use in virtual reality |
EP3963565A4 (en) * | 2019-05-01 | 2022-10-12 | Magic Leap, Inc. | CONTENT DELIVERY SYSTEM AND PROCEDURES |
CN112489185B (zh) * | 2019-08-20 | 2023-12-12 | 黎欧思照明(上海)有限公司 | 一种基于空间数据采集的集成灯光建模方法 |
KR20210036574A (ko) * | 2019-09-26 | 2021-04-05 | 삼성전자주식회사 | 자세 추정 방법 및 장치 |
AU2021229706A1 (en) | 2020-03-06 | 2022-04-28 | Yembo, Inc. | Systems and methods for building a virtual representation of a location |
DE102020111567A1 (de) * | 2020-04-28 | 2021-10-28 | Salamander Industrie-Produkte Gmbh | Verfahren zum Auslegen eines Bauelements und Messsystem |
US11743340B2 (en) * | 2020-06-10 | 2023-08-29 | Snap Inc. | Deep linking to augmented reality components |
US20220134222A1 (en) * | 2020-11-03 | 2022-05-05 | Nvidia Corporation | Delta propagation in cloud-centric platforms for collaboration and connectivity |
US20220413433A1 (en) * | 2021-06-28 | 2022-12-29 | Meta Platforms Technologies, Llc | Holographic Calling for Artificial Reality |
US11934569B2 (en) * | 2021-09-24 | 2024-03-19 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
KR20230147312A (ko) * | 2022-04-14 | 2023-10-23 | 주식회사 피아몬드 | 가상 공간에서 프라이버시 제공을 위한 방법 및 시스템 |
US11995789B2 (en) * | 2022-06-15 | 2024-05-28 | VRdirect GmbH | System and method of creating, hosting, and accessing virtual reality projects |
US20240073372A1 (en) * | 2022-08-31 | 2024-02-29 | Snap Inc. | In-person participant interaction for hybrid event |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11288343A (ja) * | 1998-04-02 | 1999-10-19 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
JP2000331189A (ja) * | 1999-05-20 | 2000-11-30 | Hitachi Ltd | 仮想3次元空間構成方法および記憶媒体 |
US6765569B2 (en) * | 2001-03-07 | 2004-07-20 | University Of Southern California | Augmented-reality tool employing scene-feature autocalibration during camera motion |
JP4418225B2 (ja) * | 2003-12-18 | 2010-02-17 | オリンパス株式会社 | 情報呈示システム |
JP3899375B2 (ja) * | 2004-09-03 | 2007-03-28 | 国立大学法人北陸先端科学技術大学院大学 | 表示制御装置 |
US20090128553A1 (en) * | 2007-11-15 | 2009-05-21 | The Board Of Trustees Of The University Of Illinois | Imaging of anatomical structures |
-
2009
- 2009-02-24 US US12/392,056 patent/US8411086B2/en active Active
-
2010
- 2010-02-23 JP JP2010037287A patent/JP5521628B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200029145A (ko) * | 2018-09-10 | 2020-03-18 | 한국과학기술원 | 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법 및 장치 |
KR102095120B1 (ko) | 2018-09-10 | 2020-03-30 | 한국과학기술원 | 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
US20100214284A1 (en) | 2010-08-26 |
JP2011018313A (ja) | 2011-01-27 |
US8411086B2 (en) | 2013-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5521628B2 (ja) | モデルを定義するプログラム及びシステム | |
Sahu et al. | Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review | |
Bhattacharya et al. | Augmented reality via expert demonstration authoring (AREDA) | |
US6333749B1 (en) | Method and apparatus for image assisted modeling of three-dimensional scenes | |
US11200457B2 (en) | System and method using augmented reality for efficient collection of training data for machine learning | |
US7193633B1 (en) | Method and apparatus for image assisted modeling of three-dimensional scenes | |
US11989848B2 (en) | Browser optimized interactive electronic model based determination of attributes of a structure | |
CN110929310A (zh) | 一种云端图纸智能生成及编辑方法 | |
CN110209864B (zh) | 三维立体模型测量改尺标注重新建模的网络平台系统 | |
Czerniawski et al. | 3DFacilities: annotated 3D reconstructions of building facilities | |
CN115482322A (zh) | 生成合成训练数据集的计算机实现方法和系统 | |
Buls et al. | Generation of synthetic training data for object detection in piles | |
Johri et al. | Marker-less augmented reality system for home interior and designing | |
Chen et al. | Research on the augmented reality system without identification markers for home exhibition | |
Navares-Vázquez et al. | Virtual seeds for indoor point cloud segmentation with hololens 2 | |
US11823328B2 (en) | Three-dimensional (3D) model generation from computer-aided design (CAD) data | |
Qu et al. | LLN-SLAM: A Lightweight Learning Network Semantic SLAM | |
Lee et al. | Using an LCD Monitor and a Robotic Arm to Quickly Establish Image Datasets for Object Detection | |
Keaveny | Experimental Evaluation of Affordance Detection Applied to 6-DoF Pose Estimation for Intelligent Robotic Grasping of Household Objects | |
Peleka et al. | Generating 2.5 D photorealistic synthetic datasets for training machine vision algorithms | |
Ruiz et al. | A tool for building multi-purpose and multi-pose synthetic data sets | |
Lv et al. | Indoor robot 3D scene reconstruction optimization using planar features | |
de Hoog et al. | CAD2X-A Complete, End-to-End Solution for Training Deep Learning Networks for Industrial Applications | |
Yang et al. | Virtual Reconstruction of Museum Spatial Information Based on Unity3D | |
Chen | Web-based Deep Segmentation of Building Structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130128 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140324 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5521628 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |