JP6113718B2 - 構造要素モデルの組立指示の生成 - Google Patents

Description

本発明は、玩具構造モデルの組立指示の生成に関する。

物理的な構造の玩具セットの様々な既知のタイプのモデリング構想が存在する。特に、モジュール式又は半モジュール式を用いる構想は、興味深くやりがいのあるプレイ体験を提供するので、非常に人気がある。通常、これらの構想は予め製造された構造要素のセットを提供し、その構造要素は、予め製造された要素のモジュールにより、何らかの所定の形で互いに相互接続することができる。予め製造された要素は、特定のモデリングタスクに適合された既知の物体と類似させることができる。このため、例えば家のモデルを組み立てる際、その要素は、壁のれんが、屋根のタイル、ドア、及び窓と類似させることができる。このように要素を選択する目的は、新たなモデルが作製されるべきである度に家の全ての詳細が画定される状況と比較し、家のモデルを組み立てることを伴う作業を大幅に低減することである。しかしながら、家又は別の物体を組み立てる際の完全な自由度は、モデルを組み立てる簡単さとトレードオフされる。

例えば、ＬＥＧＯという名称で市販されている玩具構造セットは、突起部及び対応する空洞部の形の結合手段を有する複数の異なるタイプの相互接続可能な構造要素を含む。結合手段は、規則的な格子パターンに従って配列され、これによって、構造要素間の多岐にわたる相互接続を可能にする。

通常、そのような玩具構造セットは、１つ又は複数の構造要素モデル、例えば動物、ロボット、又は別の生き物、自動車、航空機、宇宙船、建物等を作製するのに適した１組の構造要素を含む。通常、構造セットは、そのセットの構成要素から或る特定のモデルをどのように構造するかを示す印刷された組立説明書又は組付説明書を含む。

通常、玩具構造セット内に同封される組立説明書は、どのように及びどの順序で構造要素をモデルに加えるかをステップごとに示す一連の図を備える。そのような組立説明書は、玩具構造セットにおける経験があまりない及び／又は読解力がない子供であっても辿ることが簡単であるという利点を有する。

しかしながら、そのような組立説明書は、大きな労力を要し、製造コストが高いという不利な点を有する。通常、組立説明書が作成されることになるモデルは、妥当な組立ステップに分解され、その後、各組立ステップがＣＡＤシステムにおいて描画され、最後に印刷される。

より最近では、組立説明書は印刷された形式ではなく電子的に生成されている。特に、より複雑な組立ステップが動画にされた動画組立指示である。しかしながら、独自のモデルを作成するかモデルを異なる形で再組立するように子供達を鼓舞し、それによってそのプレイ価値を高める玩具構造セットを提供するという問題が残っている。

玩具構造要素を脱着可能に相互接続する結合手段を有する１組の玩具構造要素を備える玩具構造システムの実施形態が本明細書において開示される。玩具構造システムの実施形態は、画像捕捉手段と処理手段と表示手段とを有するデータ処理システムを備え、
データ処理システムは、
玩具構造要素のサブセットから構築された部分的玩具構造モデルの画像を捕捉し、
捕捉画像を処理して、部分的玩具構造モデルの少なくとも位置及び向きを検出し、
それぞれ部分的玩具構造モデルに接続可能な１組の後続の構造要素のうちの少なくとも１つのユーザー選択を示すユーザー選択を特定し、
部分的玩具構造モデルの検出された位置及び向きに応じて、少なくとも選択された後続の構造要素の画像が重ね合わされた捕捉画像を含む合成画像を表示手段上に表示する、
ように構成される。

このため、ユーザーは、これまで組み立てられた部分的モデルの画像と、１組の可能な選択的な後続の構造要素、すなわち１組の選択的な継続から１つ又は複数の後続の構造要素を選択する選択肢とを提示される。このため、後続の構造要素は選択的な後続の構造要素とすることができる。

その結果、ユーザーが利用できる可能な構築パスの数、更に場合によっては結果として得られる玩具モデルの数が増大し、それによって多岐にわたる様々な組立体験が可能になる。

システムがユーザー選択を検出し、現在の部分的モデルの検出された位置及び向きに応じて、現在の部分的構造モデルの捕捉画像に対し重ね合わされた、少なくとも選択された後続の構造要素を表示するので、システムは、選択された後続の構造要素をどこでどのように接続することができるかに関する明確でわかりやすいガイダンスをユーザーに提供することができる。

いくつかの実施形態では、データ処理システムは、部分的玩具構造モデルに対し或る位置及び向きにおいて、少なくとも選択された後続の構造要素の画像が重ね合わされた捕捉画像を含む合成画像を上記表示手段上に表示するように動作可能とすることができる。この合成画像は、上記後続の構造要素が部分的玩具構造モデルに結合されていることに対応する。

いくつかの実施形態では、データ処理システムは、部分的構造モデルのデジタル表現を取得し、取得したデジタル表現に応じて、例えば１組の後続の構成要素の画像と重ね合わされた捕捉画像の合成画像を表示することによって、１組の後続の構造要素のそれぞれの画像を表示するように動作可能とすることができる。デジタル表現の例には、識別子、又は部分的玩具構造モデルを識別する他の適切なデータ構造が含まれる。

データ処理システムは、部分的玩具構造モデルのデジタル表現から、及び特定されたユーザー選択から、更新された部分的玩具構造モデルのデジタル表現を生成するように動作可能とすることができる。このため、それぞれの後続の構造要素の検出されたユーザー選択に基づいて、データ処理システムは、いずれの構築パスをユーザーが辿ったかを判断することができ、これによって、ユーザーが選択された後続の構造要素をデータ処理システムによって表示される組立指示に従って現在の部分的構造モデルに結合するときに、ユーザーがいずれの後続の部分的玩具構造モデルに到達したかを特定する。したがって、部分的構造モデルのデジタル表現を得ることは、以前の部分的玩具構造モデルのデジタル表現から、及び以前のユーザー選択から部分的玩具構造モデルのデジタル表現を決定するか又は生成することを含むことができる。

いくつかの実施形態では、データ処理システムは、上記デジタル表現から、及び複数の構築ステップシーケンスを示すデータ構造から１組の後続の構造要素を決定するように構成することができる。各シーケンスの結果として、玩具構造セットから構築可能な１組の選択的構造モデルのうちの１つが得られる。いくつかの実施形態では、デジタル表現はデータ構造に含めることができる。例えば、データ構造は、例えばノード及びエッジを含む非輪状有向グラフを表す任意の適切なツリーデータ構造とすることができ、ここで各ノードは玩具構造モデルを表し、第１のノード及び第２のノードを接続する各エッジは、第２のノードによって表される（部分的）玩具構造要素に到達するように第１のノードによって表される部分的玩具構造モデルに接続可能な１つ又は複数の後続の構造要素の接続を表す。

いくつかの実施形態では、捕捉画像を処理して部分的玩具構造モデルの少なくとも位置及び向きを検出することは、少なくとも１つの拡張現実（ＡＲ）マーカーを検出することと、検出された少なくとも１つの拡張現実マーカーから玩具構造モデルの位置及び向きを決定することとを含む。

データ処理システムは、複数の異なる方法でユーザー選択を特定するように動作可能とすることができる。例えば、ユーザーは適切なユーザー入力によって、例えばコンピューターマウス等のポインティングデバイスを用いて後続の構造要素の表示画像上を指すか又はクリックすることによって、ユーザー選択を示すことができる。代替的に又は付加的に、いくつかの実施形態では、捕捉画像を処理することは、少なくとも１つの加えられた構造要素を特定することを含み、データ処理システムは、上記特定された加えられた構造要素からユーザー選択を決定するように構成することができる。このため、ユーザーは単に、選択された物理的な後続の構造要素を物理的な部分的構造モデルに結合することができる。データ処理システムは、いずれの後続の構造要素がモデルに加えられたかを検出すると、選択された後続の構造要素が検出された構造要素であると決定することができる。いくつかの実施形態では、データ処理システムは部分的玩具構造モデルに対する加えられた構造要素の位置及び／又は向きを更に検出することができる。

幾つかの実施形態では、少なくとも１つの加えられた構造要素を特定することは、加えられた構造要素に含まれる拡張現実マーカーを検出することを含む。

本発明は、上記及び下記で説明される玩具構造システムと、データ処理システムと、方法と、更なる製造手段とを含む様々な形で実施することができる。これらはそれぞれが、最初に述べた玩具構造システムとの関連で説明される利益及び利点のうちの１つ又は複数をもたらし、それぞれが最初に述べた玩具構造システムとの関連で説明される及び／又は従属請求項において開示される好ましい実施形態に対応する１つ又は複数の好ましい実施形態を有する。

特に、本明細書において説明される方法の特徴は、ソフトウェアで実施することもできるし、データ処理システム、又はコンピューター実行可能命令の実行によって生じる他の処理手段において実行することもできる。命令は、ＲＡＭ等のメモリにおいて、記憶媒体から、又はコンピューターネットワークを介して別のコンピューターからメモリにロードされたプログラムコード手段とすることができる。代替的に、説明される特徴は、ソフトウェアの代わりにハードウェアに組み込まれた回路によって実施することもできるし、ソフトウェアと組み合せて実施することもできる。

したがって、本発明は更に、上記及び下記で説明される方法を実行するように構成されたデータ処理システムに関する。本発明は更に、コンピューター上で実行されると、上記及び下記で説明される方法のステップの全てを実行するプログラムコード手段を備えるコンピュータープログラムに関する。本発明は更に、コンピューター上で実行されると、上記及び下記で説明される方法を実行するプログラムコード手段を備えるコンピュータープログラム製品に関する。プログラムコード手段は、コンピューター可読媒体上に記憶することができ、及び／又は伝搬されるデータ信号として具現化することができる。

本発明の態様は、好ましい実施形態に関連して、図面を参照して以下でより詳細に説明される。

ａからｄは、従来技術による玩具組立ブリックを示す図である。 本明細書において開示されるようなコンピューターシステムの一実施形態を示す図である。 玩具構造モデルの組立指示を表示するステップのプロセスの一実施形態の流れ図である。 玩具構造モデルを組み立てる構築プロセスの構築ステップの複数の選択的シーケンスをデジタルで表すデータ構造の一実施形態を示す図である。 玩具構造モデルを組み立てる構築プロセスの構築ステップの複数の選択的シーケンスをデジタルで表すデータ構造の一実施形態を示す図である。 本明細書において開示されるようなコンピューターシステムのディスプレイの表示エリアの一例を示す図である。 玩具組立ブリックの形態の玩具構造要素を示す図である。 ａおよびｂは、マーカー構造要素を玩具構造モデルの別の玩具構造要素にどのように結合することができるかを示す図である。 ａからｇは、複合マーカー構造要素の例を示す図である。 規則的な格子を画定する玩具構造システムの一例を示す図である。 規則的な格子を画定する玩具構造システムの一例を示す図である。

ここで、本明細書において開示される玩具構造システムの様々な態様及び実施形態を、ブリックの形態の玩具構造要素を参照して説明する。しかしながら、本発明は玩具構造セットにおいて用いられる他の形態の構造要素に適用することもできる。

図１のａからｄはそれぞれ、上面の結合スタッド１０５と、底面からブリック内に延在する空洞部１０２とを有する従来技術による玩具組立ブリックを示している。図１のａ及びｂは玩具組立ブリックの上面側を示し、図１のｂは同じ玩具組立ブリックの底面側を示している。図１のｃ及びｄは、異なる大きさの類似した玩具組立ブリックの例を示している。空洞部は中央のチューブ１０３を有し、米国特許第３００５２８２号に開示されているように、別のブリックの結合スタッドを摩擦による係合で空洞部内に受容することができる。残りの図面に示す組立ブリックは、この既知のタイプの結合手段を、協働するスタッド及び空洞部の形態で有することができる。しかしながら、他のタイプの結合手段も用いることができる。結合スタッドは正方形の平面状の格子に配列され、すなわち、直交方向を画定しており、一連の結合スタッドがその直行方向に沿って配列されている。概して、結合要素のそのような配列によって、玩具ブリックが互いに対し離散的な向き、特に互いに対し直角に相互接続されることが可能になる。結合要素の他の幾何学的配列により、結果として様々な向きの制約が生じる場合があることが理解されよう。例えば、結合要素は三角形に配列される場合があり、規則的な格子により組立要素が３つの異なる向きで別の組立要素上に配置されることを可能にする。

概して、結合手段は、結合要素の様々なクラス、例えば、コネクター、レセプター及び混合要素にグループ化することができる結合要素を備えることができる。コネクターは、別の構造要素のレセプターによって受容されることができ、それによって構造要素間の接続を提供する結合要素である。例えば、コネクターは別の要素の部品間、穴の中等に嵌合することができる。レセプターは、別の構造要素のコネクターを受容することができる結合要素である。混合要素は、通常他の構造要素の協働する接続要素のタイプに応じて、レセプター及びコネクターの双方として機能することができる部品である。

図１に示すタイプの構造要素は、ＬＥＧＯという名称で多岐にわたる形状、大きさ及び色で市販されている。さらに、そのような構造要素は、多岐にわたる異なる結合要素とともに市販されている。上記の構造要素は可能な構造要素の例としての役割であるにすぎないことを理解されたい。

図２は、コンピューターシステムの例の概略図を示している。コンピューターシステムは、適切にプログラムされたコンピューター１５及びディスプレイ１を備える。コンピューターは、パーソナルコンピューター、デスクトップコンピューター、ラップトップコンピューター、ハンドヘルドコンピューター、ゲームコンソール、ハンドヘルド娯楽デバイス又は任意の他の適切にプログラム可能なコンピューターとすることができる。ディスプレイ１は、コンピューター１５に統合するか又は他の形で動作可能に結合することができ、コンピューター１５の制御下でビデオ画像を表示するように動作可能とすることができる。

コンピューターは、キーボード３、マウス２、又はタッチパッド、トラックボール、ライトペン、タッチスクリーン等の他のポインティングデバイス等の更なる周辺デバイスを備えることができるか又は他の形でそれらに動作可能に結合することができることが理解されよう。

コンピューターシステムは、本明細書において説明される拡張現実システムの実施を容易にするように構成される。この目的で、コンピューター１５はビデオカメラ５を備えるか又は他の形でビデオカメラ５に動作可能に結合される。ビデオカメラ５は、ビデオカメラが配置されている環境、例えば、表面４、例えば机の上、床等の可視表面エリア８を含む視野７のビデオ画像を捕捉するように動作可能である。このため、可視表面エリア８は表面４に対するビデオカメラの視野の投影である。ビデオカメラは、捕捉ビデオ画像を、例えばコンピューター１５の適切な入力インターフェースを介して、コンピューター１５の処理ユニットに転送するように動作可能である。例えば、ビデオカメラは、コンピューター１５に接続又は統合されたウェブカメラとすることができる。図２の例では、ビデオカメラは、表面４の上方の所定の高さにカメラを支持する三脚等のカメラ支持体６の上に位置決めされる。

ここで、ビデオカメラ５は、このビデオカメラが配置されている環境８のビデオ画像を捕捉し、捕捉ビデオ画像をコンピューター１５に転送する。例えば、ビデオカメラが配置されている環境は玩具構造モデル１０を備えることができる。玩具構造モデル１０に加えて、環境は、他の日用品、玩具等の更なる物体を備える場合がある。

次に、コンピューター画像はコンピューター１５によってディスプレイ１上に表示される。したがって、ユーザーは玩具構造モデル１０をビデオカメラ５の視野の方々で動かし、及び／又は他の形で玩具構造モデルを視野内で操作し、玩具構造モデルのビデオカメラ５からのライブビデオを見ることができる。代替的に又は付加的に、ユーザーは、様々な位置からの（例えば静止した）玩具構造モデルの画像を捕捉するように、ビデオカメラの位置及び／又は向きを変更することができる。それに加えて、コンピューターは、捕捉ビデオ画像を、コンピューターのハードディスク等のストレージデバイス上に記憶し、及び／又は捕捉ビデオを、例えばコンピューターネットワークを介して別のコンピューターに転送するように動作可能とすることができる。例えば、コンピューターは捕捉ビデオ画像をウェブサイトにアップロードするように動作可能とすることができる。

コンピューター１５は、拡張現実組立指示モードで動作するように適切にプログラムされ、拡張現実組立指示モードでは、コンピューターは捕捉ビデオ画像内の１つ又は複数の所定の拡張現実マーカー又はタグを検出するように、その捕捉ビデオ画像に対する画像処理を実行する。

少なくとも検出されたＡＲマーカーに応じて、コンピューターは、変更されたビデオ画像、例えば捕捉ビデオ画像にコンピューター生成画像を重ね合わされたものとして形成されるビデオ画像、又は捕捉ビデオ画像の少なくとも一部分がコンピューター生成画像によって置き換えられているビデオ画像を生成するようにプログラムすることができる。コンピューター１５は、変更されたビデオ画像をディスプレイ１上に表示するように動作可能である。本説明の目的で、ビデオカメラ及びディスプレイに動作可能に接続されたＡＲ機能を実装するように動作可能なコンピューターは、ＡＲシステムとも呼ばれる。

ＡＲマーカーを検出し、検出されたＡＲマーカーに応じて変更されたビデオ画像を生成する画像処理方法は、それ自体が当該技術分野において既知である（例えば、Daniel Wagner and Dieter Schmalstieg ”ARToolKitPlus for Pose Tracking on Mobile Devices” omputer Vision Winter Workshop 2007, Michael Grabner, Helmut Grabner (eds.), St. Lambrecht, Austria, February 6-8, Graz Technical University を参照されたい）。

図２の例では、物理的玩具構造モデル１０は、マーカー構造要素１１が連結された玩具構造要素９を備える。マーカー構造要素１１はその上面に、二次元機械可読コードの形態の印を有する。

コンピューター１５は、捕捉画像内の２次元機械可読コードの存在を検出するように動作可能である。さらに、コンピューター１５は、ビデオカメラ５の位置に対する２次元機械可読コードの相対的な位置及び向きを決定することができる。

したがって、コンピューター１５は、玩具構造モデルの捕捉画像を変更することができ、結果として変更されたビデオ画像１２がディスプレイ１上に表示される。この例では、変更された画像は玩具構造モデルの捕捉画像１３及び捕捉画像に重ね合わされたコンピューター生成画像要素１４ａ及び１４ｂを示している。コンピューターは、マーカー構造要素１１のＡＲマーカーの検出された位置及び向きから決定されたとおりのビデオ画像１２内の位置及び向きにおいてコンピューター生成画像要素を生成する。

ユーザーが、ビデオカメラの投影エリア８内で、物理的玩具構造モデル１０を、例えばその物理的モデルを動かし及び／又は回転させることによって操作すると、コンピューター１５は物理的な玩具のマーカー構造要素１１の印の位置及び向きを追跡する。コンピューター１５はビデオカメラ（ミラーモード）のライブビデオフィードをディスプレイ１上に表示し、印の検出された位置及び向きに応じて、ライブビデオフィードに拡張現実の特殊効果を加える。

以下でより詳細に説明するように、コンピューター１５は、選択的玩具構造要素１４ａ及び１４ｂの画像を示すように構成することができ、それぞれの玩具構造要素は玩具構造モデル１０に加えることができる。このため、ユーザーは選択的構造要素のうちの１つを選択し、選択された構造要素を加えることによって物理的玩具構造モデル１０を変更することができる。

図３は、玩具構造モデルの組立指示を表示するステップのプロセスの一実施形態の流れ図を示している。プロセスは、適切にプログラムされたＡＲシステムによって、例えば図２に示すシステムのコンピューター１５によって実行することができる。最初のステップＳ１において、プロセスは構築プロセスの開始点を示す入力を受信する。例えば、開始点は、以前に構築された部分的モデル、モデルが構築されることになるベースプレート、又は更には構造セットの構成要素がまだ配置されていない空の組立環境とすることができる。例えば、プロセスはそのような入力を、適切なユーザー入力、例えば複数の可能な開始点のユーザー選択の形態で受信することができる。代替的に又は付加的に、プロセスはＡＲシステムのビデオカメラによって捕捉された画像の形態で入力を受信することができる。そのような実施形態では、プロセスは開始点を決定するように捕捉画像を処理することができる。例えば、ユーザーは、カメラ５の視野内にベースプレート又は別の１つ若しくは複数の玩具構造要素を位置決めすることができる。ベースプレート又は別の玩具構造要素がＡＲマーカー（又は他の適切な検出可能で可視の特徴）を含むとき、ＡＲシステムはＡＲマーカーを検出し、ＡＲマーカー内に埋め込まれた情報から、ベースプレート又は玩具構造要素のタイプに関する情報を抽出することができる。受信した入力は、組み立てられる１つ又は複数の玩具構造モデルに関する情報も含むことができる。例えば、情報は、玩具構造セットから玩具構造モデルが組み立てられる玩具構造セットを識別するか、又は組み立てられる１つ若しくは複数の玩具構造モデルを識別する識別子を含むことができる。

次に、プロセスはステップＳ２において、現在の部分的玩具構造モデルとして、検出された開始点を用いて継続する。上記の論考から、現在の部分的玩具構造モデルは、玩具構造セットの玩具構造要素を含まないか、１つ又はいくつか含むことができることが理解されよう。

ステップＳ２において、プロセスは構築プロセスの現在の状態、すなわち現在の部分的玩具構造モデルに基づいて、構築プロセスの可能な継続数を決定する。特に当該プロセスは、現在の部分的玩具構造モデルに加えることができる１組の玩具構造要素から、１組の選択的玩具構造要素を決定する。例えば、この決定は、所与の部分的玩具構造モデルについて、その部分的玩具構造モデルに加えることができる１組の可能な後続の玩具構造要素を示す適切なデータ構造に基づくことができる。そのようなデータ構造の一実施形態が図４を参照して以下に説明される。決定されたオプション数がゼロであり、すなわち更なる可能な継続が存在しない場合、プロセスは終了し、そうでない場合、プロセスはステップＳ３に進む。

ステップＳ３において、プロセスは、例えば図５に示すように、例えば、次のステップにおいてモデルに加えることができる選択的玩具構造要素の画像を表示することによって、決定されたオプションをユーザーに提示する。いくつかの実施形態では、システムは、それぞれの選択的玩具構造要素を現在の部分的玩具構造モデルに加えるべき場所をユーザーに更に示す。例えば、ＡＲシステムは、現在の部分的玩具構造モデルの捕捉画像を、部分的玩具構造モデルに対するそれぞれの位置及び向きで重ね合わされたそれぞれの選択的玩具構造要素の画像とともに示す組み合わされた画像を表示し、その選択的玩具構造要素を現在の部分的玩具構造モデルに結合すべきそれぞれの位置を示すことができる。選択的玩具構造要素のうちの２つ以上が同じ位置（又は重なり合う位置）に加えられるべきである場合、ＡＲシステムは、例えば関連する位置にプレースホルダーを表示し、プレースホルダーの近傍に選択的玩具構造要素の画像を表示することができる。代替的に、ＡＲシステムは、例えば選択的玩具構造要素を通じて循環することによって関連する位置に１度に１つの選択的玩具構造要素を表示し、それぞれを所定の期間にわたって表示することができる。

後続のステップＳ４において、プロセスは提示されたオプション間でユーザー選択を決定する。例えば、ＡＲシステムは提示されたオプションのうちの１つの選択を示すユーザー入力を受信することができる。例えば、選択的構造要素の表示される画像のそれぞれが、ＡＲシステムによって表示されるグラフィカルユーザーインターフェースのアクティブ要素に対応することができ、それによって、例えばアクティブ要素上をコンピューターマウスでクリックすることによって、アクティブ要素をアクティブ化してその構造要素を選択することができる。１つの実施形態では、選択された構造要素は外観を変更する。例えば、選択された構造要素は色、テクスチャ等を変更することができ、選択された構造要素の回りに境界ボックスを示すこと等によって強調表示することができる。

代替的に、ＡＲシステムは、ＡＲシステムによって捕捉された玩具構造モデルの画像を処理することによって、現在の部分的玩具構造モデルに加えられた物理的玩具構造要素を特定するように動作可能とすることができる。ステップＳ３における選択的玩具構造要素の表示に応じて、ＡＲシステムが、現在の部分的玩具構造モデルに加えられている加えられた玩具構造要素を特定し、かつ特定された加えられた玩具構造モデルがステップＳ３において提示された代替案のうちの１つに対応する場合、ＡＲシステムはユーザーがその代替案を選択したと判断する。加えられた玩具構造要素が、提示された代替案のうちのいずれにも対応しない場合、プロセスは例えば適切なエラーメッセージを進めることができる。いくつかの実施形態では、プロセスは、追加的玩具構造要素がモデルに加えられている場所を示す、加えられた玩具構造要素の位置及びオプションで向きを更に決定することができる。

後続のステップＳ５では、プロセスは、検出された選択に応じて、現在の玩具構造モデルの表現を後続の玩具構造モデルに更新することができる。例えば、ＡＲシステムは、玩具構造モデル識別子のデータ構造における現在の玩具構造モデルを示すポインター又は指示子を、後続の玩具構造モデルを指すように更新することができる。オプションで、ＡＲシステムは、検出されたユーザー選択に応じて、例えば玩具構造モデルの捕捉画像のビデオ画像に重ね合わされた画像特徴を表示することができる。例えば、ユーザーが現在の部分的玩具構造モデルに選択された画像構造要素を加える前に、ユーザー選択がユーザー入力によって検出される一実施形態では、ＡＲシステムは、例えば動画の形態で、選択された構造要素を現在の部分的構造モデルにどこでどのように接続すべきかを表示することができる。代替的に又は付加的に、ＡＲシステムは、ストーリーの継続がユーザー選択に依拠する動画化されたストーリー展開を表示することができる。

その後、プロセスは、新たな現在の部分的玩具構造モデルとして、更新された部分的玩具構造モデルを用いてステップＳ２に戻る。ここで、更新された部分的玩具構造モデルは、選択された玩具構造要素を加えることによって、前回の繰り返しの現在の部分的玩具構造モデルから導出される。

図４は、玩具構造モデルを組み立てる構築プロセスの構築ステップの複数の選択的シーケンスをデジタルで表すデータ構造の一実施形態を示している。

１つの実施形態において、データ構造４０１は図４ａに示すようにツリー構造の形態を有する。ツリー構造は複数のノード及びエッジを有し、ここで各ノードは玩具構造モデルを表し、各エッジは２つのノードを接続し、ノード（先行ノード）のうちの１つによって表される構造モデルを、第２のノード（後続ノード）によって表される構造モデルに変換するための構築ステップを表す。ツリー構造は少なくとも１つのルートノード４１１を備え、少なくとも１つのルートノード４１１は先行ノードを一切有さない、故に組立シーケンスの開始点を表す。同様に、ツリー構造は後続ノードを一切有しない１つ又は複数のリーフノード４１２を備える。リーフノードはそれぞれが、玩具構造セットから構築可能なそれぞれの玩具構造モデルを表す。ツリー構造は１つ又は複数のルートノード及び１つ又は複数のリーフノードを有することができることが理解されよう。このため、各非リーフノードは、その非リーフノードの後続ノードによって表されるような１つ又はいくつかの選択的な後続の（部分的）玩具構造モデルに変換することができる部分的玩具構造モデルを表す。このため、各非リーフモードは、１つ又はいくつかの後続ノードを有することができる。このため、ツリー構造は非輪状有向グラフを表すことができる。ツリー構造は、各構築パスが１つのルートノードを１つのリーフノードと接続するようになっている複数の構築パスを表す。構築パスは様々な長さを有することができることが理解されよう。

データ構造は、組立シーケンスから組立可能な構造モデルの全てのセットに関するグローバルモデルパラメーターを含む１つ又は複数のデータ記録を含むことができる。そのようなモデルパラメーターの例には、モデル名、モデル作成者名、モデリングアプリケーションのプログラムバージョン番号、作成日等が含まれる。

モデルデータ構造４０１は、それぞれがツリー構造のエッジのうちの１つと関連付けられた複数のエッジデータ構造を更に含む。説明を簡単にするように、そのようなエッジデータ構造４０３のうちの１つのみがエッジ４１３と関連付けて明示的に示されている。しかしながら、他のエッジが、そのエッジと関連付けられた対応するデータ構造を有することが理解されよう。各エッジデータ記録は、それぞれが玩具構造要素データ記録によって表される１つ又は複数の玩具構造要素（例えばそのリスト）を表す。各玩具構造要素データ記録は、図４ｂに示す「構造要素Ｂ」のデータ記録４０４によって示される構造を有することができる。

特に、各構造要素データ記録４０４は、構造要素のタイプに対応する識別子を示す構造要素ＩＤ４０５を含むことができる。好ましくは、構造要素ＩＤは、構造要素の特性又は構造要素のタイプを一意に識別する。

構造要素データ記録は、色、テクスチャ、装飾等の構造要素の１つ又は複数の属性を示す複数の構造要素属性４０６を更に含むことができる。

さらに、構造要素データ記録４０４は、それぞれ構造要素の内部座標系の位置及び向きを表すデータ項目４０７及び４０８を含むことができる。構造要素の位置及び向きは、グローバル「ワールド」座標系に対する構造要素の内部座標系の原点の座標、及びグローバル座標系に対する内部座標系の向きによって画定することができる。

さらに、構造要素データ記録４０４は、構造要素の１つ又は複数の境界ボックスを表すデータ項目４０９を含むことができる。

デジタル表現は、任意の適切なデータ又はファイルフォーマットで、例えばバイナリファイル、所定のモデリング記述言語に従うテキストファイル等として符号化することができることが理解される。座標系の階層を含む仮想組立モデルを記憶するデータフォーマットの例が米国特許第６，３８９，３７５号に開示されている。

そのようなデータ構造に基づいて、組立指示を提示するコンピューター化されたプロセスは、所与の開始点に関する情報に基づいて、複数の選択的な後続の構築ステップを決定することができる。特に、プロセスは、開始点（例えばルートノード４１１）に対応するツリー構造内のノード、及び開始点をその後続ノードと接続するエッジを決定することができる。各エッジは、組立プロセスにおける選択的な後続のステップ、例えば選択的構造要素（又は構造要素のセット）を表す。プロセスが代替案の中の１つのユーザー選択に関する情報を受信すると、プロセスはツリー構造内の対応する後続ノードを決定することができる。次に、プロセスは、プロセスがリーフノードに到達するまで繰り返して進むことができる。図４の例では、結果として得られる構築パスの例が太線４１４で示されている。この例では、開始点はルートノード４１１であり、構築パスはリーフノード４１２で終端する。第１の繰り返しにおいて、プロセスは、ルートノード４１１をその３つの後続ノード４１６ａ、４１６ｂ、４１６ｃとそれぞれ接続するエッジ４１５ａ、４１５ｂ、４１５ｃを特定する。ユーザーがエッジ４１５ａを選択する場合、プロセスはノード４１６ａに進む。いくつかのノードは単一の後続ノードしか有しないこと、すなわち構築プロセスのいくつかの段階の間、選択する更なる代替案を有しない単一のルートしか前方に存在しない場合があることが理解されよう。同様に、いくつかのノードは、複数の構築パスによって結果として同じ（部分的）玩具構造モデルが得られる場合があることを反映して、２つ以上の先行ノードを有する場合がある。

図５は、本明細書において開示されるようなコンピューターシステム、例えば図２のシステムのディスプレイの全体として５０１で表される表示エリアの例を示している。コンピューターシステム（図５には明示的に示していない）は、コンピューターシステムのビデオカメラ（図５には明示的に示していない）を用いて取得された捕捉画像を表示する。この例では、画像はカメラの視野内に位置する物理的玩具構造モデル５１０の画像を含む。この例では、玩具構造モデル５１０は、ベースプレート５２１と、１つ又は複数の玩具構造要素、例えば上面に更なる構造要素を結合することを可能にする結合スタッド５２５を有する図１に示す要素と類似した要素から組み立てられた家の一部との上に構築される。しかしながら、玩具構造モデルは、ベースプレートを有するか又は有しない任意の他のモデル構造とすることができることが理解されよう。

この例では、ベースプレートはベースプレートの縁の回りに分散した複数のＡＲマーカー５２４を含む。各ＡＲマーカーは、ＡＲシステムが、カメラに対する玩具構造モデルの相対的な位置又は向きとは無関係にその玩具構造モデルの位置及び向きを特定することを可能にする一意の印を含む。この例では、ＡＲマーカー５２４は、２Ｄバーコード又は同様のマトリックスコードの形態を有し、それらはＡＲシステムが印並びにその位置及び向きを検出することを可能にする１組の交差する線を提供する境界ボックスを含む。しかしながら、以下で説明するように、異なるタイプのＡＲマーカーを用いることができる。いくつかの実施形態では、玩具構造モデル５１０が玩具構造要素から構築される玩具構造要素のうちの１つ又は複数が、ベースプレート上のＡＲマーカーに加えて又はそれらの代わりにＡＲマーカーを含むことができる。

図５の例において、コンピューターシステムは、ユーザーがそれに従って玩具構造モデル５１０の構築を進めることができる３つの選択的な継続を決定している。したがって、コンピューターシステムは、例えば構造モデル５１０の捕捉されたビデオ画像に重ね合わされた対応する選択的構造要素５１４ａ、５１４ｂ及び５１４ｃの画像、例えばコンピューター生成画像を表示する。選択的構造要素がモデルの同じ位置に加えられると、コンピューターシステムは、例えば境界ボックスの形態でプレースホルダー５１５のコンピューター生成画像を付加的に表示し、選択的構造要素のそれぞれをモデル構造５１０に対してどこに加えるべきかを示す。例えば、コンピューターシステムは、モデルを表すデータ構造、例えば図４のツリーデータ構造に含まれる対応する情報からプレースホルダーの大きさを決定することができる。同様に、コンピューターシステムは、モデルを表すデータ構造内に含まれる情報、及びコンピューターシステムによって検出されるモデル構造５１０の位置及び向きから、プレースホルダー及び／又はモデルの画像に対する選択的構造要素の正しい位置を決定することができる。例えば、コンピューターシステムは、捕捉画像を処理して、ＡＲマーカーを検出することができる。検出されたＡＲマーカーから、コンピューターシステムはモデルの適切な座標系の位置を決定することができる。そのような座標系の例は、図５において座標系５２６として示されているが、求められた座標系自体は、必ずしもシステムによって表示される必要がない場合がある。次に、コンピューターシステムは、モデル座標系に対するモデルデータ構造における位置及び向きの情報から、プレースホルダー及び／又は選択的構成要素の位置及び向きを決定することができる。

図６及び図７は、ＡＲシステムによる玩具構造要素の検出を容易にするＡＲマーカーを含む玩具構造要素の例を概略的に示している。本説明の目的で、ＡＲマーカーを含むそのような構造要素は、マーカー構造要素とも呼ばれる。

図６は、図１のｃの組立ブリックに類似した玩具組立ブリック６１１、すなわち玩具組立ブリックの上面に平面状の正方形格子に配列された結合スタッド６０５を含む組立ブリックの形態の玩具構造要素を示している。玩具組立ブリックは、別の類似した玩具構造ブリックの結合スタッドを受容し摩擦により係合する１つ又は複数の空洞部もその底面に含む（図６では非図示）。玩具組立ブリックは、その側面のうちの１つに、２Ｄバーコードの形態の拡張現実マーカー６２１を含む。

２Ｄバーコードの代わりに他の形態のＡＲマーカーを用いることができることが理解されよう。概して、ＡＲマーカーは、既知の画像認識方法を用いて捕捉ビデオ画像内で自動的に区別するのが比較的容易な任意の物体とすることができる。ＡＲマーカーが画像認識方法を用いて検出される場合、ＡＲマーカーは、例えば立方体又は円柱等の３次元物体とすることもできるし、正方形又は円等の２次元マーカーとすることもできる。通常、ＡＲマーカーは、白黒の正方形等の容易に区別可能なパターンを含むが、特定の色又は色のパターン等を用いる等の他の方法をマーカー認識に用いることができる。

ＡＲマーカーは、コンピューターがＡＲマーカーの位置及び／又は向きを検出することを可能にする１つ又は複数の要素を含むことができる。例えば、ＡＲマーカーは、２本以上の交差する線を含むことができる。付加的に又は代替的に、ＡＲマーカーは、情報を符号化し、これによってコンピューターが異なるタイプのマーカーを識別及び区別し、マーカーの特定のタイプに応じてコンピューター生成画像を選択的に生成することを可能にする視覚要素を含むことができる。

ＡＲマーカーは、結合手段、すなわち上面の結合スタッド、及び／又は底面の結合空洞部に対し均一になるように配置することができる。例えば、ＡＲマーカーは結合手段によって画定される平面格子に対し平行又は垂直な方向を画定することができる。これによって、マーカーブリックは交換可能となり、図１及び図６におけるようなブリックから組み立てられた玩具構造において、いくつかのマーカーブリックを交換可能に用いることができ、いくつかの構築において特定のマーカーブリックを用いることができる。玩具構造システムは、様々な印が適用され、コンピューターシステムに様々なコンピューター生成画像を生成させるそのようなマーカーブリックのうちのいくつかを含むことができる。それにもかかわらず、全てのマーカーブリックが均一の位置に印を含む場合、そのようなマーカーブリックは本明細書において説明される組立ブリックから組み立てられた玩具構造内で容易に交換可能とすることができる。さらに、ＡＲシステムは、そのような均一に位置決めされたＡＲマーカーを用いて、結合手段によって画定された座標系に対する構造要素の位置及び向きを正確に決定することができる。このため、ＡＲシステムは、構造要素の検出されたＡＲマーカーに基づいて、構造要素が既存の（部分的）モデルに加えられたこと、いずれのタイプの構造要素が加えられたか、及び構造要素が既存のモデルに対しどこに加えられたかを検出することができる。

印がマーカー構造要素の表面の一部に位置し、印を含む表面の部分が結合手段を一切有しないようになっているとき、印はマーカー構造要素に結合された他の構造要素によって意図せずに遮蔽される可能性がより低い。マーカー構造要素は、例えば玩具構造要素の様々な面上に（又はそうでない場合、面の様々な部分上に）複数の印を含むことができる。

図７は、マーカー構造要素を玩具構造モデルの別の玩具構造要素にどのように結合することができるかを示している。この例では、玩具構造モデルは玩具構造要素７１０及び７１２、並びにマーカー構造要素７１１を備える。図７のａは個々の構造要素を示し、図７のｂは構造要素７１０に脱着可能に結合されたマーカー構造要素７１１を示している。この目的で、玩具構造要素７１０は、図１との関連で説明したようにその上面に結合スタッド７０５を備える。マーカー構造要素７０４は、そのマーカー構造要素が結合スタッド７０４に摩擦により係合することを可能にする空洞部をその底面に備える（図７では非図示）。

このため、ユーザーは、ＡＲマーカーを含むマーカー構造要素を構築された玩具モデルに接続して、加えられたマーカー構造要素の検出及び識別を容易にすることができる。この検出に基づいて、ＡＲシステムはモデルに加えることができる可能な後続の構造要素を決定し、モデルの捕捉画像に重ね合わされ、かつモデルの捕捉画像に対し適切な位置に重ね合わされた決定された後続の要素の画像を表示することができる。図６の例におけるように、マーカー構造要素７１１の印は、結合要素を含まないマーカー構造要素の面上に位置する。

図８のａからｇは、複合マーカー構造要素、すなわち、玩具構造システムの結合手段によって、例えば互いに対し所定の空間関係で直接又は間接的に互いに接続された複数のマーカー構成要素の例を示している。概して、複合マーカー構造要素によって、ユーザーは、それぞれ多数の一意のＡＲマーカーのうちの１つによって識別可能な別個の物体の大きなセットを作成することが可能になる。特に、多数の一意のＡＲマーカーは、個々のマーカー構造要素の比較的限られたセットから作成することができる。なぜなら、組立システムを通じてマーカーのより小さなセットを組み合わせることによって、組合せの可能性の総数が劇的に増大するためである。例えば、ＡＲシステムは、部分構造モデル内に含まれる複合マーカー構造要素から多数の部分的構造モデルのうちの１つ（又はサブセット）を特定することができる。

図８のａは、３つのマーカー構造要素、すなわち、フィギュアの頭部を模した要素８１１、フィギュアの胴部を模した要素８１２、及びフィギュアの脚部を模した要素８１３から構築される人型フィギュアの例を示している。構造要素には、頭部及び脚部が胴部に脱着可能に結合されることを可能にする結合要素が設けられている。頭部、胴部及び脚部は、例えば頭部の顔特徴並びに胴部及び／又は脚部の衣類の特徴の形態で印を含むことができる。これによって、ＡＲシステムのビデオカメラに提示されると、ＡＲシステムは頭部、胴部及び脚部の特徴を、例えば図８のｂに概略的に示すようにそれぞれ頭部、胴部及び脚部の検出された特徴８２１、８２２、８２３によって検出することができる。このため、様々な頭部、胴部及び脚部を組み合せることによって、ＡＲマーカーの広範にわたる組合せを作成することができる。いずれのフィギュアがＡＲシステムによって検出されるかに応じて、ＡＲシステムは様々なコンピューター作成画像に応答し、それによって広範にわたる相互作用を可能にすることができる。

図８のｃ及びｄは、図１のｃに示すような玩具組立ブリックから構築された類似の複合マーカー構造要素を示している。玩具組立ブリック８３１、８３２及び８３３は、異なる色、例えばそれぞれ赤、白及び青を有する。組立ブリックは、互いの上に積み重ねられ、それぞれの結合手段によって相互接続されるとき、色のシーケンスを画定し、それによってこれらをＡＲシステムによって検出することができる。図８のｄに示されているように色の順序を変更することによって、３つのみの異なるマーカー構成要素から、様々な一意の複合ＡＲマーカーを構築されることができる。

図８のｅは、印の形態でＡＲマーカーを側面に有する図６に示す玩具組立ブリックと類似した玩具組立ブリック８４１、８４２、８４３を含む複合マーカー要素の同様の例を示している。

図８のｆ及びｇは、複合マーカー要素の別の例を示している。この例では、複合マーカー要素はベース組立ブリック８５０、例えば図１のｃのブリックに類似しているがその上面により多数の結合要素を有するブリックを備える。複合マーカー要素は、ベース組立ブリック８５０に接続されたマーカー構造要素８５１、８５２、８５３を更に含む。このため、この例では、マーカー構造要素８５１、８５２及び８５３は複合マーカー構造要素を形成するように固定した構成で互いに間接的に結合される。この目的で、マーカー構造要素は、その底面に結合要素、例えば空洞部を有し、この空洞部は、ベース組立ブリック８５０の上面において対応する結合要素、例えばスタッドを係合することができる。各マーカー構造要素はその上面に印を有し、この例ではローマ字の文字である。マーカー構造要素は並んで配列されているので、これらはＡＲシステムによって検出可能な印のシーケンスを画定する。

図８のｇに示すように、マーカー構造要素の印は面の向きを画定することができ、個々のマーカー要素は互いに対し回転させ、これによって複数のコードを画定する自由度を更に増大させることができる。なぜなら、ＡＲシステムは互いに対する及び／又は玩具構造モデルの別の特徴に対するそれぞれのＡＲマーカーの向きを検出することができるためである。

このため、図８の例では、それぞれが他のマーカー構造要素と別個の視覚的に検出可能な特徴を含む個々のマーカー構造要素は、それらの結合要素によって相互接続され、それにより視覚的に検出可能な特徴のシーケンスが画定される。このため、視覚的に検出可能な特徴のそれぞれの別個のシーケンスによって複合ＡＲマーカーを画定することができる。例えば、個々の視覚的に検出可能な特徴は、ＡＲシステムによってコードのシンボルとして検出することができ、検出されたシンボルのシーケンスはＡＲシステムによって復号化することができ、それによりシンボルのシーケンスにより符号化された情報が取得される。いくつかの実施形態では、システムは、検出誤りに対しコードをよりロバストにする既知の誤り検出技法及び／又は誤り訂正技法を用いることができる。

図９ａ及び図９ｂは、規則的な格子を画定する玩具構造システムの例を示している。

図９ａは、玩具構造要素及びその対応する接続格子の斜視図を示している。玩具構造要素９０１は８個のノブ９０３ａから９０３ｈを有する上面９０２と、対応する穴（非図示）を有する底面と、側面９０４とを有する。図９ａでは、上面の接続格子９０５及び底面の接続格子９０６がそれぞれ示されている。格子点は、円９０７ａから９０７ｋによって例示されるような円によって示されている。このため、格子点９０７ａから９０７ｈはそれぞれノブ９０３ａから９０３ｈに対応する。側面９０４は接続要素を一切有しないので、それらについて接続格子を画定する必要はない。

図９ａから見てとることができるように、規則的な格子で配置される格子点によって画定される玩具構造要素の接続要素の配置は、接続要素の物理的配置に対し或る特定の制約を課す。格子９０５は、ノブ９０３が玩具構造要素から延在する玩具構造要素の上面の平面に位置する。図９ａの例では、格子点は正方形の格子に配置され、ここで各正方形は任意の長さ単位（ＬＵ）の５×５単位の寸法を有する。このため、この形状において、接続要素は対応する正方形格子上にも配置され、構造要素の平面内の接続要素間の距離は１０ＬＵの倍数である。図９ａの例において、構造要素の上側の面及び下側の面は長方形であり、２０ＬＵ×４０ＬＵの寸法を有し、近傍の接続要素は１０ＬＵだけ離間されている。他方で、垂直方向において、接続要素は１２ＬＵだけ離間されている。このため、異なる次元においてグリッド寸法が変動することができる。接続点のロケーションは玩具構造要素の内部座標系９０８に対して画定される。グローバルモデル座標系に関連して構造要素の位置及び向き（このため構造要素の内部座標系）を画定することによって、モデル座標系に対する接続要素の位置を画定することができる。

図９ｂは、格子の各格子点が玩具構造モデル内の接続要素の有効な位置を画定するモデル座標系の３Ｄの規則的な格子を示している。概して、格子の全ての格子点が実際に結合要素を装着される必要がないが、いくつかの実施形態では全ての結合要素が規則的な格子の格子点上に位置決めされることが理解されよう。特に、図９ｂの例では、格子点は平行な面９１１ａから９１１ｄ内に配列され、面内の格子点は１つ又は複数の玩具の表面上の接続要素の位置を画定する。

平行な面間の距離は、結合要素を有する構造要素の表面間の距離を画定する。例えば、いくつかの実施形態では、構造要素は格子の２つの近傍面間の距離に等しい（又はその整数倍に等しい）高さを有する。

玩具構造システムが規則的な格子を画定するとき、ＡＲマーカーの位置及び／又は向きはＡＲシステムによって格子に対し正確に求めることができる。さらに、組立システムの格子において組立要素に取り付けられた追跡マーカーは、タグ付けされた要素がモデルにおいてどのように用いられるかに関する更なる情報を提供する。タグが正しく組み立てられ、すなわち格子内に収まった場合、アプリケーション内のイベントを選択的にトリガーすることができる。

このため、ＡＲマーカーは、格子に対するＡＲマーカー（複数の場合もある）の所定の位置及び／又は向き（及び／又は他の位置制約）に応じてモデルに加えることができる選択的な後続の構造要素のコンピューター生成画像要素の作成をＡＲシステムに始動させることができる。このため、ＡＲアプリケーションは、組立システムにおいて物理的要素がどのように用いられるかに応じることができる。

Claims (27)

1. 玩具構造要素を脱着可能に相互接続する結合手段を有する１組の前記玩具構造要素と、画像捕捉手段と処理手段と表示手段とを有するデータ処理システムとを備える玩具構造システムであって、
   前記データ処理システムは、
   前記玩具構造要素のサブセットから構築された部分的玩具構造モデルの画像を捕捉し、
   前記捕捉画像を処理して、前記部分的玩具構造モデルの少なくとも位置及び向きを検出し、
   それぞれ前記部分的玩具構造モデルに接続可能な１組の後続の構造要素のうちの少なくとも１つを示す選択的玩具構造要素を特定し、
   前記部分的玩具構造モデルの前記検出された位置及び向きに応じて、少なくとも前記特定された選択的玩具構造要素の画像が重ね合わされた前記捕捉画像を含む合成画像を前記表示手段上に表示するように構成される玩具構造システム。
2. 請求項１に記載の玩具構造システムであって、前記データ処理システムは前記部分的玩具構造モデルのデジタル表現を取得し、その取得されたデジタル表現に応じて前記１組の後続の構造要素のそれぞれの画像を表示するように更に構成される玩具構造システム。
3. 請求項２に記載の玩具構造システムであって、前記部分的玩具構造モデルのデジタル表現を取得することは、前記部分的玩具構造モデルの前記デジタル表現を、以前の部分的玩具構造モデルのデジタル表現と以前のユーザー選択とから生成することを含む玩具構造システム。
4. 請求項２又は３に記載の玩具構造システムであって、前記デジタル表現は、所定の座標系に対する前記各構造要素のそれぞれの位置座標を含む玩具構造システム。
5. 請求項１から４のいずれか１項に記載の玩具構造システムであって、前記データ処理システムは、更新された部分的玩具構造モデルのデジタル表現を、前記部分的玩具構造モデルのデジタル表現と前記特定された選択的玩具構造要素とから生成するように更に構成される玩具構造システム。
6. 請求項１から５のいずれか１項に記載の玩具構造システムであって、前記データ処理システムは、前記１組の後続の構造要素を、前記部分的玩具構造モデルのデジタル表現と構築ステップの複数のシーケンスを示すデータ構造とから決定するように更に構成され、各シーケンスの結果として前記１組の玩具構造要素から構築可能な１組の選択的構造モデルのうちの１つが得られる玩具構造システム。
7. 請求項１から６のいずれか１項に記載の玩具構造システムであって、前記捕捉画像を処理して前記部分的玩具構造モデルの少なくとも位置及び向きを検出することは、少なくとも１つの拡張現実マーカーを検出し、前記検出された少なくとも１つの拡張現実マーカーから前記玩具構造モデルの前記位置及び前記向きを決定することを含む玩具構造システム。
8. 請求項１から７のいずれか１項に記載の玩具構造システムであって、前記捕捉画像を処理することは、少なくとも１つの加えられた構造要素を特定することと、前記特定された加えられた構造要素から前記選択的玩具構造要素を決定することとを含む玩具構造システム。
9. 請求項８に記載の玩具構造システムであって、前記少なくとも１つの加えられた構造要素を特定することは、前記加えられた構造要素に含まれる拡張現実マーカーを検出することを含む玩具構造システム。
10. 請求項８又は９に記載の玩具構造システムであって、前記データ処理システムは、前記部分的玩具構造モデルに対する前記加えられた構造要素の位置及び向きを特定するように更に構成される玩具構造システム。
11. 請求項１から１０のいずれか１項に記載の玩具構造システムであって、前記データ処理システムは、前記特定された選択的玩具構造要素と、前記部分的玩具構造モデルの前記検出された位置及び向きとに応じて、少なくとも１つの追加のコンピューター生成画像が重ね合わされた前記捕捉画像を含む合成画像を前記表示手段上に表示するように更に構成される玩具構造システム。
12. 請求項１から１１のいずれか１項に記載の玩具構造システムであって、前記１組の玩具構造要素は、前記結合手段を含み、それぞれが画像処理手段によって認識可能な視覚的外観を有する、１つ又は複数のマーカー構造要素を備える玩具構造システム。
13. 請求項１２に記載の玩具構造システムであって、少なくとも２つのマーカー構造要素を備え、前記２つのマーカー構造要素は前記マーカー構造要素のそれぞれの結合手段を介して互いに脱着可能に接続可能であり、それにより複合マーカー要素を形成する玩具構造システム。
14. 請求項１３に記載の玩具構造システムであって、前記データ処理システムは、前記複合マーカー要素を検出し、前記検出された複合マーカー要素に基づいて、前記１組の後続の構造要素のうちの少なくとも１つを示す前記選択的玩具構造要素を特定するように更に構成される玩具構造システム。
15. 請求項１４に記載の玩具構造システムであって、各マーカー構造要素は、符号化情報のコードのコードシンボルを示す印を備え、前記データ処理システムは、前記複合マーカー要素の視覚的外観から、符号化された１組のコードシンボルを決定し、前記決定された１組のコードシンボルを復号化して復号化された情報を得るように更に構成される玩具構造システム。
16. 請求項１２から１５のいずれか１項に記載の玩具構造システムであって、前記玩具構造要素は少なくとも１つの特性を有し、前記玩具構造システムの各マーカー構造要素は前記特性の値を有し、前記値は前記特性の所定の１組の別個の値から選択される玩具構造システム。
17. 請求項１２から１６のいずれか１項に記載の玩具構造システムであって、前記結合手段は、接続の方向を画定する１つ又は複数の規則的な平面状の格子に配列され、各マーカー構造要素は、前記マーカー構造要素が前記玩具構造システムの少なくとも１つの他の玩具構造要素に接続されているとき、前記平面状の格子のうちの少なくとも１つに平行な方向から、又は前記平面状の格子のうちの少なくとも１つに対し垂直な方向から見える印を備える玩具構造システム。
18. 請求項１７に記載の玩具構造システムであって、前記マーカー構造要素のそれぞれは、上面、底面、及び少なくとも１つの側面を有し、前記結合手段は前記上面及び前記底面のうちの少なくとも一方の上に配置され、前記マーカー構造要素は結合手段を有しない少なくとも第１の面を備え、前記第１の面は前記印を備える玩具構造システム。
19. 請求項１から１８のいずれか１項に記載の玩具構造システムであって、前記結合手段は、玩具構造モデルにおける前記玩具構造要素の位置及び／又は向きを、規則的な格子に対し離散的位置及び／又は離散的向きに制限する前記規則的な格子を画定する玩具構造システム。
20. 請求項１９に記載の玩具構造システムであって、少なくとも２つのマーカー構造要素を備え、前記データ処理システムは、前記規則的な格子に対して玩具構造モデル内の前記２つのマーカー構造要素のそれぞれの位置及び／又は向きを検出し、前記検出されたそれぞれの位置及び／又は向きに基づいて前記１組の後続の構造要素のうちの少なくとも１つを示す前記選択的玩具構造要素を特定するように構成される玩具構造システム。
21. 請求項２０に記載の玩具構造システムであって、前記データ処理システムは、前記マーカー構造要素の前記検出されたロケーションから規則的な画像格子の格子ロケーションを求め、前記検出された画像格子に対し或るロケーションにおいてコンピューター生成画像の画像特徴を生成するように構成される玩具構造システム。
22. 請求項１から２１のいずれか１項に記載の玩具構造システムであって、前記結合手段は、１つ又は複数の突起部及び１つ又は複数の空洞部を備え、各空洞部は摩擦による係合において前記突起部のうちの少なくとも１つを受容するように構成される玩具構造システム。
23. 玩具構造システムの玩具構造要素から玩具構造モデルを構築するための組立指示を生成するコンピューター実施による方法であって、前記玩具構造要素は前記玩具構造要素を脱着可能に相互接続する結合手段を備え、前記方法は、
    前記玩具構造要素のサブセットから構築された部分的玩具構造モデルの画像を捕捉することと、
    前記部分的玩具構造モデルの少なくとも位置及び向きを検出するように前記捕捉画像を処理することと、
    １組の後続の構造要素のうちの少なくとも１つを示す選択的玩具構造要素を特定することであって、各後続の構造要素は前記部分的玩具構造モデルに接続可能である選択的玩具構造要素を特定することと、
    前記部分的玩具構造モデルの前記検出された位置及び向きに応じて、少なくとも前記特定された選択的玩具構造要素の画像が重ね合わされた前記捕捉画像を含む合成画像を表示手段上に表示することと、
    を含む方法。
24. 画像捕捉手段、処理手段及び表示手段を備えるデータ処理システムであって、そのデータ処理システムによって実行されたときに、前記データ処理システムに請求項２３に記載の方法のステップを実行させるように構成されるコンピュータープログラム手段を備えるデータ処理システム。
25. データ処理システムによって実行されたときに、そのデータ処理システムに請求項２３に記載の方法のステップを実行させるように構成されるプログラムコード手段を備えるコンピュータープログラム。
26. 玩具構造要素を脱着可能に相互接続する結合手段を備える前記玩具構造要素と、
    画像捕捉手段と処理手段と表示手段とを備えるデータ処理システムに、請求項２５に記載のコンピュータープログラムをインストールするための取扱指示と、
    を備える玩具構造セット。
27. 搬送波において具現化され、命令のシーケンスを表すコンピューターデータ信号であって、前記命令のシーケンスは、プロセッサによって実行されたとき、前記プロセッサに請求項２３に記載の方法のステップを実行させるコンピューターデータ信号。