JP6370840B2 - 拡張現実設計システム - Google Patents

Description

本発明は、概して、設計（デザイン）システムに関し、詳しくは、物品の設計に使用される拡張現実設計システムに関する。

拡張現実システムは、これまでも提案されている。コバヤシら（米国特許出願公開第２００５／０１７４３６１号明細書）は、像（イメージ）を加工する方法および装置を教示している。コバヤシは、混成現実システムにおいて使用される位置・配向タッチペンを教示している。このタッチペンは、実物の模型に対する仮想オブジェクトの配向を確定するのに使用される。コバヤシが教示していることは、ユーザがタッチペンを使用して実物の模型に触れることである。そして、このシステムは、実物の対象物の位置および配向を確定し、その結果に応じて、仮想オブジェクトを並べることができる。

独国特許第２０２０３３６７号明細書は、乗物模型のデザインを３次元に迅速に視覚化するシステムを教示している。この装置は、乗物またはその部品のデータセットを発生させる。他の装置は、メモリ内に保存されるデータセットを利用して仮想現実（バーチャルリアリティ）の模型をつくり出す。制御装置が、拡張現実を利用して、乗物の現実の模型に仮想現実の模型を重ね合わせる。モニタの形態にある投影装置が、この乗物模型を描く。

これらの関連技術においては、拡張現実システムを利用して実時間内に効率よく物品を設計できる装置がない。

一態様においては、本発明は、物品の設計をする方法において、現実世界の環境に存在しているプロキシを表示装置上で見るステップと、物品に仮想デザインを施すために上記プロキシと相互作用デバイスとを接触させるステップと、を含み、上記仮想デザインは、上記プロキシの一部分として見えるように上記表示装置上に表示されることを特徴とする方法を提供する。

他の態様においては、本発明は、物品の設計をする方法において、物品に仮想デザインを施すためにプロキシの一部分と相互作用デバイスとを接触させるステップと、上記プロキシ上へ上記仮想デザインを投影するステップと、を含み、上記仮想デザインは、上記プロキシの一部分として見えるように上記プロキシ上に投影されることを特徴とする方法を提供する。

他の態様においては、本発明は、物品の設計をする方法において、現実世界の環境に存在し、第１の色のついた一部分を有するプロキシを表示装置上で見るステップと、上記プロキシの一部分と相互作用デバイスとを接触させ、これによって、上記一部分の色が、第１の色から、第１の色とは異なる第２の色へ変化するように、上記表示装置上に見られる上記プロキシの見かけの色を修飾するステップと、を含む方法を提供する。

他の態様においては、本発明は、物品の設計をする方法において、現実世界の環境に存在しているプロキシに関連する仮想カラーパレットから色を選択するステップと、上記プロキシの第１の色を有する一部分と相互作用デバイスとを接触させるステップと、上記相互作用デバイスが上記一部分に接触すると瞬時に、プロキシの上記一部分上に第２の色を投影し、これによって、上記一部分の見かけの色を変化させるステップと、を含む方法を提供する。

他の態様においては、本発明は、物品の設計をする方法において、現実世界の環境に存在しているプロキシを表示装置上で見るステップと、上記プロキシと相互作用デバイスとを接触させるステップと、上記プロキシと上記相互作用デバイスとが接触すると瞬時に、上記表示装置上に仮想ラインを表示するステップと、を含み、上記仮想ラインは、上記プロキシの一部分として見えるように上記表示装置上に表示されることを特徴とする方法を提供する。

他の態様においては、本発明は、物品の設計をする方法において、プロキシと相互作用デバイスとを接触させるステップと、上記プロキシと上記相互作用デバイスとが接触すると瞬時に、上記プロキシ上に仮想ラインを投影するステップと、を含み、上記仮想ラインは、上記プロキシの一部分として見えるように上記プロキシ上に投影されることを特徴とする方法を提供する。

他の態様においては、本発明は、現実世界の環境から像を受け取る撮像装置と、現実世界の環境に存在するプロキシと相互作用する相互作用デバイスと、仮想像を発生させることができる計算装置と、上記プロキシ上に重ね合わせられた少なくとも一つの仮想像を見るための表示装置と、上記表示装置上に表示され得る仮想メニューであって、現実世界の環境中のある位置に関連付けられている仮想メニューと、を備え、ユーザは、上記位置に相互作用デバイスを置くことにより上記仮想メニューと相互作用することができ、上記仮想メニューは、上記プロキシに仮想デザイン要素を施すために使用され得ることを特徴とする拡張現実設計システムを提供する。

他の態様においては、本発明は、現実世界の環境から像を受け取る撮像装置と、現実世界の環境に存在するプロキシと相互作用する相互作用デバイスと、仮想像を発生させることができる計算装置と、上記プロキシ上に少なくとも一つの仮想像を投影する投影装置と、現実世界の環境中のある位置に投影され得る仮想メニューと、を備え、ユーザは、上記位置に相互作用デバイスを置くことにより上記仮想メニューと相互作用することができ、上記仮想メニューは、上記プロキシに仮想デザイン要素を施すために使用され得ることを特徴とする拡張現実設計システムを提供する。

本発明の他のシステム、方法、特徴および利点は、以下の詳細な説明と図面から当業者には明らかとなろう。それらの追加のシステム、方法、特徴および利点のすべてが、本発明の範囲を逸脱することなく、以下の詳細な説明およびこの要旨の範囲に含まれ、添付の特許請求の範囲によって保護されることを意図している。

本発明は、添付の図面及び説明を参照することによってさらによく理解されよう。図面の成分は必ずしも実尺に合致するものではなく、本発明の原理を具体的に説明することを主眼としている。各図において、同様の参照符号は、各図を通して対応する部品を表示する。

設計システムの一実施例を示す概略図。 設計システムが使用されているときの一実施例を示す等角投影図。 設計システムに使用される一式のデザインメニューの一実施例を示す等角投影図。 ユーザが選択したお絵かきツールの一実施例を示す等角投影図。 プロキシに仮想ラインを施すのに使用される設計システムの一実施例を示す等角投影図。 プロキシに仮想ラインを施すのに使用される設計システムの一実施例を示す等角投影図。 プロキシに仮想の形状を施すのに使用される設計システムの一実施例を示す等角投影図。 プロキシの見かけの色を修飾するのに使用される設計システムの一実施例を示す等角投影図。 プロキシの一部分の見かけの色を修飾するのに使用される設計システムの一実施例を示す等角投影図。 プロキシの一部分の見かけの色を修飾するのに使用される設計システムの一実施例を示す等角投影図。 プロキシに仮想グラフィックを施すのに使用される設計システムの一実施例を示す等角投影図。 プロキシに仮想グラフィックを施すのに使用される設計システムの一実施例を示す等角投影図。 仮想ストライプの一部分を消去するのに使用される設計システムの一実施例を示す等角投影図。 物品の定型デザインを修飾するのに使用される設計システムの一実施例を示す等角投影図。 物品の定型デザインを修飾するのに使用される設計システムの一実施例を示す等角投影図。 物品の定型デザインを修飾するのに使用される設計システムの一実施例を示す等角投影図。 プロキシとして使用される実物の履物に仮想オブジェクトを施すのに使用される設計システムの一実施例を示す等角投影図。 物品の設計を仕上げるステップの一実施例を示す等角投影図。 プロプライアタに提出される最終設計の一実施例を示す等角投影図。 履物の設計および製造を行うプロセスの一実施例を示す図。 衣料品の設計に使用される設計システムの一実施例を示す等角投影図。 衣料品の設計に使用される設計システムの一実施例を示す等角投影図。 衣料品の設計に使用される設計システムの一実施例を示す等角投影図。 設計システムの他の実施例を概略的に示す図。 物品の設計に使用される設計システムの一実施例を示す等角投影図。 物品の設計に使用される設計システムの一実施例を示す等角投影図。 物品の設計に使用される設計システムの一実施例を示す等角投影図。 物品の設計に使用される設計システムの一実施例を示す等角投影図。 物品の設計に使用される設計システムの一実施例を示す等角投影図。 設計システムの他の実施例を示す等角投影図。 物品の設計に使用される設計システムの一実施例を示す等角投影図。 物品の設計に使用される設計システムの一実施例を示す等角投影図。

図１は、拡張現実設計システム１００（単にシステム１００とも呼ぶ）の一実施例を示す。この詳細な説明および特許請求の範囲に亘って使用される「拡張現実設計（デザイン）システム」という用語は、現実世界の見え方と、コンピュータが発生させた像とを組み合わせることを利用して、１つまたは複数の物品ないし対象物を設計するのに使用され得る種々のシステムを表す。明確にする目的で、「現実の」と「仮想の」という用語は、この詳細な説明および特許請求の範囲に亘って、様々な種類の像および／またはオブジェクトを識別するために使用される。例えば、現実世界の見え方つまり現実世界の像とは、ユーザの視界に捉えられた現実環境の見え方つまり像のことである。対照的に、仮想像ないし仮想オブジェクトとは、計算装置によって発生された像ないしオブジェクトであって、仮想環境に関連している。さらに、明確にする目的で、この詳細な説明および特許請求の範囲に亘って使用される「仮想デザイン要素」という語句は、設計システムによってつくり出され或いは使用され得る、種々の仮想オブジェクト、仮想像ないし仮想グラフィックの総称である。仮想像ないし仮想オブジェクトと、現実世界の見え方つまり現実世界の像と、が組み合わされて、拡張現実の環境においての見え方つまり像となる。

システム１００は、１つまたは複数の構成要素を備え得る。一実施例においては、システム１００は、計算装置１０２を備える。計算装置１０２としては、デスクトップ型コンピュータやラップトップ型コンピュータなどの種々の型式のコンピュータとすることができる。他の実施例においては、計算装置１０２は、ディスプレイ、プロセッサ、および１つまたは複数の外部源とデータを送受信可能な装置を有する種々の型式の装置とすることができる。そのような装置の例としては、携帯情報端末（ＰＤＡ）、携帯電話および他の型式の装置があるが、これらに限定しない。

システム１００は、ユーザに向けて拡張現実の像を表示する装置を備え得る。いくつかの実施例においては、システム１００は、表示装置１０４を備え得る。表示装置１０４は、コンピュータのスクリーンつまりモニタ、ヘッドマウント（頭部装着）ユニット、投影式ディスプレイおよび他の種類のディスプレイなどの種々の型式のディスプレイとすることができるが、これらに限定しない。この実施例においては、表示装置１０４は、頭部装着ユニットつまりヘッドマウントディスプレイ（ＨＭＤ）である。特には、この実施例においては、表示装置１０４は、ゴーグルからなる。ユーザが表示装置１０４を通して見ると、１つまたは複数の仮想像が、表示装置１０４を通して見られる現実世界の上に重なって表示され得る。拡張現実システムで使用されるヘッドマウントディスプレイは、周知のものである。例として、米国特許出願公開第２００６／０２４８４７９１号明細書、米国特許第７，３９７，４８１号明細書、および米国特許第７，１１０，９０９号明細書に開示されており、これらの全体が本願の参照となる。

システム１００は、光学的情報を捕捉する装置を備え得る。いくつかの実施例においては、システム１００は、撮像装置１０６を備え得る。撮像装置１０６は、光学的情報を検出することができる種々の装置とすることができる。いくつかの場合、撮像装置１０６は、カメラである。いくつかの場合、撮像装置１０６は、ある種のビデオカメラである。使用され得る様々な型式のビデオカメラの例としては、電荷結合素子（ＣＣＤ）カメラ、相補性金属酸化膜半導体（ＣＭＯＳ）カメラ、他の型式の能動画素センサカメラ並びに他の型式のビデオカメラがある。

概して、撮像装置１０６は、システム１００の様々な構成要素に対して、種々の位置に配置され得る。いくつかの場合、撮像装置１０６は、据え置きされている。他の場合、撮像装置１０６は、システム１００の他の構成要素に実装されている。一実施例においては、撮像装置１０６は、表示装置１０４の一部分に実装されている。この配置において、撮像装置１０６が光学的情報を受けるように構成されており、システム１００のユーザが見回すと、ユーザは、この光学的情報を視認することができる。換言すると、撮像装置１０６は、この構成を利用して、ユーザが見ている現実世界の環境とほぼ同じ視界を有し得る。他の実施例においては、撮像装置１０６は、ユーザの視界とほぼ同じ視界が捕捉され得る別の位置に配置され得る。

システム１００は、拡張現実の環境と相互作用する装置を備え得る。いくつかの場合、システム１００は、相互作用デバイス１０８を備える。相互作用デバイス１０８は、種々の形態をとり得る。いくつかの場合、相互作用デバイス１０８は、タッチペンである。例えば、相互作用デバイス１０８は、携帯情報端末（ＰＤＡ）で使用されるものと同種のタッチペンとすることができ、このタッチペンは、ディスプレイに圧力を加えるのに使用される実質的にモノリシックな構成要素である。この実施例においては、相互作用デバイス１０８は、ペンの形状とほぼ同じ形状に形成された実質的にモノリシックな構成要素である。しかし、他の場合、相互作用デバイス１０８は、種々の他の形状、寸法および組成を有し得る。

いくつかの実施例においては、システム１００の１つまたは複数の構成要素が、計算装置１０２と通信する。いくつかの場合、撮像装置１０６が、計算装置１０２と通信する。加えて、いくつかの場合、表示装置１０４が、計算装置１０２と通信する。撮像装置１０６および表示装置１０４は、種々の型式の無線および／または有線の接続を介して計算装置１０２と通信し得る。いくつかの場合、撮像装置１０６および表示装置１０４は、ある種のネットワークを利用して計算装置１０２と通信することができる。そのようなネットワークの例としては、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、クライアント−サーバ・ネットワーク、ピアツーピア・ネットワークおよび他の型式のネットワークがあるが、これらに限定しない。いくつかの場合、計算装置１０２、撮像装置１０６および／または表示装置１０４の間の通信を容易にするために、Ｂｌｕｅｔｏｏｔｈ（登録商標）プロトコルを利用する無線のローカルエリアネットワークまたはパーソナルエリアネットワークが使用される。この構成を有することで、撮像装置１０６から集められた像が計算装置１０２で受信され、仮想の情報と組み合わせられる。組み合わせられた情報は、表示装置１０４へ送り返され、ユーザに向けて表示され得る。詳しくは、これにより、システム１００が１つまたは複数の仮想オブジェクトないし仮想像を使ってユーザの見え方を拡張させることが可能となる。

この実施例においては、単一の撮像装置を使っているが、他の実施例においては、２つ以上の撮像装置を備え得る。さらには、他の実施例においては、システム１００について、他の種類のセンサが使用され得ることが理解されよう。追加の種類のセンサを利用するシステムの例を以下に詳細に説明する。

この実施例においては、計算装置１０２はスタンドアロンのコンピュータとして示されているが、他の実施例においては、計算装置１０２はシステム１００の他の構成要素と統合されている。例えば、他の実施例においては、計算装置１０２は、表示装置１０４と統合されている。詳しくは、表示装置１０４は、撮像装置１０６で受けた光学的情報を処理する装置と、表示装置１０４に表示されるべき仮想像を発生させる装置とを備え得る。さらに他の実施例においては、計算装置１０２は、システム１００の他の構成要素と統合されている。他の例においては、システム１００の携帯性を良くするために、計算装置１０２は、ユーザが着用し或いは持ち運ぶことができる携帯機器とされ得る。さらには、いくつかの実施例においては、計算装置１０２は、システム１００の様々な構成要素の近くに配置されていなくてもよい。例えば、他の実施例においては、撮像装置１０６および表示装置１０４は、上述した種類のネットワークを利用して、計算装置１０２と遠隔通信する。このような構成を有することで、システム１００特に撮像装置１０６および表示装置１０４の携帯性が向上し得る。

システム１００は、プロプライアタ１１０と通信する装置を備え得る。プロプライアタ１１０は、仕事関連の、１つまたは複数の工場、複数の事務所、小売業者、および様々な他の機関を含み得る。概して、この詳細な説明および特許請求の範囲に亘って使用される「プロプライアタ」という用語は、販売業者および／または納入業者のことでもある。換言すると、プロプライアタという用語は、履物の部品加工、流通および／または小売販売に関わる作業並びに他の製造者側の作業を含む、製造者側の様々な作業に従事する人のことでもある。この構成を有することで、システム１００を利用してつくられた設計がプロプライアタ１１０に提出され、この設計を使って小売物品を製造する目的で利用される。

計算装置１０２とプロプライアタ１１０とは、ネットワーク１１２を利用して通信することができる。概して、ネットワーク１１２は、上述したネットワークなどの種々の型式のネットワークとすることができる。いくつかの実施例においては、ネットワーク１１２は、パケット交換通信システムである。一実施例においては、ネットワーク１１２は、インターネットである。さらには、いくつかの場合、システム１００は、プロプライアタ１１０が直接操作できるものであることを理解されたい。

図２は、ユーザ２００が操作している拡張現実設計システム１００の一実施例を示す。概して、ユーザ２００は、システム１００を操作することができる人である。いくつかの場合、ユーザ２００は、ある種のプロのデザイナである。例えば、一実施例においては、ユーザ２００は、プロプライアタ１１０に雇われたデザイナである。しかし、他の場合、ユーザ２００は、システム１００を利用して設計された商品を購入するつもりの顧客である。さらに他の場合、ユーザ２００は、システム１００を操作することができる人である。

システム１００は、プロキシ２１０とともに使用され得る。プロキシ２１０は、ある種の物品の概形の形状に形成され得る。プロキシ２１０は、履物、手袋、シャツ、パンツ、靴下、スカーフ、帽子、ジャケットおよび他の物品などの種々の物品に関連し得るが、これらの物品に限定しない。物品の他の例としては、皮膚ガード、膝パッド、肘パッド、肩パッドおよび他の型式の防護具があるが、これらの物品に限定しない。これに加え、いくつかの実施例においては、物品は、着用品以外の、ボール、鞄、財布、リュックサックおよび他の物品などの着用品以外の他の型式の物品であるが、これらの物品に限定しない。

この実施例においては、プロキシ２１０は、履物の形状に構成され得る。一実施例においては、プロキシ２１０は、靴を形成するのに使用される靴型の形状に形成されている。他の実施例においては、プロキシ２１０は、履物の形状に形成されている。いくつかの場合、プロキシ２１０は、ランニングシューズ、クロストレーニング用シューズ、バスケットボールシューズ、サッカーシューズ、フットボールシューズ、ハイヒール、ブーツ、つっかけ、ローカットシューズ、サンダルおよび他の型式の履物などの特定の型式の履物の形状に形成されているが、これらの履物に限定しない。さらに他の実施例においては、プロキシ２１０は、種々の他の形状に形成されている。

この実施例においては、プロキシ２１０は、印（マーク）のないブランクとなっている。しかし、他の実施例においては、物品を設計し易くするために、プロキシ２１０は、様々な履物特徴部とほぼ同じ位置を指し示す種々の印を含み得る。例えば、一実施例においては、プロキシ２１０は、物品のレースの付く領域のだいたいの位置を指し示す印を含み、いくつかの場合、ある種のレースを示す印を含む。他の例として、プロキシ２１０は、履物のソールと履物のアッパーとを区分する印を有する。いくつかの場合、さらなる印をつけることで、デザイナは、様々な履物特徴部へデザインを施すことができる。また、そのような印がプロキシ２１０に物理的に付けられていることもあれば、システム１００を利用して仮想的に付けられていることもあることを理解されたい。

システム１００は、種々の事務所、工場または他の種類の場所などの様々な設計環境における使用に適合され得る。例えば、この実施例においては、プロキシ２１０は、作業台２２０の上に配置されている。しかし、他の場合、プロキシ２１０は、ある種の台の上に配置されている。

システム１００の動作は、撮像装置１０６において現実世界の視界を受けることを含む。詳しくは、ユーザがプロキシ２１０を見るとき、撮像装置１０６は、プロキシ２１０の像を周囲環境とともに捕捉する。システム１００は、プロキシ２１０の位置と配向を精密に確定することができるヴィジュアル追跡ソフトウェアを備えるように構成され得る。当技術分野において、様々な型式のヴィジュアル追跡ソフトウェアが知られている。そして、この情報は、計算装置１０２へ送信され得る。この時点で、計算装置１０２は、仮想オブジェクトないし仮想像と、現実世界の環境に存在する像とを結び付けることができる。詳しくは、計算装置１０２は、表示装置１０４に仮想オブジェクトないし仮想像を表示するように構成されていて、ユーザ２００は、現実世界の像と仮想像の両方を含む拡張された像を見ることができる。さらには、上述したように、撮像装置１０６は、相互作用デバイス１０８の動きを追跡するように使用され得る。この構成を有することで、ユーザ２００は、相互作用デバイス１０８を使って１つまたは複数の仮想像を操作することができる。

実施例を理解し易くする目的で、表示装置１０４でユーザが見ている像は、多くの図においては概略的に示されている。例えば、この実施例においては、ユーザ２００は、表示装置１０４のスクリーン２４０で、プロキシ２１０を含む現実世界の環境を見ている。詳しくは、この実施例においては、スクリーン２４０は、透明なスクリーンであり、このスクリーンで、ユーザ２００は、現実世界の環境を見ている。さらには、以下に詳細に説明するように、仮想像がスクリーン２４０上に表示され得る。

上述したように、システム１００は、ある種の物品の設計をする目的で使用され得る。この実施例においては、システム１００は、さまざまな型式の履物を設計するのに使用され得る。例えば、システム１００は、履物の設計に使われる、ライン、形状、絵、画像、文字、数字、印および他の種類のグラフィックなどの様々な型式のグラフィックを施すのに使用され得るが、これらのグラフィックに限定しない。システム１００は、物品の設計に組み込まれ得る、物品の色、手触り、材料または種々の他の特徴を修飾するように使用され得る。

図３を参照すると、システム１００は、プロキシ２１０にデザインが施される際にユーザ２００を支援する装置を備え得る。いくつかの場合、システム１００は、１つまたは複数のデザインメニューを提供する。デザインメニューは、表示装置１０４上に表示された仮想メニューとすることができる。デザインメニューとしては、ツールメニュー、カラーメニュー、グラフィックメニューおよび他の種類のメニューがある。デザインメニューは、ボックス、パレット、リストの形態または他の構成をとり得る。

この実施例においては、システム１００は、ツールパレット３０２を備える。いくつかの場合、ツールパレット３０２は、表示装置１０４上に表示される仮想パレットである。さらには、ツールパレット３０２は、プロキシ２１０に隣接して見えるように表示され得る。

様々な実施例において、ツールパレット３０２内で利用可能なツールの型式は、様々である。この場合、ツールパレット３０２は、プロキシ２１０の複数の部分あるいはプロキシ２１０に関連する仮想像の複数の部分を選択するのに使用される選択ツール３０４を有する。加えて、ツールパレット３０２は、プロキシ２１０上に仮想ラインを引くのに使用され得るお絵かきツール３０６を含み得る。さらに、ツールパレット３０２は、プロキシ２１０の複数の部分に文字や語句を施すのに使用される文字ツール３０８を含み得る。なお、これらのツールは、例示に過ぎず、他の実施例においては、グラフィック編集ソフトウェアに典型的に関連する他の型式のツールが使用され得る。

システム１００は、また、グラフィックメニュー３２０を含み得る。グラフィックメニュー３２０は、一式の予備設計されたグラフィックを含み得る。例えば、この実施例においては、グラフィックメニュー３２０は、第１のグラフィック３２２および第２のグラフィック３２４を含む。明確にする目的で、２つのグラフィックのみが示されている。しかし、他の実施例においては、他の個数のグラフィックが含まれ得る。

いくつかの実施例においては、システム１００は、ユーザが外部源から様々なデザインやグラフィックを取り込むことを可能にする装置を備える。いくつかの実施例においては、ユーザは、計算装置１０２に様々なメディアデバイスを繋いで、システム１００に様々なグラフィックやデザインを取り込めるとよい。いくつかの実施例においては、ユーザが、デジタルカメラ、スキャナまたは種々の他のデバイスから、絵、画像および／または写真をアップロードする。さらには、いくつかの場合、インターネットなどの他の源から、様々な型式のデザインやデザイン要素が集められる。

図４〜図１３は、システム１００の一実施例の操作を示すことを意図している。図４を参照すると、ユーザ２００は、相互作用デバイス１０８を使って、お絵かきツール３０６を選択することができる。詳しくは、ユーザ２００は、ツールパレット３０２にタッチペン１０８を接触させるように、相互作用デバイス１０８を動かすことができる。この場合、ツールパレット３０２は、現実世界の環境に存在する対象物のどれとも対応しない仮想パレットである。しかし、システム１００は、プロキシ２１０に隣接する現実世界の位置にツールパレット３０２を関連付けるとともに、相互作用デバイス１０８の位置を追跡する。そして、ツールパレット３０２に関連している現実世界の位置へ相互作用デバイス１０８を動かすと、システム１００は、ツールパレット３０２と相互作用デバイス１０８との間の相互作用を認識し得る。詳しくは、この場合、システム１００は、ユーザがお絵かきツール３０６を選択しようとしていることを認識する。この構成を有することで、相互作用デバイス１０８は今や、プロキシ２１０上に仮想ラインないし仮想ストロークをつくり出せる筆、ペン、鉛筆などのお絵かきデバイスとして機能し得る。

図５を参照すると、お絵かきツールとして機能する相互作用デバイス１０８を有することで、ユーザ２００は、プロキシ２１０に様々な仮想デザイン要素を施すことができるようになる。この実施例においては、ユーザ２００は、プロキシ２１０の表面に押しつけながら相互作用デバイス１０８をドラッグすることによって、仮想ライン５０２を引くことができる。この場合、撮像デバイス１０６は、光学的情報を受けて、この光学的情報を計算装置１０２へ送信する。計算装置１０２は、この光学的情報を使って、相互作用デバイス１０８の位置を追跡し、相互作用デバイス１０８がプロキシ２１０の表面に接触したことを検出することができる。この実施例においては、相互作用デバイス１０８がお絵かきツールとして機能しているので、計算装置１０２は、スクリーン２４０上に仮想ライン５０２を発生させ得る。詳しくは、ユーザ２００には仮想ライン５０２がプロキシ２１０の表面に見えるように、仮想ライン５０２がスクリーン２４０の一部分上に表示される。換言すると、ユーザ２００の視点からはラインがプロキシ２１０上に直接引かれて見えるように、システム１００は、仮想ライン５０２とプロキシ２１０とを組み合わせる。なお、仮想ライン５０２は、相互作用デバイス１０８がプロキシ２１０に接触すると瞬時に表示される。

いくつかの実施例においては、仮想ライン５０２は、種々の型式のラインとすることができる。いくつかの場合、仮想ライン５０２は、ほぼ真直ぐな直線的な形状である。他の実施例においては、仮想ライン５０２は、直線でない形状である。さらには、仮想ライン５０２は、プロキシ２１０の表面の等高線に沿った曲線にされ得る。これによって、ユーザ２００の視点からは、仮想ライン５０２が益々プロキシ２１０の一部に見えるようになる。

いくつかの実施例においては、システム１００を利用してつくり出される種々のラインの特性は様々である。例えば、いくつかの場合、仮想メニューを使ってラインの太さが変えられる。他の場合、実線、点線を含むラインの様式は様々である。そのうえ、いくつかの場合、仮想ラインの特性は、プロキシにラインを引く前か後に修飾され得る。グラフィック編集ソフトウェアを使ってラインの特性を修飾する種々の周知の機能が利用され得ることが理解されよう。

図６を参照すると、ユーザ２００は、相互作用デバイス１０８を使ってプロキシ２１０上にラインを描き続けることができる。この場合、ユーザ２００は、プロキシ２１０の一方の側から他方の側まで単一のラインをひき続けるために、プロキシ２１０をひっくり返したところである。これに対処するように、システム１００は、プロキシ２１０の位置と配向を追跡し続け、仮想ライン５０２の配向を修正し、プロキシ２１０の表面に永久的にラインが引かれているように見せる。

図７を参照すると、システム１００は、円、楕円、三角形、正方形、長方形、台形、五角形、六角形、規則多角形、不規則多角形および他の形状などの種々の形状を描くのに使用され得るが、これらの形状に限定しない。この実施例においては、ユーザ２００は、相互作用デバイス１０８を使ってプロキシ２１０の側面に仮想の星形７０２を描いている。

システム１００は、物品のデザインに様々な色をつける装置を備え得る。いくつかの実施例においては、システム１００は、単色または多色のカラーパレットを有するように構成される。カラーパレットを有することで、ユーザは、プロキシの種々の部分につける色を選択することができる。当技術分野で様々な型式のカラーパレットが知られており、例えば、グラフィック編集ソフトウェアで見受けられる種々の型式のカラーパレットがある。

図８を参照すると、システム１００は、カラーパレット８０２を備え得る。いくつかの場合、カラーパレット８０２は、カラーサークルの型式のカラーパレットである。他の場合、カラーパレット８０２は、様々な色を有する複数のボックスとして与えられている。ユーザ２００がカラーパレット８０２から色を選択するには、相互作用デバイス１０８で所望の色の位置を指し示せばよい。この実施例においては、ユーザ２００は、カラーパレット８０２から色８０４を選択している。この選択がなされると、プロキシ２１０の色が色８０４に変わる。詳しくは、システム１００は、プロキシ２１０全体に施される色８０４を使って、仮想カラー像８１０を発生させる。プロキシ２１０が色８０４で塗られて見えるように、仮想カラー像８１０は、プロキシ２１０とほぼ同じ寸法、形状および配向を有する。そのうえで、仮想ライン５０２および仮想の星形７０２が、仮想カラー像８１０上に重ね合わせられる。

ユーザ２００がプロキシ２１０を見る向きを変えるためにプロキシ２１０を回転させ或いは動かすと、システム１００は、仮想カラー像８１０、仮想の星形７０２および仮想ライン５０２の配向および位置を調節し続け、これらのデザイン要素が３次元のプロキシに永久的に施されて見えるようにすることが理解されよう。

今度は図９および図１０を参照すると、プロキシ２１０についての仮想カラーは、また、プロキシ２１０の局所的な部位に構成され得る。この実施例においては、ユーザ２００は、相互作用デバイス１０８を使ってプロキシ２１０のつま先部分２１１を選択する。いくつかの場合、ユーザ２００は、つま先部分２１１を選択するために、選択ツールとして機能する相互作用デバイス１０８を正しい位置に置く。他の場合、ユーザ２００は、仮想メニューから色付けツールを選択してから、プロキシ２１０の所望の部分を選択することで、色をつける。

いくつかの場合、ユーザ２００が相互作用デバイス１０８を使ってつま先部分２１１を選択すると、カラーパレット９０２が現れる。いくつかの場合、仮想境界線９１０を使って、つま先部分２１１が目立つようにする。この時点で、図１０に見られるように、ユーザ２００は、カラーパレット９０２を使って、つま先部分２１１に施す色を選択することができる。すると、この色がつま先部分２１１全体に施される。

この実施例は、ユーザがつま先部分２１１の色を修飾していることを示しているが、他の場合、ユーザは、プロキシ２１０の他の部分を修飾することができる。色付けされる他の部分としては、プロキシ２１０の、中足部、踵部、下位部、上位（アッパー）部、内側部、外側部および種々の他の部分があるが、これらに限定しない。プロキシ２１０がソール部と上位部を備える実施例においては、ユーザは、ソール部および／または上位部の色を別々に修飾し得る。加えて、プロキシが、レースの位置を示すレースの絵ないし印を含むレースの付く部分を有する実施例においては、ユーザは、レースの付く部分の色を修飾することができる。

今度は図１１および図１２を参照すると、ユーザ２００は、プロキシ２１０に１つまたは複数の仮想グラフィックを施すことができる。この場合、ユーザ２００は、相互作用デバイス１０８を使って、グラフィックメニュー３２０から第１のグラフィック３２２を選択する。そして、ユーザ２００は、プロキシ２１０と相互作用デバイス１０８とを接触させることで、プロキシ２１０の表面に第１のグラフィック３２２を配置させることができる。この時点で、システム１００は、第１のグラフィック３２２がプロキシ２１０上に物理的に配置されて見えるように、第１のグラフィック３２２の外見を自動的に調整することができる。さらには、プロキシ２１０を動かすか回転させると、この動きに応じてシステム１００がグラフィック３２２の配向と位置を調節し得る。この実施例では、プロキシ２１０に単一のグラフィックが施されているが、他の実施例においては、２つ以上の実施例がプロキシ２１０に施され得る。

概して、プロキシに施される仮想グラフィックは、予備設計またはカスタム設計されたグラフィックとすることができる。例えば、いくつかの場合、ユーザは、システム１００を使ってカスタム設計されたグラフィックをつくり出し、グラフィックメニュー３２０内にそのグラフィックを保存することができる。これによって、ユーザは、グラフィックを随時呼び出して、プロキシに施すことができる。他の実施例においては、システム１００は、一式の予備設計されたグラフィックを提供することができる。

図１３を参照すると、ユーザ２００は、消しゴムツール１３０２を使って仮想オブジェクトを部分的に消去することができる。この場合、ユーザ２００は、仮想ライン１３０４が施されているプロキシ２１０の部分に相互作用デバイス１０８を接触させることで、仮想ライン１３０４を部分的に消去することができる。これにより、仮想ライン１３０４の一部分が消去される。

いくつかの実施例においては、システムｌ００は、ユーザに１つまたは複数の既存の設計つまり定型デザインを提供する。定型デザインは、プロキシについて現在の設計セッションの前の段階でつくられた種々のデザインを含み得る。定型デザインは、プロプライアタが提供する場合もあれば、先行する設計ステップの際に、ユーザがつくり出す場合もある。

図１４〜図１６は、定型デザインに関して機能するシステム１００の一実施例を使用することを示している。図１４を参照すると、ユーザ２００は、定型メニュー１４０２から定型デザインを選択することができる。この場合、定型メニュー１４０２は、第１の定型デザイン１４１０と第２の定型デザイン１４１２を含む。ユーザ２００は、相互作用デバイス１０８を使って第１の定型デザイン１４１０を選択したところである。第１の定型デザイン１４１０が選択されると、一式の仮想デザイン要素が自動的に発生し、プロキシ２１０上に表示される。例えば、この実施例においては、第１の定型デザイン１４１０は、仮想アッパートリム１４２０、仮想ストライプ１４２２および仮想アッパーパネル１４２４を含む。この構成を有することで、ユーザは、最初から物品の設計をするのではなく、既存の設計を修飾すればよい。

ユーザ２００は、プロキシ２１０についての定型デザインを選択した後、上述したグラフィックツールまたは他の周知のグラフィックツールを使ってデザインを修飾することができる。例えば、図１５を参照すると、ユーザ２００は、お絵かきツールを使って、仮想アッパーパネル１４２４の周囲に仮想境界線１５０２を描き加えることができる。さらに、図１６に見られるように、ユーザは、カラーパレット１６０２を使って仮想アッパーパネル１４２４の色を修飾することができる。

この構成を用いて、ユーザは、既存のデザインに修飾を加えることで、斬新でユニークなデザイン特性を備えた物品を製造することができる。デザイナは、現在のモデルの履物の後継品を設計するときに、この機能を使うことができる。例えば、毎年のように再設計される物品がある。本明細書で述べた構成を有することで、デザイナは、白紙の状態から設計を始めるのではなく、前年度の最新履物モデルに対応する定型デザインを選択することで、すぐに履物の再設計にとりかかることができる。

システム１００は、様々な型式のプロキシに仮想デザインを施す装置を備え得る。いくつかの場合、システム１００は、物品の模型ではなく、形成済みの物品を用いて使用されるように構成されている。例えば、システム１００が履物を設計するのに利用される状況において、プロキシは、靴型ではなく、特定の種類の靴であってもよい。

図１７に示されるシステム１００の実施例においては、靴型ではなく、実物の履物がプロキシ１７１０として使用される。図１７を参照すると、プロキシ１７１０は、アッパー１７２０およびソール構造体１７２２を有する。さらに、アッパー１７２０は、第１のデザイン要素１７３０と第２のデザイン要素１７３２を有する。これらのデザイン要素は、プロキシ１７１０の一部を構成する物理的なデザイン要素である。いくつかの場合、プロキシ１７１０として実物の履物を使用することは、ユーザが最終的な製品を視覚化することを助ける。

この実施例においては、ユーザ２００は、相互作用デバイス１０８を使ってプロキシ１７１０に仮想ライン１７４０を施すことができる。ユーザ２００が相互作用デバイス１０８をプロキシ１７１０の表面に接触させつつドラッグすると、プロキシ１７１０より手前にあるスクリーン２４０上に仮想ライン１７４０が表示される。これにより、プロキシ１７１０上にラインがつくり出されたように見える。この構成を有することで、ユーザは、システム１００を利用して実物の履物に仮想オブジェクトないし仮想像を適用することによって、既存の履物の設計を修飾することができる。

明確にする目的で、この実施例は、様々なライン、色、グラフィックおよび他の種類の印を物品にデザインすることを示している。しかし、他の実施例においては、拡張現実設計システムを利用して、物品用の追加的な種類の構成要素が設計され得ることを理解されたい。いくつかの場合、拡張現実設計システムを利用して製造される設計ラインは、物品の機能特徴部を表す。

いくつかの実施例においては、設計システムは、ストラップ、ヒールカウンタ、つま革、表底（外ソール）、中底（中ソール）、レース、および物品の他の機能構成要素などの様々な物理的および／または機能的な構成要素を設計するのに使用可能であるが、これらの構成要素に限定しない。例えば、一実施例においては、ユーザは、プロキシの底面にトラクションパターンを描くことによってソールの表底を設計（デザイン）することができる。他の例においては、ユーザは、プロキシの一部分上にストラップを描くことができる。他の例としては、ユーザは、物品の一つまたは複数の部分に関して利用され得る１つまたは複数のインサートを描くことができる。拡張現実設計システムを利用して設計され得るストラップおよびインサートの例としては、Ｇｅｒｂｅｒらのカスタマイズ可能なアッパーを有する履物に関する米国特許＿＿＿＿号（現時点では米国特許出願第１２／ｏ３５８，２３４号明細書）があり、この出願全体が本願の参照となる。

いくつかの実施例においては、表底パターン、ストラップ、ヒールカウンタおよび種々の他の機能構成要素を示す設計（デザイン）ラインは、プロプライアタが最終的な物品を設計するために使用される。いくつかの場合、システムは、機能設計ライン（例えば、ヒールカウンタを指し示すライン）と装飾設計ライン（例えば、１つまたは複数のストライプを示すライン）とを判別する装置を備える。いくつかの場合、プロプライアタが様々な型式の設計ラインを容易に判別できるように、機能構成要素に関連するように意図された設計ラインが、追加の情報と一緒に保存される。しかし、他の場合、各設計ラインは、実質的に同じ様式で保存されていて、プロプライアタは、機能設計ラインと装飾用の設計ラインとを判別するためには、事の経緯や他の手掛かりを参考にする必要がある。

図１８を参照すると、いくつかの場合、システム１００は、設計セッションが終了したことをユーザに知らせる。例えば、この実施例においては、ユーザ２００は、プロキシ１８１０を使っての物品の設計を終えている。詳しくは、ユーザ２００は、システム１００を利用して、プロキシ１８１０に仮想デザイン要素１８１２を施し終えたところである。この時点で、システム１００は、設計を終了するべきか否かを決定するように促すとよい。いくつかの場合、ユーザ２００に向けてダイアログボックス１８５０が表示される。この場合、ユーザ２００は、相互作用デバイス１０８を使って物品の設計を終えたことを示す。

設計が終了した履物を製造する目的で、最終設計がプロプライアタに提出され得る。図１９に見られるように、いくつかの場合、最終設計がネットワーク１１２を介してプロプライアタの計算装置１９０２へ送信される。この時点で、プロプライアタは、最終設計を用いて履物を製造することができる。

図２０は、システム１００を利用して設計された物品を製造するプロセスの一実施例を示す。この実施例においては、以下のステップのうちのいくつかのステップが、物品の製造および／または販売を行うプロプライアタによって実行され得る。また、いくつかのステップが、システム１００の顧客や他のユーザによって実行され得る。これに加え、他の実施例においては、以下のステップのうちの１つまたは複数のステップが選択的であることを理解されたい。

ステップ２００２において、ユーザは、拡張現実設計システム１００を利用して物品を設計することができる。この様式で物品の設計をする方法およびツールについては、これまでに詳述した。続いて、ステップ２００４において、設計がプロプライアタに受け取られ得る。プロプライアタは、履物の部品加工、流通および／または小売販売に関わる作業並びに他の製造者側の作業を含む、製造者側の様々な作業に従事する人のことでもある。続いて、ステップ２００６で、ユーザから提出された設計に基づいて、物品が製造され得る。このステップは、種々の周知の製造技術を利用して完成され得る。利用され得る製造技術の一例が、２００６年１２月１８日に出願された米国特許出願第１１／６１２，３２０号明細書中に開示されており、この出願の全体が本願の参照となる。

上述したように、拡張現実設計システムは、種々の物品を設計するために利用され得る。いくつかの実施例においては、拡張現実設計システムは、衣料品を設計する装置を備えている。一実施例においては、拡張現実設計システムは、シャツやパンツを設計する装置を備えている。

図２１〜図２３は、様々な衣料品を設計するように構成された拡張現実設計システム１００の一実施例を示す。この場合、システム１００は、プロキシ２１００とともに利用される。プロキシ２１００は、全身マネキンの概的形態を有し得る。詳しくは、プロキシ２１００としては、Ｔシャツ、長袖シャツ、ボタン留めシャツ、セータ、ベスト、ジャケットおよび他の種類の物品などの、胴体や腕に着用される様々な物品の設計をするのに使用され得る上位部２１０２がある。プロキシ２１００としては、また、パンツ、ジーンズ、軍服、ショーツ、スカート、水着および他の種々の物品などの、足に着用される様々な物品の設計をするのに使用され得る下位部２１０４がある。さらには、プロキシ２１００は、様々な種類のドレス、スーツ、水着、制服（これらの物品に限定しない）などの、上位部２１０２と下位部２１０４の両方に亘る物品の設計をするためにも使用され得ることを理解されたい。

概して、上記の実施例において説明した履物を設計するための様々なグラフィックツールが、シャツおよび／またはパンツなどの種々の他の物品を設計することに応用され得る。図２２を参照すると、ユーザ２００は、上位部２１０２に仮想像を施すことによって、シャツの設計をすることができる。この場合、ユーザ２００は、相互作用デバイス１０８を使って仮想ストライプ２１１０をつくり出すことができる。加えて、図２３に見られるように、ユーザ２００は、カラーパレット２１２０を使ってプロキシ２１００の下位部２１０４の色を修飾することによって、一着のパンツの設計をすることができる。

この実施例は、限定することを意図するものではなく、他の実施例においては、システム１００は、様々な型式の物品の設計をする目的で他の型式のプロキシとともに使用され得る。他の例としては、システム１００は、帽子を設計する目的で、頭の形に形成されたプロキシとともに使用され得る。さらに他の例においては、システム１００は、手袋を設計する目的で、手の形に形成されたプロキシとともに使用され得る。そのうえ、上述したように、システムは、着用される物品の設計に使用されることに必ずしも限定されない。他の実施例においては、システム１００は、財布、リュックサック、旅行鞄（これらに限定しない）および他の種類の鞄などの様々な種類の鞄を設計する目的で、鞄の形に形成されたプロキシとともに使用され得る。

この実施例においては、プロキシ２１００は、何も印がないブランクとなっている。しかし、他の実施例においては、物品の設計をし易くするために、プロキシ２１００は、衣料品の様々な特徴部のおよその位置を指し示す様々な型式の印を含み得る。例えば、一実施例においては、プロキシ２１００は、該プロキシ２１００に関連し得る半袖シャツの境界を示す印を含んでいる。他の実施例においては、プロキシ２１００は、該プロキシ２１００に関連し得る一着のパンツの境界を示す印を含んでいる。いくつかの場合、追加の印をつけることで、ユーザが衣料品の様々な特徴部にデザインを施すことが可能となり得る。さらに言えば、これらの印は、プロキシ２１００上に物理的につけられる場合もあれば、システム１００を使って仮想的に適用される場合もあることを理解されたい。

これに加え、いくつかの場合、ユーザは、直接プロキシ２１００上へ衣料品を配置する。例えば、シャツを設計するために、ユーザは、プロキシ２１００の上位部２１０２上にシャツを配置する。そして、ユーザは、このシャツに、システム１００を用いて様々な仮想デザイン要素を施すことができる。同様に、ユーザは、プロキシ２１００の下位部２１０４上に一着のパンツを配置し、このパンツに様々な仮想デザイン要素を施すことができる。

拡張現実設計システムは、表示装置を使用することなく、プロキシに仮想像を適用する装置を備え得る。いくつかの場合、仮想像が直接プロキシ上に重ね合わせられる。一実施例においては、実時間内に物品の設計をする目的で、仮想像が直接プロキシ上に投影される。

図２４は、拡張現実設計システム２４００（以後、「システム２４００」と呼ぶ）の他の実施例を示す。システム２４００は、上述したシステム１００と実質的に同じシステムで、構成要素も実質的に同じである。例えば、システム２４００は、計算装置２４０２を備える。計算装置２４０２は、デスクトップ型コンピュータやラップトップ型コンピュータなどの種々の型式のコンピュータとすることができる。他の実施例においては、計算装置２４０２は、ディスプレイ、プロセッサ、および１つまたは複数の外部源とデータを送受信可能な装置を有する種々の型式の装置とすることができる。そのような装置の例としては、携帯情報端末（ＰＤＡ）、携帯電話および他の型式の装置があるが、これらに限定しない。

システム２４００は、ある種のプロキシ上に直接に仮想像ないし仮想オブジェクトを重ね合わせる装置を備え得る。いくつかの実施例においては、システム２４００は、投影装置２４０４を備える。投影装置２４０４は、当技術分野で周知の種々の型式のプロジェクタとすることができる。拡張現実システムで使用され得る投影装置の例は、当技術分野で知られている。一実施例においては、投影装置２４０４は、デジタルプロジェクタである。

システム２４００は、視覚的情報を捕捉する装置を備え得る。いくつかの実施例においては、システム２４００は、撮像装置２４０６を備える。撮像装置２４０６は、光学的情報を検出できる種々の装置とすることができる。いくつかの場合、撮像装置２４０６は、カメラである。いくつかの場合、撮像装置２４０６は、ある種のビデオカメラである。使用され得る様々な型式のビデオカメラの例としては、電荷結合素子（ＣＣＤ）カメラ、相補性金属酸化膜型半導体（ＣＭＯＳ）カメラ、他の型式の能動画素センサカメラ並びに他の型式のビデオカメラがある。

概して、撮像装置２４０６は、システム２４００の様々な構成要素に対して種々の位置に配置され得る。いくつかの場合、撮像装置２４０６は、据え置きされている。他の場合、撮像装置２４０６は、システム２４００の他の構成要素に実装されている。一実施例においては、撮像装置２４０６は、ある態様でユーザに実装されている。例えば、一実施例においては、撮像装置２４０６は、ユーザが着用する、ある種のヘッドセットに実装されている。しかし、他の場合、撮像装置２４０６は、ユーザおよび／またはプロキシに対して据え置き位置に配置されている。

システム２４００は、拡張現実の環境と相互作用する装置を備え得る。いくつかの場合、システム２４００は、相互作用デバイス２４０８を備える。相互作用デバイス２４０８は、種々の形態を取り得る。いくつかの場合、相互作用デバイス２４０８は、タッチペンである。例えば、相互作用デバイス２４０８は、携帯情報端末（ＰＤＡ）で使われるのと同様のタッチペンであり、このタッチペンは、ディスプレイに圧力を加えるのに使用される実質的にモノリシックな構成要素である。この実施例においては、相互作用デバイス２４０８は、ペンの概形を有する実質的にモノリシックな構成要素である。しかし、他の場合、相互作用デバイス２４０８は、種々の他の形状、寸法および組成を有し得る。

いくつかの実施例においては、システム２４００の１つまたは複数の構成要素は、計算装置２４０２と通信する。いくつかの場合、撮像装置２４０６が、計算装置２４０２と通信する。これに加え、いくつかの場合、投影装置２４０４が計算装置２４０２と通信する。撮像装置２４０６と投影装置２４０４は、種々の型式の無線および／または有線の接続を介して計算装置２４０２と通信し得る。いくつかの場合、撮像装置２４０６および投影装置２４０４は、ある種のネットワークを利用して計算装置２４０２と通信することができる。そのようなネットワークの例としては、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、クライアント−サーバ・ネットワーク、ピアツーピア・ネットワークおよび他の型式のネットワークがあるが、これらに限定しない。いくつかの場合、計算装置２４０２と、撮像デバイス２４０６および／または投影装置２４０４と、の間の通信を容易にするために、Ｂｌｕｅｔｏｏｔｈ（登録商標）プロトコルを用いた無線のローカルエリアネットワークまたはパーソナルエリアネットワークが利用される。この構成を有することで、撮像装置２４０６から集められた像は、計算装置２４０２で受信され、仮想情報と組み合わせられる。そして、組み合わせられた情報は、投影装置２４０４に戻され、プロキシ上に投影される。詳しくは、これにより、システム２４００は、１つまたは複数の仮想オブジェクトないし仮想像を利用してプロキシの外見を拡張させることが可能となる。

この実施例は、単一の撮像装置を使用しているが、他の実施例においては、２つ以上の撮像装置を使用する。さらには、他の実施例においては、システム２４００に他の種類のセンサが使用され得ることが理解されよう。追加的な種類のセンサを使用するシステムの例を以下に詳述する。

明確にする目的で、この実施例においては、システム２４００が単一の投影装置を備えるものとして示されている。単一の投影装置を使用しつつプロキシを回転させることで、仮想像がプロキシの一部として見えるように、プロキシの様々な側面に仮想像を発生させることができる。しかし、ユーザが、据え置きされているプロキシの周りを歩き回って複数の側面を見るような場合には、プロキシの複数の側面に仮想像を同時に映すために、２つ以上の投影装置が必要なこともある。従って、他の実施例においては、システム２４００は、２つ以上の投影装置を備え得る。

この実施例においては、計算装置２４０２はスタンドアロンのコンピュータとして示されているが、他の実施例においては、計算装置２４０２は、システム２４００の他の構成要素と統合されている。例えば、他の実施例においては、計算装置２４０２は、投影装置２４０４と統合されている。詳しくは、投影装置２４０４は、撮像装置２４０６が受信した光学的情報を処理する装置と、プロキシ上へ直接投影されるべき仮想像を発生させる装置とを備え得る。さらに他の実施例においては、計算装置２４０２は、システム２４００の種々の他の構成要素と統合されている。他の実施例においては、システム２４００の携帯性を良くするために、計算装置２４０２は、ユーザが着用し或いは持ち運ぶことができる携帯機器である。さらには、いくつかの実施例においては、計算装置２４０２は、システム２４００の様々な構成要素の近くに配置されなくてもよい。例えば、他の実施例においては、撮像装置２４０６と投影装置２４０４は、上述したネットワークを利用して計算装置２４０２と遠隔通信する。

システム２４００は、プロプライアタ２４１０と通信する装置を備え得る。いくつかの場合、計算装置２４０２とプロプライアタ２４１０とはネットワーク２４１２を利用して通信することができる。概して、ネットワーク２４１２は、上述したネットワークなどの種々の型式のネットワークとすることができる。

図２５〜図２９は、システム２４００の一実施例における操作を示すことを意図する。図２５を参照すると、システム２４００は、物品の設計をする目的で、プロキシ２５１０とともに使用され得る。この場合、プロキシ２５１０は、靴の形の幾何学構造を有し、履物を設計するのに使用される。しかし、他の実施例においては、システム２４００は、種々の物品の設計をする目的で、種々の他の型式のプロキシとともに使用される。システム２４００を利用して設計され得る他の物品の例としては、上述した種々の物品並びに他の種類の物品がある。

この実施例においては、プロキシ２５１０は、作業台２５６０の上に配置されている。しかし、他の場合、プロキシ２５１０は、ある種の台の上に配置されている。これに加え、撮像装置２４０６と投影装置２４０４は、第１の三脚２４５０と第２の三脚２４５２にそれぞれ載せられている。しかし、他の場合、撮像装置２４０６および／または投影装置２４０４は、他の様式で設置されている。

図２５を参照すると、投影装置２４０４は、プロキシ２５１０上に像を投影するように構成され得る。この時点では、ユーザ２５００が何の仮想像もつくっていないので、投影装置２４０４は、プロキシ２５１０上に像を投影していない。しかし、ユーザ２５００がプロキシ２５１０と相互作用デバイス２４０８とを接触させているときは、図２６に見られるように、システム２４００は、仮想ライン２６０２を発生させるように構成され得る。詳しくは、撮像装置２４０６が、プロキシ２５１０の位置および相互作用デバイス２４０８の位置を追跡するものとして使用される。相互作用デバイス２４０８とプロキシ２５１０とが接触すると、システム２４００は、自動的に接触点に印をつける。この印は、投影装置２４０４によって直接プロキシ２５１０上に投影される。ユーザ２５００がプロキシ２５１０の一部分の端から端まで相互作用デバイス２４０８をドラッグすると、ほぼ瞬時にラインが発生し、投影装置２４０４を使ってプロキシ２５１０上に投影される。この構成を有することで、プロキシ２５１０上にラインが物理的に引かれていなくても、ユーザ２５００にはプロキシ２５１０が修飾されて見える。換言すると、仮想ライン２６０２がプロキシ２５１０の一部として見えるようにプロキシ２５１０上に投影されている。

今度は図２７に示されるように、ユーザ２５００は、仮想ライン２６０２を引き続けるために、プロキシ２５１０を回転させることもある。プロキシ２５１０が回転されると、システム２４００は、仮想ライン２６０２の配向を修正して、プロキシ２５１０上に永久的に引かれたラインとして見えるようにする。このような仮想ライン２６０２の再配向は、プロキシ２５１０の位置および配向を追跡し、プロキシ２５１０の位置および配向の変化に対処して仮想ライン２６０２が更新される毎に算出し直すことによって、実現され得る。

システム２４００は、ユーザが１つまたは複数の設計ツールメニューと相互作用することを可能にする装置を備え得る。いくつかの場合、システム２４００は、ユーザが見ることのできるメニューを備える。一実施例においては、システム２４００は、投影装置２４０４を使って画面上に一つまたは複数のメニューを投影する。

図２８および図２９に示されるように、システム２４００は、ツールパレット２８０２とカラーパレット２８０４を備え得る。この場合、ツールパレット２８０２とカラーパレット２８０４は、仮想パレットである。さらには、ツールパレット２８０２とカラーパレット２８０４は、ユーザ２５００に見えるように、画面２８１０上に投影され得る。

概して、システム２４００は、床、壁、テーブルおよび他の種類の画面（これらに限定しない）などの種々の型式の画面上に仮想メニューを投影するように構成されている。さらにいくつかの場合、設計システムは、投影されたメニューの像を受けるように特別に設計された画面を有するように構成されていてもよい。さらに他の場合、メニューは、直接プロキシの一部分に投影されてもよい。この実施例においては、画面２８１０は、作業台２５６０の壁部分である。

図２９に示されるように、ユーザ２５００は、カラーパレット２８０４を使って、プロキシ２５１０の色を変えることができる。詳しくは、ユーザ２５００は、カラーパレット２８０４の置かれている画面２８１０上の位置まで相互作用デバイス２４０８を動かす。システム２４００は、相互作用デバイス２４０８の位置を検出し、相互作用デバイス２４０８がカラーパレット２８０４上の色２９０２に対応する部分を選択していることを確定し得る。

拡張現実設計システムは、据え置きされている表示装置上に現実世界の像と仮想像を重ね合わせて表示する装置を備え得る。例えば、一実施例においては、仮想像と現実世界の像とが組み合わされて、コンピュータのモニタないしスクリーン上に表示される。

図３０〜図３２は、拡張現実設計システム３０００（単にシステム３０００とも呼ぶ）の一実施例を示す。システム３０００は、１つまたは複数の構成要素を備え得る。一実施例においては、システム３０００は、計算装置３００２を備える。計算装置３００２は、デスクトップ型コンピュータやラップトップ型コンピュータなどの種々の型式のコンピュータとすることができる。他の実施例においては、計算装置３００２は、ディスプレイ、プロセッサ、および１つまたは複数の外部源とデータを送受信可能な装置を有する種々の型式の装置とすることができる。そのような装置の例としては、携帯情報端末（ＰＤＡ）、携帯電話および他の型式の装置があるが、これらに限定しない。

システム３０００は、ユーザに拡張現実の像を表示する装置を備え得る。いくつかの実施例においては、システム３０００は、表示装置３００４を備える。表示装置３００４は、コンピュータのスクリーンないしモニタ、ヘッドマウント（頭部装着）ユニット、投影式ディスプレイ、および他の種類のディスプレイなどの種々の型式のディスプレイとすることができるが、これらに限定しない。この実施例においては、表示装置３００４は、計算装置３００２に関連するコンピュータのモニタである。

システム３０００は、視覚的情報を捕捉する装置を含み得る。いくつかの実施例においては、システム３０００は、撮像装置３００６を備える。撮像装置３００６は、光学的情報を検出できる種々の装置とすることができる。いくつかの場合、撮像装置３００６は、カメラである。いくつかの場合、撮像装置３００６は、ある種のビデオカメラである。使用され得る様々な型式のビデオカメラの例としては、電荷結合素子（ＣＣＤ）カメラ、相補性金属酸化膜半導体（ＣＭＯＳ）カメラ、他の型式の能動画素センサカメラ並びに他の型式のビデオカメラがある。

概して、撮像装置３００６は、システム３０００の様々な構成要素に対して種々の位置に配置され得る。いくつかの場合、撮像装置３００６は、据え置きされている。他の場合、撮像装置３００６は、システム３０００の他の構成要素に実装されている。一実施例においては、撮像装置３００６は、ある態様でユーザに実装されている。例えば、一実施例においては、ユーザが着用するある種のヘッドセットに実装されている。しかし、他の場合、撮像装置３００６は、ユーザおよび／またはプロキシに対して据え置きされている。例えば、この実施例においては、撮像装置３００６は、三脚３０５０（図３１参照）に載せられている。さらに他の実施例においては、撮像装置３００６は、計算装置３００２の一部分に実装されているウェブカメラの型式のカメラである。

システム３０００は、拡張現実の環境と相互作用する装置を備え得る。いくつかの場合、システム３０００は、相互作用デバイス３００８を備える。相互作用デバイス３００８は、種々の形態を取り得る。いくつかの場合、相互作用デバイス３００８は、タッチペンである。例えば、相互作用デバイス３００８は、携帯情報端末（ＰＤＡ）で使用されるものと同様のタッチペンであり、このタッチペンは、ディスプレイに圧力を加えるのに使用される実質的にモノリシックな構成要素である。この実施例においては、相互作用デバイス３００８は、ペンとほぼ同じ形状の実質的にモノリシックな構成要素である。しかし、他の場合、相互作用デバイス３００８は、種々の他の形状、寸法および組成を有する。

いくつかの実施例においては、システム３０００の１つまたは複数の構成要素は、計算装置３００２と通信する。いくつかの場合、撮像装置３００６は、計算装置３００２と通信する。加えて、いくつかの場合、表示装置３００４は、計算装置３００２と通信する。撮像装置３００６と表示装置３００４は、種々の型式の無線および／または有線の接続を介して計算装置３００２と通信し得る。いくつかの場合、撮像装置３００６と表示装置３００４は、ある種のネットワークを利用して計算装置３００２と通信する。そのようなネットワークの例としては、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、クライアント−サーバ・ネットワーク、ピアツーピア・ネットワークおよび他の型式のネットワークがあるが、これらに限定しない。いくつかの場合、計算装置３００２と、撮像装置３００６および／または表示装置３００４との間の通信を容易にするために、Ｂｌｕｅｔｏｏｔｈ（登録商標）プロトコルを利用する無線のローカルエリアネットワークまたはパーソナルエリアネットワークが使用される。この構成を有することで、撮像装置３００６から集められた像は、計算装置３００２で受信され、仮想の情報と組み合わせられる。そして、組み合わせられた情報は、表示装置３００４に戻され、ユーザに向けて表示される。詳しくは、これにより、システム３０００が１つまたは複数の仮想オブジェクトないし仮想像を利用してユーザの見え方を拡張させることが可能となる。

この実施例においては、単一の撮像装置を利用しているが、他の実施例においては、２つ以上の撮像装置を備える。さらには、他の実施例においては、種々の他の種類のセンサがシステム３０００に使用され得ることが理解されよう。追加の種類のセンサを使用するシステムの一例について、以下に詳述する。

この実施例においては、計算装置３００２は、スタンドアロンのコンピュータとして示されているが、他の実施例においては、計算装置３００２は、システム３０００の他の構成要素と統合されている。例えば、他の実施例においては、計算装置３００２は、表示装置３００４と統合されている。詳しくは、表示装置３００４は、撮像装置３００６で受けた光学的情報を処理する装置と、該表示装置３００４に表示されるべき仮想像を発生させる装置とを備える。さらに他の実施例においては、計算装置３００２は、システム３０００の種々の他の構成要素と統合されている。他の例においては、システム３０００の携帯性を良くするために、計算装置３００２は、ユーザが着用し或いは持ち運ぶことができる携帯機器とされ得る。さらには、いくつかの実施例においては、計算装置３００２は、システム３０００の様々な構成要素の近くに配置されていなくてもよい。例えば、他の実施例においては、撮像装置３００６と表示装置３００４は、上述したネットワークを利用して計算装置３００２と遠隔通信する。

図３１および図３２を参照すると、ユーザ３１００は、システム３０００をプロキシ３１１０とともに使って、物品の設計をすることができる。システム３０００は、前者の実施例に関して説明した設計ツールおよびメニューと実質的に同じ設計ツールおよびメニューを提供し得ることが理解されよう。さらには、この実施例においては、ユーザ３１００は、表示装置３００４上で現実世界の像と仮想像を見ることができる。ユーザ３１００が相互作用デバイス３００８を使ってプロキシ３１１０に様々な仮想デザイン要素を施すと、表示装置３００４上に見えているプロキシ３１１０の外見が修飾され得る。

上述した実施例においては、プロキシおよび相互作用デバイスの動きおよび位置を追跡する目的で、光学的認識ソフトウェアを利用するシステムを備えているが、他の実施例においては、１つまたは複数の構成要素が追加のセンサを有するように構成されている。いくつかの場合、設計システムは、相互作用デバイスとの相互作用を検出するように構成されたセンサないし他のデバイスを有するプロキシを備える。同様に、いくつかの場合、設計システムは、プロキシとの相互作用を検出する１つまたは複数のセンサを有する相互作用デバイスを備える。さらに、いくつかの場合、プロキシ内のセンサおよび／または他の装置を利用して、該プロキシの位置および／または配向を検出する。同様に、相互作用デバイス内のセンサを利用して、該相互作用デバイスの位置および／または配向を検出する。そして、計算装置が、１つまたは複数のセンサから情報を受けて、ユーザが相互作用デバイスで指し示しているプロキシの位置を確定する。センサを使うことにより、設計システムは、プロキシに１つまたは複数の仮想デザイン要素を施す目的で、プロキシと相互作用デバイスとの相対的な位置および配向を精密に算出することができる。

本発明の様々な実施例について説明したが、この説明は例示するためのものであって、限定するためのものではない。本発明の範囲を逸脱することなく、さらに多くの実施例や適用例があり得ることが当業者に明らかであろう。従って、本発明は、添付の特許請求の範囲およびこれの均等物に照らすこと以外によっては制限されない。添付の特許請求の範囲内において、様々な変更や変形がなされ得る。

Claims (23)

1. 人によって装用できる物品の設計をする方法であって、前記方法は、
   表示装置上で、前記物品のためのプロキシを見るステップであって、前記プロキシは、現実世界の環境に存在し、前記プロキシは、３次元の不規則な形状を有し、前記プロキシは、相互作用デバイスと前記プロキシの複数の部分との間の相互作用を検出するように構成された前記プロキシに配置された複数のセンサを含み、ここで前記プロキシの一部分は、前記表示装置上に見られるように、第１の色を有する、プロキシを見るステップと、
   ここで前記プロキシに配置された前記複数のセンサは、前記相互作用デバイスと相互作用されるために、実質的に前記プロキシの任意の表面を覆い、
   前記表示装置上で、現実世界の環境のある位置に関連付けられた仮想メニューを見るステップと、
   前記仮想メニューに含まれるカラーパレットから色を選択するために前記位置に前記相互作用デバイスを物理的に配置するステップであって、前記位置に前記相互作用デバイスを配置する前記ステップは、撮像装置によって検出される、相互作用デバイスを配置するステップと、
   接触点で、現実世界の環境の前記プロキシの前記部分と前記相互作用デバイスとを接触させるステップであって、前記接触させるステップは、前記プロキシに配置された前記複数のセンサのうちの１つのセンサによって検出されている、接触させるステップと、
   接触させる前記ステップの間に、前記表示装置上で前記プロキシを見るステップであって、前記プロキシの前記部分は、前記表示装置上に見られるように、前記第１の色とは異なる第２の色を有し、ここで、前記プロキシに配置された前記複数のセンサのうちの前記１つのセンサによって検出されている前記接触させるステップに基づき、かつ前記撮像装置によって検出されている前記位置に前記相互作用デバイスを物理的に配置する前記ステップに基づくように、前記部分が前記表示装置によって前記第２の色として表示されている、プロキシを見るステップと、を含む、方法。
2. 接触させる前記ステップの間に見る前記ステップが、前記プロキシの前記部分に対応する前記プロキシ上の位置に仮想デザイン要素を表示するステップであって、前記仮想デザイン要素は前記第２の色を有するステップを含む、
   請求項１に記載の方法。
3. 前記プロキシが、人間の体の形状とほぼ同じ形状を有し、請求項１に記載の方法。
4. 前記物品が、衣料品である、請求項３に記載の方法。
5. 前記物品が、帽子である、請求項３に記載の方法。
6. 前記物品が、履物である、請求項１に記載の方法。
7. 物品の設計をする方法であって、
   前記物品のためのプロキシに関連付けられた仮想カラーパレットから色を選択するステップであって、前記仮想カラーパレットは、現実世界の環境のある位置に関連付けられた仮想メニューに含まれ、前記仮想カラーパレットから前記色を前記選択するステップは、撮像装置によって検出されており、前記プロキシは、前記現実世界の環境に存在し、かつ第１の色を有し、前記プロキシは、３次元の不規則な形状を有し、並びに前記プロキシは、相互作用デバイスと前記プロキシの複数の部分との間の相互作用を検出するように構成された前記プロキシに配置された複数のセンサを含み、ここで前記プロキシの一部分は、第１の色を有する、色を選択するステップと、
   接触点で、前記現実世界の環境のプロキシの前記部分と前記相互作用デバイスとを接触させるステップであって、前記接触させるステップは、前記プロキシに配置された前記複数のセンサのうちの１つのセンサによって検出されている、接触させるステップと、
   前記相互作用デバイスが前記現実世界の環境の前記プロキシの前記部分に接触するのと実質的には直後に、前記接触点を含む前記プロキシの前記部分上の第２の色の投影を見るステップであって、前記第２の色は、前記第１の色と異なり、前記第２の色の前記投影は、前記プロキシに配置された前記複数のセンサのうちの前記１つのセンサによって検出されている前記接触させるステップに基づき、かつ前記撮像装置によって検出されている前記仮想カラーパレットから前記選択された色に基づく、投影を見るステップと、を含み、
   ここで前記プロキシに配置された前記複数のセンサは、前記相互作用デバイスと相互作用されるために、実質的に前記プロキシの任意の表面を覆う、方法。
8. 前記プロキシが、足の形状とほぼ同じ形状を有する、請求項７に記載の方法。
9. 前記物品が、履物である、請求項８に記載の方法。
10. 前記相互作用デバイスが、タッチペンである、請求項７に記載の方法。
11. 前記物品が、衣料品である、請求項7に記載の方法。
12. 前記プロキシの前記部分が、履物のアッパーに対応する、請求項７に記載の方法。
13. 物品をデザインするための拡張現実設計システムであって、前記設計システムは、
    現実世界の環境から像を受け取る撮像装置と、
    前記現実世界の環境に存在する前記物品のためのプロキシであって、前記プロキシは、３次元の不規則な形状を有する、プロキシと、
    前記現実世界の環境の前記プロキシと相互作用する相互作用デバイスであって、前記プロキシに配置された複数のセンサは、前記相互作用デバイスと前記プロキシの複数の部分との間の相互作用を検出するように構成された、相互作用デバイスと、
    仮想像を発生させることができる計算装置であって、前記仮想像の少なくとも１つは、前記プロキシに配置された前記複数のセンサのうちの１つのセンサによる少なくとも１つの接触点の検出に基づいている、計算装置と、
    表示装置であって、前記少なくとも１つの仮想像が、前記プロキシの、前記撮像装置から受信した、像の上に重ね合わせられた、表示装置と、
    前記表示装置上に表示される仮想メニューであって、前記仮想メニューは、前記現実世界の位置に関連付けられ、ユーザは、前記位置に前記相互作用デバイスを配置することによって前記仮想メニューと相互作用でき、並びに前記仮想メニューとの前記相互作用は、前記撮像装置によって検出される、仮想メニューと、を含み、
    ここで前記プロキシに配置された前記センサは、前記相互作用デバイスと相互作用されるために、実質的に前記プロキシの任意の表面を覆い、
    ここで前記仮想メニューは、仮想デザイン要素の仮想像を発生して当該仮想像をプロキシの画像と重ね合わせることにより、前記現実世界の前記プロキシとの前記相互作用デバイスの接触点と対応する前記プロキシの位置で、前記プロキシに仮想デザイン要素を施すために使用されることができ、
    ここで前記プロキシに配置された前記複数のセンサは、前記現実世界の環境の前記プロキシの表面との前記相互作用デバイスの前記接触点に対応する前記プロキシ上の前記位置を検出する、設計システム。
14. 前記仮想メニューが、カラーパレットを含む、請求項１３に記載の設計システム。
15. 前記仮想メニューが、お絵かきツールを含む、請求項１３に記載の設計システム。
16. 前記仮想メニューが、文字ツールを含む、請求項１３に記載の設計システム。
17. 前記仮想メニューが、仮想グラフィックを含む、請求項１３に記載の設計システム。
18. 前記仮想メニューが、消しゴムツールを含む、請求項１３に記載の設計システム。
19. 前記仮想メニューが、選択ツールを含む、請求項１３に記載の設計システム。
20. 物品をデザインするための拡張現実設計システムであって、前記設計システムは、
    現実世界の環境から像を受け取る撮像装置と、
    現実世界の環境に存在する前記物品のためのプロキシであって、前記プロキシは、３次元の不規則な形状を有する、プロキシと、
    前記現実世界の環境の前記プロキシと相互作用する相互作用デバイスであって、前記プロキシに配置された複数のセンサは、前記相互作用デバイスと前記プロキシの複数の部分との間の相互作用を検出するように構成された、相互作用デバイスと、
    仮想像を発生させることができる計算装置であって、前記仮想像の少なくとも１つは、前記複数のセンサのうちの１つのセンサによる少なくとも１つの接触点の検出に基づいている、計算装置と、
    投影装置であって、前記少なくとも１つの仮想像は、前記プロキシ上に投影される、投影装置と、
    前記現実世界の環境の位置に関連付けられかつ該位置上に投影される仮想メニューであって、ユーザは、前記位置に前記相互作用デバイスを配置することによって前記仮想メニューと相互作用でき、並びに前記仮想メニューとの前記相互作用は、前記撮像装置によって検出される、仮想メニューと、を含み、
    ここで前記プロキシに配置された前記センサは、前記相互作用デバイスと相互作用されるために、実質的に前記プロキシの任意の表面を覆い、
    ここで前記仮想メニューは、仮想デザイン要素の仮想像を発生して当該仮想像をプロキシ上に投影することにより、前記現実世界の環境で前記プロキシとの前記相互作用デバイスの接触点と対応する前記プロキシの位置で、前記プロキシに仮想デザイン要素を施すために使用されることができ、
    ここで前記プロキシに配置された前記複数のセンサは、前記現実世界の環境の前記プロキシの表面との前記相互作用デバイスの前記接触点に対応する前記プロキシ上の前記位置を検出する、設計システム。
21. 前記仮想デザイン要素が、仮想ラインである、請求項２０に記載の設計システム。
22. 前記仮想デザイン要素が、色に対応する、請求項２０に記載の設計システム。
23. 前記仮想デザイン要素が、仮想グラフィックである、請求項２０に記載の設計システム。

Images