JP5972794B2 - Augmented reality design system - Google Patents

Augmented reality design system Download PDF

Info

Publication number
JP5972794B2
JP5972794B2 JP2012554019A JP2012554019A JP5972794B2 JP 5972794 B2 JP5972794 B2 JP 5972794B2 JP 2012554019 A JP2012554019 A JP 2012554019A JP 2012554019 A JP2012554019 A JP 2012554019A JP 5972794 B2 JP5972794 B2 JP 5972794B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
proxy
system
design
device
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012554019A
Other languages
Japanese (ja)
Other versions
JP2013520729A (en )
Inventor
デイビッド ワイ フリーゼン
デイビッド ワイ フリーゼン
Original Assignee
ナイキ イノヴェイト シーヴィー
ナイキ イノヴェイト シーヴィー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A43FOOTWEAR
    • A43BCHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00Footwear characterised by the shape or the use
    • A43B3/0036Footwear characterised by a special shape or design
    • A43B3/0078Footwear provided with logos, letters, signatures or the like decoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/50Computer-aided design
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2217/00Indexing scheme relating to computer aided design [CAD]
    • G06F2217/04CAD in a network environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/16Cloth

Description

本発明は、概して、設計(デザイン)システムに関し、詳しくは、物品の設計に使用される拡張現実設計システムに関する。 The present invention relates generally to the design (design) relates to a system and, more particularly, to augmented reality design system used in the design of the article.

拡張現実システムは、これまでも提案されている。 Augmented reality system, has also been proposed so far. コバヤシら(米国特許出願公開第2005/0174361号明細書)は、像(イメージ)を加工する方法および装置を教示している。 Kobayashi et al (US Patent Application Publication No. 2005/0174361 Pat) teaches a method and apparatus for processing an image (image). コバヤシは、混成現実システムにおいて使用される位置・配向タッチペンを教示している。 Kobayashi teaches the position and orientation stylus for use in hybrid reality system. このタッチペンは、実物の模型に対する仮想オブジェクトの配向を確定するのに使用される。 The stylus is used to determine the orientation of the virtual object with respect to real models. コバヤシが教示していることは、ユーザがタッチペンを使用して実物の模型に触れることである。 That Kobayashi has been taught is to touch the real model user to use the touch pen. そして、このシステムは、実物の対象物の位置および配向を確定し、その結果に応じて、仮想オブジェクトを並べることができる。 And this system is to determine the position and orientation of the real object, in accordance with the result, it is possible to arrange the virtual object.

独国特許第20203367号明細書は、乗物模型のデザインを3次元に迅速に視覚化するシステムを教示している。 German Patent 20203367 teaches a system for rapidly visualizing the three-dimensional design of the vehicle model. この装置は、乗物またはその部品のデータセットを発生させる。 This device generates a vehicle or data set of the component. 他の装置は、メモリ内に保存されるデータセットを利用して仮想現実(バーチャルリアリティ)の模型をつくり出す。 Other devices, create a model of virtual reality by using the data set that is stored in memory. 制御装置が、拡張現実を利用して、乗物の現実の模型に仮想現実の模型を重ね合わせる。 Controller, using the augmented reality, superimposing the model of virtual reality to the real model of the vehicle. モニタの形態にある投影装置が、この乗物模型を描く。 Projection device in the monitor mode is, draws the vehicle model.

これらの関連技術においては、拡張現実システムを利用して実時間内に効率よく物品を設計できる装置がない。 In these related art, there is no efficient article can be designed apparatus utilizing the augmented reality system in real time.

一態様においては、本発明は、物品の設計をする方法において、現実世界の環境に存在しているプロキシを表示装置上で見るステップと、物品に仮想デザインを施すために上記プロキシと相互作用デバイスとを接触させるステップと、を含み、上記仮想デザインは、上記プロキシの一部分として見えるように上記表示装置上に表示されることを特徴とする方法を提供する。 In one aspect, the present invention provides a method for the design of the article, the steps watching proxy present in real-world environment on the display device, the proxy interact device for applying the virtual design to the article comprises the steps of contacting the door, the virtual design provides a method characterized in that it is displayed on the display device to appear as part of the proxy.

他の態様においては、本発明は、物品の設計をする方法において、物品に仮想デザインを施すためにプロキシの一部分と相互作用デバイスとを接触させるステップと、上記プロキシ上へ上記仮想デザインを投影するステップと、を含み、上記仮想デザインは、上記プロキシの一部分として見えるように上記プロキシ上に投影されることを特徴とする方法を提供する。 In another aspect, the present invention provides a method for the design of the article, projecting the steps of contacting the proxy portion interacting device for applying the virtual design to the article, the virtual design onto the proxy includes a step of, the virtual design provides a method characterized in that it is projected onto the proxy to appear as part of the proxy.

他の態様においては、本発明は、物品の設計をする方法において、現実世界の環境に存在し、第1の色のついた一部分を有するプロキシを表示装置上で見るステップと、上記プロキシの一部分と相互作用デバイスとを接触させ、これによって、上記一部分の色が、第1の色から、第1の色とは異なる第2の色へ変化するように、上記表示装置上に見られる上記プロキシの見かけの色を修飾するステップと、を含む方法を提供する。 In another aspect, the present invention provides a method for the design of an article present in real-world environment, a step of viewing on the display device a proxy having a portion equipped with a first color, a portion of the proxy contacting the interaction device and, thereby, the color of the portion is, the first color, as the first color change to a different second color, the proxy found on the display device the method comprising the steps, the modifying the color of the apparent.

他の態様においては、本発明は、物品の設計をする方法において、現実世界の環境に存在しているプロキシに関連する仮想メニューに含まれるカラーパレットから色を選択するステップと、上記プロキシの第1の色を有する一部分と相互作用デバイスとを接触させるステップと、上記相互作用デバイスが上記一部分に接触すると瞬時に、プロキシの上記一部分上に第2の色を投影し、これによって、上記一部分の見かけの色を変化させるステップと、を含む方法を提供する。 In another aspect, the present invention provides a method for the design of the article, and selecting a color from the color palette included in the virtual menu related to the proxy that is present in the real world environment, the above proxy a step of contacting a portion interacting device having a first color, the instant when the interaction device is in contact with the portion, projecting a second color on said portion of the proxy, thereby, of the portion the method comprising the step of changing the apparent color, the.

他の態様においては、本発明は、物品の設計をする方法において、現実世界の環境に存在しているプロキシを表示装置上で見るステップと、上記プロキシと相互作用デバイスとを接触させるステップと、上記プロキシと上記相互作用デバイスとが接触すると瞬時に、上記表示装置上に仮想ラインを表示するステップと、を含み、上記仮想ラインは、上記プロキシの一部分として見えるように上記表示装置上に表示されることを特徴とする方法を提供する。 In another aspect, the present invention provides a method for the design of the article, the steps watching proxy present in real-world environment on the display device, the method comprising contacting the said proxy and interaction devices, to instantly and the proxy and the interaction device is in contact, it comprises the steps of: displaying a virtual line on the display device, the virtual line is displayed on the display device to appear as part of the proxy It provides a method comprising Rukoto.

他の態様においては、本発明は、物品の設計をする方法において、プロキシと相互作用デバイスとを接触させるステップと、上記プロキシと上記相互作用デバイスとが接触すると瞬時に、上記プロキシ上に仮想ラインを投影するステップと、を含み、上記仮想ラインは、上記プロキシの一部分として見えるように上記プロキシ上に投影されることを特徴とする方法を提供する。 In another aspect, the present invention provides a method for the design of the article, comprising the steps of contacting the proxy interact devices, to instantly and the proxy and the interaction device is in contact, a virtual line on the proxy comprises the steps of projecting the said virtual line provides a method characterized in that it is projected onto the proxy to appear as part of the proxy.

他の態様においては、本発明は、現実世界の環境から像を受ける撮像装置と、現実世界の環境に存在するプロキシと相互作用する相互作用デバイスと、仮想像を発生させることができる計算装置と、上記プロキシ上に重ね合わせられた少なくとも一つの仮想像を見るための表示装置と、上記表示装置上に表示され得る仮想メニューであって、現実世界の環境中のある位置に関連付けられている仮想メニューと、を備え、ユーザは、上記位置に相互作用デバイスを置くことにより上記仮想メニューと相互作用することができ、上記仮想メニューは、上記プロキシに仮想デザイン要素を施すために使用され得ることを特徴とする拡張現実設計システムを提供する。 In another aspect, the present invention includes an imaging device that receives an image from the real-world environment, and interaction devices that interact with a proxy that exist in the real world environment, the computing device capable of generating the virtual image the at least one display device for viewing the virtual image is superimposed on the proxy, a virtual menu which can be displayed on the display device, associated with a solution of real world environment position virtual that includes a menu, a user can place the interaction device to the position capable of interacting with the virtual menu, the virtual menu, which can be used to apply the virtual design elements to the proxy providing augmented reality design system according to claim.

他の態様においては、本発明は、現実世界の環境から像を受ける撮像装置と、現実世界の環境に存在するプロキシと相互作用する相互作用デバイスと、仮想像を発生させることができる計算装置と、上記プロキシ上に少なくとも一つの仮想像を投影する投影装置と、 In another aspect, the present invention includes an imaging device that receives an image from the real-world environment, and interaction devices that interact with a proxy that exist in the real world environment, the computing device capable of generating the virtual image a projection system for projecting at least one virtual image on said proxy,

現実世界の環境中のある位置に投影され得る仮想メニューと、を備え、ユーザは、上記位置に相互作用デバイスを置くことにより上記仮想メニューと相互作用することができ、上記仮想メニューは、上記プロキシに仮想デザイン要素を施すために使用され得ることを特徴とする拡張現実設計システムを提供する。 Includes a virtual menu that can be projected in a certain position in the environment of the real world, the user, by placing the interacting device to the position capable of interacting with the virtual menu, the virtual menu, the proxy providing augmented reality design system, characterized in that it may be used to apply the virtual design elements.

本発明の他のシステム、方法、特徴および利点は、以下の詳細な説明と図面から当業者には明らかとなろう。 Other systems, methods, features and advantages of the present invention will become apparent to those skilled in the art from the following detailed description and drawings. それらの追加のシステム、方法、特徴および利点のすべてが、本発明の範囲を逸脱することなく、以下の詳細な説明およびこの要旨の範囲に含まれ、添付の特許請求の範囲によって保護されることを意図している。 These additional systems, methods, all of the features and advantages, without departing from the scope of the present invention, within the scope of the following detailed description and this summary, be protected by the accompanying claims It is intended.

設計システムの一実施例を示す概略図。 Schematic diagram showing one embodiment of a design system. 設計システムが使用されているときの一実施例を示す等角投影図。 Isometric view showing an embodiment when the design system is used. 設計システムに使用される一式のデザインメニューの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design menus set for use in the design system. ユーザが選択したお絵かきツールの一実施例を示す等角投影図。 Isometric view showing an embodiment of a painting tool selected by the user. プロキシに仮想ラインを施すのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used for applying the virtual line to the proxy. プロキシに仮想ラインを施すのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used for applying the virtual line to the proxy. プロキシに仮想の形状を施すのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used for applying the virtual shape to the proxy. プロキシの見かけの色を修飾するのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system that is used to modify the color of the proxy apparent. プロキシの一部分の見かけの色を修飾するのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system that is used to modify the apparent color of the proxy portion. プロキシの一部分の見かけの色を修飾するのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system that is used to modify the apparent color of the proxy portion. プロキシに仮想グラフィックを施すのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used for applying the virtual graphics proxy. プロキシに仮想グラフィックを施すのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used for applying the virtual graphics proxy. 仮想ストライプの一部分を消去するのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used to erase a portion of the virtual stripes. 物品の定型デザインを修飾するのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system that is used to modify the standard design of the article. 物品の定型デザインを修飾するのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system that is used to modify the standard design of the article. 物品の定型デザインを修飾するのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system that is used to modify the standard design of the article. プロキシとして使用される実物の履物に仮想オブジェクトを施すのに使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used for applying the virtual object in real footwear to be used as a proxy. 物品の設計を仕上げるステップの一実施例を示す等角投影図。 Isometric view showing one embodiment of a step of finishing the article design. プロプライアタに提出される最終設計の一実施例を示す等角投影図。 Isometric view showing one embodiment of a final design submitted to Puropuraiata. 履物の設計および製造を行うプロセスの一実施例を示す図。 It illustrates an embodiment of a process in the design and manufacture of footwear. 衣料品の設計に使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used for clothing design. 衣料品の設計に使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used for clothing design. 衣料品の設計に使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used for clothing design. 設計システムの他の実施例を概略的に示す図。 Diagram showing another embodiment of a design system schematically. 物品の設計に使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used in the design of the article. 物品の設計に使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used in the design of the article. 物品の設計に使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used in the design of the article. 物品の設計に使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used in the design of the article. 物品の設計に使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used in the design of the article. 設計システムの他の実施例を示す等角投影図。 Isometric view showing another embodiment of a design system. 物品の設計に使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used in the design of the article. 物品の設計に使用される設計システムの一実施例を示す等角投影図。 Isometric view showing one embodiment of a design system used in the design of the article.

図1は、拡張現実設計システム100(単にシステム100とも呼ぶ)の一実施例を示す。 Figure 1 shows an embodiment of the augmented reality design system 100 (also simply referred to as system 100). この詳細な説明および特許請求の範囲に亘って使用される「拡張現実設計(デザイン)システム」という用語は、現実世界の見え方と、コンピュータが発生させた像とを組み合わせることを利用して、1つまたは複数の物品ないし対象物を設計するのに使用され得る種々のシステムを表す。 The term "augmented reality design (Design) system" used over a range of the detailed description and claims, utilizes the appearance of the real world, to combine the image computer caused, representing various systems that may be used to design one or more articles or objects. 明確にする目的で、「現実の」と「仮想の」という用語は、この詳細な説明および特許請求の範囲に亘って、様々な種類の像および/またはオブジェクトを識別するために使用される。 For purposes of clarity, the terms "real" "Virtual" is over the range of the detailed description and claims, is used to identify the various types of images and / or object. 例えば、現実世界の見え方つまり現実世界の像とは、ユーザの視界に捉えられた現実環境の見え方つまり像のことである。 For example, an appearance that is of real-world image of the real world, is that of appearance, that image of the real environment captured on the field of view of the user. 対照的に、仮想像ないし仮想オブジェクトとは、計算装置によって発生された像ないしオブジェクトであって、仮想環境に関連している。 In contrast, the virtual image or a virtual object, a image or object generated by the computing device, associated with the virtual environment. さらに、明確にする目的で、この詳細な説明および特許請求の範囲に亘って使用される「仮想デザイン要素」という語句は、設計システムによってつくり出され或いは使用され得る、種々の仮想オブジェクト、仮想像ないし仮想グラフィックの総称である。 Furthermore, for purposes of clarity, the phrase "virtual design elements" used over a range of the detailed description and claims, may be produced by designing a system or using a variety of virtual object, virtual image or a virtual graphic generic. 仮想像ないし仮想オブジェクトと、現実世界の見え方つまり現実世界の像と、が組み合わされて、拡張現実の環境においての見え方つまり像となる。 A virtual image or a virtual object, and the appearance that is the real world real world image, is combined, the appearance clogging image in augmented reality environment.

システム100は、1つまたは複数の構成要素を備え得る。 System 100 may comprise one or more components. 一実施例においては、システム100は、計算装置102を備える。 In one embodiment, the system 100 includes a computing device 102. 計算装置102としては、デスクトップ型コンピュータやラップトップ型コンピュータなどの種々の型式のコンピュータとすることができる。 As computing device 102 may be a variety of types of computers, such as desktop computers and laptop computers. 他の実施例においては、計算装置102は、ディスプレイ、プロセッサ、および1つまたは複数の外部源とデータを送受信可能な装置を有する種々の型式の装置とすることができる。 In other embodiments, computing device 102 can display, and various types of apparatus having a processor, and one or more external sources and data transceiver capable device to. そのような装置の例としては、携帯情報端末(PDA)、携帯電話および他の型式の装置があるが、これらに限定しない。 Examples of such devices, a personal digital assistant (PDA), there is a mobile phone and other types of equipment, but not limited to.

システム100は、ユーザに向けて拡張現実の像を表示する装置を備え得る。 System 100 may include a device for displaying an image of the augmented reality to the user. いくつかの実施例においては、システム100は、表示装置104を備え得る。 In some embodiments, the system 100 may include a display device 104. 表示装置104は、コンピュータのスクリーンつまりモニタ、ヘッドマウント(頭部装着)ユニット、投影式ディスプレイおよび他の種類のディスプレイなどの種々の型式のディスプレイとすることができるが、これらに限定しない。 Display device 104, a screen clogging computer monitors, head-mounted (head mounted) units, which may be various types of displays such as projection type displays and other types of displays, but not limited to. この実施例においては、表示装置104は、頭部装着ユニットつまりヘッドマウントディスプレイ(HMD)である。 In this embodiment, the display device 104 is a head mounted unit, i.e. head-mounted display (HMD). 特には、この実施例においては、表示装置104は、ゴーグルからなる。 In particular, in this embodiment, the display device 104 is composed of goggles. ユーザが表示装置104を通して見ると、1つまたは複数の仮想像が、表示装置104を通して見られる現実世界の上に重なって表示され得る。 When the user sees through the display device 104, one or more virtual images may be displayed superimposed on the real world seen through the display device 104. 拡張現実システムで使用されるヘッドマウントディスプレイは、周知のものである。 Head mounted displays used by the augmented reality system are well known. 例として、米国特許出願公開第2006/02484791号明細書、米国特許第7,397,481号明細書、および米国特許第7,110,909号明細書に開示されており、これらの全体が本願の参照となる。 As an example, U.S. Patent Application Publication No. 2006/02484791, U.S. Patent No. 7,397,481, and are disclosed in U.S. Pat. No. 7,110,909, in their entirety herein the reference.

システム100は、光学的情報を捕捉する装置を備え得る。 System 100 may include a device that captures optical information. いくつかの実施例においては、システム100は、撮像装置106を備え得る。 In some embodiments, system 100 may comprise an imaging device 106. 撮像装置106は、光学的情報を検出することができる種々の装置とすることができる。 Imaging device 106 may be a variety of devices that can detect optical information. いくつかの場合、撮像装置106は、カメラである。 In some cases, the imaging device 106 is a camera. いくつかの場合、撮像装置106は、ある種のビデオカメラである。 In some cases, the imaging device 106 is a type of video camera. 使用され得る様々な型式のビデオカメラの例としては、電荷結合素子(CCD)カメラ、相補性金属酸化膜半導体(CMOS)カメラ、他の型式の能動画素センサカメラ並びに他の型式のビデオカメラがある。 Examples of various types of video cameras that can be used, a charge coupled device (CCD) camera, there is a complementary metal oxide semiconductor (CMOS) camera, other types of active pixel sensor cameras and other types of video cameras .

概して、撮像装置106は、システム100の様々な構成要素に対して、種々の位置に配置され得る。 Generally, the imaging device 106, to the various components of system 100 may be placed at various locations. いくつかの場合、撮像装置106は、据え置きされている。 In some cases, the imaging device 106 is stationary. 他の場合、撮像装置106は、システム100の他の構成要素に実装されている。 Otherwise, the imaging device 106 is mounted on other components of the system 100. 一実施例においては、撮像装置106は、表示装置104の一部分に実装されている。 In one embodiment, the imaging apparatus 106 is mounted to a portion of the display device 104. この配置において、撮像装置106が光学的情報を受けるように構成されており、システム100のユーザが見回すと、ユーザは、この光学的情報を視認することができる。 In this arrangement, the imaging device 106 is configured to receive the optical information, the user of the system 100 is look around, the user can visually recognize the optical information. 換言すると、撮像装置106は、この構成を利用して、ユーザが見ている現実世界の環境とほぼ同じ視界を有し得る。 In other words, the imaging apparatus 106, by utilizing this configuration, may have a field of view substantially the same as the real world environment the user is looking. 他の実施例においては、撮像装置106は、ユーザの視界とほぼ同じ視界が捕捉され得る別の位置に配置され得る。 In another embodiment, the imaging device 106 may be located in another position, where approximately the same field of view as the field of view of the user may be captured.

システム100は、拡張現実の環境と相互作用する装置を備え得る。 System 100 may include a device to interact with the augmented reality environment. いくつかの場合、システム100は、相互作用デバイス108を備える。 Some cases, system 100 includes an interaction device 108. 相互作用デバイス108は、種々の形態をとり得る。 Interaction device 108 may take a variety of forms. いくつかの場合、相互作用デバイス108は、タッチペンである。 In some cases, the interaction device 108 is a touch pen. 例えば、相互作用デバイス108は、携帯情報端末(PDA)で使用されるものと同種のタッチペンとすることができ、このタッチペンは、ディスプレイに圧力を加えるのに使用される実質的にモノリシックな構成要素である。 For example, interaction device 108 may be a personal digital assistant (PDA) that the same type of stylus used in this pen is substantially monolithic components used to apply pressure to the display it is. この実施例においては、相互作用デバイス108は、ペンの形状とほぼ同じ形状に形成された実質的にモノリシックな構成要素である。 In this embodiment, the interaction device 108 is a substantially monolithic component formed substantially in the same shape as a pen shape. しかし、他の場合、相互作用デバイス108は、種々の他の形状、寸法および組成を有し得る。 However, in other cases, the interaction device 108, various other shapes, may have a dimension and composition.

いくつかの実施例においては、システム100の1つまたは複数の構成要素が、計算装置102と通信する。 In some embodiments, one or more components of system 100 communicates with computing device 102. いくつかの場合、撮像装置106が、計算装置102と通信する。 In some cases, the imaging device 106 communicates with computing device 102. 加えて、いくつかの場合、表示装置104が、計算装置102と通信する。 In addition, in some cases, the display device 104 communicates with computing device 102. 撮像装置106および表示装置104は、種々の型式の無線および/または有線の接続を介して計算装置102と通信し得る。 Imaging device 106 and the display device 104 may communicate with computing device 102 through various types of wireless and / or wired connection. いくつかの場合、撮像装置106および表示装置104は、ある種のネットワークを利用して計算装置102と通信することができる。 In some cases, the imaging apparatus 106 and the display device 104 may communicate with computing device 102 using a certain network. そのようなネットワークの例としては、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、クライアント−サーバ・ネットワーク、ピアツーピア・ネットワークおよび他の型式のネットワークがあるが、これらに限定しない。 Examples of such networks, personal area network (PAN), local area network (LAN), wide area network (WAN), a client - server network, there is a peer-to-peer networks and other types of networks, these but not limited to. いくつかの場合、計算装置102、撮像装置106および/または表示装置104の間の通信を容易にするために、Bluetooth(登録商標)プロトコルを利用する無線のローカルエリアネットワークまたはパーソナルエリアネットワークが使用される。 In some cases, the computing device 102, to facilitate communication between the imaging device 106 and / or display device 104, Bluetooth (registered trademark) wireless local area network or a personal area network utilizing a protocol is used that. この構成を有することで、撮像装置106から集められた像が計算装置102で受信され、仮想の情報と組み合わせられる。 By having this configuration, an image collected from the imaging device 106 is received by the computing device 102, combined with virtual information. 組み合わせられた情報は、表示装置104へ送り返され、ユーザに向けて表示され得る。 Combined information is sent back to the display device 104, it may be displayed to the user. 詳しくは、これにより、システム100が1つまたは複数の仮想オブジェクトないし仮想像を使ってユーザの見え方を拡張させることが可能となる。 Specifically, this makes it possible to system 100 to expand the appearance of the user using one or more virtual objects to virtual image.

この実施例においては、単一の撮像装置を使っているが、他の実施例においては、2つ以上の撮像装置を備え得る。 In this embodiment, although using a single imaging device, in other embodiments, it may comprise two or more imaging devices. さらには、他の実施例においては、システム100について、他の種類のセンサが使用され得ることが理解されよう。 Furthermore, in other embodiments, the system 100, it will be understood that other types of sensors may be used. 追加の種類のセンサを利用するシステムの例を以下に詳細に説明する。 An example of a system utilizing sensors of additional types will be described in detail below.

この実施例においては、計算装置102はスタンドアロンのコンピュータとして示されているが、他の実施例においては、計算装置102はシステム100の他の構成要素と統合されている。 In this example, computing device 102 is shown as a stand-alone computer, in other embodiments, computing device 102 is integrated with other components of system 100. 例えば、他の実施例においては、計算装置102は、表示装置104と統合されている。 For example, in other embodiments, computing device 102 is integrated with the display device 104. 詳しくは、表示装置104は、撮像装置106で受けた光学的情報を処理する装置と、表示装置104に表示されるべき仮想像を発生させる装置とを備え得る。 Specifically, the display device 104 may comprise a device for processing optical information received by the image pickup device 106, and a device for generating a virtual image to be displayed on the display device 104. さらに他の実施例においては、計算装置102は、システム100の他の構成要素と統合されている。 In yet another embodiment, computing device 102 is integrated with other components of the system 100. 他の例においては、システム100の携帯性を良くするために、計算装置102は、ユーザが着用し或いは持ち運ぶことができる携帯機器とされ得る。 In other instances, in order to improve the portability of the system 100, computing device 102 may be a portable device which a user can wear or carry. さらには、いくつかの実施例においては、計算装置102は、システム100の様々な構成要素の近くに配置されていなくてもよい。 Furthermore, in some embodiments, computing device 102 may not be located near the various components of the system 100. 例えば、他の実施例においては、撮像装置106および表示装置104は、上述した種類のネットワークを利用して、計算装置102と遠隔通信する。 For example, in other embodiments, the imaging device 106 and the display device 104 utilizes the type of network described above will be telecommunications and computing device 102. このような構成を有することで、システム100特に撮像装置106および表示装置104の携帯性が向上し得る。 Such a configuration that it has, portability of the system 100, especially the imaging device 106 and the display device 104 may be improved.

システム100は、プロプライアタ110と通信する装置を備え得る。 System 100 may include a device for communicating with Puropuraiata 110. プロプライアタ110は、仕事関連の、1つまたは複数の工場、複数の事務所、小売業者、および様々な他の機関を含み得る。 Puropuraiata 110, work-related, one or more plants, a plurality of offices may include retailers, and various other institutions. 概して、この詳細な説明および特許請求の範囲に亘って使用される「プロプライアタ」という用語は、販売業者および/または納入業者のことでもある。 Generally, the term "Puropuraiata" used over a range of the detailed description and claims is also to distributors and / or suppliers. 換言すると、プロプライアタという用語は、履物の部品加工、流通および/または小売販売に関わる作業並びに他の製造者側の作業を含む、製造者側の様々な作業に従事する人のことでもある。 In other words, the term Puropuraiata the parts processing footwear, involved in the distribution and / or retail sales including work as well as other manufacturers side working, also means the persons engaged in the various tasks of the manufacturer side. この構成を有することで、システム100を利用してつくられた設計がプロプライアタ110に提出され、この設計を使って小売物品を製造する目的で利用される。 By having this configuration, design made using the system 100 is submitted to Puropuraiata 110, is utilized for the purpose of producing a retail article with this design.

計算装置102とプロプライアタ110とは、ネットワーク112を利用して通信することができる。 A computing device 102 and Puropuraiata 110 may communicate using a network 112. 概して、ネットワーク112は、上述したネットワークなどの種々の型式のネットワークとすることができる。 Generally, the network 112 may be a network of various types such as a network as described above. いくつかの実施例においては、ネットワーク112は、パケット交換通信システムである。 In some embodiments, the network 112 is a packet-switched communication system. 一実施例においては、ネットワーク112は、インターネットである。 In one embodiment, network 112 is the Internet. さらには、いくつかの場合、システム100は、プロプライアタ110が直接操作できるものであることを理解されたい。 Furthermore, in some cases, system 100 is to be understood that the Puropuraiata 110 is one that can be operated directly.

図2は、ユーザ200が操作している拡張現実設計システム100の一実施例を示す。 Figure 2 shows an embodiment of the augmented reality design system 100 that the user 200 is operating. 概して、ユーザ200は、システム100を操作することができる人である。 Generally, the user 200 is a person who can operate the system 100. いくつかの場合、ユーザ200は、ある種のプロのデザイナである。 In some cases, the user 200 is a kind of professional designers. 例えば、一実施例においては、ユーザ200は、プロプライアタ110に雇われたデザイナである。 For example, in one embodiment, the user 200 is a designer hired to Puropuraiata 110. しかし、他の場合、ユーザ200は、システム100を利用して設計された商品を購入するつもりの顧客である。 However, in other cases, the user 200 is a customer going to buy the goods that have been designed using the system 100. さらに他の場合、ユーザ200は、システム100を操作することができる人である。 Still other cases, the user 200 is a person who can operate the system 100.

システム100は、プロキシ210とともに使用され得る。 System 100 may be used with the proxy 210. プロキシ210は、ある種の物品の概形の形状に形成され得る。 Proxy 210 may be formed in the shape of envelope of certain articles. プロキシ210は、履物、手袋、シャツ、パンツ、靴下、スカーフ、帽子、ジャケットおよび他の物品などの種々の物品に関連し得るが、これらの物品に限定しない。 Proxy 210, footwear, gloves, shirts, pants, socks, scarves, hats, but may be related to various articles, such as jackets and other articles, but not limited to these articles. 物品の他の例としては、皮膚ガード、膝パッド、肘パッド、肩パッドおよび他の型式の防護具があるが、これらの物品に限定しない。 Other examples of articles, the skin guard, knee pads, elbow pads, there is a shoulder pad, and other types of armor, not limited to these articles. これに加え、いくつかの実施例においては、物品は、着用品以外の、ボール、鞄、財布、リュックサックおよび他の物品などの着用品以外の他の型式の物品であるが、これらの物品に限定しない。 Additionally, in some embodiments, the article, other than wear goods, balls, bags, wallets, but an article of another type of non-wearing articles such as rucksacks and other articles, these articles but not limited to.

この実施例においては、プロキシ210は、履物の形状に構成され得る。 In this embodiment, the proxy 210 may be configured in the shape of the footwear. 一実施例においては、プロキシ210は、靴を形成するのに使用される靴型の形状に形成されている。 In one embodiment, the proxy 210 is formed in the shape of the shoe type used to form the shoe. 他の実施例においては、プロキシ210は、履物の形状に形成されている。 In other embodiments, the proxy 210 is formed in the shape of the footwear. いくつかの場合、プロキシ210は、ランニングシューズ、クロストレーニング用シューズ、バスケットボールシューズ、サッカーシューズ、フットボールシューズ、ハイヒール、ブーツ、つっかけ、ローカットシューズ、サンダルおよび他の型式の履物などの特定の型式の履物の形状に形成されているが、これらの履物に限定しない。 In some cases, the proxy 210, running shoes, shoes for cross training, basketball shoes, soccer shoes, football shoes, high heels, boots, Clog, particular type of footwear, such as low-cut shoes, sandals and other types of footwear is formed into a shape, not limited to the footwear. さらに他の実施例においては、プロキシ210は、種々の他の形状に形成されている。 In yet another embodiment, the proxy 210 is formed in various other shapes.

この実施例においては、プロキシ210は、印(マーク)のないブランクとなっている。 In this embodiment, the proxy 210 has a no mark (mark) blank. しかし、他の実施例においては、物品を設計し易くするために、プロキシ210は、様々な履物特徴部とほぼ同じ位置を指し示す種々の印を含み得る。 However, in other embodiments, in order to facilitate the design of the article, the proxy 210 may include a variety of indicia pointing to approximately the same position as the various footwear features. 例えば、一実施例においては、プロキシ210は、物品のレースの付く領域のだいたいの位置を指し示す印を含み、いくつかの場合、ある種のレースを示す印を含む。 For example, in one embodiment, the proxy 210 includes indicia indicating the approximate position of the area stick lace article, in some cases, including indicia indicating certain race. 他の例として、プロキシ210は、履物のソールと履物のアッパーとを区分する印を有する。 As another example, the proxy 210 has indicia for distinguishing the footwear sole and footwear upper. いくつかの場合、さらなる印をつけることで、デザイナは、様々な履物特徴部へデザインを施すことができる。 In some cases, by putting an additional mark, designers may be subjected to a design to various footwear features. また、そのような印がプロキシ210に物理的に付けられていることもあれば、システム100を利用して仮想的に付けられていることもあることを理解されたい。 Also, some that such indicia is attached physically to the proxy 210, it is to be understood that sometimes are attached virtually using the system 100.

システム100は、種々の事務所、工場または他の種類の場所などの様々な設計環境における使用に適合され得る。 System 100 may be adapted for use in a variety of design environments, such as various office, factory or other type of location. 例えば、この実施例においては、プロキシ210は、作業台220の上に配置されている。 For example, in this embodiment, the proxy 210 is arranged on a workbench 220. しかし、他の場合、プロキシ210は、ある種の台の上に配置されている。 However, in other cases, the proxy 210 is arranged on a certain platform.

システム100の動作は、撮像装置106において現実世界の視界を受けることを含む。 Operation of the system 100 includes receiving the view of the real world in the imaging apparatus 106. 詳しくは、ユーザがプロキシ210を見るとき、撮像装置106は、プロキシ210の像を周囲環境とともに捕捉する。 Specifically, when the user views the proxy 210, the imaging apparatus 106 captures an image of the proxy 210 with the surrounding environment. システム100は、プロキシ210の位置と配向を精密に確定することができるヴィジュアル追跡ソフトウェアを備えるように構成され得る。 System 100 may be configured to include a visual tracking software that can precisely determine the position and orientation of the proxy 210. 当技術分野において、様々な型式のヴィジュアル追跡ソフトウェアが知られている。 In the art, there are known various types of visual tracking software. そして、この情報は、計算装置102へ送信され得る。 Then, this information may be transmitted to the computing device 102. この時点で、計算装置102は、仮想オブジェクトないし仮想像と、現実世界の環境に存在する像とを結び付けることができる。 At this point, computing device 102 may connect the image exists and the virtual object or virtual image, the real world environment. 詳しくは、計算装置102は、表示装置104に仮想オブジェクトないし仮想像を表示するように構成されていて、ユーザ200は、現実世界の像と仮想像の両方を含む拡張された像を見ることができる。 Specifically, computing device 102 may be configured to display the virtual object or virtual image on the display device 104, the user 200 can see the expanded image including both virtual image and the real world image it can. さらには、上述したように、撮像装置106は、相互作用デバイス108の動きを追跡するように使用され得る。 Further, as described above, the imaging apparatus 106 may be used to track the movement of the interaction device 108. この構成を有することで、ユーザ200は、相互作用デバイス108を使って1つまたは複数の仮想像を操作することができる。 By having this configuration, the user 200 can manipulate one or more of the virtual image with the interaction device 108.

実施例を理解し易くする目的で、表示装置104でユーザが見ている像は、多くの図においては概略的に示されている。 For the purpose of easy understanding of the embodiments, an image that the user is watching the display device 104, in many of the figures are shown schematically. 例えば、この実施例においては、ユーザ200は、表示装置104のスクリーン240で、プロキシ210を含む現実世界の環境を見ている。 For example, in this embodiment, the user 200 is a screen 240 of the display device 104 has seen real world environment, including proxy 210. 詳しくは、この実施例においては、スクリーン240は、透明なスクリーンであり、このスクリーンで、ユーザ200は、現実世界の環境を見ている。 Specifically, in this embodiment, the screen 240 is a transparent screen, in this screen, the user 200 is looking at the real world environment. さらには、以下に詳細に説明するように、仮想像がスクリーン240上に表示され得る。 Furthermore, as described in detail below, virtual image may be displayed on the screen 240.

上述したように、システム100は、ある種の物品の設計をする目的で使用され得る。 As described above, system 100 may be used for the purpose of the design of certain articles. この実施例においては、システム100は、さまざまな型式の履物を設計するのに使用され得る。 In this embodiment, the system 100 may be used to design various types of footwear. 例えば、システム100は、履物の設計に使われる、ライン、形状、絵、画像、文字、数字、印および他の種類のグラフィックなどの様々な型式のグラフィックを施すのに使用され得るが、これらのグラフィックに限定しない。 For example, the system 100 is used to footwear design, lines, shapes, pictures, images, letters, numbers, but it may be used to apply various types of graphics, such as signs and other types of graphics, these not limited to graphics. システム100は、物品の設計に組み込まれ得る、物品の色、手触り、材料または種々の他の特徴を修飾するように使用され得る。 System 100 may be incorporated into the design of the article, may be used to modified color, texture, material or various other features of the article.

図3を参照すると、システム100は、プロキシ210にデザインが施される際にユーザ200を支援する装置を備え得る。 3, the system 100 may comprise a device to assist the user 200 when the design proxy 210 is performed. いくつかの場合、システム100は、1つまたは複数のデザインメニューを提供する。 In some cases, system 100 provides one or more design menus. デザインメニューは、表示装置104上に表示された仮想メニューとすることができる。 Design menu may be a virtual menu displayed on the display device 104. デザインメニューとしては、ツールメニュー、カラーメニュー、グラフィックメニューおよび他の種類のメニューがある。 The design menu, the Tools menu, there is a color menu, graphic menus and other types of menu. デザインメニューは、ボックス、パレット、リストの形態または他の構成をとり得る。 Design menus, boxes, pallets, can take the form, or other configurations of the list.

この実施例においては、システム100は、ツールパレット302を備える。 In this embodiment, system 100 includes a tool palette 302. いくつかの場合、ツールパレット302は、表示装置104上に表示される仮想パレットである。 In some cases, tool palette 302 is a virtual palette displayed on the display device 104. さらには、ツールパレット302は、プロキシ210に隣接して見えるように表示され得る。 Furthermore, tool palette 302 can be displayed to appear adjacent to the proxy 210.

様々な実施例において、ツールパレット302内で利用可能なツールの型式は、様々である。 In various embodiments, the type of tools available in the tool palette 302 can vary. この場合、ツールパレット302は、プロキシ210の複数の部分あるいはプロキシ210に関連する仮想像の複数の部分を選択するのに使用される選択ツール304を有する。 In this case, tool palette 302 has a selection tool 304 that is used to select a plurality of portions of the virtual image associated with a plurality of portions or proxy 210 of the proxy 210. 加えて、ツールパレット302は、プロキシ210上に仮想ラインを引くのに使用され得るお絵かきツール306を含み得る。 In addition, tool palette 302 may include a painting tool 306 that may be used to draw a virtual line on the proxy 210. さらに、ツールパレット302は、プロキシ210の複数の部分に文字や語句を施すのに使用される文字ツール308を含み得る。 Furthermore, tool palette 302 may include the Type tool 308 used to apply letters or phrases in a plurality of portions of the proxy 210. なお、これらのツールは、例示に過ぎず、他の実施例においては、グラフィック編集ソフトウェアに典型的に関連する他の型式のツールが使用され得る。 Incidentally, these tools merely exemplary, in other embodiments, other types of tools that typically associated with graphics editing software can be used.

システム100は、また、グラフィックメニュー320を含み得る。 System 100 may also include a graphical menu 320. グラフィックメニュー320は、一式の予備設計されたグラフィックを含み得る。 Graphic menu 320 may include a pre-designed graphics set. 例えば、この実施例においては、グラフィックメニュー320は、第1のグラフィック322および第2のグラフィック324を含む。 For example, in this embodiment, the graphic menu 320 includes a first graphic 322 and the second graphic 324. 明確にする目的で、2つのグラフィックのみが示されている。 For purposes of clarity, only two graphic is shown. しかし、他の実施例においては、他の個数のグラフィックが含まれ得る。 However, in other embodiments it may include other numbers of graphics.

いくつかの実施例においては、システム100は、ユーザが外部源から様々なデザインやグラフィックを取り込むことを可能にする装置を備える。 In some embodiments, the system 100 comprises a device that allows the user to take a variety of designs and graphic from an external source. いくつかの実施例においては、ユーザは、計算装置102に様々なメディアデバイスを繋いで、システム100に様々なグラフィックやデザインを取り込めるとよい。 In some embodiments, a user may connect a variety of media devices to the computing device 102, may capture the various graphics and design system 100. いくつかの実施例においては、ユーザが、デジタルカメラ、スキャナまたは種々の他のデバイスから、絵、画像および/または写真をアップロードする。 In some embodiments, a user, a digital camera, a scanner, or a variety of other devices, to upload pictures, images and / or photographs. さらには、いくつかの場合、インターネットなどの他の源から、様々な型式のデザインやデザイン要素が集められる。 Furthermore, in some cases, from other sources such as the Internet, design and design elements of various types is collected.

図4〜図13は、システム100の一実施例の操作を示すことを意図している。 4 to 13 are intended to show the operation of one embodiment of a system 100. 図4を参照すると、ユーザ200は、相互作用デバイス108を使って、お絵かきツール306を選択することができる。 Referring to FIG. 4, the user 200 uses the interaction device 108 may select a painting tool 306. 詳しくは、ユーザ200は、ツールパレット302にタッチペン108を接触させるように、相互作用デバイス108を動かすことができる。 Specifically, the user 200, the tool palette 302 into contact with the touch pen 108, it is possible to move the interaction device 108. この場合、ツールパレット302は、現実世界の環境に存在する対象物のどれとも対応しない仮想パレットである。 In this case, the tool palette 302 is a virtual palette which both do not correspond to an object that exists in the real world of the environment. しかし、システム100は、プロキシ210に隣接する現実世界の位置にツールパレット302を関連付けるとともに、相互作用デバイス108の位置を追跡する。 However, the system 100, along with associated tool palette 302 to the position of the real world that is adjacent to the proxy 210, to track the position of the interaction device 108. そして、ツールパレット302に関連している現実世界の位置へ相互作用デバイス108を動かすと、システム100は、ツールパレット302と相互作用デバイス108との間の相互作用を認識し得る。 Then, moving the interaction device 108 to the position of the real world that is associated with the tool palette 302, the system 100 may recognize the interaction between the tool palette 302 interacting device 108. 詳しくは、この場合、システム100は、ユーザがお絵かきツール306を選択しようとしていることを認識する。 For more information, in this case, the system 100, recognizes that the user is trying to select a painting tool 306. この構成を有することで、相互作用デバイス108は今や、プロキシ210上に仮想ラインないし仮想ストロークをつくり出せる筆、ペン、鉛筆などのお絵かきデバイスとして機能し得る。 By having this configuration, the interaction device 108 now includes brush that able to create a virtual line or virtual stroke on the proxy 210, the pen may serve as Drawing devices such pencils.

図5を参照すると、お絵かきツールとして機能する相互作用デバイス108を有することで、ユーザ200は、プロキシ210に様々な仮想デザイン要素を施すことができるようになる。 Referring to FIG. 5, by having an interactive device 108 that functions as a painting tool, the user 200 will be able to perform a variety of virtual design elements to the proxy 210. この実施例においては、ユーザ200は、プロキシ210の表面に押しつけながら相互作用デバイス108をドラッグすることによって、仮想ライン502を引くことができる。 In this embodiment, the user 200, by dragging the interaction device 108 while pressed against the surface of the proxy 210 may draw a virtual line 502. この場合、撮像デバイス106は、光学的情報を受けて、この光学的情報を計算装置102へ送信する。 In this case, the imaging device 106 receives the optical information, and transmits the optical information to computing device 102. 計算装置102は、この光学的情報を使って、相互作用デバイス108の位置を追跡し、相互作用デバイス108がプロキシ210の表面に接触したことを検出することができる。 Computing device 102 uses the optical information to track the position of the interaction device 108, interaction device 108 can detect that it has contact with the surface of the proxy 210. この実施例においては、相互作用デバイス108がお絵かきツールとして機能しているので、計算装置102は、スクリーン240上に仮想ライン502を発生させ得る。 In this embodiment, since the interaction device 108 is functioning as a painting tool, computing device 102 may generate a virtual line 502 on the screen 240. 詳しくは、ユーザ200には仮想ライン502がプロキシ210の表面に見えるように、仮想ライン502がスクリーン240の一部分上に表示される。 Specifically, the virtual line 502 to the user 200 to appear on the surface of the proxy 210, the virtual line 502 is displayed on a portion of the screen 240. 換言すると、ユーザ200の視点からはラインがプロキシ210上に直接引かれて見えるように、システム100は、仮想ライン502とプロキシ210とを組み合わせる。 In other words, the line from the point of view of user 200 to appear drawn directly on the proxy 210, the system 100 combines the virtual line 502 and the proxy 210. なお、仮想ライン502は、相互作用デバイス108がプロキシ210に接触すると瞬時に表示される。 The virtual line 502, interaction device 108 is displayed instantly upon contact with the proxy 210.

いくつかの実施例においては、仮想ライン502は、種々の型式のラインとすることができる。 In some embodiments, the virtual line 502 can be various types of lines. いくつかの場合、仮想ライン502は、ほぼ真直ぐな直線的な形状である。 In some cases, the virtual line 502 is substantially straight linear configuration. 他の実施例においては、仮想ライン502は、直線でない形状である。 In other embodiments, the virtual line 502 are shaped not straight. さらには、仮想ライン502は、プロキシ210の表面の等高線に沿った曲線にされ得る。 Further, the virtual line 502 may be a curve along the contour of the surface of the proxy 210. これによって、ユーザ200の視点からは、仮想ライン502が益々プロキシ210の一部に見えるようになる。 Thus, from the perspective of the user 200, so that the virtual line 502 is more visible in a part of the proxy 210.

いくつかの実施例においては、システム100を利用してつくり出される種々のラインの特性は様々である。 In some embodiments, characteristics of the various lines are created by using the system 100 can vary. 例えば、いくつかの場合、仮想メニューを使ってラインの太さが変えられる。 For example, in some cases, the thickness of the line by using a virtual menu is changed. 他の場合、実線、点線を含むラインの様式は様々である。 In other cases, the mode of the line containing the solid line, a dotted line is different. そのうえ、いくつかの場合、仮想ラインの特性は、プロキシにラインを引く前か後に修飾され得る。 Moreover, in some cases, the characteristics of the virtual line may be modified before or after pulling the line to the proxy. グラフィック編集ソフトウェアを使ってラインの特性を修飾する種々の周知の機能が利用され得ることが理解されよう。 It will be appreciated that a variety of well known function of modifying the characteristics of the line with a graphic editing software may be utilized.

図6を参照すると、ユーザ200は、相互作用デバイス108を使ってプロキシ210上にラインを描き続けることができる。 Referring to FIG. 6, the user 200 can continue to draw a line on the proxy 210 with the interaction device 108. この場合、ユーザ200は、プロキシ210の一方の側から他方の側まで単一のラインをひき続けるために、プロキシ210をひっくり返したところである。 In this case, the user 200 to continue pulling a single line from one side of the proxy 210 to the other side, it was turned over proxy 210. これに対処するように、システム100は、プロキシ210の位置と配向を追跡し続け、仮想ライン502の配向を修正し、プロキシ210の表面に永久的にラインが引かれているように見せる。 This to address, the system 100 continues to track the position and orientation of the proxy 210, to correct the orientation of the virtual line 502, look like permanent line on the surface of the proxy 210 is drawn.

図7を参照すると、システム100は、円、楕円、三角形、正方形、長方形、台形、五角形、六角形、規則多角形、不規則多角形および他の形状などの種々の形状を描くのに使用され得るが、これらの形状に限定しない。 Referring to FIG 7, the system 100 may be used circular, elliptical, triangular, square, rectangular, trapezoidal, pentagonal, hexagonal, regular polygon, to draw various shapes such as irregular polygons and other shapes obtain, but not limited to these shapes. この実施例においては、ユーザ200は、相互作用デバイス108を使ってプロキシ210の側面に仮想の星形702を描いている。 In this embodiment, the user 200 depicts a virtual star 702 to the side of the proxy 210 with the interaction device 108.

システム100は、物品のデザインに様々な色をつける装置を備え得る。 System 100 may comprise various add color device in the design of the article. いくつかの実施例においては、システム100は、単色または多色のカラーパレットを有するように構成される。 In some embodiments, the system 100 is configured to have a single or multi-color color palette. カラーパレットを有することで、ユーザは、プロキシの種々の部分につける色を選択することができる。 By having the color palette, the user can select the color to be given to various parts of the proxy. 当技術分野で様々な型式のカラーパレットが知られており、例えば、グラフィック編集ソフトウェアで見受けられる種々の型式のカラーパレットがある。 In the art are known various types color palette, for example, a color palette of various types that are found in the graphics editing software.

図8を参照すると、システム100は、カラーパレット802を備え得る。 Referring to FIG. 8, the system 100 may include a color palette 802. いくつかの場合、カラーパレット802は、カラーサークルの型式のカラーパレットである。 In some cases, the color palette 802 is a color palette of the color circle type. 他の場合、カラーパレット802は、様々な色を有する複数のボックスとして与えられている。 Otherwise, the color palette 802 is given as a plurality of boxes having different colors. ユーザ200がカラーパレット802から色を選択するには、相互作用デバイス108で所望の色の位置を指し示せばよい。 The user 200 to select a color from the color palette 802 may be Sashishimese the position of the desired color by the interaction device 108. この実施例においては、ユーザ200は、カラーパレット802から色804を選択している。 In this embodiment, the user 200 has selected the color 804 from the color palette 802. この選択がなされると、プロキシ210の色が色804に変わる。 When this selection is made, the color of the proxy 210 may change the color 804. 詳しくは、システム100は、プロキシ210全体に施される色804を使って、仮想カラー像810を発生させる。 Specifically, the system 100 uses the color 804 to be applied to the entire proxy 210 generates a virtual color image 810. プロキシ210が色804で塗られて見えるように、仮想カラー像810は、プロキシ210とほぼ同じ寸法、形状および配向を有する。 As proxy 210 appears to be painted in the color 804, the virtual color image 810 has almost the same size, shape and orientation as the proxy 210. そのうえで、仮想ライン502および仮想の星形702が、仮想カラー像810上に重ね合わせられる。 Sonouede, imaginary line 502 and the virtual star 702 is superimposed on the virtual color image 810.

ユーザ200がプロキシ210を見る向きを変えるためにプロキシ210を回転させ或いは動かすと、システム100は、仮想カラー像810、仮想の星形702および仮想ライン502の配向および位置を調節し続け、これらのデザイン要素が3次元のプロキシに永久的に施されて見えるようにすることが理解されよう。 When the user 200 moves or rotates the proxy 210 to change the direction of view proxy 210, system 100, a virtual color image 810 continues to adjust the orientation and position of the virtual star 702 and the virtual line 502, these it will be understood that the design element to appear is permanently applied to the 3-dimensional proxy.

今度は図9および図10を参照すると、プロキシ210についての仮想カラーは、また、プロキシ210の局所的な部位に構成され得る。 Referring now to FIGS. 9 and 10, a virtual color for proxy 210 may also be configured to local regions of the proxy 210. この実施例においては、ユーザ200は、相互作用デバイス108を使ってプロキシ210のつま先部分211を選択する。 In this embodiment, the user 200 selects the toe portion 211 of the proxy 210 with the interaction device 108. いくつかの場合、ユーザ200は、つま先部分211を選択するために、選択ツールとして機能する相互作用デバイス108を正しい位置に置く。 In some cases, the user 200 to select a toe portion 211, placing the interaction device 108 that functions as a selection tool in the correct position. 他の場合、ユーザ200は、仮想メニューから色付けツールを選択してから、プロキシ210の所望の部分を選択することで、色をつける。 Otherwise, the user 200 can select the coloring tool from virtual menu, by selecting a desired portion of the proxy 210, add color.

いくつかの場合、ユーザ200が相互作用デバイス108を使ってつま先部分211を選択すると、カラーパレット902が現れる。 In some cases, the user 200 selects the toe portion 211 with the interaction device 108, the color palette 902 appears. いくつかの場合、仮想境界線910を使って、つま先部分211が目立つようにする。 In some cases, using a virtual boundary line 910, so that the toe portion 211 is noticeable. この時点で、図10に見られるように、ユーザ200は、カラーパレット902を使って、つま先部分211に施す色を選択することができる。 At this point, as seen in FIG. 10, the user 200 can use the color palette 902, selects a color to be applied to the toe portion 211. すると、この色がつま先部分211全体に施される。 Then, this color is applied to the entire toe portion 211.

この実施例は、ユーザがつま先部分211の色を修飾していることを示しているが、他の場合、ユーザは、プロキシ210の他の部分を修飾することができる。 This embodiment has the user indicates that to modify the color of the toe portion 211, in other cases, the user can modify other parts of the proxy 210. 色付けされる他の部分としては、プロキシ210の、中足部、踵部、下位部、上位(アッパー)部、内側部、外側部および種々の他の部分があるが、これらに限定しない。 Other portions are colored, the proxy 210, midfoot, heel, lower portion, the upper (upper) portion, the inner portion, but there is an external portion and an various other parts, not limited to these. プロキシ210がソール部と上位部を備える実施例においては、ユーザは、ソール部および/または上位部の色を別々に修飾し得る。 In embodiments where the proxy 210 comprises a sole portion and an upper portion, a user may separately modifying the color of the sole portion and / or the upper part. 加えて、プロキシが、レースの位置を示すレースの絵ないし印を含むレースの付く部分を有する実施例においては、ユーザは、レースの付く部分の色を修飾することができる。 In addition, the proxy in the embodiment with a picture or part attached lace including indicia racing indicating the position of the race, the user can modify the color of a portion attached lace.

今度は図11および図12を参照すると、ユーザ200は、プロキシ210に1つまたは複数の仮想グラフィックを施すことができる。 Referring now to FIGS. 11 and 12, the user 200 may be subjected to one or more virtual graphics proxy 210. この場合、ユーザ200は、相互作用デバイス108を使って、グラフィックメニュー320から第1のグラフィック322を選択する。 In this case, the user 200 uses the interaction device 108, to select the first graphic 322 from the graphic menu 320. そして、ユーザ200は、プロキシ210と相互作用デバイス108とを接触させることで、プロキシ210の表面に第1のグラフィック322を配置させることができる。 The user 200, by contacting the proxy 210 and the interaction device 108, it is possible to place the first graphic 322 on the surface of the proxy 210. この時点で、システム100は、第1のグラフィック322がプロキシ210上に物理的に配置されて見えるように、第1のグラフィック322の外見を自動的に調整することができる。 At this point, the system 100 can first graphic 322 to appear are physically located on the proxy 210 automatically adjusts the appearance of the first graphic 322. さらには、プロキシ210を動かすか回転させると、この動きに応じてシステム100がグラフィック322の配向と位置を調節し得る。 Furthermore, rotating or moving the proxy 210, the system 100 in accordance with this movement might regulate the orientation and position of the graphic 322. この実施例では、プロキシ210に単一のグラフィックが施されているが、他の実施例においては、2つ以上の実施例がプロキシ210に施され得る。 In this embodiment, a single graphics are subjected to the proxy 210, in other embodiments, two or more embodiments may applied to the proxy 210.

概して、プロキシに施される仮想グラフィックは、予備設計またはカスタム設計されたグラフィックとすることができる。 Generally, the virtual graphics to be applied to the proxy may be a preliminary design or custom designed graphics. 例えば、いくつかの場合、ユーザは、システム100を使ってカスタム設計されたグラフィックをつくり出し、グラフィックメニュー320内にそのグラフィックを保存することができる。 For example, in some cases, the user may create a graphic that has been custom designed using the system 100, it is possible to save the graphics in the graphic menu 320. これによって、ユーザは、グラフィックを随時呼び出して、プロキシに施すことができる。 Thus, the user calls the graphic at any time, can be applied to the proxy. 他の実施例においては、システム100は、一式の予備設計されたグラフィックを提供することができる。 In another embodiment, the system 100 can provide a pre-designed graphics set.

図13を参照すると、ユーザ200は、消しゴムツール1302を使って仮想オブジェクトを部分的に消去することができる。 Referring to FIG. 13, the user 200 is able to erase the virtual object partially with the eraser tool 1302. この場合、ユーザ200は、仮想ライン1304が施されているプロキシ210の部分に相互作用デバイス108を接触させることで、仮想ライン1304を部分的に消去することができる。 In this case, the user 200, by contacting the interaction device 108 to a portion of the proxy 210 that the virtual line 1304 is applied, it is possible to erase the virtual line 1304 partially. これにより、仮想ライン1304の一部分が消去される。 As a result, a portion of the virtual line 1304 is erased.

いくつかの実施例においては、システムl00は、ユーザに1つまたは複数の既存の設計つまり定型デザインを提供する。 In some embodiments, the system l00 provides one or more existing design that is standard design to the user. 定型デザインは、プロキシについて現在の設計セッションの前の段階でつくられた種々のデザインを含み得る。 Standard design may include various design made in the previous stage of the current design session for proxy. 定型デザインは、プロプライアタが提供する場合もあれば、先行する設計ステップの際に、ユーザがつくり出す場合もある。 Fixed designs, some if Puropuraiata provides, in designing step preceding, there is a case where the user creates.

図14〜図16は、定型デザインに関して機能するシステム100の一実施例を使用することを示している。 14 to 16 show the use of one embodiment of a system 100 that functions with respect to standard designs. 図14を参照すると、ユーザ200は、定型メニュー1402から定型デザインを選択することができる。 Referring to FIG. 14, the user 200 may select the standard design from fixed menu 1402. この場合、定型メニュー1402は、第1の定型デザイン1410と第2の定型デザイン1412を含む。 In this case, fixed menu 1402 includes a first fixed design 1410 a second fixed design 1412. ユーザ200は、相互作用デバイス108を使って第1の定型デザイン1410を選択したところである。 The user 200 is where you select the first fixed design 1410 with the interaction device 108. 第1の定型デザイン1410が選択されると、一式の仮想デザイン要素が自動的に発生し、プロキシ210上に表示される。 When the first fixed design 1410 is selected, the virtual design elements set automatically generated and displayed on the proxy 210. 例えば、この実施例においては、第1の定型デザイン1410は、仮想アッパートリム1420、仮想ストライプ1422および仮想アッパーパネル1424を含む。 For example, in this embodiment, the first fixed design 1410 includes a virtual upper trim 1420, virtual stripe 1422 and the virtual upper panel 1424. この構成を有することで、ユーザは、最初から物品の設計をするのではなく、既存の設計を修飾すればよい。 By having this configuration, the user, rather than from the beginning to the article design may be modified existing designs.

ユーザ200は、プロキシ210についての定型デザインを選択した後、上述したグラフィックツールまたは他の周知のグラフィックツールを使ってデザインを修飾することができる。 The user 200 after selecting a standard design for the proxy 210 can modify the design with graphic tools or other known graphics tools described above. 例えば、図15を参照すると、ユーザ200は、お絵かきツールを使って、仮想アッパーパネル1424の周囲に仮想境界線1502を描き加えることができる。 For example, referring to FIG. 15, the user 200 uses the painting tools can be added to draw the imaginary boundary line 1502 around the virtual upper panel 1424. さらに、図16に見られるように、ユーザは、カラーパレット1602を使って仮想アッパーパネル1424の色を修飾することができる。 Further, as seen in FIG. 16, the user can modify the color of the virtual upper panel 1424 using a color palette 1602.

この構成を用いて、ユーザは、既存のデザインに修飾を加えることで、斬新でユニークなデザイン特性を備えた物品を製造することができる。 With this configuration, the user, by adding a modification to an existing design, it is possible to produce an article having a new and unique design characteristics. デザイナは、現在のモデルの履物の後継品を設計するときに、この機能を使うことができる。 Designer, when designing the current model footwear of the successor product, it is possible to use this feature. 例えば、毎年のように再設計される物品がある。 For example, there is an article to be redesigned every year. 本明細書で述べた構成を有することで、デザイナは、白紙の状態から設計を始めるのではなく、前年度の最新履物モデルに対応する定型デザインを選択することで、すぐに履物の再設計にとりかかることができる。 By having the structure described herein, designer, rather than from a clean slate to start the design by selecting a standard design corresponding to the latest footwear model year, immediately re-design of the footwear get started can be.

システム100は、様々な型式のプロキシに仮想デザインを施す装置を備え得る。 System 100 may include a device for performing virtual design to various types of proxies. いくつかの場合、システム100は、物品の模型ではなく、形成済みの物品を用いて使用されるように構成されている。 In some cases, system 100 is configured for use with a model instead of, preformed article of the article. 例えば、システム100が履物を設計するのに利用される状況において、プロキシは、靴型ではなく、特定の種類の靴であってもよい。 For example, in situations where the system 100 is utilized to design footwear, proxy, not the shoe, it may be a particular type of shoe.

図17に示されるシステム100の実施例においては、靴型ではなく、実物の履物がプロキシ1710として使用される。 In the embodiment of system 100 shown in FIG. 17, rather than the shoe, real footwear is used as a proxy 1710. 図17を参照すると、プロキシ1710は、アッパー1720およびソール構造体1722を有する。 Referring to FIG. 17, the proxy 1710 has an upper 1720 and a sole structure 1722. さらに、アッパー1720は、第1のデザイン要素1730と第2のデザイン要素1732を有する。 Further, the upper 1720 includes a first design elements 1730 a second design elements 1732. これらのデザイン要素は、プロキシ1710の一部を構成する物理的なデザイン要素である。 These design elements are physical design elements forming part of the proxy 1710. いくつかの場合、プロキシ1710として実物の履物を使用することは、ユーザが最終的な製品を視覚化することを助ける。 In some cases, the use of real footwear as a proxy 1710 helps the user to visualize the final product.

この実施例においては、ユーザ200は、相互作用デバイス108を使ってプロキシ1710に仮想ライン1740を施すことができる。 In this embodiment, the user 200 may be subjected to the virtual line 1740 to the proxy 1710 using the interactions device 108. ユーザ200が相互作用デバイス108をプロキシ1710の表面に接触させつつドラッグすると、プロキシ1710より手前にあるスクリーン240上に仮想ライン1740が表示される。 When the user 200 drags while contacting the interaction device 108 on the surface of the proxy 1710, the virtual line 1740 is displayed on the screen 240 in front of the proxy 1710. これにより、プロキシ1710上にラインがつくり出されたように見える。 As a result, it appears to be the line in on the proxy 1710 was created. この構成を有することで、ユーザは、システム100を利用して実物の履物に仮想オブジェクトないし仮想像を適用することによって、既存の履物の設計を修飾することができる。 By having this configuration, the user, by utilizing the system 100 applies the virtual object or virtual image in real footwear can be modified design of existing shoes.

明確にする目的で、この実施例は、様々なライン、色、グラフィックおよび他の種類の印を物品にデザインすることを示している。 For purposes of clarity, this example shows that to design a variety of lines, colors, graphics, and other types of indicia to the article. しかし、他の実施例においては、拡張現実設計システムを利用して、物品用の追加的な種類の構成要素が設計され得ることを理解されたい。 However, in other embodiments, by using the augmented reality design system, it is to be understood that additional types of components of the article may be designed. いくつかの場合、拡張現実設計システムを利用して製造される設計ラインは、物品の機能特徴部を表す。 In some cases, the design lines are fabricated using augmented reality design system represents the functional features of the article.

いくつかの実施例においては、設計システムは、ストラップ、ヒールカウンタ、つま革、表底(外ソール)、中底(中ソール)、レース、および物品の他の機能構成要素などの様々な物理的および/または機能的な構成要素を設計するのに使用可能であるが、これらの構成要素に限定しない。 In some embodiments, the design system, straps, heel counter, the vamp, the outsole (outer sole), insole (middle sole), a variety of physical, such other functional components of the races and the article, and it can be used to design / or functional components, but not limited to these components. 例えば、一実施例においては、ユーザは、プロキシの底面にトラクションパターンを描くことによってソールの表底を設計(デザイン)することができる。 For example, in one embodiment, a user can design outsole of the sole (design) by drawing a traction pattern on the bottom surface of the proxy. 他の例においては、ユーザは、プロキシの一部分上にストラップを描くことができる。 In another example, the user may draw a strap on a portion of the proxy. 他の例としては、ユーザは、物品の一つまたは複数の部分に関して利用され得る1つまたは複数のインサートを描くことができる。 As another example, the user may draw one or more inserts may be utilized for one or more portions of the article. 拡張現実設計システムを利用して設計され得るストラップおよびインサートの例としては、Gerberらのカスタマイズ可能なアッパーを有する履物に関する米国特許____号(現時点では米国特許出願第12/o358,234号明細書)があり、この出願全体が本願の参照となる。 Examples of the strap and the insert may be designed using the augmented reality design system, U.S. Patent ____ No. relates to footwear having a customizable uppers Gerber et al (U.S. Patent Application No. 12 / o358,234 at present) There are, overall this application is the reference of the present application.

いくつかの実施例においては、表底パターン、ストラップ、ヒールカウンタおよび種々の他の機能構成要素を示す設計(デザイン)ラインは、プロプライアタが最終的な物品を設計するために使用される。 In some embodiments, outsole pattern, a strap, the design shown the heel counter and various other functional components (design) line is used Puropuraiata to design the final article. いくつかの場合、システムは、機能設計ライン(例えば、ヒールカウンタを指し示すライン)と装飾設計ライン(例えば、1つまたは複数のストライプを示すライン)とを判別する装置を備える。 In some cases, the system comprises function design line (e.g., point to the heel counter line) and the decorative design line (e.g., line indicating the one or more stripes) a device for distinguishing between. いくつかの場合、プロプライアタが様々な型式の設計ラインを容易に判別できるように、機能構成要素に関連するように意図された設計ラインが、追加の情報と一緒に保存される。 In some cases, as Puropuraiata can easily determine the design lines of various types, intended design lines to be associated with a functional component is stored together with additional information. しかし、他の場合、各設計ラインは、実質的に同じ様式で保存されていて、プロプライアタは、機能設計ラインと装飾用の設計ラインとを判別するためには、事の経緯や他の手掛かりを参考にする必要がある。 However, in the case of the other, each design line, have been stored in substantially the same manner, Puropuraiata, in order to determine the design line of decorative and functional design line, a thing of history and other clues there is a need Sankounisuru.

図18を参照すると、いくつかの場合、システム100は、設計セッションが終了したことをユーザに知らせる。 Referring to FIG. 18, in some cases, system 100 informs the user that the design session ended. 例えば、この実施例においては、ユーザ200は、プロキシ1810を使っての物品の設計を終えている。 For example, in this embodiment, the user 200 has finished article design uses a proxy 1810. 詳しくは、ユーザ200は、システム100を利用して、プロキシ1810に仮想デザイン要素1812を施し終えたところである。 For more information, user 200, using the system 100, it is where you have finished subjected to virtual design elements 1812 to the proxy 1810. この時点で、システム100は、設計を終了するべきか否かを決定するように促すとよい。 At this point, the system 100 may prompt the user to determine whether to end the design. いくつかの場合、ユーザ200に向けてダイアログボックス1850が表示される。 In some cases, a dialog box 1850 is displayed to the user 200. この場合、ユーザ200は、相互作用デバイス108を使って物品の設計を終えたことを示す。 In this case, the user 200 indicates that finished goods designed with interaction device 108.

設計が終了した履物を製造する目的で、最終設計がプロプライアタに提出され得る。 For the manufacture of footwear design is completed, the final design can be submitted to Puropuraiata. 図19に見られるように、いくつかの場合、最終設計がネットワーク112を介してプロプライアタの計算装置1902へ送信される。 As seen in Figure 19, in some cases, the final design is sent to the computing device 1902 of Puropuraiata via the network 112. この時点で、プロプライアタは、最終設計を用いて履物を製造することができる。 At this point, Puropuraiata can produce footwear with final design.

図20は、システム100を利用して設計された物品を製造するプロセスの一実施例を示す。 Figure 20 illustrates one embodiment of a process of manufacturing an article that is designed by utilizing the system 100. この実施例においては、以下のステップのうちのいくつかのステップが、物品の製造および/または販売を行うプロプライアタによって実行され得る。 In this embodiment, some of the steps of the following steps may be performed by Puropuraiata to manufacture and / or sale of goods. また、いくつかのステップが、システム100の顧客や他のユーザによって実行され得る。 Further, some steps may be performed by the system 100 customers or other users. これに加え、他の実施例においては、以下のステップのうちの1つまたは複数のステップが選択的であることを理解されたい。 Additionally, in other embodiments, it is to be understood that one or more steps of the following steps are optional.

ステップ2002において、ユーザは、拡張現実設計システム100を利用して物品を設計することができる。 In step 2002, the user can design a article by using the augmented reality design system 100. この様式で物品の設計をする方法およびツールについては、これまでに詳述した。 The methods and tools to the articles of the design in this manner, has been described in detail so far. 続いて、ステップ2004において、設計がプロプライアタに受け取られ得る。 Subsequently, in step 2004, the design may be received Puropuraiata. プロプライアタは、履物の部品加工、流通および/または小売販売に関わる作業並びに他の製造者側の作業を含む、製造者側の様々な作業に従事する人のことでもある。 Puropuraiata is part processing footwear, involved in the distribution and / or retail sales including work as well as other manufacturers side working, also by the people engaged in various tasks of the manufacturer side. 続いて、ステップ2006で、ユーザから提出された設計に基づいて、物品が製造され得る。 Then, in step 2006, based on the submitted design from the user, the article can be produced. このステップは、種々の周知の製造技術を利用して完成され得る。 This step may be completed using a variety of known manufacturing techniques. 利用され得る製造技術の一例が、2006年12月18日に出願された米国特許出願第11/612,320号明細書中に開示されており、この出願の全体が本願の参照となる。 An example of which may be utilized manufacturing techniques are disclosed in U.S. Patent Application No. 11 / 612,320 Pat, filed Dec. 18, 2006, the entirety of which application is the reference of the present application.

上述したように、拡張現実設計システムは、種々の物品を設計するために利用され得る。 As described above, augmented reality design system may be utilized to design a variety of articles. いくつかの実施例においては、拡張現実設計システムは、衣料品を設計する装置を備えている。 In some embodiments, the augmented reality design system comprises a device for designing a garment. 一実施例においては、拡張現実設計システムは、シャツやパンツを設計する装置を備えている。 In one embodiment, augmented reality design system comprises a device for designing a shirt or pants.

図21〜図23は、様々な衣料品を設計するように構成された拡張現実設計システム100の一実施例を示す。 21 to 23 shows an embodiment of the augmented reality design system 100 configured to design a variety of clothing. この場合、システム100は、プロキシ2100とともに利用される。 In this case, the system 100 is utilized with the proxy 2100. プロキシ2100は、全身マネキンの概的形態を有し得る。 Proxy 2100 may have the approximate form of systemic mannequin. 詳しくは、プロキシ2100としては、Tシャツ、長袖シャツ、ボタン留めシャツ、セータ、ベスト、ジャケットおよび他の種類の物品などの、胴体や腕に着用される様々な物品の設計をするのに使用され得る上位部2102がある。 Specifically, as a proxy 2100, T-shirts, long sleeve shirts, button closing shirt, sweater, vest, such as jackets and other types of articles, are used to design a variety of articles worn on the body and arms there is a higher-level unit 2102 to obtain. プロキシ2100としては、また、パンツ、ジーンズ、軍服、ショーツ、スカート、水着および他の種々の物品などの、足に着用される様々な物品の設計をするのに使用され得る下位部2104がある。 The proxy 2100, and there pants, jeans, uniforms, shorts, skirts, such as swimwear and other various articles, the lower portion 2104 that may be used to design a variety of articles worn on the foot. さらには、プロキシ2100は、様々な種類のドレス、スーツ、水着、制服(これらの物品に限定しない)などの、上位部2102と下位部2104の両方に亘る物品の設計をするためにも使用され得ることを理解されたい。 Furthermore, the proxy 2100, various types of dress, suits, swimsuits, uniforms for such (but not limited to articles), articles of design over both the upper portion 2102 and lower portion 2104 is used it is to be understood that to obtain.

概して、上記の実施例において説明した履物を設計するための様々なグラフィックツールが、シャツおよび/またはパンツなどの種々の他の物品を設計することに応用され得る。 Generally, various graphical tools for designing footwear described in the above embodiments can be applied to design a variety of other articles, such as shirts and / or shorts. 図22を参照すると、ユーザ200は、上位部2102に仮想像を施すことによって、シャツの設計をすることができる。 Referring to FIG. 22, the user 200, by applying the virtual image to the upper portion 2102 may be a shirt design. この場合、ユーザ200は、相互作用デバイス108を使って仮想ストライプ2110をつくり出すことができる。 In this case, the user 200 can create a virtual stripe 2110 with the interaction device 108. 加えて、図23に見られるように、ユーザ200は、カラーパレット2120を使ってプロキシ2100の下位部2104の色を修飾することによって、一着のパンツの設計をすることができる。 In addition, as seen in Figure 23, the user 200, by modifying the color of the lower portion 2104 of the proxy 2100 using the color palette 2120, it may be the pants design in wearing.

この実施例は、限定することを意図するものではなく、他の実施例においては、システム100は、様々な型式の物品の設計をする目的で他の型式のプロキシとともに使用され得る。 The examples are not intended to be limiting, in other embodiments, system 100 may be used with other types of proxies for the purpose of the article design of various types. 他の例としては、システム100は、帽子を設計する目的で、頭の形に形成されたプロキシとともに使用され得る。 As another example, the system 100 for the purpose of designing a cap can be used with the proxy, which is formed in the shape of the head. さらに他の例においては、システム100は、手袋を設計する目的で、手の形に形成されたプロキシとともに使用され得る。 In yet another example, the system 100 for the purpose of designing a glove, may be used with the proxy, which is formed into a hand. そのうえ、上述したように、システムは、着用される物品の設計に使用されることに必ずしも限定されない。 Moreover, as described above, the system is not necessarily limited to be used in the design of articles worn. 他の実施例においては、システム100は、財布、リュックサック、旅行鞄(これらに限定しない)および他の種類の鞄などの様々な種類の鞄を設計する目的で、鞄の形に形成されたプロキシとともに使用され得る。 In another embodiment, the system 100, wallet, with backpack, luggage purpose of designing various kinds of bags, such as (these not limited), and other types of bag, which is formed in the shape of a bag It may be used with the proxy.

この実施例においては、プロキシ2100は、何も印がないブランクとなっている。 In this embodiment, the proxy 2100, nothing has a blank unmarked. しかし、他の実施例においては、物品の設計をし易くするために、プロキシ2100は、衣料品の様々な特徴部のおよその位置を指し示す様々な型式の印を含み得る。 However, in other embodiments, to facilitate the design of the article, the proxy 2100 may include indicia of various types pointing to the approximate location of various features of the garment. 例えば、一実施例においては、プロキシ2100は、該プロキシ2100に関連し得る半袖シャツの境界を示す印を含んでいる。 For example, in one embodiment, the proxy 2100 includes indicia indicating a boundary sleeved shirt that may be associated with the proxy 2100. 他の実施例においては、プロキシ2100は、該プロキシ2100に関連し得る一着のパンツの境界を示す印を含んでいる。 In other embodiments, the proxy 2100 may include indicia indicating the pants boundaries of wearing that may be associated with the proxy 2100. いくつかの場合、追加の印をつけることで、ユーザが衣料品の様々な特徴部にデザインを施すことが可能となり得る。 In some cases, by putting an additional mark, it may be possible that the user is to perform layout of various features of the garment. さらに言えば、これらの印は、プロキシ2100上に物理的につけられる場合もあれば、システム100を使って仮想的に適用される場合もあることを理解されたい。 More, these signs may or may physically be put on the proxy 2100, it is to be understood that in some cases is virtually applied using system 100.

これに加え、いくつかの場合、ユーザは、直接プロキシ2100上へ衣料品を配置する。 Additionally, in some cases, the user may directly place the garment to the proxy 2100 above. 例えば、シャツを設計するために、ユーザは、プロキシ2100の上位部2102上にシャツを配置する。 For example, in order to design a shirt, the user places the shirt on the upper portion 2102 of the proxy 2100. そして、ユーザは、このシャツに、システム100を用いて様々な仮想デザイン要素を施すことができる。 The user, in this shirt, can be subjected to various virtual design elements using the system 100. 同様に、ユーザは、プロキシ2100の下位部2104上に一着のパンツを配置し、このパンツに様々な仮想デザイン要素を施すことができる。 Similarly, the user can place the pants wearing on the lower portion 2104 of the proxy 2100 is subjected to various virtual design elements on pants.

拡張現実設計システムは、表示装置を使用することなく、プロキシに仮想像を適用する装置を備え得る。 Augmented reality design system, without using the display device may comprise a device for applying a virtual image to the proxy. いくつかの場合、仮想像が直接プロキシ上に重ね合わせられる。 In some cases, virtual image is superimposed on the direct proxy. 一実施例においては、実時間内に物品の設計をする目的で、仮想像が直接プロキシ上に投影される。 In one embodiment, for the purpose of real-time within the article designs, virtual image is projected directly on the proxy.

図24は、拡張現実設計システム2400(以後、「システム2400」と呼ぶ)の他の実施例を示す。 Figure 24 is augmented reality design system 2400 (hereinafter referred to as "System 2400") shows another embodiment of. システム2400は、上述したシステム100と実質的に同じシステムで、構成要素も実質的に同じである。 System 2400, the system 100 substantially the same system described above, the components may be substantially the same. 例えば、システム2400は、計算装置2402を備える。 For example, system 2400 includes a computing device 2402. 計算装置2402は、デスクトップ型コンピュータやラップトップ型コンピュータなどの種々の型式のコンピュータとすることができる。 Computing device 2402 may be a variety of types of computers, such as desktop computers and laptop computers. 他の実施例においては、計算装置2402は、ディスプレイ、プロセッサ、および1つまたは複数の外部源とデータを送受信可能な装置を有する種々の型式の装置とすることができる。 In other embodiments, computing device 2402 may be a variety of types of devices including a display, a processor, and a transceiver device capable of one or more external sources and data. そのような装置の例としては、携帯情報端末(PDA)、携帯電話および他の型式の装置があるが、これらに限定しない。 Examples of such devices, a personal digital assistant (PDA), there is a mobile phone and other types of equipment, but not limited to.

システム2400は、ある種のプロキシ上に直接に仮想像ないし仮想オブジェクトを重ね合わせる装置を備え得る。 System 2400 can comprise a device for directly overlapping the virtual image or a virtual object on certain proxy. いくつかの実施例においては、システム2400は、投影装置2404を備える。 In some embodiments, the system 2400 includes a projection device 2404. 投影装置2404は、当技術分野で周知の種々の型式のプロジェクタとすることができる。 Projection device 2404 may be a variety of types of projector known in the art. 拡張現実システムで使用され得る投影装置の例は、当技術分野で知られている。 Example of a projection apparatus that may be used in the augmented reality systems are known in the art. 一実施例においては、投影装置2404は、デジタルプロジェクタである。 In one embodiment, the projection device 2404 is a digital projector.

システム2400は、視覚的情報を捕捉する装置を備え得る。 System 2400 can comprise a device to capture the visual information. いくつかの実施例においては、システム2400は、撮像装置2406を備える。 In some embodiments, the system 2400 includes an imaging device 2406. 撮像装置2406は、光学的情報を検出できる種々の装置とすることができる。 Imaging device 2406 may be a variety of devices that can detect optical information. いくつかの場合、撮像装置2406は、カメラである。 In some cases, the imaging apparatus 2406 is a camera. いくつかの場合、撮像装置2406は、ある種のビデオカメラである。 In some cases, the imaging apparatus 2406, is a kind of video camera. 使用され得る様々な型式のビデオカメラの例としては、電荷結合素子(CCD)カメラ、相補性金属酸化膜型半導体(CMOS)カメラ、他の型式の能動画素センサカメラ並びに他の型式のビデオカメラがある。 Examples of various types of video cameras that can be used, a charge coupled device (CCD) camera, a complementary metal oxide semiconductor (CMOS) camera, other types of active pixel sensor cameras and other types of video cameras is there.

概して、撮像装置2406は、システム2400の様々な構成要素に対して種々の位置に配置され得る。 Generally, the imaging device 2406 may be positioned at various locations relative to the various components of the system 2400. いくつかの場合、撮像装置2406は、据え置きされている。 In some cases, the imaging apparatus 2406 is deferred. 他の場合、撮像装置2406は、システム2400の他の構成要素に実装されている。 Otherwise, the imaging device 2406 is mounted on other components of the system 2400. 一実施例においては、撮像装置2406は、ある態様でユーザに実装されている。 In one embodiment, the imaging device 2406 is mounted to the user in some manner. 例えば、一実施例においては、撮像装置2406は、ユーザが着用する、ある種のヘッドセットに実装されている。 For example, in one embodiment, the imaging apparatus 2406, the user to wear, are mounted on some of the headset. しかし、他の場合、撮像装置2406は、ユーザおよび/またはプロキシに対して据え置き位置に配置されている。 However, in other cases, the imaging apparatus 2406 is arranged in stationary position relative to the user and / or a proxy.

システム2400は、拡張現実の環境と相互作用する装置を備え得る。 System 2400 may include a device to interact with the augmented reality environment. いくつかの場合、システム2400は、相互作用デバイス2408を備える。 In some cases, the system 2400 includes an interaction device 2408. 相互作用デバイス2408は、種々の形態を取り得る。 Interaction device 2408 can take a variety of forms. いくつかの場合、相互作用デバイス2408は、タッチペンである。 In some cases, the interaction device 2408 is a touch pen. 例えば、相互作用デバイス2408は、携帯情報端末(PDA)で使われるのと同様のタッチペンであり、このタッチペンは、ディスプレイに圧力を加えるのに使用される実質的にモノリシックな構成要素である。 For example, interaction device 2408 has the same stylus to that used in a personal digital assistant (PDA), the stylus is substantially monolithic components used to apply pressure to the display. この実施例においては、相互作用デバイス2408は、ペンの概形を有する実質的にモノリシックな構成要素である。 In this embodiment, the interaction device 2408 are substantially monolithic components having general shape of a pen. しかし、他の場合、相互作用デバイス2408は、種々の他の形状、寸法および組成を有し得る。 However, in other cases, the interaction device 2408, various other shapes, may have a dimension and composition.

いくつかの実施例においては、システム2400の1つまたは複数の構成要素は、計算装置2402と通信する。 In some embodiments, one or more components of system 2400 communicates with a computing device 2402. いくつかの場合、撮像装置2406が、計算装置2402と通信する。 In some cases, the imaging device 2406 is in communication with computing device 2402. これに加え、いくつかの場合、投影装置2404が計算装置2402と通信する。 Additionally, in some cases, the projection device 2404 to communicate with the computing device 2402. 撮像装置2406と投影装置2404は、種々の型式の無線および/または有線の接続を介して計算装置2402と通信し得る。 Imaging apparatus 2406 and the projection 2404 may communicate with computing device 2402 via the various types of wireless and / or wired connection. いくつかの場合、撮像装置2406および投影装置2404は、ある種のネットワークを利用して計算装置2402と通信することができる。 In some cases, the imaging apparatus 2406 and the projection 2404 may communicate with the computing device 2402 by using certain network. そのようなネットワークの例としては、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、クライアント−サーバ・ネットワーク、ピアツーピア・ネットワークおよび他の型式のネットワークがあるが、これらに限定しない。 Examples of such networks, personal area network (PAN), local area network (LAN), wide area network (WAN), a client - server network, there is a peer-to-peer networks and other types of networks, these but not limited to. いくつかの場合、計算装置2402と、撮像デバイス2406および/または投影装置2404と、の間の通信を容易にするために、Bluetoothプロトコルを用いた無線のローカルエリアネットワークまたはパーソナルエリアネットワークが利用される。 In some cases, the computing device 2402, an image pickup device 2406 and / or projection device 2404, in order to facilitate communications between the wireless local area network or a personal area network using the Bluetooth protocol is used . この構成を有することで、撮像装置2406から集められた像は、計算装置2402で受信され、仮想情報と組み合わせられる。 By having this configuration, the collected image from the imaging device 2406 are received by the computing device 2402, combined with virtual information. そして、組み合わせられた情報は、投影装置2404に戻され、プロキシ上に投影される。 The combined information is returned to the projection device 2404, it is projected onto the proxy. 詳しくは、これにより、システム2400は、1つまたは複数の仮想オブジェクトないし仮想像を利用してプロキシの外見を拡張させることが可能となる。 Specifically, by this, the system 2400 is able to expand the appearance of proxies by utilizing one or more virtual objects to virtual image.

この実施例は、単一の撮像装置を使用しているが、他の実施例においては、2つ以上の撮像装置を使用する。 This embodiment is using a single imaging device, in other embodiments, the use of two or more imaging devices. さらには、他の実施例においては、システム2400に他の種類のセンサが使用され得ることが理解されよう。 Furthermore, in other embodiments, it will be understood that other types of sensors in the system 2400 may be used. 追加的な種類のセンサを使用するシステムの例を以下に詳述する。 Detailing an example of a system using additional types of sensors below.

明確にする目的で、この実施例においては、システム2400が単一の投影装置を備えるものとして示されている。 For purposes of clarity, in this embodiment, the system 2400 is illustrated as comprising a single projection device. 単一の投影装置を使用しつつプロキシを回転させることで、仮想像がプロキシの一部として見えるように、プロキシの様々な側面に仮想像を発生させることができる。 By rotating the proxy while using a single projection device, virtual image is to appear as part of a proxy, it is possible to generate the virtual image in various aspects of the proxy. しかし、ユーザが、据え置きされているプロキシの周りを歩き回って複数の側面を見るような場合には、プロキシの複数の側面に仮想像を同時に映すために、2つ以上の投影装置が必要なこともある。 However, the user, when walking around around proxies that are deferred as seen more aspects, in order to project virtual image simultaneously on multiple sides of a proxy, you need more than one projection device there is also. 従って、他の実施例においては、システム2400は、2つ以上の投影装置を備え得る。 Thus, in other embodiments, system 2400 may include more than one projection device.

この実施例においては、計算装置2402はスタンドアロンのコンピュータとして示されているが、他の実施例においては、計算装置2402は、システム2400の他の構成要素と統合されている。 In this example, computing device 2402 is illustrated as a stand-alone computer, in other embodiments, computing device 2402 is integrated with other components of the system 2400. 例えば、他の実施例においては、計算装置2402は、投影装置2404と統合されている。 For example, in other embodiments, computing device 2402 is integrated with the projection device 2404. 詳しくは、投影装置2404は、撮像装置2406が受信した光学的情報を処理する装置と、プロキシ上へ直接投影されるべき仮想像を発生させる装置とを備え得る。 Specifically, the projection device 2404 may comprise a device for processing optical information imaging apparatus 2406 receives, and a device for generating a virtual image to be projected directly onto the proxy. さらに他の実施例においては、計算装置2402は、システム2400の種々の他の構成要素と統合されている。 In yet another embodiment, computing device 2402 is integrated with various other components of the system 2400. 他の実施例においては、システム2400の携帯性を良くするために、計算装置2402は、ユーザが着用し或いは持ち運ぶことができる携帯機器である。 In another embodiment, in order to improve the portability of the system 2400, computing device 2402 is a mobile device which the user can wear or carry. さらには、いくつかの実施例においては、計算装置2402は、システム2400の様々な構成要素の近くに配置されなくてもよい。 Furthermore, in some embodiments, computing device 2402 may not be located near the various components of the system 2400. 例えば、他の実施例においては、撮像装置2406と投影装置2404は、上述したネットワークを利用して計算装置2402と遠隔通信する。 For example, in other embodiments, the imaging apparatus 2406 and the projection device 2404 telecommunications and computing device 2402 using a network as described above.

システム2400は、プロプライアタ2410と通信する装置を備え得る。 System 2400 may include a device for communicating with Puropuraiata 2410. いくつかの場合、計算装置2402とプロプライアタ2410とはネットワーク2412を利用して通信することができる。 In some cases, the computing device 2402 and Puropuraiata 2410 can communicate using a network 2412. 概して、ネットワーク2412は、上述したネットワークなどの種々の型式のネットワークとすることができる。 Generally, the network 2412 may be a network of various types such as a network as described above.

図25〜図29は、システム2400の一実施例における操作を示すことを意図する。 25-29 is intended to indicate the operation of one embodiment of a system 2400. 図25を参照すると、システム2400は、物品の設計をする目的で、プロキシ2510とともに使用され得る。 Referring to FIG. 25, the system 2400, the purpose of the design of the article may be used with the proxy 2510. この場合、プロキシ2510は、靴の形の幾何学構造を有し、履物を設計するのに使用される。 In this case, the proxy 2510 may have a geometry in the form of a shoe, is used to design footwear. しかし、他の実施例においては、システム2400は、種々の物品の設計をする目的で、種々の他の型式のプロキシとともに使用される。 However, in other embodiments, the system 2400, the purpose of the design of various articles, are used with various other types of proxy. システム2400を利用して設計され得る他の物品の例としては、上述した種々の物品並びに他の種類の物品がある。 Examples of other articles that may be designed by utilizing the system 2400, there are a variety of articles, as well as other types of articles described above.

この実施例においては、プロキシ2510は、作業台2560の上に配置されている。 In this embodiment, the proxy 2510 is disposed on a workbench 2560. しかし、他の場合、プロキシ2510は、ある種の台の上に配置されている。 However, in other cases, the proxy 2510 is disposed on a certain platform. これに加え、撮像装置2406と投影装置2404は、第1の三脚2450と第2の三脚2452にそれぞれ載せられている。 Additionally, the imaging apparatus 2406 and the projection 2404 is mounted respectively on the first tripod 2450 second tripod 2452. しかし、他の場合、撮像装置2406および/または投影装置2404は、他の様式で設置されている。 However, in other cases, the imaging apparatus 2406 and / or projection system 2404 is installed in other ways.

図25を参照すると、投影装置2404は、プロキシ2510上に像を投影するように構成され得る。 Referring to FIG. 25, the projection device 2404 may be configured to project an image on the proxy 2510. この時点では、ユーザ2500が何の仮想像もつくっていないので、投影装置2404は、プロキシ2510上に像を投影していない。 At this point, the user 2500 does not make any virtual image projection apparatus 2404 is not projecting the image on the proxy 2510. しかし、ユーザ2500がプロキシ2510と相互作用デバイス2408とを接触させているときは、図26に見られるように、システム2400は、仮想ライン2602を発生させるように構成され得る。 However, when the user 2500 is contacting the proxy 2510 interacting device 2408, as seen in Figure 26, the system 2400 may be configured to generate a virtual line 2602. 詳しくは、撮像装置2406が、プロキシ2510の位置および相互作用デバイス2408の位置を追跡するものとして使用される。 Specifically, the imaging device 2406 is used as to track the position of and interaction devices 2408 proxy 2510. 相互作用デバイス2408とプロキシ2510とが接触すると、システム2400は、自動的に接触点に印をつける。 When interacting with the device 2408 and the proxy 2510 is in contact, the system 2400 may mark the automatic contact point. この印は、投影装置2404によって直接プロキシ2510上に投影される。 This mark is projected directly onto the proxy 2510 by the projection device 2404. ユーザ2500がプロキシ2510の一部分の端から端まで相互作用デバイス2408をドラッグすると、ほぼ瞬時にラインが発生し、投影装置2404を使ってプロキシ2510上に投影される。 When the user 2500 drags the interaction device 2408 from end to end of a portion of the proxy 2510, instantaneously line occurs substantially, projected onto the proxy 2510 using the projection device 2404. この構成を有することで、プロキシ2510上にラインが物理的に引かれていなくても、ユーザ2500にはプロキシ2510が修飾されて見える。 By having this configuration, even when no line on the proxy 2510 is physically pulled, it appears to be modified proxy 2510 to the user 2500. 換言すると、仮想ライン2602がプロキシ2510の一部として見えるようにプロキシ2510上に投影されている。 In other words, the virtual line 2602 is projected onto the proxy 2510 to appear as part of the proxy 2510.

今度は図27に示されるように、ユーザ2500は、仮想ライン2602を引き続けるために、プロキシ2510を回転させることもある。 As now it is shown in Figure 27, the user 2500, to continues to pull the virtual line 2602, also to rotate the proxy 2510. プロキシ2510が回転されると、システム2400は、仮想ライン2602の配向を修正して、プロキシ2510上に永久的に引かれたラインとして見えるようにする。 If the proxy 2510 is rotated, the system 2400 may modify the orientation of the virtual line 2602, to appear as a line which is permanently pulled on the proxy 2510. このような仮想ライン2602の再配向は、プロキシ2510の位置および配向を追跡し、プロキシ2510の位置および配向の変化に対処して仮想ライン2602が更新される毎に算出し直すことによって、実現され得る。 Reorientation of such imaginary line 2602, by tracking the position and orientation of the proxy 2510, again calculated for each of the virtual line 2602 to address the change of the position and orientation of the proxy 2510 has been updated, it is achieved obtain.

システム2400は、ユーザが1つまたは複数の設計ツールメニューと相互作用することを可能にする装置を備え得る。 System 2400 may include a device that allows the user to interact with one or more design tools menu. いくつかの場合、システム2400は、ユーザが見ることのできるメニューを備える。 In some cases, the system 2400 includes a menu that the user can see. 一実施例においては、システム2400は、投影装置2404を使って画面上に一つまたは複数のメニューを投影する。 In one embodiment, the system 2400 projects the one or more menus on a screen using a projection device 2404.

図28および図29に示されるように、システム2400は、ツールパレット2802とカラーパレット2804を備え得る。 As shown in FIGS. 28 and 29, the system 2400 may include a tool palette 2802 and the color palette 2804. この場合、ツールパレット2802とカラーパレット2804は、仮想パレットである。 In this case, the tool palette 2802 and the color palette 2804, is a virtual palette. さらには、ツールパレット2802とカラーパレット2804は、ユーザ2500に見えるように、画面2810上に投影され得る。 Furthermore, the tool palette 2802 and the color palette 2804, as visible to the user 2500 can be projected onto the screen 2810.

概して、システム2400は、床、壁、テーブルおよび他の種類の画面(これらに限定しない)などの種々の型式の画面上に仮想メニューを投影するように構成されている。 Generally, the system 2400, floors, walls, and is configured to project the various types screen virtual menu on such tables and other types of screen (without limitation). さらにいくつかの場合、設計システムは、投影されたメニューの像を受けるように特別に設計された画面を有するように構成されていてもよい。 Furthermore in some cases, the design system may be configured to have a specially designed screen to receive an image of the projected menu. さらに他の場合、メニューは、直接プロキシの一部分に投影されてもよい。 Still other cases, the menu may be projected directly to the proxy portion. この実施例においては、画面2810は、作業台2560の壁部分である。 In this embodiment, the screen 2810 is a wall portion of the work table 2560.

図29に示されるように、ユーザ2500は、カラーパレット2804を使って、プロキシ2510の色を変えることができる。 As shown in FIG. 29, the user 2500 uses the color palette 2804, it is possible to change the color of the proxy 2510. 詳しくは、ユーザ2500は、カラーパレット2804の置かれている画面2810上の位置まで相互作用デバイス2408を動かす。 Specifically, the user 2500 may move the interaction device 2408 to a position on the screen 2810 is placed the color palette 2804. システム2400は、相互作用デバイス2408の位置を検出し、相互作用デバイス2408がカラーパレット2804上の色2902に対応する部分を選択していることを確定し得る。 System 2400 detects the position of the interaction device 2408, the interaction device 2408 may determine that the selected portions corresponding to the color 2902 on the color palette 2804.

拡張現実設計システムは、据え置きされている表示装置上に現実世界の像と仮想像を重ね合わせて表示する装置を備え得る。 Augmented reality design system may comprise a device for displaying by superimposing the image and virtual image of the real world on a display device on which is deferred. 例えば、一実施例においては、仮想像と現実世界の像とが組み合わされて、コンピュータのモニタないしスクリーン上に表示される。 For example, In one embodiment, it is combined with virtual image and the real world image is displayed on the monitor or on a computer screen.

図30〜図32は、拡張現実設計システム3000(単にシステム3000とも呼ぶ)の一実施例を示す。 FIGS. 30 32 show an embodiment of the augmented reality design system 3000 (also simply referred to as system 3000). システム3000は、1つまたは複数の構成要素を備え得る。 System 3000 may comprise one or more components. 一実施例においては、システム3000は、計算装置3002を備える。 In one embodiment, the system 3000 includes a computing device 3002. 計算装置3002は、デスクトップ型コンピュータやラップトップ型コンピュータなどの種々の型式のコンピュータとすることができる。 Computing device 3002 may be a variety of types of computers, such as desktop computers and laptop computers. 他の実施例においては、計算装置3002は、ディスプレイ、プロセッサ、および1つまたは複数の外部源とデータを送受信可能な装置を有する種々の型式の装置とすることができる。 In other embodiments, computing device 3002 may be a variety of types of devices including a display, a processor, and a transceiver device capable of one or more external sources and data. そのような装置の例としては、携帯情報端末(PDA)、携帯電話および他の型式の装置があるが、これらに限定しない。 Examples of such devices, a personal digital assistant (PDA), there is a mobile phone and other types of equipment, but not limited to.

システム3000は、ユーザに拡張現実の像を表示する装置を備え得る。 System 3000 can comprise a device for displaying an image of the augmented reality to the user. いくつかの実施例においては、システム3000は、表示装置3004を備える。 In some embodiments, the system 3000 includes a display device 3004. 表示装置3004は、コンピュータのスクリーンないしモニタ、ヘッドマウント(頭部装着)ユニット、投影式ディスプレイ、および他の種類のディスプレイなどの種々の型式のディスプレイとすることができるが、これらに限定しない。 Display device 3004, a screen or a computer monitor, head-mounted (head mounted) unit, a projection type display, and can be of various types of displays, such as other types of displays, but not limited to. この実施例においては、表示装置3004は、計算装置3002に関連するコンピュータのモニタである。 In this embodiment, the display device 3004, a monitor of a computer associated with the computing device 3002.

システム3000は、視覚的情報を捕捉する装置を含み得る。 System 3000 may include a device to capture the visual information. いくつかの実施例においては、システム3000は、撮像装置3006を備える。 In some embodiments, the system 3000 includes an imaging device 3006. 撮像装置3006は、光学的情報を検出できる種々の装置とすることができる。 Imaging device 3006 may be a variety of devices that can detect optical information. いくつかの場合、撮像装置3006は、カメラである。 In some cases, the imaging apparatus 3006 is a camera. いくつかの場合、撮像装置3006は、ある種のビデオカメラである。 In some cases, the imaging apparatus 3006, is a kind of video camera. 使用され得る様々な型式のビデオカメラの例としては、電荷結合素子(CCD)カメラ、相補性金属酸化膜半導体(CMOS)カメラ、他の型式の能動画素センサカメラ並びに他の型式のビデオカメラがある。 Examples of various types of video cameras that can be used, a charge coupled device (CCD) camera, there is a complementary metal oxide semiconductor (CMOS) camera, other types of active pixel sensor cameras and other types of video cameras .

概して、撮像装置3006は、システム3000の様々な構成要素に対して種々の位置に配置され得る。 Generally, the imaging device 3006 may be positioned at various locations relative to the various components of the system 3000. いくつかの場合、撮像装置3006は、据え置きされている。 In some cases, the imaging apparatus 3006 is deferred. 他の場合、撮像装置3006は、システム3000の他の構成要素に実装されている。 Otherwise, the imaging device 3006 is mounted on other components of the system 3000. 一実施例においては、撮像装置3006は、ある態様でユーザに実装されている。 In one embodiment, the imaging device 3006 is mounted to the user in some manner. 例えば、一実施例においては、ユーザが着用するある種のヘッドセットに実装されている。 For example, in one embodiment, it is mounted on certain headset user to wear. しかし、他の場合、撮像装置3006は、ユーザおよび/またはプロキシに対して据え置きされている。 However, in other cases, the imaging apparatus 3006 is deferred to the user and / or a proxy. 例えば、この実施例においては、撮像装置3006は、三脚3050(図31参照)に載せられている。 For example, in this embodiment, the imaging device 3006 is mounted on a tripod 3050 (see FIG. 31). さらに他の実施例においては、撮像装置3006は、計算装置3002の一部分に実装されているウェブカメラの型式のカメラである。 In yet another embodiment, the imaging device 3006 is a camera of the type of web camera that is mounted on a portion of the computing device 3002.

システム3000は、拡張現実の環境と相互作用する装置を備え得る。 System 3000 may include a device to interact with the augmented reality environment. いくつかの場合、システム3000は、相互作用デバイス3008を備える。 In some cases, the system 3000 includes an interaction device 3008. 相互作用デバイス3008は、種々の形態を取り得る。 Interaction device 3008 can take a variety of forms. いくつかの場合、相互作用デバイス3008は、タッチペンである。 In some cases, the interaction device 3008 is a touch pen. 例えば、相互作用デバイス3008は、携帯情報端末(PDA)で使用されるものと同様のタッチペンであり、このタッチペンは、ディスプレイに圧力を加えるのに使用される実質的にモノリシックな構成要素である。 For example, interaction device 3008 has the same stylus to those used in a personal digital assistant (PDA), the stylus is substantially monolithic components used to apply pressure to the display. この実施例においては、相互作用デバイス3008は、ペンとほぼ同じ形状の実質的にモノリシックな構成要素である。 In this embodiment, the interaction device 3008 are substantially monolithic component of substantially the same shape as a pen. しかし、他の場合、相互作用デバイス3008は、種々の他の形状、寸法および組成を有する。 However, in other cases, the interaction device 3008 has a variety of other shapes, dimensions and composition.

いくつかの実施例においては、システム3000の1つまたは複数の構成要素は、計算装置3002と通信する。 In some embodiments, one or more components of system 3000 communicates with a computing device 3002. いくつかの場合、撮像装置3006は、計算装置3002と通信する。 In some cases, the imaging device 3006 is in communication with the computing device 3002. 加えて、いくつかの場合、表示装置3004は、計算装置3002と通信する。 In addition, in some cases, the display device 3004 is in communication with the computing device 3002. 撮像装置3006と表示装置3004は、種々の型式の無線および/または有線の接続を介して計算装置3002と通信し得る。 Imaging apparatus 3006 and the display device 3004 may communicate with computing device 3002 via the various types of wireless and / or wired connection. いくつかの場合、撮像装置3006と表示装置3004は、ある種のネットワークを利用して計算装置3002と通信する。 In some cases, a display device 3004 imaging apparatus 3006 communicates with a computing device 3002 by using certain network. そのようなネットワークの例としては、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、クライアント−サーバ・ネットワーク、ピアツーピア・ネットワークおよび他の型式のネットワークがあるが、これらに限定しない。 Examples of such networks, personal area network (PAN), local area network (LAN), wide area network (WAN), a client - server network, there is a peer-to-peer networks and other types of networks, these but not limited to. いくつかの場合、計算装置3002と、撮像装置3006および/または表示装置3004との間の通信を容易にするために、Bluetoothプロトコルを利用する無線のローカルエリアネットワークまたはパーソナルエリアネットワークが使用される。 In some cases, the computing device 3002, in order to facilitate communication between the imaging device 3006 and / or display device 3004, a wireless local area network or a personal area network using the Bluetooth protocol is used. この構成を有することで、撮像装置3006から集められた像は、計算装置3002で受信され、仮想の情報と組み合わせられる。 By having this configuration, the collected image from the imaging device 3006 are received by the computing device 3002, combined with virtual information. そして、組み合わせられた情報は、表示装置3004に戻され、ユーザに向けて表示される。 The combined information is returned to the display device 3004 is displayed to the user. 詳しくは、これにより、システム3000が1つまたは複数の仮想オブジェクトないし仮想像を利用してユーザの見え方を拡張させることが可能となる。 Specifically, this makes it possible to expand the appearance of the user system 3000 utilizing one or more virtual objects to virtual image.

この実施例においては、単一の撮像装置を利用しているが、他の実施例においては、2つ以上の撮像装置を備える。 In this embodiment, utilizing a single imaging device, in other embodiments, it comprises two or more imaging devices. さらには、他の実施例においては、種々の他の種類のセンサがシステム3000に使用され得ることが理解されよう。 Furthermore, in other embodiments, various other types of sensors will be understood to be applicable to the system 3000. 追加の種類のセンサを使用するシステムの一例について、以下に詳述する。 An example of a system that uses sensors additional types are described in detail below.

この実施例においては、計算装置3002は、スタンドアロンのコンピュータとして示されているが、他の実施例においては、計算装置3002は、システム3000の他の構成要素と統合されている。 In this example, computing device 3002 is illustrated as a standalone computer, in other embodiments, computing device 3002 is integrated with other components of the system 3000. 例えば、他の実施例においては、計算装置3002は、表示装置3004と統合されている。 For example, in other embodiments, computing device 3002 is integrated with the display device 3004. 詳しくは、表示装置3004は、撮像装置3006で受けた光学的情報を処理する装置と、該表示装置3004に表示されるべき仮想像を発生させる装置とを備える。 Specifically, the display device 3004 includes a device for processing optical information received by the image pickup device 3006, a device and for generating the virtual image to be displayed on the display device 3004. さらに他の実施例においては、計算装置3002は、システム3000の種々の他の構成要素と統合されている。 In yet another embodiment, computing device 3002 is integrated with various other components of the system 3000. 他の例においては、システム3000の携帯性を良くするために、計算装置3002は、ユーザが着用し或いは持ち運ぶことができる携帯機器とされ得る。 In other instances, in order to improve the portability of the system 3000, computing device 3002 may be a portable device which a user can wear or carry. さらには、いくつかの実施例においては、計算装置3002は、システム3000の様々な構成要素の近くに配置されていなくてもよい。 Furthermore, in some embodiments, computing device 3002 may not be located near the various components of the system 3000. 例えば、他の実施例においては、撮像装置3006と表示装置3004は、上述したネットワークを利用して計算装置3002と遠隔通信する。 For example, in other embodiments, a display device 3004 imaging apparatus 3006 telecommunications and computing device 3002 using a network as described above.

図31および図32を参照すると、ユーザ3100は、システム3000をプロキシ3110とともに使って、物品の設計をすることができる。 Referring to FIGS. 31 and 32, the user 3100, the system 3000 using with proxy 3110, it is possible to design the article. システム3000は、前者の実施例に関して説明した設計ツールおよびメニューと実質的に同じ設計ツールおよびメニューを提供し得ることが理解されよう。 System 3000, it will be appreciated that provide design tools and menus substantially the same design tools and menus described with respect to the former embodiment. さらには、この実施例においては、ユーザ3100は、表示装置3004上で現実世界の像と仮想像を見ることができる。 Furthermore, in this embodiment, the user 3100 may view the image and virtual image of the real world on the display device 3004. ユーザ3100が相互作用デバイス3008を使ってプロキシ3110に様々な仮想デザイン要素を施すと、表示装置3004上に見えているプロキシ3110の外見が修飾され得る。 If the user 3100 is to perform various virtual design elements to the proxy 3110 using the interactions device 3008, the appearance of the proxy 3110 is visible on the display device 3004 can be modified.

上述した実施例においては、プロキシおよび相互作用デバイスの動きおよび位置を追跡する目的で、光学的認識ソフトウェアを利用するシステムを備えているが、他の実施例においては、1つまたは複数の構成要素が追加のセンサを有するように構成されている。 In the embodiment described above, the purpose of tracking the movement and position of the proxy and interaction devices, and a system that utilizes optical recognition software, in other embodiments, one or more components There has been configured with additional sensors. いくつかの場合、設計システムは、相互作用デバイスとの相互作用を検出するように構成されたセンサないし他のデバイスを有するプロキシを備える。 In some cases, the design system comprises a proxy having a sensor or other device that is configured to detect the interaction of the interacting device. 同様に、いくつかの場合、設計システムは、プロキシとの相互作用を検出する1つまたは複数のセンサを有する相互作用デバイスを備える。 Similarly, in some cases, the design system comprises interaction device having one or more sensors for detecting the interaction with the proxy. さらに、いくつかの場合、プロキシ内のセンサおよび/または他の装置を利用して、該プロキシの位置および/または配向を検出する。 Furthermore, in some cases, by using a sensor and / or other devices in the proxy detects the position and / or orientation of the proxy. 同様に、相互作用デバイス内のセンサを利用して、該相互作用デバイスの位置および/または配向を検出する。 Similarly, by utilizing sensors in interaction device, to detect the position and / or orientation of the interaction device. そして、計算装置が、1つまたは複数のセンサから情報を受けて、ユーザが相互作用デバイスで指し示しているプロキシの位置を確定する。 The computing device receives the information from one or more sensors to determine the position of the proxy user is pointing interaction devices. センサを使うことにより、設計システムは、プロキシに1つまたは複数の仮想デザイン要素を施す目的で、プロキシと相互作用デバイスとの相対的な位置および配向を精密に算出することができる。 By using the sensor, the design system can for the purpose of performing one or more virtual design elements to the proxy, to precisely calculate the relative position and orientation between the proxy and interaction devices.

本発明の様々な実施例について説明したが、この説明は例示するためのものであって、限定するためのものではない。 Have been described various embodiments of the present invention, this description is for the purpose of illustration and not by way of limitation. 本発明の範囲を逸脱することなく、さらに多くの実施例や適用例があり得ることが当業者に明らかであろう。 Without departing from the scope of the present invention, it will be apparent to those skilled in the art that there may be many more embodiments and applications. 従って、本発明は、添付の特許請求の範囲およびこれの均等物に照らすこと以外によっては制限されない。 Accordingly, the present invention is not limited except as by the light of the claims and which equivalents of the appended claims. 添付の特許請求の範囲内において、様々な変更や変形がなされ得る。 Within the scope of the appended claims may be made various changes and modifications.

Claims (1)

  1. 現実世界の環境から像を受ける撮像装置と、 An imaging device receiving the image from the real-world environment,
    現実世界の環境に存在しかつ物品の概形の形状に形成されたプロキシと相互作用する相互作用デバイスと、 Interacting device for interacting with proxies exist in the real world environment and formed in the shape of envelope of the article,
    仮想デザイン要素を生成することができる計算装置と、 A computing device capable of generating a virtual design elements,
    上記プロキシ上に少なくとも一つの仮想デザイン要素を投影する投影装置と、 A projection system for projecting at least one virtual design elements on said proxy,
    を備え、 Equipped with a,
    上記計算装置が、投影装置により投影面に仮想メニューを投影し、ユーザによって操作される相互作用デバイスの位置を追跡し上記相互作用デバイスの位置が上記仮想メニュー上のいずれかの位置に一致したことを検出すると上記位置に対応する処理を選択し、次いで上記相互作用デバイスがプロキシに接触したことを検出すると上記相互作用デバイスの位置に基づき現実世界の環境に対応する仮想環境上の上記プロキシの表面に対応する部分に上記選択した処理を実行することにより仮想デザイン要素を生成し、上記投影装置により上記プロキシに上記仮想デザイン要素の画像を投影することを特徴とする拡張現実設計システムにおいて、 That the computing device, the virtual menu projected on the projection surface by the projection device, to track the position of the interaction device operated by a user the position of the interaction device matches any position on the virtual menu Upon detection of the select processing corresponding to the position, then the proxy of the surface of the virtual environment in which the interaction device correspond to real-world environment on the basis of the position of the interaction device detects that it has contact with the proxy in augmented reality design system generates a virtual design elements, characterized by projecting the image of the virtual design elements in the proxy by the projection device by executing the selected process in a portion corresponding to,
    上記プロキシは、上記プロキシ内に配置されたセンサであって上記プロキシが現実世界の環境において回転しているときに上記プロキシの位置および配向を検出するように構成されたセンサをさらに含むことを特徴とする拡張現実設計システム The proxy further comprising a sensor configured to detect the position and orientation of the proxy when a sensor located within the proxy the proxy is rotating in the real world environment augmented reality design system that.
JP2012554019A 2010-02-22 2011-02-17 Augmented reality design system Active JP5972794B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/709,636 2010-02-22
US12709636 US8947455B2 (en) 2010-02-22 2010-02-22 Augmented reality design system
PCT/US2011/025211 WO2011103272A2 (en) 2010-02-22 2011-02-17 Augmented reality design system

Publications (2)

Publication Number Publication Date
JP2013520729A true JP2013520729A (en) 2013-06-06
JP5972794B2 true JP5972794B2 (en) 2016-08-17

Family

ID=43985513

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2012554019A Active JP5972794B2 (en) 2010-02-22 2011-02-17 Augmented reality design system
JP2015075468A Active JP5961299B2 (en) 2010-02-22 2015-04-01 Augmented reality design system
JP2016125279A Active JP6370840B2 (en) 2010-02-22 2016-06-24 Augmented reality design system
JP2016125278A Active JP6370839B2 (en) 2010-02-22 2016-06-24 Augmented reality design system

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2015075468A Active JP5961299B2 (en) 2010-02-22 2015-04-01 Augmented reality design system
JP2016125279A Active JP6370840B2 (en) 2010-02-22 2016-06-24 Augmented reality design system
JP2016125278A Active JP6370839B2 (en) 2010-02-22 2016-06-24 Augmented reality design system

Country Status (5)

Country Link
US (4) US8947455B2 (en)
EP (1) EP2539838A1 (en)
JP (4) JP5972794B2 (en)
CN (1) CN103038771B (en)
WO (1) WO2011103272A2 (en)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8947455B2 (en) 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US20120102439A1 (en) * 2010-10-22 2012-04-26 April Slayden Mitchell System and method of modifying the display content based on sensor input
WO2012076062A1 (en) * 2010-12-10 2012-06-14 Sony Ericsson Mobile Communications Ab Touch sensitive haptic display
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US9996972B1 (en) 2011-06-10 2018-06-12 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
US9921641B1 (en) 2011-06-10 2018-03-20 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
US10008037B1 (en) * 2011-06-10 2018-06-26 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
FR2976681B1 (en) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat collocation system of a touch screen and a virtual object and dispostif for manipulating virtual objects implementing such a system
US20120326948A1 (en) * 2011-06-22 2012-12-27 Microsoft Corporation Environmental-light filter for see-through head-mounted display device
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US9690100B1 (en) * 2011-09-22 2017-06-27 Sprint Communications Company L.P. Wireless communication system with a liquid crystal display embedded in an optical lens
US20150199081A1 (en) * 2011-11-08 2015-07-16 Google Inc. Re-centering a user interface
US20130155107A1 (en) * 2011-12-16 2013-06-20 Identive Group, Inc. Systems and Methods for Providing an Augmented Reality Experience
JP6044079B2 (en) * 2012-02-06 2016-12-14 ソニー株式会社 The information processing apparatus, information processing method, and program
US10067568B2 (en) * 2012-02-28 2018-09-04 Qualcomm Incorporated Augmented reality writing system and method thereof
US20130293580A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
WO2013191315A1 (en) * 2012-06-21 2013-12-27 엘지전자 주식회사 Apparatus and method for digital image processing
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
JP2014071499A (en) 2012-09-27 2014-04-21 Kyocera Corp Display device and control method
JP6036209B2 (en) * 2012-11-19 2016-11-30 セイコーエプソン株式会社 Virtual image display device
US9317972B2 (en) 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US20140218291A1 (en) * 2013-02-07 2014-08-07 Microsoft Corporation Aligning virtual camera with real camera
WO2014131197A1 (en) * 2013-03-01 2014-09-04 Microsoft Corporation Object creation using body gestures
US10109075B2 (en) * 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
EP3007137A4 (en) * 2013-05-27 2017-01-18 Sony Corporation Image processing device, image processing method, and program
WO2014197230A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US20150154799A1 (en) * 2013-11-29 2015-06-04 At&T Intellectual Property I, L.P. Replacing A Physical Object Perception With A Modified Perception
WO2015082015A1 (en) * 2013-12-06 2015-06-11 Longsand Limited Occluding augmented reality objects
EP2937058A1 (en) * 2014-04-24 2015-10-28 Christof Ellerbrock Head mounted platform for integration of virtuality into reality
US20170046879A1 (en) * 2014-04-30 2017-02-16 Robert Paul Severn Augmented reality without a physical trigger
DE102014115363A1 (en) * 2014-10-22 2016-04-28 Bitsea Gmbh Virtual characters in real environment
US20160166011A1 (en) * 2014-12-10 2016-06-16 Nike, Inc. Portable Manufacturing System For Articles of Footwear
US9407865B1 (en) * 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
USD768676S1 (en) * 2015-02-11 2016-10-11 Nike, Inc. Display screen with animated graphical user interface
USD765696S1 (en) * 2015-02-11 2016-09-06 Nike, Inc. Display screen with graphical user interface
USD765697S1 (en) * 2015-02-11 2016-09-06 Nike, Inc. Display screen with animated graphical user interface
USD763274S1 (en) * 2015-02-11 2016-08-09 Nike, Inc. Display screen with transitional graphical user interface
USD768677S1 (en) * 2015-02-11 2016-10-11 Nike, Inc. Display screen with graphical user interface
CN104766354B (en) * 2015-03-19 2018-05-04 深圳市创梦天地科技有限公司 A method for drawing an augmented reality and a mobile terminal
CN104783398A (en) * 2015-05-12 2015-07-22 刘士涛 Method for designing shoes in DIY mode
US10025099B2 (en) 2015-06-10 2018-07-17 Microsoft Technology Licensing, Llc Adjusted location hologram display
CN104898954B (en) * 2015-06-23 2018-06-15 杭州汉典科技有限公司 Kinds of interactive viewing method based on augmented reality technology
US9652897B2 (en) 2015-06-25 2017-05-16 Microsoft Technology Licensing, Llc Color fill in an augmented reality environment
EP3182328A1 (en) * 2015-12-17 2017-06-21 Nokia Technologies Oy A method, apparatus or computer program for controlling image processing of a captured image of a scene to adapt the captured image
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
JP2016224959A (en) * 2016-06-29 2016-12-28 京セラ株式会社 Display apparatus and control method
WO2018057050A1 (en) * 2016-09-23 2018-03-29 Bao Sheng Selectably opaque displays

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2484791A (en) 1944-08-24 1949-10-11 American Cyanamid Co Purification of nu-substituted sulfanilamides
JPH06231221A (en) * 1993-02-08 1994-08-19 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional object shape generating method
US5724264A (en) * 1993-07-16 1998-03-03 Immersion Human Interface Corp. Method and apparatus for tracking the position and orientation of a stylus and for digitizing a 3-D object
US7079114B1 (en) * 1998-08-21 2006-07-18 Peter Smith Interactive methods for design of automobiles
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
US6968075B1 (en) * 2000-05-09 2005-11-22 Chang Kurt C System and method for three-dimensional shape and size measurement
US7079134B2 (en) * 2000-05-12 2006-07-18 Societe Civile T.P.C. International Three-dimensional digital method of designing clothes
US6640202B1 (en) * 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US20020105484A1 (en) * 2000-09-25 2002-08-08 Nassir Navab System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality
US7215322B2 (en) * 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
DE10159610B4 (en) * 2001-12-05 2004-02-26 Siemens Ag System and method for creation of documentation of operations, particularly in the area of ​​production, installation, service and maintenance
DE20203367U1 (en) 2002-03-04 2003-06-12 Audi Ag System for early visualization of a vehicle design model in three dimensional form
FR2837593B1 (en) * 2002-03-22 2004-05-28 Kenneth Kuk Kei Wang Process and display, archiving and transmission over a network to a clothing model computers
US20050052426A1 (en) * 2003-09-08 2005-03-10 Hagermoser E. Scott Vehicle touch input device and methods of making same
JP3991020B2 (en) * 2003-09-30 2007-10-17 キヤノン株式会社 Image display method and image display system
JP4401728B2 (en) 2003-09-30 2010-01-20 キヤノン株式会社 Mixed reality space image generating method and a mixed reality system
JP4356983B2 (en) * 2004-02-10 2009-11-04 キヤノン株式会社 Image processing method, image processing apparatus
US7511703B2 (en) * 2004-06-28 2009-03-31 Microsoft Corporation Using size and shape of a physical object to manipulate output in an interactive display application
JP4677273B2 (en) * 2004-06-29 2011-04-27 キヤノン株式会社 Information processing method and information processing apparatus
US7379047B2 (en) * 2004-06-30 2008-05-27 Microsoft Corporation Using a physical object to control an attribute of an interactive display application
JP2006048484A (en) 2004-08-06 2006-02-16 Advanced Telecommunication Research Institute International Design support device
WO2006086223A3 (en) * 2005-02-08 2007-10-11 Blue Belt Technologies Inc Augmented reality device and method
US20080191864A1 (en) * 2005-03-31 2008-08-14 Ronen Wolfson Interactive Surface and Display System
JP4726194B2 (en) * 2005-04-01 2011-07-20 キヤノン株式会社 Calibration method and apparatus
JP4667111B2 (en) * 2005-04-21 2011-04-06 キヤノン株式会社 Image processing apparatus, image processing method
KR20080024476A (en) * 2005-06-14 2008-03-18 고쿠리쓰다이가쿠호진 덴키쓰신다이가쿠 Position detecting device, position detecting method, position detecting program, and composite reality providing system
US20060284791A1 (en) * 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
EP1966767A2 (en) * 2005-12-31 2008-09-10 BRACCO IMAGING S.p.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet")
EP1821180A1 (en) * 2005-12-31 2007-08-22 Ball-IT Oy User operable pointing device such as mouse
US7657341B2 (en) * 2006-01-31 2010-02-02 Dragon & Phoenix Software, Inc. System, apparatus and method for facilitating pattern-based clothing design activities
US7599561B2 (en) * 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
JP4795091B2 (en) 2006-04-21 2011-10-19 キヤノン株式会社 Information processing method and apparatus
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
EP2057448A4 (en) * 2006-08-31 2014-04-23 Korea Res Inst Of Standards Tactile sensor for curved surfaces and manufacturing method thereof
JP4660771B2 (en) 2006-09-27 2011-03-30 国立大学法人岐阜大学 Three-dimensional image display device
FR2916545B1 (en) * 2007-05-23 2009-11-20 Inst Pour Le Dev De La Science Method for locating a touch on a surface and device for implementing this method.
US8005558B2 (en) * 2007-09-14 2011-08-23 Nike, Inc. Three-dimensional design lasts for footwear
US8174521B2 (en) * 2007-10-26 2012-05-08 Zazzle.Com Product modeling system and method
US8905834B2 (en) * 2007-11-09 2014-12-09 Igt Transparent card display
JP4933406B2 (en) * 2007-11-15 2012-05-16 キヤノン株式会社 Image processing apparatus, image processing method
NL1035303C2 (en) * 2008-04-16 2009-10-19 Virtual Proteins B V Interactive virtual reality unit.
US9459784B2 (en) * 2008-07-25 2016-10-04 Microsoft Technology Licensing, Llc Touch interaction with a curved display
CA2737067C (en) * 2008-07-29 2015-05-19 Zazzle.Com, Inc. Product customization system and method
JP5951994B2 (en) * 2008-12-19 2016-07-13 イマージョン コーポレーションImmersion Corporation Interactive painting game and associated controller
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8275590B2 (en) * 2009-08-12 2012-09-25 Zugara, Inc. Providing a simulation of wearing items such as garments and/or accessories
US8549418B2 (en) * 2009-12-23 2013-10-01 Intel Corporation Projected display to enhance computer device use
US8947455B2 (en) 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system

Also Published As

Publication number Publication date Type
JP6370840B2 (en) 2018-08-08 grant
US20150109322A1 (en) 2015-04-23 application
EP2539838A1 (en) 2013-01-02 application
US20110205242A1 (en) 2011-08-25 application
JP6370839B2 (en) 2018-08-08 grant
US20180286131A1 (en) 2018-10-04 application
JP5961299B2 (en) 2016-08-02 grant
US8947455B2 (en) 2015-02-03 grant
CN103038771A (en) 2013-04-10 application
JP2016192226A (en) 2016-11-10 application
US20160203647A1 (en) 2016-07-14 application
WO2011103272A2 (en) 2011-08-25 application
US9384578B2 (en) 2016-07-05 grant
JP2015179517A (en) 2015-10-08 application
US9858724B2 (en) 2018-01-02 grant
JP2013520729A (en) 2013-06-06 application
CN103038771B (en) 2017-01-18 grant
JP2016189213A (en) 2016-11-04 application

Similar Documents

Publication Publication Date Title
US20140226900A1 (en) Methods for extracting objects from digital images and for performing color change on the object
US20110298897A1 (en) System and method for 3d virtual try-on of apparel on an avatar
US20080266323A1 (en) Augmented reality user interaction system
US20050037844A1 (en) Sigils for use with apparel
US20040239670A1 (en) System and method for providing a real-time three-dimensional interactive environment
US20110304611A1 (en) Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
US20040155962A1 (en) Method and apparatus for real time motion capture
Carmigniani et al. Augmented reality: an overview
US20070273711A1 (en) 3D graphics system and method
US20110246329A1 (en) Motion-based interactive shopping environment
US20030101105A1 (en) System and methods for generating virtual clothing experiences
US20050131776A1 (en) Virtual shopper device
US20090079743A1 (en) Displaying animation of graphic object in environments lacking 3d redndering capability
WO2008145952A1 (en) Apparatus and method of body characterisation
US20090116766A1 (en) Method and apparatus for augmenting a mirror with information related to the mirrored contents and motion
US6310627B1 (en) Method and system for generating a stereoscopic image of a garment
US20100097375A1 (en) Three-dimensional design support apparatus and three-dimensional model display system
Lv et al. Multimodal hand and foot gesture interaction for handheld devices
LaViola Jr et al. Hands-free multi-scale navigation in virtual environments
US7433753B2 (en) Virtual clothing modeling apparatus and method
WO2012110828A1 (en) Computer implemented methods and systems for generating virtual body models for garment fit visualisation
US7409259B2 (en) Computer-assisted method for designing garments
US8474146B2 (en) Article of footwear with color change portion and method of changing color
McDonnell et al. Eye-catching crowds: saliency based selective variation
US20120218298A1 (en) Information processing system, information processing method, information processing device and tangible recording medium recording information processing program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140418

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140425

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140515

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140522

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140620

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140627

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140718

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140725

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150401

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150414

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150727

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20150731

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160713

R150 Certificate of patent or registration of utility model

Ref document number: 5972794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150