JP4880350B2 - 実マーカオブジェクトを識別する拡張現実システム - Google Patents
実マーカオブジェクトを識別する拡張現実システム Download PDFInfo
- Publication number
- JP4880350B2 JP4880350B2 JP2006127301A JP2006127301A JP4880350B2 JP 4880350 B2 JP4880350 B2 JP 4880350B2 JP 2006127301 A JP2006127301 A JP 2006127301A JP 2006127301 A JP2006127301 A JP 2006127301A JP 4880350 B2 JP4880350 B2 JP 4880350B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- virtual
- marker
- augmented reality
- real environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/175—Controlling the light source by remote control
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Computer Graphics (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Generation (AREA)
Description
オブジェクトデータ生成機は、仮想オブジェクトとして利用される“実”オブジェクトの画像データ、および/または少なくとも仮想オブジェクトの一部を仮想的に生成するグラフィックツール、および/または対象の仮想オブジェクトに関連するその他の情報(音声データ、嗅覚データ、等)に基づくことができる。例えば、生成機は、リアルタイムに仮想オブジェクトを提供するために、オブジェクトベースのソフトウェアツールを有してもよい。ここで、仮想オブジェクトの外観は、前述のように、追跡システムによって適切な方法で実環境の画像データに適合される。その他の例では、既定の手順フローや、ユーザの選択に応じて、仮想オブジェクトの大きさや形の変化を可能にするために、リアルタイムアニメーションを備えてもよい。例えば、建物の火事などのパニック状況をシミュレーションする際、当初マーカオブジェクトによって指定された位置に配置された仮想オブジェクトの大きさや形を変化させたり、どのマーカオブジェクトにも指定されなかった位置にさらなる仮想オブジェクトが新たに配置されたりしてもよい。対象仮想オブジェクトの実質上動的な性質を提供するためである。
110 カメラ
120 実環境
125、126 マーカオブジェクト
127 実光源
130 識別手段
140 合成手段
150 オブジェクトデータ生成機
160 出力手段
270 ヘッドマウント型表示装置
360 出力手段
Claims (36)
- 実環境の画像データを収集する手段と、
前記画像データから仮想画像データを生成する手段と、
前記実環境から前記画像データに基づいて、既定マーカオブジェクトを識別する手段と、
複数のオブジェクト画像データの組と、前記既定マーカオブジェクトとを相互に関係付けるための手段と、
ユーザの操作に基づいて、複数のオブジェクト画像データの組から、前記仮想画像データと重ね合わせるものを一つ選択する手段と、
前記既定マーカオブジェクトに対応する仮想画像の位置において、選択されたオブジェクト画像データに前記仮想画像データを重ね合わせる手段と、
を備える拡張現実システム。 - 複数のオブジェクト画像データの組から一つを選択する前記手段は、音声認識システムをさらに備える、ことを特徴とする請求項1記載の拡張現実システム。
- 複数のオブジェクト画像データの組から一つを選択する前記手段は、手動の入力手段を有する、ことを特徴とする請求項1または2記載の拡張現実システム。
- 少なくとも前記仮想画像データを表示するための出力手段をさらに有する、ことを特徴とする請求項1乃至3いずれかに記載の拡張現実システム。
- 前記出力手段はヘッドマウント型表示手段から成る、ことを特徴とする請求項4記載の拡張現実システム。
- 前記ヘッドマウント型表示手段は、実環境から画像データを収集する前記手段を備える、ことを特徴とする請求項5記載の拡張現実システム。
- 既定マーカオブジェクトを識別する前記手段は、実環境の画像データを収集する前記手段に関する、相対位置データ、および方向性データを特定するよう構成された追跡システムから成る、ことを特徴とする請求項1乃至6いずれに記載の拡張現実システム。
- 前記追跡システムは、リアルタイムで、前記相対位置データおよび方向性データを提供するよう構成されている、ことを特徴とする請求項7記載の拡張現実システム。
- 前記オブジェクト画像データの組を得るためのオブジェクトデータ生成機をさらに有する、ことを特徴とする請求項1乃至8いずれかに記載の拡張現実システム。
- 前記オブジェクト画像データ、および、前記仮想画像データを操作して前記オブジェクト画像データを、前記仮想画像データによって表される照明条件に適合させるよう構成されるレンダリングシステムをさらに有する、ことを特徴とする請求項1乃至9いずれかに記載の拡張現実システム。
- 前記レンダリングシステムは、前記マーカオブジェクト、前記オブジェクト画像データ、そして、前記照明条件に基づいて、仮想影を生成するようさらに構成されている、ことを特徴とする請求項10記載の拡張現実システム。
- 前記画像データから少なくとも一つの実光源の、少なくとも位置、および/または、光強度、および/または色分布を特定するよう構成された仮想照明システムをさらに備える、ことを特徴とする請求項11記載の拡張現実システム。
- 前記照明システムは、前記少なくとも一つの実光源に対応する仮想光源を生成するよう、さらに構成されている、ことを特徴とする請求項12記載の拡張現実システム。
- 前記仮想照明システムは、前記仮想光源の位置、光強度、色分布のうち一つを変化させるようさらに構成されている、ことを特徴とする請求項13記載の拡張現実システム。
- 前記仮想照明システムは、前記少なくとも一つの実光源に対応する前記仮想光源の他に、第二の仮想光源を生成するようさらに構成されている、ことを特徴とする請求項13乃至14いずれかに記載の拡張現実システム。
- 請求項1乃至15いずれかに関する拡張現実システムと、
実環境の関心のある部分の前に配置された表示面を備える表示手段と、
を備え、
画像データを実環境から収集する前記手段は、前記関心のある部分の前に配置された光学的画像化システムを備える、ことを特徴とする仮想ミラーシステム。 - 既定マーカオブジェクトを識別するための前記手段は、前記関心部分に提供されている複数の既定マーカオブジェクトを識別するよう構成されている、ことを特徴とする請求項16記載の仮想ミラーシステム。
- 実環境から画像データを収集し、
記憶手段に予め記憶されたテンプレート画像データと、前記画像データとを比較することにより、前記実環境に提供されている既定マーカオブジェクトを識別し、
前記実環境の仮想画像データを生成し、
一つ以上のオブジェクト画像データの組と一つ以上のマーカオブジェクトとを関連づけ、
複数のオブジェクト画像データの組と関連づけられている特定のマーカオブジェクトに対応する前記仮想画像データを置き換えるために、ユーザの操作に基づいて、特定のオブジェクト画像データの組を選択し、
少なくとも、前記既定マーカオブジェクトに対応する仮想画像データを選択されたオブジェクト画像データで置き換える、
手順から成る、コンピュータを用いて拡張現実を生成する方法。 - マーカオブジェクトの移動を示す、変更された画像データが前記実環境から収集された際に、前記マーカオブジェクトの追跡を行う手順をさらに含む、ことを特徴とする請求項18記載の方法。
- 前記マーカオブジェクトの追跡を行う手順は少なくとも、仮想基準点に対する、前記既定マーカオブジェクトの相対位置および方向性を特定する手順を備えることを特徴とする請求項19記載の方法。
- 前記実環境と異なる第二の実環境からの画像データに基づいて、前記オブジェクト画像データを生成する手順を備える、ことを特徴とする請求項18乃至20いずれかに記載の方法。
- 前記実環境からの前記画像データに基づいて、前記オブジェクト画像データを生成する手順をさらに備える、ことを特徴とする請求項18乃至20いずれかに記載の方法。
- 仮想現実に基づいて、前記オブジェクト画像データを生成する手順をさらに備える、ことを特徴とする請求項18乃至22のいずれかに記載の方法。
- スキャンデータを生成し、前記スキャンデータに基づいて、前記実環境の照明条件を特定するために、実環境の少なくとも一部をスキャンする手順をさらに備える、ことを特徴とする請求項18乃至23いずれかに記載の方法。
- 前記実環境の前記部分をスキャンする手順は、少なくとも二つの異なる照明条件に関して実施される、ことを特徴とする請求項24記載の方法。
- 照明条件を特定する手段は、前記実環境の少なくとも一つの光源を識別する手順と、前記少なくとも一つの光源の位置、および/または光強度、および/または色を特定する手順とをさらに備える、ことを特徴とする請求項24または25記載の方法。
- 前記少なくとも一つの特定された光源に基づいて仮想照明条件を生成する手順をさらに含む、ことを特徴とする請求項26記載の方法。
- 前記仮想照明条件を生成する手順は、前記オブジェクト画像データ、および/または前記実環境に対応する前記仮想画像データによって生じる仮想影を生成する手順を備える、ことを特徴とする請求項27記載の方法。
- 前記仮想照明条件を生成する手順は、前記少なくとも一つの光源の位置、光強度、および色のうち少なくとも一つを変化させる手順を含む、ことを特徴とする請求項27または請求項28記載の方法。
- 少なくとも一つの仮想光源を生成する手順をさらに備え、前記少なくとも一つの仮想光源は、前記実環境に対応する光源を有さない、ことを特徴とする請求項18乃至29いずれかに記載の方法。
- 前記オブジェクト画像データによって、少なくとも前記マーカオブジェクト画像データが置き換えられている前記仮想画像データを表示する手順をさらに含む、ことを特徴とする請求項18乃至30いずれかに記載の方法。
- 前記特定のオブジェクト画像データの組を選択する手順は、音声データを認識する手順と、前記音声データが複数のオブジェクト画像データの組の内一つに対応するかどうかを特定する手順とを備える、ことを特徴とする請求項18乃至31いずれかに記載の方法。
- 実環境の関心のある部分の前に配置された画像キャプチャ手段によって、前記関心の部分から画像データを収集する手順と、
記憶手段に予め記憶されたテンプレート画像データと、前記画像データとを比較することにより、前記関心の部分に提供されている既定マーカオブジェクトを識別する手順と、
前記関心のある部分の仮想画像データを生成する手順と、
一つ以上のオブジェクト画像データの組と一つ以上のマーカオブジェクトとを関連付ける手順と、
複数のオブジェクト画像データの組と関連付けられている特定のマーカオブジェクトに対応する前記仮想画像データを置き換えるために、ユーザの操作に基づいて、特定のオブジェクト画像データの組を選択する手順と、
少なくとも前記既定マーカオブジェクトに対応する仮想画像データを、選択されたオブジェクト画像データによって置き換える手順と、
前記仮想画像データを、前記実環境の前記関心のある部分の前に配置された表示手段に表示する手順と、
を備える、コンピュータを用いて仮想鏡像を生成する方法。 - 前記関心の部分は前記既定マーカオブジェクトを装着しているユーザの一部分を少なくとも含む、ことを特徴とする請求項33記載の方法。
- 前記オブジェクト画像データは衣服を表すことを特徴とする請求項34記載の方法。
- 第二のオブジェクト画像データに関連付けられている、第二の既定マーカオブジェクトを提供する、ことを特徴とする請求項33乃至35いずれかに記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP05009717.9 | 2005-05-03 | ||
EP05009717A EP1720131B1 (en) | 2005-05-03 | 2005-05-03 | An augmented reality system with real marker object identification |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006313549A JP2006313549A (ja) | 2006-11-16 |
JP4880350B2 true JP4880350B2 (ja) | 2012-02-22 |
Family
ID=34936101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006127301A Expired - Fee Related JP4880350B2 (ja) | 2005-05-03 | 2006-05-01 | 実マーカオブジェクトを識別する拡張現実システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20070038944A1 (ja) |
EP (1) | EP1720131B1 (ja) |
JP (1) | JP4880350B2 (ja) |
AT (1) | ATE428154T1 (ja) |
DE (1) | DE602005013752D1 (ja) |
ES (1) | ES2325374T3 (ja) |
Families Citing this family (160)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1887526A1 (en) | 2006-08-11 | 2008-02-13 | Seac02 S.r.l. | A digitally-augmented reality video system |
KR100834904B1 (ko) | 2006-12-08 | 2008-06-03 | 한국전자통신연구원 | 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법 |
KR100945555B1 (ko) | 2007-03-20 | 2010-03-08 | 인천대학교 산학협력단 | 증강현실 공간을 제공하는 장치 및 방법 |
US8117137B2 (en) | 2007-04-19 | 2012-02-14 | Microsoft Corporation | Field-programmable gate array based accelerator system |
JP2010530998A (ja) * | 2007-05-08 | 2010-09-16 | アイトゲネーシッシュ テヒニッシュ ホーホシューレ チューリッヒ | 画像ベース情報検索の方法およびシステム |
US20080310707A1 (en) * | 2007-06-15 | 2008-12-18 | Microsoft Corporation | Virtual reality enhancement using real world data |
US7844229B2 (en) | 2007-09-21 | 2010-11-30 | Motorola Mobility, Inc | Mobile virtual and augmented reality system |
US20090109240A1 (en) * | 2007-10-24 | 2009-04-30 | Roman Englert | Method and System for Providing and Reconstructing a Photorealistic Three-Dimensional Environment |
US7853296B2 (en) * | 2007-10-31 | 2010-12-14 | Motorola Mobility, Inc. | Mobile virtual and augmented reality system |
DE102007059478B4 (de) * | 2007-12-11 | 2014-06-26 | Kuka Laboratories Gmbh | Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt |
US20100214111A1 (en) * | 2007-12-21 | 2010-08-26 | Motorola, Inc. | Mobile virtual and augmented reality system |
US8264505B2 (en) | 2007-12-28 | 2012-09-11 | Microsoft Corporation | Augmented reality and filtering |
WO2009111047A2 (en) | 2008-03-05 | 2009-09-11 | Ebay Inc. | Method and apparatus for image recognition services |
US9495386B2 (en) | 2008-03-05 | 2016-11-15 | Ebay Inc. | Identification of items depicted in images |
US20090237328A1 (en) * | 2008-03-20 | 2009-09-24 | Motorola, Inc. | Mobile virtual and augmented reality system |
US20090307240A1 (en) * | 2008-06-06 | 2009-12-10 | International Business Machines Corporation | Method and system for generating analogous fictional data from non-fictional data |
KR101465668B1 (ko) * | 2008-06-24 | 2014-11-26 | 삼성전자주식회사 | 단말 및 그의 블로깅 방법 |
JP4825244B2 (ja) * | 2008-06-26 | 2011-11-30 | オリンパス株式会社 | 立体視画像表示装置、立体視画像表示方法 |
US8301638B2 (en) | 2008-09-25 | 2012-10-30 | Microsoft Corporation | Automated feature selection based on rankboost for ranking |
US8131659B2 (en) | 2008-09-25 | 2012-03-06 | Microsoft Corporation | Field-programmable gate array based accelerator system |
JP5295714B2 (ja) * | 2008-10-27 | 2013-09-18 | 株式会社ソニー・コンピュータエンタテインメント | 表示装置、画像処理方法、及びコンピュータプログラム |
US8397181B2 (en) * | 2008-11-17 | 2013-03-12 | Honeywell International Inc. | Method and apparatus for marking a position of a real world object in a see-through display |
CN102245100B (zh) * | 2008-12-10 | 2014-09-10 | 皇家飞利浦电子股份有限公司 | 图形表示 |
WO2010073432A1 (ja) * | 2008-12-24 | 2010-07-01 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
US8606657B2 (en) * | 2009-01-21 | 2013-12-10 | Edgenet, Inc. | Augmented reality method and system for designing environments and buying/selling goods |
JP4834116B2 (ja) * | 2009-01-22 | 2011-12-14 | 株式会社コナミデジタルエンタテインメント | 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム |
US8350871B2 (en) | 2009-02-04 | 2013-01-08 | Motorola Mobility Llc | Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system |
JP5236546B2 (ja) * | 2009-03-26 | 2013-07-17 | 京セラ株式会社 | 画像合成装置 |
US8797321B1 (en) | 2009-04-01 | 2014-08-05 | Microsoft Corporation | Augmented lighting environments |
US8839121B2 (en) * | 2009-05-06 | 2014-09-16 | Joseph Bertolami | Systems and methods for unifying coordinate systems in augmented reality applications |
JP5281477B2 (ja) * | 2009-05-15 | 2013-09-04 | パナソニック株式会社 | 設計支援方法、設計支援システムおよび設計支援装置 |
JP5402293B2 (ja) * | 2009-06-22 | 2014-01-29 | ソニー株式会社 | 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法 |
KR101085762B1 (ko) * | 2009-07-02 | 2011-11-21 | 삼성에스디에스 주식회사 | 증강현실을 이용한 주얼리 착용 모습 디스플레이 장치 및 방법 |
US8405658B2 (en) * | 2009-09-14 | 2013-03-26 | Autodesk, Inc. | Estimation of light color and direction for augmented reality applications |
US8682738B2 (en) * | 2009-10-29 | 2014-03-25 | At&T Intellectual Property I, Lp | System and method for using a digital inventory of clothing |
KR101159420B1 (ko) | 2009-12-11 | 2012-06-28 | 주식회사 메타코 | 증강 현실을 이용한 학습 장치 및 방법 |
EP2517181A1 (en) * | 2009-12-21 | 2012-10-31 | Thomson Licensing | Method for generating an environment map |
JP5898842B2 (ja) | 2010-01-14 | 2016-04-06 | 任天堂株式会社 | 携帯型情報処理装置、携帯型ゲーム装置 |
EP2355526A3 (en) | 2010-01-14 | 2012-10-31 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
KR101082285B1 (ko) * | 2010-01-29 | 2011-11-09 | 주식회사 팬택 | 증강 현실 제공 단말기 및 방법 |
JP5800501B2 (ja) | 2010-03-12 | 2015-10-28 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法 |
US9158777B2 (en) * | 2010-03-30 | 2015-10-13 | Gravity Jack, Inc. | Augmented reality methods and apparatus |
US8909950B1 (en) | 2010-04-18 | 2014-12-09 | Aptima, Inc. | Systems and methods of power management |
JP4971483B2 (ja) | 2010-05-14 | 2012-07-11 | 任天堂株式会社 | 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法 |
US8384770B2 (en) | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
US8633947B2 (en) | 2010-06-02 | 2014-01-21 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method |
EP2395474A3 (en) * | 2010-06-11 | 2014-03-26 | Nintendo Co., Ltd. | Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method |
EP2395769B1 (en) | 2010-06-11 | 2015-03-04 | Nintendo Co., Ltd. | Image display program, image display system, and image display method |
JP5647819B2 (ja) | 2010-06-11 | 2015-01-07 | 任天堂株式会社 | 携帯型電子機器 |
EP2395764B1 (en) | 2010-06-14 | 2016-02-17 | Nintendo Co., Ltd. | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method |
JP5149939B2 (ja) * | 2010-06-15 | 2013-02-20 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 |
US9361729B2 (en) * | 2010-06-17 | 2016-06-07 | Microsoft Technology Licensing, Llc | Techniques to present location information for social networks using augmented reality |
US20110310260A1 (en) * | 2010-06-18 | 2011-12-22 | Minx, Inc. | Augmented Reality |
JP5739674B2 (ja) | 2010-09-27 | 2015-06-24 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
US8854356B2 (en) | 2010-09-28 | 2014-10-07 | Nintendo Co., Ltd. | Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method |
US9177259B1 (en) * | 2010-11-29 | 2015-11-03 | Aptima Inc. | Systems and methods for recognizing and reacting to spatiotemporal patterns |
ES2383976B1 (es) | 2010-12-03 | 2013-05-08 | Alu Group, S.L. | Método para el probado virtual de calzado. |
JP5685436B2 (ja) * | 2010-12-28 | 2015-03-18 | 新日鉄住金ソリューションズ株式会社 | 拡張現実提供装置、拡張現実提供システム、拡張現実提供方法及びプログラム |
KR101315398B1 (ko) * | 2010-12-28 | 2013-10-07 | 주식회사 팬택 | 3차원 증강 현실 표시 장치 및 방법 |
US9183588B2 (en) | 2011-01-20 | 2015-11-10 | Ebay, Inc. | Three dimensional proximity recommendation system |
CN102156808A (zh) * | 2011-03-30 | 2011-08-17 | 北京触角科技有限公司 | 增强现实实时虚拟饰品试戴系统及方法 |
KR101056418B1 (ko) | 2011-03-31 | 2011-08-11 | 주식회사 맥스트 | 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법 |
US8810598B2 (en) | 2011-04-08 | 2014-08-19 | Nant Holdings Ip, Llc | Interference based augmented reality hosting platforms |
TWI443600B (zh) * | 2011-05-05 | 2014-07-01 | Mstar Semiconductor Inc | 影像處理的方法與相關裝置 |
US20120299963A1 (en) * | 2011-05-27 | 2012-11-29 | Wegrzyn Kenneth M | Method and system for selection of home fixtures |
US20120327114A1 (en) * | 2011-06-21 | 2012-12-27 | Dassault Systemes | Device and associated methodology for producing augmented images |
US10242456B2 (en) | 2011-06-23 | 2019-03-26 | Limitless Computing, Inc. | Digitally encoded marker-based augmented reality (AR) |
CN103018904A (zh) * | 2011-09-23 | 2013-04-03 | 奇想创造事业股份有限公司 | 头戴式影像撷取分析显示系统及其方法 |
ES2656868T3 (es) * | 2011-10-05 | 2018-02-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dispositivo portátil, sistema y método de realidad virtual |
US9641790B2 (en) * | 2011-10-17 | 2017-05-02 | Microsoft Technology Licensing, Llc | Interactive video program providing linear viewing experience |
US9449342B2 (en) | 2011-10-27 | 2016-09-20 | Ebay Inc. | System and method for visualization of items in an environment using augmented reality |
JP2013105346A (ja) * | 2011-11-14 | 2013-05-30 | Sony Corp | 情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラム |
US8872853B2 (en) | 2011-12-01 | 2014-10-28 | Microsoft Corporation | Virtual light in augmented reality |
US9524436B2 (en) | 2011-12-06 | 2016-12-20 | Microsoft Technology Licensing, Llc | Augmented reality camera registration |
US9311751B2 (en) | 2011-12-12 | 2016-04-12 | Microsoft Technology Licensing, Llc | Display of shadows via see-through display |
EP2608153A1 (en) | 2011-12-21 | 2013-06-26 | Harman Becker Automotive Systems GmbH | Method and system for playing an augmented reality game in a motor vehicle |
EP2620917B1 (en) | 2012-01-30 | 2019-08-28 | Harman Becker Automotive Systems GmbH | Viewing system and method for displaying an environment of a vehicle |
US20130215132A1 (en) * | 2012-02-22 | 2013-08-22 | Ming Fong | System for reproducing virtual objects |
US10846766B2 (en) | 2012-06-29 | 2020-11-24 | Ebay Inc. | Contextual menus based on image recognition |
JP5891125B2 (ja) | 2012-06-29 | 2016-03-22 | 株式会社ソニー・コンピュータエンタテインメント | 映像処理装置、映像処理方法、および映像処理システム |
US9514570B2 (en) * | 2012-07-26 | 2016-12-06 | Qualcomm Incorporated | Augmentation of tangible objects as user interface controller |
US9429912B2 (en) * | 2012-08-17 | 2016-08-30 | Microsoft Technology Licensing, Llc | Mixed reality holographic object development |
JP6056319B2 (ja) * | 2012-09-21 | 2017-01-11 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
KR102145533B1 (ko) * | 2012-10-04 | 2020-08-18 | 삼성전자주식회사 | 플렉서블 디스플레이 장치 및 그의 제어 방법 |
US20140111534A1 (en) * | 2012-10-22 | 2014-04-24 | Apple Inc. | Media-Editing Application for Generating and Editing Shadows |
US9785839B2 (en) * | 2012-11-02 | 2017-10-10 | Sony Corporation | Technique for combining an image and marker without incongruity |
WO2014095071A1 (en) | 2012-12-21 | 2014-06-26 | Harman Becker Automotive Systems Gmbh | System for a vehicle |
US9430877B2 (en) * | 2013-01-25 | 2016-08-30 | Wilus Institute Of Standards And Technology Inc. | Electronic device and method for selecting augmented content using the same |
JP2014167761A (ja) * | 2013-02-28 | 2014-09-11 | Toshiba Corp | 環境評価装置、方法およびプログラム |
US9846965B2 (en) | 2013-03-15 | 2017-12-19 | Disney Enterprises, Inc. | Augmented reality device with predefined object data |
US8922589B2 (en) | 2013-04-07 | 2014-12-30 | Laor Consulting Llc | Augmented reality apparatus |
WO2014171644A1 (ko) * | 2013-04-14 | 2014-10-23 | Lee Moon Key | 거울을 이용한 증강현실 시스템 |
JP6255706B2 (ja) | 2013-04-22 | 2018-01-10 | 富士通株式会社 | 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム |
JP6288948B2 (ja) * | 2013-05-23 | 2018-03-07 | 株式会社電通 | 画像共有システム |
CN104301661B (zh) * | 2013-07-19 | 2019-08-27 | 南京中兴软件有限责任公司 | 一种智能家居监控方法、客户端及相应装置 |
CN103543827B (zh) * | 2013-10-14 | 2016-04-06 | 徐坚 | 基于单个摄像机的沉浸式户外活动交互平台的实现方法 |
US9582516B2 (en) | 2013-10-17 | 2017-02-28 | Nant Holdings Ip, Llc | Wide area augmented reality location-based services |
JP6299145B2 (ja) * | 2013-10-28 | 2018-03-28 | 大日本印刷株式会社 | 映像コンテンツ表示装置、眼鏡、映像コンテンツ処理システム及び映像コンテンツ表示プログラム |
US9652892B2 (en) * | 2013-10-29 | 2017-05-16 | Microsoft Technology Licensing, Llc | Mixed reality spotlight |
US9299194B2 (en) * | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US9953462B2 (en) | 2014-01-31 | 2018-04-24 | Empire Technology Development Llc | Augmented reality skin manager |
WO2015116183A2 (en) | 2014-01-31 | 2015-08-06 | Empire Technology Development, Llc | Subject selected augmented reality skin |
EP3100256A4 (en) * | 2014-01-31 | 2017-06-28 | Empire Technology Development LLC | Augmented reality skin evaluation |
EP3100240B1 (en) | 2014-01-31 | 2018-10-31 | Empire Technology Development LLC | Evaluation of augmented reality skins |
JP6244954B2 (ja) | 2014-02-06 | 2017-12-13 | 富士通株式会社 | 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム |
JP6217437B2 (ja) * | 2014-02-14 | 2017-10-25 | 富士通株式会社 | 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム |
WO2015123775A1 (en) * | 2014-02-18 | 2015-08-27 | Sulon Technologies Inc. | Systems and methods for incorporating a real image stream in a virtual image stream |
CN106133796B (zh) * | 2014-03-25 | 2019-07-16 | 苹果公司 | 用于在真实环境的视图中表示虚拟对象的方法和系统 |
US9552674B1 (en) * | 2014-03-26 | 2017-01-24 | A9.Com, Inc. | Advertisement relevance |
JP6674192B2 (ja) | 2014-05-28 | 2020-04-01 | ソニー株式会社 | 画像処理装置と画像処理方法 |
JP6500355B2 (ja) * | 2014-06-20 | 2019-04-17 | 富士通株式会社 | 表示装置、表示プログラム、および表示方法 |
KR102235679B1 (ko) * | 2014-07-08 | 2021-04-05 | 삼성전자주식회사 | 시각 효과를 가지는 객체를 디스플레이하는 장치 및 방법 |
US10593113B2 (en) | 2014-07-08 | 2020-03-17 | Samsung Electronics Co., Ltd. | Device and method to display object with visual effect |
HK1201682A2 (en) * | 2014-07-11 | 2015-09-04 | Idvision Ltd | Augmented reality system |
JP6476657B2 (ja) * | 2014-08-27 | 2019-03-06 | 株式会社リコー | 画像処理装置、画像処理方法、およびプログラム |
US10088971B2 (en) * | 2014-12-10 | 2018-10-02 | Microsoft Technology Licensing, Llc | Natural user interface camera calibration |
US10154239B2 (en) | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
US9754417B2 (en) * | 2014-12-31 | 2017-09-05 | Canon Information And Imaging Solutions, Inc. | Methods and systems for displaying virtual objects |
US9685005B2 (en) * | 2015-01-02 | 2017-06-20 | Eon Reality, Inc. | Virtual lasers for interacting with augmented reality environments |
KR101641676B1 (ko) * | 2015-01-14 | 2016-07-21 | 동서대학교산학협력단 | 증강현실 구현 웨어러블 디바이스 착용형 헬스케어 시스템 |
EP3264246A4 (en) * | 2015-02-27 | 2018-09-05 | Sony Corporation | Information processing apparatus, information processing method, and program |
US9646421B2 (en) | 2015-04-14 | 2017-05-09 | International Business Machines Corporation | Synchronizing an augmented reality video stream with a displayed video stream |
WO2016187351A1 (en) * | 2015-05-18 | 2016-11-24 | Daqri, Llc | Context-based augmented reality content delivery |
JP5842199B1 (ja) * | 2015-07-23 | 2016-01-13 | 株式会社コシナ | 交換レンズの情報提供方法及び販売方法 |
US9836845B2 (en) * | 2015-08-25 | 2017-12-05 | Nextvr Inc. | Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment |
JP6161749B2 (ja) * | 2016-02-22 | 2017-07-12 | 株式会社ソニー・インタラクティブエンタテインメント | 映像処理装置、映像処理方法、および映像処理システム |
EP3426179B1 (en) | 2016-03-12 | 2023-03-22 | Philipp K. Lang | Devices for surgery |
US10650591B1 (en) | 2016-05-24 | 2020-05-12 | Out of Sight Vision Systems LLC | Collision avoidance system for head mounted display utilized in room scale virtual reality system |
DE102016006855A1 (de) * | 2016-06-04 | 2017-12-07 | Audi Ag | Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem |
KR101820379B1 (ko) * | 2016-07-29 | 2018-01-19 | 강태준 | 입체형 더블 마커 기반의 증강 현실 장치 |
DE102016010037A1 (de) * | 2016-08-22 | 2018-02-22 | Michael Schick | Verändern einer Darstellung einer Realität für Informationszwecke |
US10540491B1 (en) * | 2016-10-25 | 2020-01-21 | Wells Fargo Bank, N.A. | Virtual and augmented reality signatures |
US20180182169A1 (en) * | 2016-12-22 | 2018-06-28 | Atlatl Software, Inc. | Marker for augmented reality employing a trackable marker template |
EP3568070B1 (en) | 2017-01-16 | 2024-01-03 | Philipp K. Lang | Optical guidance for surgical, medical, and dental procedures |
EP3586313A1 (en) * | 2017-02-27 | 2020-01-01 | Thomson Licensing | Method, system and apparatus for visual effects |
EP3388999A1 (en) * | 2017-04-11 | 2018-10-17 | Pricer AB | Displaying further information about a product |
WO2018199351A1 (ko) * | 2017-04-26 | 2018-11-01 | 라인 가부시키가이샤 | 센서 데이터를 메타데이터로서 포함하는 이미지 파일 생성 방법 및 장치 |
FR3067842B1 (fr) * | 2017-06-19 | 2020-09-25 | SOCIéTé BIC | Procede d'application de texture en realite augmentee, systeme et kits correspondants |
WO2019051464A1 (en) | 2017-09-11 | 2019-03-14 | Lang Philipp K | INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT |
US10650611B1 (en) | 2017-09-12 | 2020-05-12 | Atlatl Software, Inc. | Systems and methods for graphical programming |
US10963596B1 (en) | 2017-09-12 | 2021-03-30 | Atlatl Software, Inc. | Systems and methods for CAD automation |
US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
GB2569267A (en) * | 2017-10-13 | 2019-06-19 | Mo Sys Engineering Ltd | Lighting integration |
US11043031B2 (en) | 2017-10-20 | 2021-06-22 | Google Llc | Content display property management |
US10398855B2 (en) * | 2017-11-14 | 2019-09-03 | William T. MCCLELLAN | Augmented reality based injection therapy |
US11501224B2 (en) | 2018-01-24 | 2022-11-15 | Andersen Corporation | Project management system with client interaction |
US11348257B2 (en) | 2018-01-29 | 2022-05-31 | Philipp K. Lang | Augmented reality guidance for orthopedic and other surgical procedures |
BR102018003125B1 (pt) | 2018-02-19 | 2022-05-10 | Petróleo Brasileiro S.A. - Petrobras | Método para reconhecimento ótico de marcadores em ambiente externo |
CN108711188A (zh) * | 2018-02-24 | 2018-10-26 | 石化盈科信息技术有限责任公司 | 一种基于ar的工厂实时数据展示方法及系统 |
CN108986199B (zh) * | 2018-06-14 | 2023-05-16 | 北京小米移动软件有限公司 | 虚拟模型处理方法、装置、电子设备及存储介质 |
US10916220B2 (en) | 2018-08-07 | 2021-02-09 | Apple Inc. | Detection and display of mixed 2D/3D content |
CN109740425A (zh) * | 2018-11-23 | 2019-05-10 | 上海扩博智能技术有限公司 | 基于增强现实的图像标注方法、系统、设备及存储介质 |
US11361511B2 (en) * | 2019-01-24 | 2022-06-14 | Htc Corporation | Method, mixed reality system and recording medium for detecting real-world light source in mixed reality |
US11553969B1 (en) | 2019-02-14 | 2023-01-17 | Onpoint Medical, Inc. | System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures |
US11857378B1 (en) | 2019-02-14 | 2024-01-02 | Onpoint Medical, Inc. | Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets |
US11182965B2 (en) | 2019-05-01 | 2021-11-23 | At&T Intellectual Property I, L.P. | Extended reality markers for enhancing social engagement |
US10860705B1 (en) * | 2019-05-16 | 2020-12-08 | Capital One Services, Llc | Augmented reality generated human challenge |
US11144760B2 (en) | 2019-06-21 | 2021-10-12 | International Business Machines Corporation | Augmented reality tagging of non-smart items |
US11562488B2 (en) * | 2020-10-15 | 2023-01-24 | Adobe Inc. | Image content snapping guidelines |
US11786206B2 (en) | 2021-03-10 | 2023-10-17 | Onpoint Medical, Inc. | Augmented reality guidance for imaging systems |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6426757B1 (en) * | 1996-03-04 | 2002-07-30 | International Business Machines Corporation | Method and apparatus for providing pseudo-3D rendering for virtual reality computer user interfaces |
JP3450704B2 (ja) * | 1997-09-01 | 2003-09-29 | キヤノン株式会社 | 位置姿勢検出装置及び情報処理方法 |
EP1131734B1 (en) * | 1998-09-22 | 2012-05-23 | Motek B.V. | System for dynamic registration, evaluation, and correction of functional human behavior |
US7073129B1 (en) * | 1998-12-18 | 2006-07-04 | Tangis Corporation | Automated selection of appropriate information based on a computer user's context |
US6452593B1 (en) * | 1999-02-19 | 2002-09-17 | International Business Machines Corporation | Method and system for rendering a virtual three-dimensional graphical display |
JP3413129B2 (ja) * | 1999-06-11 | 2003-06-03 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
JP3530772B2 (ja) * | 1999-06-11 | 2004-05-24 | キヤノン株式会社 | 複合現実感装置及び複合現実空間画像の生成方法 |
JP4213327B2 (ja) * | 1999-07-12 | 2009-01-21 | 富士フイルム株式会社 | 光源方向と3次元形状の推定方法および装置並びに記録媒体 |
US6538676B1 (en) * | 1999-10-04 | 2003-03-25 | Intel Corporation | Video token tracking system for overlay of metadata upon video data |
US7523411B2 (en) * | 2000-08-22 | 2009-04-21 | Bruce Carlin | Network-linked interactive three-dimensional composition and display of saleable objects in situ in viewer-selected scenes for purposes of object promotion and procurement, and generation of object advertisements |
US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
EP1371019A2 (en) * | 2001-01-26 | 2003-12-17 | Zaxel Systems, Inc. | Real-time virtual viewpoint in simulated reality environment |
US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
JP4649050B2 (ja) * | 2001-03-13 | 2011-03-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び制御プログラム |
US7126558B1 (en) * | 2001-10-19 | 2006-10-24 | Accenture Global Services Gmbh | Industrial augmented reality |
JP2003281504A (ja) * | 2002-03-22 | 2003-10-03 | Canon Inc | 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム |
JP4298407B2 (ja) * | 2002-09-30 | 2009-07-22 | キヤノン株式会社 | 映像合成装置及び映像合成方法 |
JP4401728B2 (ja) * | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 複合現実空間画像生成方法及び複合現実感システム |
JP4401727B2 (ja) * | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 画像表示装置及び方法 |
KR100800859B1 (ko) * | 2004-08-27 | 2008-02-04 | 삼성전자주식회사 | Hmd 정보 단말기에서 키를 입력하는 장치 및 방법 |
-
2005
- 2005-05-03 EP EP05009717A patent/EP1720131B1/en not_active Not-in-force
- 2005-05-03 DE DE602005013752T patent/DE602005013752D1/de active Active
- 2005-05-03 AT AT05009717T patent/ATE428154T1/de not_active IP Right Cessation
- 2005-05-03 ES ES05009717T patent/ES2325374T3/es active Active
-
2006
- 2006-05-01 JP JP2006127301A patent/JP4880350B2/ja not_active Expired - Fee Related
- 2006-05-03 US US11/416,792 patent/US20070038944A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2006313549A (ja) | 2006-11-16 |
US20070038944A1 (en) | 2007-02-15 |
DE602005013752D1 (de) | 2009-05-20 |
ATE428154T1 (de) | 2009-04-15 |
EP1720131B1 (en) | 2009-04-08 |
ES2325374T3 (es) | 2009-09-02 |
EP1720131A1 (en) | 2006-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4880350B2 (ja) | 実マーカオブジェクトを識別する拡張現実システム | |
CN100534158C (zh) | 产生虚拟图像和真实图像的合成图像 | |
CN110517355B (zh) | 用于照明混合现实对象的环境合成 | |
Oufqir et al. | ARKit and ARCore in serve to augmented reality | |
CN107680165B (zh) | 基于HoloLens的电脑操作台全息展现与自然交互应用方法 | |
JP4739002B2 (ja) | 画像処理方法、画像処理装置 | |
TWI567659B (zh) | 照片表示視圖的基於主題的增強 | |
KR101295471B1 (ko) | 이미지 프로세싱을 기반으로 한 3d 공간 차원용 시스템 및 방법 | |
US20030179218A1 (en) | Augmented reality system | |
Portalés et al. | Augmented reality and photogrammetry: A synergy to visualize physical and virtual city environments | |
CN111510701A (zh) | 虚拟内容的显示方法、装置、电子设备及计算机可读介质 | |
CN106062862A (zh) | 用于沉浸式和交互式多媒体生成的系统和方法 | |
JP2009508193A (ja) | 1次マーカ及び2次マーカを使用するモーションキャプチャ | |
JP2011095797A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20190094166A (ko) | 실제 장면의 재현에 가상 이미지 및 오디오 데이터를 오버레이하는 방법 및 장치, 그리고 모바일 디바이스 | |
JP2004264907A (ja) | 画像生成システム、画像生成装置、画像生成方法 | |
CN102725038A (zh) | 组合多传感输入以用于数字动画 | |
JPWO2019171557A1 (ja) | 画像表示システム | |
KR20170044318A (ko) | 헤드 마운트 디스플레이를 이용한 협업 방법 | |
KR20210086837A (ko) | 증강현실을 이용한 실내 인테리어 시뮬레이션 방법 | |
JP2018092503A (ja) | 屋内光シミュレーションシステム、屋内光シミュレーション方法及びプログラム | |
Inoue et al. | Tracking Robustness and Green View Index Estimation of Augmented and Diminished Reality for Environmental Design | |
Deldjoo et al. | A low-cost infrared-optical head tracking solution for virtual 3d audio environment using the nintendo wii-remote | |
WO2021095704A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN109215128A (zh) | 物体运动姿态图像的合成方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110412 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110711 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110714 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110811 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110816 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110912 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111101 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111201 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141209 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |