JP5525401B2 - Augmented reality presentation device, information processing system, augmented reality presentation method and program - Google Patents
Augmented reality presentation device, information processing system, augmented reality presentation method and program Download PDFInfo
- Publication number
- JP5525401B2 JP5525401B2 JP2010219619A JP2010219619A JP5525401B2 JP 5525401 B2 JP5525401 B2 JP 5525401B2 JP 2010219619 A JP2010219619 A JP 2010219619A JP 2010219619 A JP2010219619 A JP 2010219619A JP 5525401 B2 JP5525401 B2 JP 5525401B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- article
- image data
- augmented reality
- real space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims description 30
- 238000000034 method Methods 0.000 title claims description 20
- 230000010365 information processing Effects 0.000 title claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Description
本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な技術に関するものである。 The present invention relates to a technique capable of synthesizing and displaying an image in real space and computer graphics image data.
近年、高性能なRFIDタグが比較的安価に得られるようになり、普段の生活においても、例えば入退室管理、電子決済、カード型の定期券等、幅広い分野において利用されている。また、在庫管理においては、RFIDタグを在庫に付しておき、ロケーション毎に設置されたリーダによって、在庫の入出庫を検知した場合、システムの在庫データを自動的に更新できるようにすることで、リアルタイムに正確な在庫の状況を把握することができるようになる。 In recent years, high-performance RFID tags can be obtained at a relatively low cost, and are used in a wide range of fields such as entrance / exit management, electronic payment, card-type commuter pass, etc. even in everyday life. Also, in inventory management, RFID tags are attached to inventory, and when inventory entry / exit is detected by a reader installed at each location, system inventory data can be automatically updated. , You will be able to grasp the accurate inventory status in real time.
さらに、RFIDを食品のトレーサビリティに利用する試み等も行われており、野菜等に添付されたRFIDタグを、ユーザがリーダ機能付きの端末機器で読み取ると、RFIDタグに記憶されている識別情報に基づいて生産履歴や流通履歴を記憶したデータベースが検索され、ユーザは端末機器で、その野菜の生産履歴や流通履歴等を確認することができる。将来的に、RFIDタグのさらなる低価格やリーダの普及が進めば、今後、その用途はさらに広がるものと期待されている。 Furthermore, attempts have been made to use RFID for food traceability. When a user reads an RFID tag attached to a vegetable or the like with a terminal device having a reader function, the identification information stored in the RFID tag is displayed. Based on this, a database storing production history and distribution history is searched, and the user can check the production history, distribution history, and the like of the vegetable on the terminal device. In the future, the use of RFID tags at a lower price and the spread of readers are expected to further expand their uses.
例えば、特許文献1には、識別子が格納されて商品に付されたRFIDタグを、その商品を販売する上での広告宣伝媒体として活用するための商品宣伝方法が提案されている。より具体的には、商品を識別子で記憶したRFIDタグ付きの商品の購入者と販売店との間で宣伝契約が結ばれると、宣伝契約を結んだ購入者(宣伝契約者)がRFIDタグ付きの商品を身に付けて移動した際、宣伝契約者の身に付けている商品に興味をもった第三者が携帯端末等によってRFIDタグに記憶されている識別子を読み取る。識別子を読み取った第三者は、識別子に基づいてネットワーク経由で販促情報(商品名、定価、販売店、商品の品質)を取得し、商品の詳細を知ることができるというシステムが開示されている。 For example, Patent Literature 1 proposes a product promotion method for utilizing an RFID tag in which an identifier is stored and attached to a product as an advertising medium for selling the product. More specifically, when an advertising contract is made between a purchaser of a product with an RFID tag that stores the product as an identifier and a store, the purchaser (advertisement contractor) who has made the advertising contract has an RFID tag. When the user moves while wearing the product, a third party who is interested in the product worn by the advertising contractor reads the identifier stored in the RFID tag by the portable terminal or the like. A system is disclosed in which a third party who reads an identifier can obtain sales promotion information (product name, list price, sales outlet, product quality) via the network based on the identifier and know the details of the product. .
また、特許文献2には、人によって使用される様々な物品にRFIDタグが設けられており、タグ情報を読み取るために、携帯端末を物品に近づけたり、タグ情報読み取りアンテナの受信範囲とほぼ同じ視野範囲のビデオカメラで物品を捉えたりして、読み取ったタグ情報に基づいて取得されるタグ管理情報から商品情報が携帯端末に提供されるシステムが開示されている。 Also, in Patent Document 2, RFID tags are provided on various articles used by people, and in order to read tag information, the mobile terminal is brought close to the article, or the reception range of the tag information reading antenna is almost the same. A system is disclosed in which merchandise information is provided to a mobile terminal from tag management information acquired based on tag information obtained by capturing an article with a video camera in a visual field range.
しかしながら、特許文献1に開示される構成では、周囲に大勢の人がいるような混雑した場所において、第三者が携帯端末でRFIDタグから識別子を取得したとしても、第三者はあくまで識別子を表す文字列を携帯端末上で確認することができるに過ぎず、一体、周囲にいる誰が身に付けている商品の識別子なのか、直ぐに認識することができないという問題が生じる。このため、第三者は、商品を直接目で見て確認することができない場合も少なくないため、販売店にとっては十分な宣伝効果が得られない。また、第三者は、自分にとって必要のない商品の識別子を含めて取得する可能性があるが、直接商品を見ることができなければ、取得した識別子の要否を瞬時に判断することができない。 However, in the configuration disclosed in Patent Document 1, even if a third party obtains an identifier from an RFID tag with a mobile terminal in a crowded place where there are many people around, the third party only uses the identifier. The character string to be represented can only be confirmed on the portable terminal, and there is a problem that it is impossible to immediately recognize who is the identifier of the product worn by the person around. For this reason, there are many cases where a third party cannot visually confirm the product directly, so that a sufficient advertising effect cannot be obtained for the store. In addition, there is a possibility that a third party may acquire an identifier of a product that is not necessary for him / herself, but if the product cannot be viewed directly, the necessity of the acquired identifier cannot be determined instantaneously. .
特許文献2に開示される構成では、見ず知らずの人が身に付けているものに自身の携帯端末を近づけたり、タグ情報を読み取るためにビデオカメラで捉えたりしようとした場合、RFIDタグの付された商品を身に付けていない人にとっては非常に不快に感じられ、トラブルにも発展しかねないという問題が生じる。また、タグ情報を読み取る側にとっても、RFIDタグが付されているか否か不明な物品に携帯端末を接近させたり、ビデオカメラを向けたりするのは気軽にできることではない。 In the configuration disclosed in Patent Document 2, an RFID tag is attached when an attempt is made to bring the mobile terminal close to something worn by a stranger or to capture the tag information with a video camera. The problem arises that people who don't wear these products feel very uncomfortable and can develop trouble. Also, it is not easy for the side reading the tag information to bring the mobile terminal close to an article whose RFID tag is unknown or to point the video camera.
そこで、本発明の目的は、人に不快感を与えることなく物品の識別情報を取得するとともに、その物品に係る情報が誰の物品に関するものであるのか容易に認識できるようにすることにある。 Accordingly, an object of the present invention is to acquire identification information of an article without causing discomfort to a person, and to easily recognize who the article relates to the information related to the article.
本発明の拡張現実感提示装置は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置であって、位置が変動する物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取手段と、前記識別情報に対応する前記物品に係る情報を取得する取得手段と、前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする。
本発明の情報処理システムの第1の態様は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示bさせることが可能な拡張現実感提示装置と、位置が変動する物品に係る情報を管理する管理装置とを有する情報処理システムであって、前記拡張現実感提示装置は、前記物品に付された情報送信装置から、前記物品を識別するための識別情報を読み取る読取手段と、前記識別情報に対応する前記物品に係る情報を前記管理装置から取得する取得手段と、前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、前記物品に係る情報を示すコンピューグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする。
本発明の情報処理システムの第2の態様は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、位置が変動する物品に係る情報を管理する管理装置と、所定のエリアに設置され、前記所定のエリア内に位置する前記物品に付された情報送信装置から前記物品を識別するための識別情報を受信する読取装置と、前記読取装置による前記識別情報の受信強度に基づいて前記所定のエリアにおける前記物品の位置情報を算出する位置特定装置とを有する情報処理システムであって、前記位置特定装置は、前記読取装置から前記識別情報の受信強度情報を受信する受信手段と、前記受信強度情報に基づいて、前記所定のエリア内における前記物品の位置情報を算出する位置算出手段と、前記位置算出手段により算出された前記物品の位置情報を前記管理装置に送信する送信手段とを有し、前記拡張現実感提示装置は、前記情報送信装置から前記識別情報を読み取る読取手段と、前記識別情報に対応する前記物品に係る情報及び前記物品の位置情報を前記管理装置から取得する取得手段と、前記物品の位置情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、前記物品に係る情報を示すコンピューグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする。
本発明の拡張現実感提示方法は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、位置が変動する物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取ステップと、前記識別情報に対応する前記物品に係る情報を取得する取得ステップと、前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定ステップと、前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定ステップにより特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示ステップとを有することを特徴とする。
本発明のプログラムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、位置が変動する物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取ステップと、前記識別情報に対応する前記物品に係る情報を取得する取得ステップと、前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定ステップと、前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定ステップにより特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示ステップとをコンピュータに実行させることを特徴とする。
The augmented reality presentation apparatus according to the present invention is an augmented reality presentation apparatus capable of combining and displaying a video of real space and computer graphics image data, and is information attached to an article whose position varies. Reading means for reading identification information for identifying the article from the transmission device, acquisition means for obtaining information related to the article corresponding to the identification information, and position of the terminal device possessed by the user moving with the article the based on the information shown, specifying means for specifying the position of the article in the real space, to place the computer graphics image data indicating information relating to the article in a position aligned with the identified location by the specifying means In this way, the computer graphics image data and a real space image are combined and presented. .
According to a first aspect of the information processing system of the present invention, an augmented reality presentation device capable of combining and displaying real space video and computer graphics image data, and information related to an article whose position varies. An information processing system having a management device for managing the information, wherein the augmented reality presentation device reads the identification information for identifying the article from the information transmission device attached to the article; obtaining means for obtaining information related to the article corresponding to the identification information from the management device, based on the information indicating the position of the terminal device owned by the user to move with the article, the position of the article in real space The specifying means for specifying and the computer graphics image data indicating the information relating to the article are arranged at a position that matches the position specified by the specifying means. As, and having a presenting means for presenting by synthesizing the image of the computer graphics image data and the real space.
According to a second aspect of the information processing system of the present invention, there is provided an augmented reality presentation device capable of combining and displaying a video of real space and computer graphics image data, and information relating to an article whose position varies. A management device for management, a reading device that is installed in a predetermined area and receives identification information for identifying the article from an information transmission device attached to the article located in the predetermined area; and the reading device An information processing system that calculates position information of the article in the predetermined area based on a reception intensity of the identification information by the information processing apparatus, wherein the position specifying device receives the identification information from the reading device. Receiving means for receiving received intensity information, and position calculating means for calculating position information of the article in the predetermined area based on the received intensity information A transmission unit that transmits the position information of the article calculated by the position calculation unit to the management device, and the augmented reality presentation device reads the identification information from the information transmission device; Acquisition means for acquiring information on the article corresponding to the identification information and position information of the article from the management device; and specifying means for specifying the position of the article in a real space based on the position information of the article; And presenting the computer graphics image data and the video in the real space so that the computer graphics image data indicating the information related to the article is arranged at a position that matches the position specified by the specifying means. And presenting means.
An augmented reality presentation method of the present invention is an augmented reality presentation method executed by an augmented reality presentation apparatus capable of combining and displaying a video of a real space and computer graphics image data, A reading step of reading identification information for identifying the article from an information transmitting device attached to the article whose fluctuates, an acquisition step of acquiring information relating to the article corresponding to the identification information, and movement with the article based on the information indicating the position of the terminal device possessed by the user to, identified and specifying step of specifying the position of the article in the real space, by the specifying step the computer graphics image data indicating information relating to said article The computer graphics image data and the real space video And having a presenting step of presenting to synthesize.
The program of the present invention is a program for causing a computer to execute an augmented reality presentation method executed by an augmented reality presentation apparatus capable of combining and displaying a video of real space and computer graphics image data. A reading step of reading identification information for identifying the article from an information transmission device attached to the article whose position varies; an acquisition step of acquiring information relating to the article corresponding to the identification information; based on the information indicating the position of the terminal device owned by the user to move together with the article, and specifying step of specifying the position of the article in real space, the specific computer graphics image data indicating information relating to said article The computer graph to be placed at a position that matches the position identified by the step Characterized in that to execute a presentation step of presenting by synthesizing the image of the box the image data and the real space in the computer.
本発明によれば、人に不快感を与えることなく物品の識別情報を取得するとともに、その物品に係る情報が誰の物品に関するものであるのか容易に認識することが可能となる。 According to the present invention, it is possible to acquire identification information of an article without causing discomfort to a person, and to easily recognize who the article relates to the information related to the article.
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.
先ず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係る街中広告システムの構成を概略的に示す図である。図1に示すように、本実施形態に係る街中広告システムは、通行人が所持するGPS機能を備えた携帯端末101と、通行人が身に着けているRFIDタグ106付きの商品(ここでは、シャツ)102に係る情報(以下、商品情報と称す)を管理する商品サーバ103と、ユーザの頭部に装着される眼鏡型のHMD(Head Mounted Display)104とで構成される。なお、図1においては、説明の簡便のため、携帯端末101、商品サーバ103及びHMD104をそれぞれ一つずつ示しているが、実際には、それぞれが任意数あって構わない。また、以下の説明において、RFIDタグ付きの商品を身に着けている通行人とは、当該商品の販売店と宣伝契約を結んだ購入者を想定している。
First, a first embodiment of the present invention will be described. FIG. 1 is a diagram schematically showing the configuration of a street advertising system according to the first embodiment of the present invention. As shown in FIG. 1, the street advertising system according to the present embodiment includes a
HMD104は、商品情報を示すコンピュータグラフィックス画像データを、現実空間の映像と合成して表示する。即ち、HMD104は、光学的に透過してHMDのレンズ104aに映し出される現実空間の映像に整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を演出する。以下の説明では、このように拡張された現実感を与えるコンピュータグラフィックス画像データの合成表示を、AR(Augmented Reality)表示と称することがある。なお、HMD104には、非透過型、ビデオ透過型、光学透過型等の様々な方式がある。合成表示(AR表示)とは、いずれかの方式によってHMDのレンズ104aに映し出される現実空間の映像に対し、その映像に整合する位置にコンピュータグラフィックス画像データを合成表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データが合成表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データが合成表示される。
The HMD 104 synthesizes and displays computer graphics image data indicating product information with an image in real space. That is, the HMD 104 produces an expanded sense of reality by displaying computer graphics image data at a position that matches an image in the real space that is optically transmitted and projected on the
なお、本実施形態においては、AR表示を行うデバイスであるAR表示デバイスの例として眼鏡型のHMD104を挙げているが、これに限られない。例えば、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示された現実空間の映像にコンピュータグラフィックス画像データを合成表示するような携帯端末型のAR表示デバイスでもよいし、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のAR表示デバイスであってもよい。また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、本実施形態においては、HMD104の位置(緯度、経度)と姿勢(方向、仰角)とに基づいてHMD104を装着したユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成する。
In the present embodiment, the eyeglass-type HMD 104 is cited as an example of an AR display device that performs AR display, but the present invention is not limited to this. For example, a mobile terminal AR display device that displays a real-space image captured by a camera on a liquid crystal display or the like, and displays and displays computer graphics image data on the displayed real-space image may be used. It may be a head-up display AR display device that is installed in the line-of-sight direction of the driver's seat of the vehicle and displays computer graphics image data in a composite image of real space that is optically transmitted and projected. In addition, when computer graphics image data is displayed in alignment with an image in the real space, coordinates between the object in the image in the real space and the computer graphics image data are performed. As a method of coordinate alignment, in this embodiment, based on the position (latitude, longitude) and posture (direction, elevation angle) of the
通行人が所持するGPS機能付きの携帯端末101は、GPS衛星105a、105bから受信するデータに基づいて当該携帯端末101の位置情報(ここでは、緯度、経度)を算出する。また、携帯端末101内には、現在通行人が身に着けている商品102のID情報が格納されている。ID情報は、商品102に取り付けられているRFIDタグ106から携帯端末10のリーダ機能によって読み取ってもよいし、通行人が携帯端末101を操作することにより商品102のID情報を入力してもよい。携帯端末101は、算出した最新の位置情報を商品102のID情報とともに商品サーバ103に対して送信する。なお、携帯端末101から商品サーバ103に対して最新の位置情報を送信する処理は、所定の時間間隔毎に行ってもよいし、携帯端末101が最新の位置情報を算出する度に行ってもよい。
The
商品サーバ103は、商品毎(ID情報毎)に商品情報103aを管理する。商品サーバ103は、携帯端末101から位置情報及びID情報を受信すると、当該ID情報の商品情報内における位置情報を、携帯端末101から受信した最新の位置情報に更新する。なお、商品情報は、位置情報のほか、当該商品の商品名、ブランド、販売店、価格、在庫情報等によって構成される。
The
ユーザが装着するHMD104は、RFIDリーダの機能を備えており、RFIDタグ106付きの商品102を身に着けた通行人がユーザの近くにくると、HMD104の通信I/Fコントローラ104bの制御により自動的にRFIDタグ106から商品102のID情報を読み取る。これにより、通行人に不快感を与えることなく、商品102のID情報を取得することができる。また、HMD104の通信I/Fコントローラ104bは、RFIDタグ106からID情報を読み取ると、商品サーバ103に対して当該ID情報を送信する。
The
商品サーバ103は、HMD104からID情報を受信すると、当該ID情報の商品情報をHMD104に対して返信する。HMD104は、商品情報を受信すると、HMD104の位置及び姿勢に基づいてユーザが現実空間のどこを見ているかを推定し、推定した位置が商品情報内の位置情報で示される位置と合致する場合、ユーザが商品102を見ていると判定する。
When the
HMD104は、ユーザが商品102を見ていると判定すると、その商品102の位置に整合するように、現実空間の映像に商品情報を示すコンピュータグラフィックス画像データを合成する。
When the
図2は、HMDのレンズ部分104aにおいて、現実空間の映像にコンピュータグラフィックス画像データが合成表示された状態の例を示す図である。図2に示すように、HMD104は、現実空間における商品102の映像に整合する位置、即ち、当該商品102の近傍に商品情報を示すコンピュータグラフィックス画像データ201を合成表示する。これにより、ユーザは、どの商品の商品情報が表示されているかを容易に認識することができる。ここでは、商品102の近傍にコンピュータグラフィックス画像データ201を合成させているが、商品102に重畳する位置に半透明のコンピュータグラフィックス画像データ102を合成させ、コンピュータグラフィックス画像データ201を通して商品102が見えるように表示してもよい。
FIG. 2 is a diagram illustrating an example of a state in which computer graphics image data is synthesized and displayed on an image in real space in the
図3は、本実施形態に係るHMD104のハードウェア構成を示す図である。図3において、CPU301は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ROM302には、HMD104が実行する例えば図4に示す処理のプログラム等が記憶されている。通信I/Fコントローラ104bは、無線通信回線と接続し、外部との通信を制御するものである。
FIG. 3 is a diagram illustrating a hardware configuration of the
ディスプレイコントローラ304は、レンズ104aにおける画像表示を制御する。本実施形態では、光学透過型のヘッドマウントディスプレイを採用しており、レンズ104aはハーフミラーで構成され、装着したユーザはレンズ104aを介して外の様子を見ることができる。
The
図4は、本実施形態におけるHMD104の処理の流れを示すフローチャートである。以下、図1及び図4を参照しながら、本実施形態におけるHMD104の処理について説明する。
FIG. 4 is a flowchart showing the flow of processing of the
HMD104は、商品102に取り付けられたRFIDタグ106からID情報を受信したか否かを判定する(ステップS101)。ID情報を受信していない場合、HMD104はID情報を受信するまで待機する。一方、ID情報を受信すると、HMD104は、ID情報を商品サーバ103に送信することにより、当該ID情報に対応する商品情報を商品サーバ103に対して問い合わせる(ステップS102)。
The
続いて、HMD104は、当該ID情報に対応する商品情報を商品サーバ103から取得したか否かを判定する(ステップS103)。商品情報を取得していない場合、HMD104は商品情報を受信するまで待機する。一方、商品情報を受信すると、HMD104は、当該商品をユーザが見ているか否かを判定する(ステップS104)。
Subsequently, the
ユーザが当該商品102を見ていないと判定された場合、HMD104は、ユーザが当該商品102を見ていると判定するまでステップS104の判定を繰り返す。一方、ユーザが当該商品102を見ていると判定された場合、HMD104は、レンズ104a上において、商品情報を示すコンピュータグラフィックス画像データを当該商品102の映像の近傍に合成表示する(ステップS105)。
When it is determined that the user is not viewing the
次に、本発明の第2の実施形態について説明する。第1の実施形態において、通行人が所持する携帯端末101は、当該携帯端末101の位置情報を算出すると、位置情報を商品サーバ103に対して送信し、商品サーバ103内において位置情報を管理させている。これに対し、第2の実施形態では、通行人が所持する携帯端末101の位置情報を商品サーバ103ではなく、RFIDタグ106内で管理する。即ち、第2の実施形態では、通行人が所持する携帯端末101は、当該携帯端末101の位置情報を算出すると、RFIDタグ106に対してその位置情報を送信する。RFIDタグ106では、受信した位置情報を内部に記録する。ユーザが当該通行人の近くを通ると、ユーザが装着するHMD104は、RFIDタグ106から商品のID情報とともに位置情報を読み取る。HMD104は、RFIDタグ106からID情報及び位置情報を読み取ると、商品サーバ103に対して当該ID情報を送信する。
Next, a second embodiment of the present invention will be described. In the first embodiment, the
商品サーバ103は、HMD104からID情報を受信すると、当該ID情報の商品情報をHMD104に対して送信する。HMD104は、商品情報を受信すると、HMD104の位置及び姿勢に基づいてユーザが現実空間のどこを見ているかを推定し、推定した位置がHMD104内に記録されている商品102の位置情報で示される位置と合致する場合、ユーザが商品102を見ていると判定する。
When the
HMD104は、ユーザが商品102を見ていると判定すると、その商品102の位置に整合するように、現実空間の映像に商品情報を示すコンピュータグラフィックス画像データを合成する。これにより、第2の実施形態で説明した手法によっても、人に不快感を与えることなく商品102のID情報を取得するとともに、合成表示された商品情報が誰の商品に関するものであるのか容易に認識することができる。
When the
なお、第1、第2の実施形態においては、携帯端末101がGPS機能により当該携帯端末101の位置情報を算出し、それを商品102の位置情報と看做しているが、RFIDタグ106自体がGPS機能により自らの位置情報を算出することができれば、第1、第2の実施形態における携帯端末101の役割をRFID106に代替させることが可能となる。
In the first and second embodiments, the
次に、本発明の第3の実施形態について説明する。図5は、本発明の第3の実施形態に係る街中広告システムの構成を概略的に示す図である。図5に示すように、本実施形態に係る街中広告システムは、通行人が身に着けている商品502の商品情報503aを管理する商品サーバ503と、ユーザの頭部に装着されるHMD504とで構成される。HMD504には、ユーザの視界に近い画角で画像データを撮影することができるように小型カメラ504cが取り付けられている。即ち、本実施形態では、図3に示すハードウェア構成に小型カメラ504cが追加されたHMD504をユーザが装着する。なお、図5においては、説明の簡便のため、商品サーバ503及びHMD504をそれぞれ一つずつ示しているが、実際には、それぞれが任意数あって構わない。
Next, a third embodiment of the present invention will be described. FIG. 5 is a diagram schematically showing the configuration of a street advertising system according to the third embodiment of the present invention. As shown in FIG. 5, the street advertising system according to the present embodiment includes a
また、本実施形態においても商品サーバ503は、商品毎(ID情報毎)に商品情報503aを管理するが、本実施形態における商品情報503aには、商品の位置情報の代わりに商品の画像データが含まれる。
Also in this embodiment, the
図6は、本実施形態におけるHMD504の処理の流れを示すフローチャートである。以下、図5及び図6を参照しながら、本実施形態におけるHMD504の処理について説明する。
FIG. 6 is a flowchart showing the flow of processing of the
HMD504は、商品に取り付けられたRFIDタグ506からID情報を受信したか否かを判定する(ステップS201)。ID情報を受信していない場合、HMD504はID情報を受信するまで待機する。一方、ID情報を受信すると、HMD504は、ID情報を商品サーバ503に対して送信することにより、当該ID情報に対応する商品情報を商品サーバ503に対して問い合わせる(ステップS202)。
The
続いてHMD504は、当該ID情報に対応する商品情報を商品サーバ503から取得したか否かを判定する(ステップS203)。商品情報を取得していない場合、HMD504は商品情報を受信するまで待機する。一方、商品情報を受信すると、HMD504は、商品情報に含まれる商品の画像データと小型カメラ504cによって撮影されている画像データとを照合する(ステップS204)。続いてHMD504は、商品の画像データと合致する画像が小型カメラ504cによって撮影されている画像データ内に存在するか否かを判定する(ステップS205)。
Subsequently, the
商品の画像データと合致する画像が存在しない場合、HMD504は、商品の画像データと合致する画像が検出するまでステップS205の判定処理を繰り返す。一方、商品の画像データと合致する画像が存在する場合、HMD504は、レンズ104a上において、商品の画像データと合致する画像(当該商品の画像)の近傍に商品情報を示すコンピュータグラフィックス画像データを合成表示する(ステップS206)。このとき、商品情報に含まれる当該商品の画像データは、表示するコンピュータグラフィックス画像データに含めてもよいし、除外してもよい。
If there is no image that matches the product image data, the
以上により、第3の実施形態で説明した手法によっても、人に不快感を与えることなく商品502のID情報を取得するとともに、合成表示された商品情報が誰の商品に関するものであるのか容易に認識することができる。
As described above, even with the method described in the third embodiment, the ID information of the
次に、本発明の第4の実施形態について説明する。図7は、本発明の第4の実施形態に係る街中広告システムの構成を概略的に示す図である。図7に示すように、本実施形態に係る街中広告システムは、通行人が身に着けている商品の商品情報を管理する商品サーバ703と、ユーザの頭部に装着されるHMD704と、通行人が身に着けている商品702に取り付けられているRFIDタグ706からのID情報を受信するとともに、ID情報の受信強度を測定するRFIDリーダ707a〜dと、RFIDリーダ707a〜dによって測定されたID情報の受信強度からRFIDタグ706の位置を特定する位置特定サーバ703とを備える。なお、本実施形態におけるHMD704のハードウェア構成は、図3に示した第1の実施形態におけるHMD104のハードウェア構成と同様であり、小型カメラは省いた構成となっている。また、図7においては、説明の簡便のため、位置特定サーバ708、商品サーバ703及びHMD704をそれぞれ一つずつ示しているが、実際には、それぞれが任意数あって構わない。
Next, a fourth embodiment of the present invention will be described. FIG. 7 is a diagram schematically showing a configuration of a street advertising system according to the fourth embodiment of the present invention. As shown in FIG. 7, the street advertising system according to the present embodiment includes a
図7に示すように、本実施形態においては、或るエリアAには4本のRFIDリーダ707a〜dが配置されている。図7では、一つのエリアAにつき4本のRFIDリーダは配置された例を示しているが、RFIDリーダの数量に制限はなく、一つのエリアAにつき任意数のRFIDリーダを設置することができる。ここでは、エリアAとして或る駅前の広場やイベント会場等の一定範囲のエリアを想定している。
As shown in FIG. 7, in this embodiment, four
各RFIDリーダ707a〜dは、RFIDタグ706付きの商品702を身に着けた通行人がエリアAに侵入すると、RFIDタグ706からID情報を読み取る。そして各RFIDリーダ707a〜dは、ID情報の受信強度を夫々測定し、ID情報とともに受信強度情報を位置特定サーバ708に対して送信する。
Each
位置特定サーバ708は、各RFIDリーダ707a〜dから受信強度情報を受信すると、それらの受信強度情報に基づいてRFIDタグ706のエリアA内における座標情報を算出する。即ち、位置特定サーバ708は、例えば、受信強度情報により示される受信強度に応じて、RFIDリーダ707a〜d毎に、RFIDリーダからRFIDタグ706までの距離を算出し、各RFIDリーダ707a〜dからの距離の組み合わせに該当する座標情報を、エリアA内におけるRFIDタグ706の座標情報として算出する。位置特定サーバ708は、エリアA内における座標情報を算出すると、当該ID情報とともに座標情報及びエリアAを示すエリア情報を商品サーバ703に対して送信する。
When receiving the reception intensity information from each of the
また、本実施形態においては、HMD704には、RFIDタグが備えられており、各RFIDリーダ707a〜dは、HMD704のRFIDタグについても、当該RFIDタグを識別可能なID情報を読み取ると共に、受信強度を夫々測定し、ID情報とともに受信強度情報を位置特定サーバ708に対して送信する。そして、位置特定サーバ708は、HMD704のRFIDタグのエリアA内における座標情報(すなわち、HMD704の位置座標)を算出し、算出した座標情報をHMD704に対して送信する。
In the present embodiment, the
なお、RFIDタグ706の座標情報を算出する方法は上述の方法に限定されない。例えば、RFIDリーダをエリアAの床や天井などに細かい間隔で格子状に設置しておけば、受信強度から距離を算出する代わりに、受信強度の大小関係を用いて、位置や方向を絞り込むことで座標情報を算出することができる。
Note that the method for calculating the coordinate information of the
あるいは、受信強度の代わりに、RFIDタグ706からID情報を読み取ったときの時刻を用いて座標情報を算出する構成であってもよい。すなわち、各RFIDリーダ707a〜dは、RFIDタグ706からID情報を読み取るときに、ID情報の受信時刻を夫々記憶し、ID情報とともに受信時刻情報を位置特定サーバ708に対して送信する。そして、位置特定サーバ708は、各RFIDリーダ707a〜dから受信時刻情報を受信すると、それらの受信時刻情報に基づいて、受信時刻の差からRFIDタグ706のエリアA内における座標情報を算出することができる。
Alternatively, the coordinate information may be calculated using the time when the ID information is read from the
商品サーバ703は、ID情報、座標情報及びエリア情報を位置特定サーバ708から受信すると、当該ID情報の商品情報において、座標情報及びエリア情報を記録する。
Upon receiving the ID information, the coordinate information, and the area information from the
本実施形態において、ユーザが装着するHMD704は、RFIDタグ706付きの商品702を身に着けた通行人がユーザの近くにくると、HMD704の通信I/Fコントローラ104bの制御によって自動的にRFIDタグ706から商品702のID情報を読み取る。HMD704は、RFIDタグ706からID情報を読み取ると、商品サーバ703に対して当該ID情報を送信する。
In this embodiment, the
商品サーバ703は、HMD704からID情報を受信すると、当該ID情報の商品情報をHMD704に対して返信する。HMD704は、商品情報を受信すると、HMD704の位置(すなわち、HMD704のRFIDタグのエリアA内における座標情報)及び姿勢に基づいてユーザが現実空間のどこを見ているかを推定し、それが商品情報内のエリア情報及び座標情報で示される位置と合致する場合、ユーザが当該商品を見ていると判定する。
Upon receiving the ID information from the
HMD704は、ユーザが当該商品を見ていると判定すると、ユーザが見ていると推定される商品702の位置に整合するように、現実空間の映像に商品情報を示すコンピュータグラフィックス画像データを合成する。
When the
なお、RFIDタグ706のエリアA内における座標情報を、緯度・経度情報に変換すれば、エリアA内におけるHMD104の座標を特定することなく、実施形態1〜3と同様にして、HMD104の位置(緯度、経度)と姿勢(方向、仰角)とに基づいてHMD104を装着したユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成することは可能である。
If the coordinate information in the area A of the
これにより、第4の実施形態で説明した手法によっても、人に不快感を与えることなく商品702のID情報を取得するとともに、合成表示された商品情報が誰の商品に関するものであるのか容易に認識することができる。
Thereby, even by the method described in the fourth embodiment, the ID information of the
なお、第1〜第4の実施形態において表示するコンピュータグラフィックス画像データには、商品の画像データは含まれていないが、コンピュータグラフィックス画像データに商品の画像データを含めてもよい。これにより、ユーザは商品の画像データと現実空間における商品の映像とを比較し、どの商品の商品情報が表示されているかを更に容易に認識することができる。 The computer graphics image data displayed in the first to fourth embodiments does not include product image data. However, the computer graphics image data may include product image data. Thereby, the user can more easily recognize which product information of the product is displayed by comparing the image data of the product with the video of the product in the real space.
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the technical means disclosed in different embodiments can be appropriately combined. Such embodiments are also included in the technical scope of the present invention.
101:携帯端末、102、502、702:商品、103、503、703:商品サーバ、104、504、704:HMD、105:GPS衛星、106、506、706:RFIDタグ、707:RFIDリーダ、708:位置特定サーバ 101: Mobile terminal, 102, 502, 702: Product, 103, 503, 703: Product server, 104, 504, 704: HMD, 105: GPS satellite, 106, 506, 706: RFID tag, 707: RFID reader, 708 : Location server
Claims (13)
位置が変動する物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取手段と、
前記識別情報に対応する前記物品に係る情報を取得する取得手段と、
前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、
前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする拡張現実感提示装置。 An augmented reality presentation device capable of combining and displaying real space video and computer graphics image data,
Reading means for reading identification information for identifying the article from an information transmission device attached to the article whose position varies;
Obtaining means for obtaining information relating to the article corresponding to the identification information;
Based on the information indicating the position of the terminal device owned by the user to move together with the article, an identification unit configured to identify a position of the article in real space,
Presentation that combines and presents the computer graphics image data and the video in the real space so that the computer graphics image data indicating the information related to the article is arranged at a position that matches the position specified by the specifying means And an augmented reality presentation device.
前記拡張現実感提示装置は、
前記物品に付された情報送信装置から、前記物品を識別するための識別情報を読み取る読取手段と、
前記識別情報に対応する前記物品に係る情報を前記管理装置から取得する取得手段と、
前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、
前記物品に係る情報を示すコンピューグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする情報処理システム。 An information processing system comprising an augmented reality presentation device capable of combining and displaying a real space image and computer graphics image data, and a management device for managing information related to an article whose position varies. ,
The augmented reality presentation device includes:
Reading means for reading identification information for identifying the article from an information transmission device attached to the article;
Obtaining means for obtaining information related to the article corresponding to the identification information from the management device;
Based on the information indicating the position of the terminal device owned by the user to move together with the article, an identification unit configured to identify a position of the article in real space,
The computer graphics image data and information in the real space are combined and presented so that the computer graphics image data indicating the information related to the article is arranged at a position that matches the position specified by the specifying means. And an information processing system.
前記位置特定装置は、
前記読取装置から前記識別情報の受信強度情報を受信する受信手段と、
前記受信強度情報に基づいて、前記所定のエリア内における前記物品の位置情報を算出する位置算出手段と、
前記位置算出手段により算出された前記物品の位置情報を前記管理装置に送信する送信手段とを有し、
前記拡張現実感提示装置は、
前記情報送信装置から前記識別情報を読み取る読取手段と、
前記識別情報に対応する前記物品に係る情報及び前記物品の位置情報を前記管理装置から取得する取得手段と、
前記物品の位置情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、
前記物品に係る情報を示すコンピューグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする情報処理システム。 An augmented reality presentation device capable of combining and displaying video in real space and computer graphics image data, a management device for managing information related to an article whose position varies, and a predetermined area, A reading device that receives identification information for identifying the article from an information transmission device attached to the article located in the predetermined area, and the predetermined information based on a reception intensity of the identification information by the reading device An information processing system having a position specifying device that calculates position information of the article in an area,
The position specifying device includes:
Receiving means for receiving the reception intensity information of the identification information from the reader;
Position calculating means for calculating position information of the article in the predetermined area based on the received intensity information;
Transmission means for transmitting position information of the article calculated by the position calculation means to the management device;
The augmented reality presentation device includes:
Reading means for reading the identification information from the information transmitting device;
Acquisition means for acquiring information on the article corresponding to the identification information and position information of the article from the management device;
A specifying means for specifying the position of the article in real space based on the position information of the article;
The computer graphics image data and information in the real space are combined and presented so that the computer graphics image data indicating the information related to the article is arranged at a position that matches the position specified by the specifying means. And an information processing system.
位置が変動する物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取ステップと、
前記識別情報に対応する前記物品に係る情報を取得する取得ステップと、
前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定ステップと、
前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定ステップにより特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示ステップとを有することを特徴とする拡張現実感提示方法。 An augmented reality presentation method executed by an augmented reality presentation device capable of combining and displaying a video of real space and computer graphics image data,
A reading step of reading identification information for identifying the article from an information transmitting device attached to the article whose position varies;
An acquisition step of acquiring information relating to the article corresponding to the identification information;
Based on the information indicating the position of the terminal device owned by the user to move together with the article, and specifying step of specifying the position of the article in real space,
Presentation that combines the computer graphics image data and the video in the real space so that the computer graphics image data indicating the information related to the article is arranged at a position that matches the position specified by the specifying step. And an augmented reality presentation method comprising: steps.
位置が変動する物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取ステップと、
前記識別情報に対応する前記物品に係る情報を取得する取得ステップと、
前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定ステップと、
前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定ステップにより特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示ステップとをコンピュータに実行させるためのプログラム。 A program for causing a computer to execute an augmented reality presentation method executed by an augmented reality presentation device capable of combining and displaying a video of real space and computer graphics image data,
A reading step of reading identification information for identifying the article from an information transmitting device attached to the article whose position varies;
An acquisition step of acquiring information relating to the article corresponding to the identification information;
Based on the information indicating the position of the terminal device owned by the user to move together with the article, and specifying step of specifying the position of the article in real space,
Presentation that combines the computer graphics image data and the video in the real space so that the computer graphics image data indicating the information related to the article is arranged at a position that matches the position specified by the specifying step. A program for causing a computer to execute steps.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010219619A JP5525401B2 (en) | 2010-09-29 | 2010-09-29 | Augmented reality presentation device, information processing system, augmented reality presentation method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010219619A JP5525401B2 (en) | 2010-09-29 | 2010-09-29 | Augmented reality presentation device, information processing system, augmented reality presentation method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012073920A JP2012073920A (en) | 2012-04-12 |
JP5525401B2 true JP5525401B2 (en) | 2014-06-18 |
Family
ID=46170007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010219619A Active JP5525401B2 (en) | 2010-09-29 | 2010-09-29 | Augmented reality presentation device, information processing system, augmented reality presentation method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5525401B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9245387B2 (en) * | 2013-04-12 | 2016-01-26 | Microsoft Technology Licensing, Llc | Holographic snap grid |
US9225897B1 (en) | 2014-07-07 | 2015-12-29 | Snapchat, Inc. | Apparatus and method for supplying content aware photo filters |
JP6591262B2 (en) | 2014-11-14 | 2019-10-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | REPRODUCTION METHOD, REPRODUCTION DEVICE, AND PROGRAM |
JP6628516B2 (en) * | 2015-07-30 | 2020-01-08 | 株式会社きもと | Information providing system and computer program |
EP3376772B1 (en) * | 2015-11-12 | 2023-01-25 | Panasonic Intellectual Property Corporation of America | Display method, program and display device |
CN107343392B (en) | 2015-12-17 | 2020-10-30 | 松下电器(美国)知识产权公司 | Display method and display device |
CN110114988B (en) | 2016-11-10 | 2021-09-07 | 松下电器(美国)知识产权公司 | Transmission method, transmission device, and recording medium |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003157477A (en) * | 2001-11-19 | 2003-05-30 | Hitachi Ltd | Tag management server and information acquiring/using system using it |
JP2003348424A (en) * | 2002-05-27 | 2003-12-05 | Sony Corp | Motion tracking apparatus and method thereof |
JP2004102835A (en) * | 2002-09-11 | 2004-04-02 | Univ Waseda | Information providing method and system therefor, mobile terminal device, head-wearable device, and program |
JP2004127024A (en) * | 2002-10-03 | 2004-04-22 | Canon Inc | Device and method for protecting content for compound reality feeling system |
JP4522792B2 (en) * | 2004-09-01 | 2010-08-11 | 富士通エフ・アイ・ピー株式会社 | Product advertising method and product information providing device |
JP2009245390A (en) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | Display processor and display processing system |
-
2010
- 2010-09-29 JP JP2010219619A patent/JP5525401B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012073920A (en) | 2012-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5525401B2 (en) | Augmented reality presentation device, information processing system, augmented reality presentation method and program | |
US20240048379A1 (en) | Encryption and decryption of visible codes for real time augmented reality views | |
AU2022202273A1 (en) | Augmented reality devices, systems and methods for purchasing | |
US20180232799A1 (en) | Exhibition device, display control device and exhibition system | |
WO2018159736A1 (en) | Information processing device, terminal device, information processing method, information output method, customer service assistance method, and recording medium | |
WO2016051185A1 (en) | System and method for surveying display units in a retail store | |
US10360613B2 (en) | System and method for monitoring display unit compliance | |
JP2013238973A (en) | Purchase information management system, merchandise movement detection device and purchase information management method | |
US20120130920A1 (en) | Commodity processing supporting system and commodity processing supporting method | |
US20120130867A1 (en) | Commodity information providing system and commodity information providing method | |
JP2006270456A (en) | Information presentation system | |
KR20110125866A (en) | Method and apparatus for providing information through augmented reality | |
JP7251651B2 (en) | Augmented Reality Announcement Information Delivery System and Its Delivery Control Device, Method and Program | |
US20170300927A1 (en) | System and method for monitoring display unit compliance | |
US20220027952A1 (en) | Sales support system | |
JP2020009147A (en) | Information processor and information processing method | |
US20100273140A1 (en) | Apparel dressing system and method for assisting user to try on apparel item | |
Stoica | THE ROLE OF TECHNOLOGICAL INNOVATION IN MERCHANDISING | |
US20240135652A1 (en) | Augmented reality announcement information delivery system, and its delivery control apparatus, method, and program | |
JP2012123176A (en) | Advertisement providing system | |
CN112446759A (en) | Server device, mobile store, and information processing system | |
KR20140093074A (en) | Information search method in ESL System | |
JPWO2015166527A1 (en) | Display control apparatus, control method, program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130917 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140213 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5525401 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |