JP5525401B2 - Augmented reality presentation device, information processing system, augmented reality presentation method and program - Google Patents

Augmented reality presentation device, information processing system, augmented reality presentation method and program Download PDF

Info

Publication number
JP5525401B2
JP5525401B2 JP2010219619A JP2010219619A JP5525401B2 JP 5525401 B2 JP5525401 B2 JP 5525401B2 JP 2010219619 A JP2010219619 A JP 2010219619A JP 2010219619 A JP2010219619 A JP 2010219619A JP 5525401 B2 JP5525401 B2 JP 5525401B2
Authority
JP
Japan
Prior art keywords
information
article
image data
augmented reality
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010219619A
Other languages
Japanese (ja)
Other versions
JP2012073920A (en
Inventor
徹二 福島
和義 梅田
昇 庵原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NS Solutions Corp
Original Assignee
NS Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NS Solutions Corp filed Critical NS Solutions Corp
Priority to JP2010219619A priority Critical patent/JP5525401B2/en
Publication of JP2012073920A publication Critical patent/JP2012073920A/en
Application granted granted Critical
Publication of JP5525401B2 publication Critical patent/JP5525401B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な技術に関するものである。   The present invention relates to a technique capable of synthesizing and displaying an image in real space and computer graphics image data.

近年、高性能なRFIDタグが比較的安価に得られるようになり、普段の生活においても、例えば入退室管理、電子決済、カード型の定期券等、幅広い分野において利用されている。また、在庫管理においては、RFIDタグを在庫に付しておき、ロケーション毎に設置されたリーダによって、在庫の入出庫を検知した場合、システムの在庫データを自動的に更新できるようにすることで、リアルタイムに正確な在庫の状況を把握することができるようになる。   In recent years, high-performance RFID tags can be obtained at a relatively low cost, and are used in a wide range of fields such as entrance / exit management, electronic payment, card-type commuter pass, etc. even in everyday life. Also, in inventory management, RFID tags are attached to inventory, and when inventory entry / exit is detected by a reader installed at each location, system inventory data can be automatically updated. , You will be able to grasp the accurate inventory status in real time.

さらに、RFIDを食品のトレーサビリティに利用する試み等も行われており、野菜等に添付されたRFIDタグを、ユーザがリーダ機能付きの端末機器で読み取ると、RFIDタグに記憶されている識別情報に基づいて生産履歴や流通履歴を記憶したデータベースが検索され、ユーザは端末機器で、その野菜の生産履歴や流通履歴等を確認することができる。将来的に、RFIDタグのさらなる低価格やリーダの普及が進めば、今後、その用途はさらに広がるものと期待されている。   Furthermore, attempts have been made to use RFID for food traceability. When a user reads an RFID tag attached to a vegetable or the like with a terminal device having a reader function, the identification information stored in the RFID tag is displayed. Based on this, a database storing production history and distribution history is searched, and the user can check the production history, distribution history, and the like of the vegetable on the terminal device. In the future, the use of RFID tags at a lower price and the spread of readers are expected to further expand their uses.

例えば、特許文献1には、識別子が格納されて商品に付されたRFIDタグを、その商品を販売する上での広告宣伝媒体として活用するための商品宣伝方法が提案されている。より具体的には、商品を識別子で記憶したRFIDタグ付きの商品の購入者と販売店との間で宣伝契約が結ばれると、宣伝契約を結んだ購入者(宣伝契約者)がRFIDタグ付きの商品を身に付けて移動した際、宣伝契約者の身に付けている商品に興味をもった第三者が携帯端末等によってRFIDタグに記憶されている識別子を読み取る。識別子を読み取った第三者は、識別子に基づいてネットワーク経由で販促情報(商品名、定価、販売店、商品の品質)を取得し、商品の詳細を知ることができるというシステムが開示されている。   For example, Patent Literature 1 proposes a product promotion method for utilizing an RFID tag in which an identifier is stored and attached to a product as an advertising medium for selling the product. More specifically, when an advertising contract is made between a purchaser of a product with an RFID tag that stores the product as an identifier and a store, the purchaser (advertisement contractor) who has made the advertising contract has an RFID tag. When the user moves while wearing the product, a third party who is interested in the product worn by the advertising contractor reads the identifier stored in the RFID tag by the portable terminal or the like. A system is disclosed in which a third party who reads an identifier can obtain sales promotion information (product name, list price, sales outlet, product quality) via the network based on the identifier and know the details of the product. .

また、特許文献2には、人によって使用される様々な物品にRFIDタグが設けられており、タグ情報を読み取るために、携帯端末を物品に近づけたり、タグ情報読み取りアンテナの受信範囲とほぼ同じ視野範囲のビデオカメラで物品を捉えたりして、読み取ったタグ情報に基づいて取得されるタグ管理情報から商品情報が携帯端末に提供されるシステムが開示されている。   Also, in Patent Document 2, RFID tags are provided on various articles used by people, and in order to read tag information, the mobile terminal is brought close to the article, or the reception range of the tag information reading antenna is almost the same. A system is disclosed in which merchandise information is provided to a mobile terminal from tag management information acquired based on tag information obtained by capturing an article with a video camera in a visual field range.

特開2006−72645号公報JP 2006-72645 A 特開2003−157477号公報JP 2003-157477 A

しかしながら、特許文献1に開示される構成では、周囲に大勢の人がいるような混雑した場所において、第三者が携帯端末でRFIDタグから識別子を取得したとしても、第三者はあくまで識別子を表す文字列を携帯端末上で確認することができるに過ぎず、一体、周囲にいる誰が身に付けている商品の識別子なのか、直ぐに認識することができないという問題が生じる。このため、第三者は、商品を直接目で見て確認することができない場合も少なくないため、販売店にとっては十分な宣伝効果が得られない。また、第三者は、自分にとって必要のない商品の識別子を含めて取得する可能性があるが、直接商品を見ることができなければ、取得した識別子の要否を瞬時に判断することができない。   However, in the configuration disclosed in Patent Document 1, even if a third party obtains an identifier from an RFID tag with a mobile terminal in a crowded place where there are many people around, the third party only uses the identifier. The character string to be represented can only be confirmed on the portable terminal, and there is a problem that it is impossible to immediately recognize who is the identifier of the product worn by the person around. For this reason, there are many cases where a third party cannot visually confirm the product directly, so that a sufficient advertising effect cannot be obtained for the store. In addition, there is a possibility that a third party may acquire an identifier of a product that is not necessary for him / herself, but if the product cannot be viewed directly, the necessity of the acquired identifier cannot be determined instantaneously. .

特許文献2に開示される構成では、見ず知らずの人が身に付けているものに自身の携帯端末を近づけたり、タグ情報を読み取るためにビデオカメラで捉えたりしようとした場合、RFIDタグの付された商品を身に付けていない人にとっては非常に不快に感じられ、トラブルにも発展しかねないという問題が生じる。また、タグ情報を読み取る側にとっても、RFIDタグが付されているか否か不明な物品に携帯端末を接近させたり、ビデオカメラを向けたりするのは気軽にできることではない。   In the configuration disclosed in Patent Document 2, an RFID tag is attached when an attempt is made to bring the mobile terminal close to something worn by a stranger or to capture the tag information with a video camera. The problem arises that people who don't wear these products feel very uncomfortable and can develop trouble. Also, it is not easy for the side reading the tag information to bring the mobile terminal close to an article whose RFID tag is unknown or to point the video camera.

そこで、本発明の目的は、人に不快感を与えることなく物品の識別情報を取得するとともに、その物品に係る情報が誰の物品に関するものであるのか容易に認識できるようにすることにある。   Accordingly, an object of the present invention is to acquire identification information of an article without causing discomfort to a person, and to easily recognize who the article relates to the information related to the article.

本発明の拡張現実感提示装置は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置であって、位置が変動する物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取手段と、前記識別情報に対応する前記物品に係る情報を取得する取得手段と、前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする。
本発明の情報処理システムの第1の態様は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示bさせることが可能な拡張現実感提示装置と、位置が変動する物品に係る情報を管理する管理装置とを有する情報処理システムであって、前記拡張現実感提示装置は、前記物品に付された情報送信装置から、前記物品を識別するための識別情報を読み取る読取手段と、前記識別情報に対応する前記物品に係る情報を前記管理装置から取得する取得手段と、前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、前記物品に係る情報を示すコンピューグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする。
本発明の情報処理システムの第2の態様は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、位置が変動する物品に係る情報を管理する管理装置と、所定のエリアに設置され、前記所定のエリア内に位置する前記物品に付された情報送信装置から前記物品を識別するための識別情報を受信する読取装置と、前記読取装置による前記識別情報の受信強度に基づいて前記所定のエリアにおける前記物品の位置情報を算出する位置特定装置とを有する情報処理システムであって、前記位置特定装置は、前記読取装置から前記識別情報の受信強度情報を受信する受信手段と、前記受信強度情報に基づいて、前記所定のエリア内における前記物品の位置情報を算出する位置算出手段と、前記位置算出手段により算出された前記物品の位置情報を前記管理装置に送信する送信手段とを有し、前記拡張現実感提示装置は、前記情報送信装置から前記識別情報を読み取る読取手段と、前記識別情報に対応する前記物品に係る情報及び前記物品の位置情報を前記管理装置から取得する取得手段と、前記物品の位置情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、前記物品に係る情報を示すコンピューグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする。
本発明の拡張現実感提示方法は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、位置が変動する物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取ステップと、前記識別情報に対応する前記物品に係る情報を取得する取得ステップと、前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定ステップと、前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定ステップにより特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示ステップとを有することを特徴とする。
本発明のプログラムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、位置が変動する物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取ステップと、前記識別情報に対応する前記物品に係る情報を取得する取得ステップと、前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定ステップと、前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定ステップにより特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示ステップとをコンピュータに実行させることを特徴とする。
The augmented reality presentation apparatus according to the present invention is an augmented reality presentation apparatus capable of combining and displaying a video of real space and computer graphics image data, and is information attached to an article whose position varies. Reading means for reading identification information for identifying the article from the transmission device, acquisition means for obtaining information related to the article corresponding to the identification information, and position of the terminal device possessed by the user moving with the article the based on the information shown, specifying means for specifying the position of the article in the real space, to place the computer graphics image data indicating information relating to the article in a position aligned with the identified location by the specifying means In this way, the computer graphics image data and a real space image are combined and presented. .
According to a first aspect of the information processing system of the present invention, an augmented reality presentation device capable of combining and displaying real space video and computer graphics image data, and information related to an article whose position varies. An information processing system having a management device for managing the information, wherein the augmented reality presentation device reads the identification information for identifying the article from the information transmission device attached to the article; obtaining means for obtaining information related to the article corresponding to the identification information from the management device, based on the information indicating the position of the terminal device owned by the user to move with the article, the position of the article in real space The specifying means for specifying and the computer graphics image data indicating the information relating to the article are arranged at a position that matches the position specified by the specifying means. As, and having a presenting means for presenting by synthesizing the image of the computer graphics image data and the real space.
According to a second aspect of the information processing system of the present invention, there is provided an augmented reality presentation device capable of combining and displaying a video of real space and computer graphics image data, and information relating to an article whose position varies. A management device for management, a reading device that is installed in a predetermined area and receives identification information for identifying the article from an information transmission device attached to the article located in the predetermined area; and the reading device An information processing system that calculates position information of the article in the predetermined area based on a reception intensity of the identification information by the information processing apparatus, wherein the position specifying device receives the identification information from the reading device. Receiving means for receiving received intensity information, and position calculating means for calculating position information of the article in the predetermined area based on the received intensity information A transmission unit that transmits the position information of the article calculated by the position calculation unit to the management device, and the augmented reality presentation device reads the identification information from the information transmission device; Acquisition means for acquiring information on the article corresponding to the identification information and position information of the article from the management device; and specifying means for specifying the position of the article in a real space based on the position information of the article; And presenting the computer graphics image data and the video in the real space so that the computer graphics image data indicating the information related to the article is arranged at a position that matches the position specified by the specifying means. And presenting means.
An augmented reality presentation method of the present invention is an augmented reality presentation method executed by an augmented reality presentation apparatus capable of combining and displaying a video of a real space and computer graphics image data, A reading step of reading identification information for identifying the article from an information transmitting device attached to the article whose fluctuates, an acquisition step of acquiring information relating to the article corresponding to the identification information, and movement with the article based on the information indicating the position of the terminal device possessed by the user to, identified and specifying step of specifying the position of the article in the real space, by the specifying step the computer graphics image data indicating information relating to said article The computer graphics image data and the real space video And having a presenting step of presenting to synthesize.
The program of the present invention is a program for causing a computer to execute an augmented reality presentation method executed by an augmented reality presentation apparatus capable of combining and displaying a video of real space and computer graphics image data. A reading step of reading identification information for identifying the article from an information transmission device attached to the article whose position varies; an acquisition step of acquiring information relating to the article corresponding to the identification information; based on the information indicating the position of the terminal device owned by the user to move together with the article, and specifying step of specifying the position of the article in real space, the specific computer graphics image data indicating information relating to said article The computer graph to be placed at a position that matches the position identified by the step Characterized in that to execute a presentation step of presenting by synthesizing the image of the box the image data and the real space in the computer.

本発明によれば、人に不快感を与えることなく物品の識別情報を取得するとともに、その物品に係る情報が誰の物品に関するものであるのか容易に認識することが可能となる。   According to the present invention, it is possible to acquire identification information of an article without causing discomfort to a person, and to easily recognize who the article relates to the information related to the article.

本発明の実施形態に係る街中広告システムの構成を概略的に示す図である。It is a figure showing roughly composition of a street advertising system concerning an embodiment of the present invention. HMDのレンズ部分において、現実空間の映像にコンピュータグラフィックス画像データが合成表示された状態の例を示す図である。It is a figure which shows the example of the state by which the computer graphics image data was synthesize | combined and displayed on the image | video of real space in the lens part of HMD. 本発明の実施形態に係るHMDのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of HMD which concerns on embodiment of this invention. 本発明の実施形態におけるHMDの処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of HMD in embodiment of this invention. 本発明の実施形態に係る街中広告システムの構成を概略的に示す図である。It is a figure showing roughly composition of a street advertising system concerning an embodiment of the present invention. 本発明の実施形態におけるHMDの処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of HMD in embodiment of this invention. 本発明の実施形態に係る街中広告システムの構成を概略的に示す図である。It is a figure showing roughly composition of a street advertising system concerning an embodiment of the present invention.

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.

先ず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係る街中広告システムの構成を概略的に示す図である。図1に示すように、本実施形態に係る街中広告システムは、通行人が所持するGPS機能を備えた携帯端末101と、通行人が身に着けているRFIDタグ106付きの商品(ここでは、シャツ)102に係る情報(以下、商品情報と称す)を管理する商品サーバ103と、ユーザの頭部に装着される眼鏡型のHMD(Head Mounted Display)104とで構成される。なお、図1においては、説明の簡便のため、携帯端末101、商品サーバ103及びHMD104をそれぞれ一つずつ示しているが、実際には、それぞれが任意数あって構わない。また、以下の説明において、RFIDタグ付きの商品を身に着けている通行人とは、当該商品の販売店と宣伝契約を結んだ購入者を想定している。   First, a first embodiment of the present invention will be described. FIG. 1 is a diagram schematically showing the configuration of a street advertising system according to the first embodiment of the present invention. As shown in FIG. 1, the street advertising system according to the present embodiment includes a portable terminal 101 having a GPS function possessed by a passer-by and a product with an RFID tag 106 worn by the passer-by (here, The product server 103 manages information related to the shirt 102 (hereinafter referred to as product information), and a glasses-type HMD (Head Mounted Display) 104 worn on the user's head. In FIG. 1, for convenience of explanation, one mobile terminal 101, one merchandise server 103, and one HMD 104 are shown, but there may actually be an arbitrary number of each. In the following description, a passerby wearing a product with an RFID tag is assumed to be a purchaser who has signed an advertising contract with a store of the product.

HMD104は、商品情報を示すコンピュータグラフィックス画像データを、現実空間の映像と合成して表示する。即ち、HMD104は、光学的に透過してHMDのレンズ104aに映し出される現実空間の映像に整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を演出する。以下の説明では、このように拡張された現実感を与えるコンピュータグラフィックス画像データの合成表示を、AR(Augmented Reality)表示と称することがある。なお、HMD104には、非透過型、ビデオ透過型、光学透過型等の様々な方式がある。合成表示(AR表示)とは、いずれかの方式によってHMDのレンズ104aに映し出される現実空間の映像に対し、その映像に整合する位置にコンピュータグラフィックス画像データを合成表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データが合成表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データが合成表示される。   The HMD 104 synthesizes and displays computer graphics image data indicating product information with an image in real space. That is, the HMD 104 produces an expanded sense of reality by displaying computer graphics image data at a position that matches an image in the real space that is optically transmitted and projected on the HMD lens 104a. In the following description, the combined display of computer graphics image data that gives an expanded sense of reality may be referred to as AR (Augmented Reality) display. The HMD 104 has various methods such as a non-transmissive type, a video transmissive type, and an optical transmissive type. The composite display (AR display) is to display computer graphics image data in a position that matches the image of the real space image displayed on the HMD lens 104a by any method, for example, In the case of the optical transmission type, computer graphics image data is synthesized and displayed at a position that matches the real space image seen through, and in the case of the video transmission type, the real space image taken by the video camera is displayed. The computer graphics image data is synthesized and displayed at a position that matches the position.

なお、本実施形態においては、AR表示を行うデバイスであるAR表示デバイスの例として眼鏡型のHMD104を挙げているが、これに限られない。例えば、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示された現実空間の映像にコンピュータグラフィックス画像データを合成表示するような携帯端末型のAR表示デバイスでもよいし、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のAR表示デバイスであってもよい。また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、本実施形態においては、HMD104の位置(緯度、経度)と姿勢(方向、仰角)とに基づいてHMD104を装着したユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成する。   In the present embodiment, the eyeglass-type HMD 104 is cited as an example of an AR display device that performs AR display, but the present invention is not limited to this. For example, a mobile terminal AR display device that displays a real-space image captured by a camera on a liquid crystal display or the like, and displays and displays computer graphics image data on the displayed real-space image may be used. It may be a head-up display AR display device that is installed in the line-of-sight direction of the driver's seat of the vehicle and displays computer graphics image data in a composite image of real space that is optically transmitted and projected. In addition, when computer graphics image data is displayed in alignment with an image in the real space, coordinates between the object in the image in the real space and the computer graphics image data are performed. As a method of coordinate alignment, in this embodiment, based on the position (latitude, longitude) and posture (direction, elevation angle) of the HMD 104, it is estimated where the user wearing the HMD 104 is looking in the real space, Computer graphics image data is synthesized to match the estimated position.

通行人が所持するGPS機能付きの携帯端末101は、GPS衛星105a、105bから受信するデータに基づいて当該携帯端末101の位置情報(ここでは、緯度、経度)を算出する。また、携帯端末101内には、現在通行人が身に着けている商品102のID情報が格納されている。ID情報は、商品102に取り付けられているRFIDタグ106から携帯端末10のリーダ機能によって読み取ってもよいし、通行人が携帯端末101を操作することにより商品102のID情報を入力してもよい。携帯端末101は、算出した最新の位置情報を商品102のID情報とともに商品サーバ103に対して送信する。なお、携帯端末101から商品サーバ103に対して最新の位置情報を送信する処理は、所定の時間間隔毎に行ってもよいし、携帯端末101が最新の位置情報を算出する度に行ってもよい。   The mobile terminal 101 with a GPS function possessed by a passerby calculates position information (latitude and longitude in this case) of the mobile terminal 101 based on data received from the GPS satellites 105a and 105b. Also, in the portable terminal 101, ID information of a product 102 currently worn by a passerby is stored. The ID information may be read from the RFID tag 106 attached to the product 102 by the reader function of the mobile terminal 10, or the passerby may input the ID information of the product 102 by operating the mobile terminal 101. . The mobile terminal 101 transmits the calculated latest position information to the product server 103 together with the ID information of the product 102. Note that the process of transmitting the latest position information from the mobile terminal 101 to the product server 103 may be performed at predetermined time intervals or whenever the mobile terminal 101 calculates the latest position information. Good.

商品サーバ103は、商品毎(ID情報毎)に商品情報103aを管理する。商品サーバ103は、携帯端末101から位置情報及びID情報を受信すると、当該ID情報の商品情報内における位置情報を、携帯端末101から受信した最新の位置情報に更新する。なお、商品情報は、位置情報のほか、当該商品の商品名、ブランド、販売店、価格、在庫情報等によって構成される。   The product server 103 manages the product information 103a for each product (for each ID information). When the product server 103 receives the position information and the ID information from the mobile terminal 101, the product server 103 updates the position information in the product information of the ID information to the latest position information received from the mobile terminal 101. In addition to the location information, the product information includes a product name, a brand, a store, a price, inventory information, and the like of the product.

ユーザが装着するHMD104は、RFIDリーダの機能を備えており、RFIDタグ106付きの商品102を身に着けた通行人がユーザの近くにくると、HMD104の通信I/Fコントローラ104bの制御により自動的にRFIDタグ106から商品102のID情報を読み取る。これにより、通行人に不快感を与えることなく、商品102のID情報を取得することができる。また、HMD104の通信I/Fコントローラ104bは、RFIDタグ106からID情報を読み取ると、商品サーバ103に対して当該ID情報を送信する。   The HMD 104 worn by the user has an RFID reader function. When a passerby who wears the product 102 with the RFID tag 106 comes close to the user, the HMD 104 automatically controls by the communication I / F controller 104b of the HMD 104. Specifically, the ID information of the product 102 is read from the RFID tag 106. Thereby, the ID information of the product 102 can be acquired without causing discomfort to the passerby. When the communication I / F controller 104 b of the HMD 104 reads the ID information from the RFID tag 106, the communication I / F controller 104 b transmits the ID information to the product server 103.

商品サーバ103は、HMD104からID情報を受信すると、当該ID情報の商品情報をHMD104に対して返信する。HMD104は、商品情報を受信すると、HMD104の位置及び姿勢に基づいてユーザが現実空間のどこを見ているかを推定し、推定した位置が商品情報内の位置情報で示される位置と合致する場合、ユーザが商品102を見ていると判定する。   When the merchandise server 103 receives the ID information from the HMD 104, it returns the merchandise information of the ID information to the HMD 104. When the HMD 104 receives the product information, the HMD 104 estimates where the user is looking in the real space based on the position and orientation of the HMD 104, and if the estimated position matches the position indicated by the position information in the product information, It is determined that the user is looking at the product 102.

HMD104は、ユーザが商品102を見ていると判定すると、その商品102の位置に整合するように、現実空間の映像に商品情報を示すコンピュータグラフィックス画像データを合成する。   When the HMD 104 determines that the user is looking at the product 102, the HMD 104 synthesizes computer graphics image data indicating the product information with the video in the real space so as to match the position of the product 102.

図2は、HMDのレンズ部分104aにおいて、現実空間の映像にコンピュータグラフィックス画像データが合成表示された状態の例を示す図である。図2に示すように、HMD104は、現実空間における商品102の映像に整合する位置、即ち、当該商品102の近傍に商品情報を示すコンピュータグラフィックス画像データ201を合成表示する。これにより、ユーザは、どの商品の商品情報が表示されているかを容易に認識することができる。ここでは、商品102の近傍にコンピュータグラフィックス画像データ201を合成させているが、商品102に重畳する位置に半透明のコンピュータグラフィックス画像データ102を合成させ、コンピュータグラフィックス画像データ201を通して商品102が見えるように表示してもよい。   FIG. 2 is a diagram illustrating an example of a state in which computer graphics image data is synthesized and displayed on an image in real space in the lens portion 104a of the HMD. As shown in FIG. 2, the HMD 104 synthesizes and displays computer graphics image data 201 indicating product information at a position matching the video of the product 102 in the real space, that is, in the vicinity of the product 102. Thereby, the user can easily recognize which product information of the product is displayed. Here, the computer graphics image data 201 is synthesized in the vicinity of the product 102, but the translucent computer graphics image data 102 is synthesized at a position to be superimposed on the product 102, and the product 102 is passed through the computer graphics image data 201. You may display so that can be seen.

図3は、本実施形態に係るHMD104のハードウェア構成を示す図である。図3において、CPU301は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ROM302には、HMD104が実行する例えば図4に示す処理のプログラム等が記憶されている。通信I/Fコントローラ104bは、無線通信回線と接続し、外部との通信を制御するものである。   FIG. 3 is a diagram illustrating a hardware configuration of the HMD 104 according to the present embodiment. In FIG. 3, a CPU 301 comprehensively controls each device and controller connected to the system bus. The ROM 302 stores, for example, a program for the processing shown in FIG. The communication I / F controller 104b is connected to a wireless communication line and controls communication with the outside.

ディスプレイコントローラ304は、レンズ104aにおける画像表示を制御する。本実施形態では、光学透過型のヘッドマウントディスプレイを採用しており、レンズ104aはハーフミラーで構成され、装着したユーザはレンズ104aを介して外の様子を見ることができる。   The display controller 304 controls image display on the lens 104a. In this embodiment, an optically transmissive head-mounted display is employed, the lens 104a is formed of a half mirror, and the user who wears the camera can view the outside through the lens 104a.

図4は、本実施形態におけるHMD104の処理の流れを示すフローチャートである。以下、図1及び図4を参照しながら、本実施形態におけるHMD104の処理について説明する。   FIG. 4 is a flowchart showing the flow of processing of the HMD 104 in the present embodiment. Hereinafter, the processing of the HMD 104 in the present embodiment will be described with reference to FIGS. 1 and 4.

HMD104は、商品102に取り付けられたRFIDタグ106からID情報を受信したか否かを判定する(ステップS101)。ID情報を受信していない場合、HMD104はID情報を受信するまで待機する。一方、ID情報を受信すると、HMD104は、ID情報を商品サーバ103に送信することにより、当該ID情報に対応する商品情報を商品サーバ103に対して問い合わせる(ステップS102)。   The HMD 104 determines whether or not ID information has been received from the RFID tag 106 attached to the product 102 (step S101). If the ID information is not received, the HMD 104 waits until the ID information is received. On the other hand, when receiving the ID information, the HMD 104 sends the ID information to the product server 103 to inquire the product server 103 about the product information corresponding to the ID information (step S102).

続いて、HMD104は、当該ID情報に対応する商品情報を商品サーバ103から取得したか否かを判定する(ステップS103)。商品情報を取得していない場合、HMD104は商品情報を受信するまで待機する。一方、商品情報を受信すると、HMD104は、当該商品をユーザが見ているか否かを判定する(ステップS104)。   Subsequently, the HMD 104 determines whether or not the product information corresponding to the ID information has been acquired from the product server 103 (step S103). If product information has not been acquired, the HMD 104 waits until product information is received. On the other hand, when receiving the product information, the HMD 104 determines whether or not the user is viewing the product (step S104).

ユーザが当該商品102を見ていないと判定された場合、HMD104は、ユーザが当該商品102を見ていると判定するまでステップS104の判定を繰り返す。一方、ユーザが当該商品102を見ていると判定された場合、HMD104は、レンズ104a上において、商品情報を示すコンピュータグラフィックス画像データを当該商品102の映像の近傍に合成表示する(ステップS105)。   When it is determined that the user is not viewing the product 102, the HMD 104 repeats the determination in step S104 until it is determined that the user is viewing the product 102. On the other hand, if it is determined that the user is looking at the product 102, the HMD 104 synthesizes and displays computer graphics image data indicating product information on the lens 104a in the vicinity of the video of the product 102 (step S105). .

次に、本発明の第2の実施形態について説明する。第1の実施形態において、通行人が所持する携帯端末101は、当該携帯端末101の位置情報を算出すると、位置情報を商品サーバ103に対して送信し、商品サーバ103内において位置情報を管理させている。これに対し、第2の実施形態では、通行人が所持する携帯端末101の位置情報を商品サーバ103ではなく、RFIDタグ106内で管理する。即ち、第2の実施形態では、通行人が所持する携帯端末101は、当該携帯端末101の位置情報を算出すると、RFIDタグ106に対してその位置情報を送信する。RFIDタグ106では、受信した位置情報を内部に記録する。ユーザが当該通行人の近くを通ると、ユーザが装着するHMD104は、RFIDタグ106から商品のID情報とともに位置情報を読み取る。HMD104は、RFIDタグ106からID情報及び位置情報を読み取ると、商品サーバ103に対して当該ID情報を送信する。   Next, a second embodiment of the present invention will be described. In the first embodiment, the portable terminal 101 possessed by the passerby calculates the position information of the portable terminal 101, transmits the position information to the product server 103, and manages the position information in the product server 103. ing. On the other hand, in the second embodiment, the position information of the portable terminal 101 possessed by the passerby is managed not in the product server 103 but in the RFID tag 106. That is, in the second embodiment, the portable terminal 101 possessed by the passerby calculates the position information of the portable terminal 101 and transmits the position information to the RFID tag 106. The RFID tag 106 records the received position information inside. When the user passes near the passerby, the HMD 104 worn by the user reads position information together with product ID information from the RFID tag 106. When the HMD 104 reads the ID information and the position information from the RFID tag 106, the HMD 104 transmits the ID information to the product server 103.

商品サーバ103は、HMD104からID情報を受信すると、当該ID情報の商品情報をHMD104に対して送信する。HMD104は、商品情報を受信すると、HMD104の位置及び姿勢に基づいてユーザが現実空間のどこを見ているかを推定し、推定した位置がHMD104内に記録されている商品102の位置情報で示される位置と合致する場合、ユーザが商品102を見ていると判定する。   When the merchandise server 103 receives the ID information from the HMD 104, the merchandise server 103 transmits the merchandise information of the ID information to the HMD 104. When the HMD 104 receives the product information, the HMD 104 estimates where the user is looking in the real space based on the position and orientation of the HMD 104, and the estimated position is indicated by the position information of the product 102 recorded in the HMD 104. If it matches the position, it is determined that the user is looking at the product 102.

HMD104は、ユーザが商品102を見ていると判定すると、その商品102の位置に整合するように、現実空間の映像に商品情報を示すコンピュータグラフィックス画像データを合成する。これにより、第2の実施形態で説明した手法によっても、人に不快感を与えることなく商品102のID情報を取得するとともに、合成表示された商品情報が誰の商品に関するものであるのか容易に認識することができる。   When the HMD 104 determines that the user is looking at the product 102, the HMD 104 synthesizes computer graphics image data indicating the product information with the video in the real space so as to match the position of the product 102. Thereby, even by the method described in the second embodiment, the ID information of the product 102 can be acquired without causing discomfort to the person, and the product information displayed in combination can be easily related to the product. Can be recognized.

なお、第1、第2の実施形態においては、携帯端末101がGPS機能により当該携帯端末101の位置情報を算出し、それを商品102の位置情報と看做しているが、RFIDタグ106自体がGPS機能により自らの位置情報を算出することができれば、第1、第2の実施形態における携帯端末101の役割をRFID106に代替させることが可能となる。   In the first and second embodiments, the portable terminal 101 calculates the position information of the portable terminal 101 by the GPS function and regards it as the position information of the product 102. However, the RFID tag 106 itself If the position information can be calculated by the GPS function, the role of the portable terminal 101 in the first and second embodiments can be replaced with the RFID 106.

次に、本発明の第3の実施形態について説明する。図5は、本発明の第3の実施形態に係る街中広告システムの構成を概略的に示す図である。図5に示すように、本実施形態に係る街中広告システムは、通行人が身に着けている商品502の商品情報503aを管理する商品サーバ503と、ユーザの頭部に装着されるHMD504とで構成される。HMD504には、ユーザの視界に近い画角で画像データを撮影することができるように小型カメラ504cが取り付けられている。即ち、本実施形態では、図3に示すハードウェア構成に小型カメラ504cが追加されたHMD504をユーザが装着する。なお、図5においては、説明の簡便のため、商品サーバ503及びHMD504をそれぞれ一つずつ示しているが、実際には、それぞれが任意数あって構わない。   Next, a third embodiment of the present invention will be described. FIG. 5 is a diagram schematically showing the configuration of a street advertising system according to the third embodiment of the present invention. As shown in FIG. 5, the street advertising system according to the present embodiment includes a product server 503 that manages product information 503a of a product 502 worn by a passerby, and an HMD 504 that is worn on the user's head. Composed. A small camera 504c is attached to the HMD 504 so that image data can be taken at an angle of view close to the user's field of view. That is, in this embodiment, the user wears the HMD 504 in which the small camera 504c is added to the hardware configuration shown in FIG. In FIG. 5, for convenience of explanation, one product server 503 and one HMD 504 are shown, but there may actually be an arbitrary number of each.

また、本実施形態においても商品サーバ503は、商品毎(ID情報毎)に商品情報503aを管理するが、本実施形態における商品情報503aには、商品の位置情報の代わりに商品の画像データが含まれる。   Also in this embodiment, the product server 503 manages the product information 503a for each product (for each ID information). In the product information 503a in this embodiment, product image data is used instead of product position information. included.

図6は、本実施形態におけるHMD504の処理の流れを示すフローチャートである。以下、図5及び図6を参照しながら、本実施形態におけるHMD504の処理について説明する。   FIG. 6 is a flowchart showing the flow of processing of the HMD 504 in the present embodiment. Hereinafter, the processing of the HMD 504 in the present embodiment will be described with reference to FIGS. 5 and 6.

HMD504は、商品に取り付けられたRFIDタグ506からID情報を受信したか否かを判定する(ステップS201)。ID情報を受信していない場合、HMD504はID情報を受信するまで待機する。一方、ID情報を受信すると、HMD504は、ID情報を商品サーバ503に対して送信することにより、当該ID情報に対応する商品情報を商品サーバ503に対して問い合わせる(ステップS202)。   The HMD 504 determines whether ID information is received from the RFID tag 506 attached to the product (step S201). If the ID information is not received, the HMD 504 waits until the ID information is received. On the other hand, when receiving the ID information, the HMD 504 inquires the product server 503 about product information corresponding to the ID information by transmitting the ID information to the product server 503 (step S202).

続いてHMD504は、当該ID情報に対応する商品情報を商品サーバ503から取得したか否かを判定する(ステップS203)。商品情報を取得していない場合、HMD504は商品情報を受信するまで待機する。一方、商品情報を受信すると、HMD504は、商品情報に含まれる商品の画像データと小型カメラ504cによって撮影されている画像データとを照合する(ステップS204)。続いてHMD504は、商品の画像データと合致する画像が小型カメラ504cによって撮影されている画像データ内に存在するか否かを判定する(ステップS205)。   Subsequently, the HMD 504 determines whether or not product information corresponding to the ID information has been acquired from the product server 503 (step S203). If product information has not been acquired, the HMD 504 waits until product information is received. On the other hand, when the product information is received, the HMD 504 collates the product image data included in the product information with the image data captured by the small camera 504c (step S204). Subsequently, the HMD 504 determines whether an image that matches the image data of the product exists in the image data captured by the small camera 504c (step S205).

商品の画像データと合致する画像が存在しない場合、HMD504は、商品の画像データと合致する画像が検出するまでステップS205の判定処理を繰り返す。一方、商品の画像データと合致する画像が存在する場合、HMD504は、レンズ104a上において、商品の画像データと合致する画像(当該商品の画像)の近傍に商品情報を示すコンピュータグラフィックス画像データを合成表示する(ステップS206)。このとき、商品情報に含まれる当該商品の画像データは、表示するコンピュータグラフィックス画像データに含めてもよいし、除外してもよい。   If there is no image that matches the product image data, the HMD 504 repeats the determination processing in step S205 until an image that matches the product image data is detected. On the other hand, if there is an image that matches the product image data, the HMD 504 displays computer graphics image data indicating product information in the vicinity of the image that matches the product image data (the product image) on the lens 104a. The combined display is performed (step S206). At this time, the image data of the product included in the product information may be included in or excluded from the computer graphics image data to be displayed.

以上により、第3の実施形態で説明した手法によっても、人に不快感を与えることなく商品502のID情報を取得するとともに、合成表示された商品情報が誰の商品に関するものであるのか容易に認識することができる。   As described above, even with the method described in the third embodiment, the ID information of the product 502 is acquired without causing discomfort to the person, and it is easy to determine which product information the synthesized product information relates to. Can be recognized.

次に、本発明の第4の実施形態について説明する。図7は、本発明の第4の実施形態に係る街中広告システムの構成を概略的に示す図である。図7に示すように、本実施形態に係る街中広告システムは、通行人が身に着けている商品の商品情報を管理する商品サーバ703と、ユーザの頭部に装着されるHMD704と、通行人が身に着けている商品702に取り付けられているRFIDタグ706からのID情報を受信するとともに、ID情報の受信強度を測定するRFIDリーダ707a〜dと、RFIDリーダ707a〜dによって測定されたID情報の受信強度からRFIDタグ706の位置を特定する位置特定サーバ703とを備える。なお、本実施形態におけるHMD704のハードウェア構成は、図3に示した第1の実施形態におけるHMD104のハードウェア構成と同様であり、小型カメラは省いた構成となっている。また、図7においては、説明の簡便のため、位置特定サーバ708、商品サーバ703及びHMD704をそれぞれ一つずつ示しているが、実際には、それぞれが任意数あって構わない。   Next, a fourth embodiment of the present invention will be described. FIG. 7 is a diagram schematically showing a configuration of a street advertising system according to the fourth embodiment of the present invention. As shown in FIG. 7, the street advertising system according to the present embodiment includes a product server 703 that manages product information of products worn by passers-by, a HMD 704 that is worn on the user's head, and passers-by. The RFID readers 707a to 707d receive the ID information from the RFID tag 706 attached to the product 702 worn by the user and measure the reception strength of the ID information, and the IDs measured by the RFID readers 707a to 707d A position specifying server 703 that specifies the position of the RFID tag 706 from the received intensity of information. Note that the hardware configuration of the HMD 704 in the present embodiment is the same as the hardware configuration of the HMD 104 in the first embodiment shown in FIG. 3, and a small camera is omitted. In FIG. 7, for convenience of explanation, one location specifying server 708, one product server 703, and one HMD 704 are shown, but in practice, there may be an arbitrary number of each.

図7に示すように、本実施形態においては、或るエリアAには4本のRFIDリーダ707a〜dが配置されている。図7では、一つのエリアAにつき4本のRFIDリーダは配置された例を示しているが、RFIDリーダの数量に制限はなく、一つのエリアAにつき任意数のRFIDリーダを設置することができる。ここでは、エリアAとして或る駅前の広場やイベント会場等の一定範囲のエリアを想定している。   As shown in FIG. 7, in this embodiment, four RFID readers 707a to 707d are arranged in a certain area A. FIG. 7 shows an example in which four RFID readers are arranged in one area A, but the number of RFID readers is not limited, and an arbitrary number of RFID readers can be installed in one area A. . Here, it is assumed that the area A is a certain area such as a plaza in front of a station or an event venue.

各RFIDリーダ707a〜dは、RFIDタグ706付きの商品702を身に着けた通行人がエリアAに侵入すると、RFIDタグ706からID情報を読み取る。そして各RFIDリーダ707a〜dは、ID情報の受信強度を夫々測定し、ID情報とともに受信強度情報を位置特定サーバ708に対して送信する。   Each RFID reader 707a to 707d reads ID information from the RFID tag 706 when a passer-by wearing a product 702 with the RFID tag 706 enters the area A. Each of the RFID readers 707a to 707d measures the reception intensity of the ID information, and transmits the reception intensity information together with the ID information to the position specifying server 708.

位置特定サーバ708は、各RFIDリーダ707a〜dから受信強度情報を受信すると、それらの受信強度情報に基づいてRFIDタグ706のエリアA内における座標情報を算出する。即ち、位置特定サーバ708は、例えば、受信強度情報により示される受信強度に応じて、RFIDリーダ707a〜d毎に、RFIDリーダからRFIDタグ706までの距離を算出し、各RFIDリーダ707a〜dからの距離の組み合わせに該当する座標情報を、エリアA内におけるRFIDタグ706の座標情報として算出する。位置特定サーバ708は、エリアA内における座標情報を算出すると、当該ID情報とともに座標情報及びエリアAを示すエリア情報を商品サーバ703に対して送信する。   When receiving the reception intensity information from each of the RFID readers 707a to 707d, the position specifying server 708 calculates coordinate information in the area A of the RFID tag 706 based on the reception intensity information. That is, for example, the position specifying server 708 calculates the distance from the RFID reader to the RFID tag 706 for each RFID reader 707a to 707d according to the reception intensity indicated by the reception intensity information. The coordinate information corresponding to the combination of the distances is calculated as the coordinate information of the RFID tag 706 in the area A. When the position specifying server 708 calculates the coordinate information in the area A, the position specifying server 708 transmits the coordinate information and the area information indicating the area A to the product server 703 together with the ID information.

また、本実施形態においては、HMD704には、RFIDタグが備えられており、各RFIDリーダ707a〜dは、HMD704のRFIDタグについても、当該RFIDタグを識別可能なID情報を読み取ると共に、受信強度を夫々測定し、ID情報とともに受信強度情報を位置特定サーバ708に対して送信する。そして、位置特定サーバ708は、HMD704のRFIDタグのエリアA内における座標情報(すなわち、HMD704の位置座標)を算出し、算出した座標情報をHMD704に対して送信する。   In the present embodiment, the HMD 704 is provided with an RFID tag, and each of the RFID readers 707a to 707d reads ID information that can identify the RFID tag and also receives the reception intensity of the RFID tag of the HMD 704. And the received intensity information together with the ID information is transmitted to the position specifying server 708. Then, the position specifying server 708 calculates coordinate information (that is, position coordinates of the HMD 704) in the area A of the RFID tag of the HMD 704, and transmits the calculated coordinate information to the HMD 704.

なお、RFIDタグ706の座標情報を算出する方法は上述の方法に限定されない。例えば、RFIDリーダをエリアAの床や天井などに細かい間隔で格子状に設置しておけば、受信強度から距離を算出する代わりに、受信強度の大小関係を用いて、位置や方向を絞り込むことで座標情報を算出することができる。   Note that the method for calculating the coordinate information of the RFID tag 706 is not limited to the above-described method. For example, if RFID readers are installed in a grid at fine intervals on the floor or ceiling of Area A, instead of calculating the distance from the received intensity, the position and direction can be narrowed down using the magnitude relationship of the received intensity. Coordinate information can be calculated.

あるいは、受信強度の代わりに、RFIDタグ706からID情報を読み取ったときの時刻を用いて座標情報を算出する構成であってもよい。すなわち、各RFIDリーダ707a〜dは、RFIDタグ706からID情報を読み取るときに、ID情報の受信時刻を夫々記憶し、ID情報とともに受信時刻情報を位置特定サーバ708に対して送信する。そして、位置特定サーバ708は、各RFIDリーダ707a〜dから受信時刻情報を受信すると、それらの受信時刻情報に基づいて、受信時刻の差からRFIDタグ706のエリアA内における座標情報を算出することができる。   Alternatively, the coordinate information may be calculated using the time when the ID information is read from the RFID tag 706 instead of the reception intensity. That is, each RFID reader 707a to 707d stores the reception time of the ID information when reading the ID information from the RFID tag 706, and transmits the reception time information together with the ID information to the location specifying server 708. Then, when receiving the reception time information from each of the RFID readers 707a to 707d, the position specifying server 708 calculates the coordinate information in the area A of the RFID tag 706 from the difference of the reception times based on the reception time information. Can do.

商品サーバ703は、ID情報、座標情報及びエリア情報を位置特定サーバ708から受信すると、当該ID情報の商品情報において、座標情報及びエリア情報を記録する。   Upon receiving the ID information, the coordinate information, and the area information from the position specifying server 708, the product server 703 records the coordinate information and the area information in the product information of the ID information.

本実施形態において、ユーザが装着するHMD704は、RFIDタグ706付きの商品702を身に着けた通行人がユーザの近くにくると、HMD704の通信I/Fコントローラ104bの制御によって自動的にRFIDタグ706から商品702のID情報を読み取る。HMD704は、RFIDタグ706からID情報を読み取ると、商品サーバ703に対して当該ID情報を送信する。   In this embodiment, the HMD 704 worn by the user is automatically controlled by the control of the communication I / F controller 104b of the HMD 704 when a passerby who wears the product 702 with the RFID tag 706 comes close to the user. The ID information of the product 702 is read from 706. When the HMD 704 reads the ID information from the RFID tag 706, the HMD 704 transmits the ID information to the product server 703.

商品サーバ703は、HMD704からID情報を受信すると、当該ID情報の商品情報をHMD704に対して返信する。HMD704は、商品情報を受信すると、HMD704の位置(すなわち、HMD704のRFIDタグのエリアA内における座標情報)及び姿勢に基づいてユーザが現実空間のどこを見ているかを推定し、それが商品情報内のエリア情報及び座標情報で示される位置と合致する場合、ユーザが当該商品を見ていると判定する。   Upon receiving the ID information from the HMD 704, the product server 703 returns the product information of the ID information to the HMD 704. When the HMD 704 receives the merchandise information, the HMD 704 estimates where the user is looking in the real space based on the position of the HMD 704 (that is, coordinate information in the area A of the RFID tag of the HMD 704) and the posture. If it matches the position indicated by the area information and the coordinate information, it is determined that the user is looking at the product.

HMD704は、ユーザが当該商品を見ていると判定すると、ユーザが見ていると推定される商品702の位置に整合するように、現実空間の映像に商品情報を示すコンピュータグラフィックス画像データを合成する。   When the HMD 704 determines that the user is looking at the product, the HMD 704 synthesizes computer graphics image data indicating the product information with the real-space video so as to match the position of the product 702 estimated to be viewed by the user. To do.

なお、RFIDタグ706のエリアA内における座標情報を、緯度・経度情報に変換すれば、エリアA内におけるHMD104の座標を特定することなく、実施形態1〜3と同様にして、HMD104の位置(緯度、経度)と姿勢(方向、仰角)とに基づいてHMD104を装着したユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成することは可能である。   If the coordinate information in the area A of the RFID tag 706 is converted into latitude / longitude information, the position of the HMD 104 (as in the first to third embodiments) is specified without specifying the coordinates of the HMD 104 in the area A. Estimating where the user wearing the HMD 104 is looking in real space based on the latitude (longitude) and posture (direction, elevation angle), and synthesizing computer graphics image data to match the estimated position Is possible.

これにより、第4の実施形態で説明した手法によっても、人に不快感を与えることなく商品702のID情報を取得するとともに、合成表示された商品情報が誰の商品に関するものであるのか容易に認識することができる。   Thereby, even by the method described in the fourth embodiment, the ID information of the product 702 is acquired without causing discomfort to the person, and the product information displayed in a synthesized manner is easily related to the product. Can be recognized.

なお、第1〜第4の実施形態において表示するコンピュータグラフィックス画像データには、商品の画像データは含まれていないが、コンピュータグラフィックス画像データに商品の画像データを含めてもよい。これにより、ユーザは商品の画像データと現実空間における商品の映像とを比較し、どの商品の商品情報が表示されているかを更に容易に認識することができる。   The computer graphics image data displayed in the first to fourth embodiments does not include product image data. However, the computer graphics image data may include product image data. Thereby, the user can more easily recognize which product information of the product is displayed by comparing the image data of the product with the video of the product in the real space.

なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。   The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the technical means disclosed in different embodiments can be appropriately combined. Such embodiments are also included in the technical scope of the present invention.

101:携帯端末、102、502、702:商品、103、503、703:商品サーバ、104、504、704:HMD、105:GPS衛星、106、506、706:RFIDタグ、707:RFIDリーダ、708:位置特定サーバ   101: Mobile terminal, 102, 502, 702: Product, 103, 503, 703: Product server, 104, 504, 704: HMD, 105: GPS satellite, 106, 506, 706: RFID tag, 707: RFID reader, 708 : Location server

Claims (13)

現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置であって、
位置が変動する物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取手段と、
前記識別情報に対応する前記物品に係る情報を取得する取得手段と、
前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、
前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする拡張現実感提示装置。
An augmented reality presentation device capable of combining and displaying real space video and computer graphics image data,
Reading means for reading identification information for identifying the article from an information transmission device attached to the article whose position varies;
Obtaining means for obtaining information relating to the article corresponding to the identification information;
Based on the information indicating the position of the terminal device owned by the user to move together with the article, an identification unit configured to identify a position of the article in real space,
Presentation that combines and presents the computer graphics image data and the video in the real space so that the computer graphics image data indicating the information related to the article is arranged at a position that matches the position specified by the specifying means And an augmented reality presentation device.
前記特定手段は、前記端末装置の位置を示す情報を、前記物品の位置を示す位置情報として取得することにより、前記物品の位置を特定することを特徴とする請求項1に記載の拡張現実感提示装置。   The augmented reality according to claim 1, wherein the specifying unit specifies the position of the article by acquiring information indicating the position of the terminal device as position information indicating the position of the article. Presentation device. 前記特定手段は、前記物品に係る情報を管理する管理装置を介して前記位置情報としての前記端末装置の位置を示す情報を取得することを特徴とする請求項2に記載の拡張現実感提示装置。   The augmented reality presentation apparatus according to claim 2, wherein the specifying unit acquires information indicating the position of the terminal device as the position information via a management apparatus that manages information related to the article. . 前記特定手段は、前記情報送信装置を介して前記位置情報としての前記端末装置の位置を示す情報を取得することを特徴とする請求項2に記載の拡張現実感提示装置。   The augmented reality presentation apparatus according to claim 2, wherein the specifying unit acquires information indicating the position of the terminal device as the position information via the information transmission apparatus. 前記特定手段は、前記物品に係る情報を管理する管理装置から前記物品の画像情報を取得し、前記物品の画像情報と撮影により得られた現実空間の画像情報とを照合することにより、前記物品の位置を特定することを特徴とする請求項1に記載の拡張現実感提示装置。   The specifying unit obtains image information of the article from a management device that manages information related to the article, and compares the image information of the article with image information of a real space obtained by photographing, thereby The augmented reality presentation apparatus according to claim 1, wherein the position of the augmented reality is specified. 現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、位置が変動する物品に係る情報を管理する管理装置とを有する情報処理システムであって、
前記拡張現実感提示装置は、
前記物品に付された情報送信装置から、前記物品を識別するための識別情報を読み取る読取手段と、
前記識別情報に対応する前記物品に係る情報を前記管理装置から取得する取得手段と、
前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、
前記物品に係る情報を示すコンピューグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする情報処理システム。
An information processing system comprising an augmented reality presentation device capable of combining and displaying a real space image and computer graphics image data, and a management device for managing information related to an article whose position varies. ,
The augmented reality presentation device includes:
Reading means for reading identification information for identifying the article from an information transmission device attached to the article;
Obtaining means for obtaining information related to the article corresponding to the identification information from the management device;
Based on the information indicating the position of the terminal device owned by the user to move together with the article, an identification unit configured to identify a position of the article in real space,
The computer graphics image data and information in the real space are combined and presented so that the computer graphics image data indicating the information related to the article is arranged at a position that matches the position specified by the specifying means. And an information processing system.
前記特定手段は、前記端末装置の位置を示す情報を、前記物品の位置を示す位置情報として取得することにより、前記物品の位置を特定することを特徴とする請求項6に記載の情報処理システム。   The information processing system according to claim 6, wherein the specifying unit specifies the position of the article by acquiring information indicating the position of the terminal device as position information indicating the position of the article. . 前記管理装置は、自機の位置を計測する前記端末装置から前記位置情報として当該端末装置の位置を示す情報を受信する受信手段を有し、前記特定手段は、前記管理装置を介して前記位置情報を取得することを特徴とする請求項7に記載の情報処理システム。   The management apparatus includes a reception unit that receives information indicating the position of the terminal device as the position information from the terminal device that measures the position of the own device, and the specifying unit is configured to receive the position via the management device. The information processing system according to claim 7, wherein information is acquired. 前記情報送信装置は、自機の位置を計測する前記端末装置から前記位置情報として当該端末装置の位置を示す情報を受信する受信手段を有し、前記特定手段は、前記情報送信装置を介して前記位置情報を取得することを特徴とする請求項7に記載の情報処理システム。   The information transmitting device includes receiving means for receiving information indicating the position of the terminal device as the position information from the terminal device that measures the position of the own device, and the specifying means is configured to pass through the information transmitting device. The information processing system according to claim 7, wherein the position information is acquired. 前記特定手段は、物品に係る情報を管理する管理装置から前記物品の画像情報を取得し、前記物品の画像情報と撮影により得られた現実空間の画像情報とを照合することにより、前記物品の位置を特定することを特徴とする請求項6に記載の情報処理システム。   The specifying unit obtains image information of the article from a management device that manages information related to the article, and compares the image information of the article with image information of a real space obtained by photographing, thereby The information processing system according to claim 6, wherein a position is specified. 現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、位置が変動する物品に係る情報を管理する管理装置と、所定のエリアに設置され、前記所定のエリア内に位置する前記物品に付された情報送信装置から前記物品を識別するための識別情報を受信する読取装置と、前記読取装置による前記識別情報の受信強度に基づいて前記所定のエリアにおける前記物品の位置情報を算出する位置特定装置とを有する情報処理システムであって、
前記位置特定装置は、
前記読取装置から前記識別情報の受信強度情報を受信する受信手段と、
前記受信強度情報に基づいて、前記所定のエリア内における前記物品の位置情報を算出する位置算出手段と、
前記位置算出手段により算出された前記物品の位置情報を前記管理装置に送信する送信手段とを有し、
前記拡張現実感提示装置は、
前記情報送信装置から前記識別情報を読み取る読取手段と、
前記識別情報に対応する前記物品に係る情報及び前記物品の位置情報を前記管理装置から取得する取得手段と、
前記物品の位置情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、
前記物品に係る情報を示すコンピューグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする情報処理システム。
An augmented reality presentation device capable of combining and displaying video in real space and computer graphics image data, a management device for managing information related to an article whose position varies, and a predetermined area, A reading device that receives identification information for identifying the article from an information transmission device attached to the article located in the predetermined area, and the predetermined information based on a reception intensity of the identification information by the reading device An information processing system having a position specifying device that calculates position information of the article in an area,
The position specifying device includes:
Receiving means for receiving the reception intensity information of the identification information from the reader;
Position calculating means for calculating position information of the article in the predetermined area based on the received intensity information;
Transmission means for transmitting position information of the article calculated by the position calculation means to the management device;
The augmented reality presentation device includes:
Reading means for reading the identification information from the information transmitting device;
Acquisition means for acquiring information on the article corresponding to the identification information and position information of the article from the management device;
A specifying means for specifying the position of the article in real space based on the position information of the article;
The computer graphics image data and information in the real space are combined and presented so that the computer graphics image data indicating the information related to the article is arranged at a position that matches the position specified by the specifying means. And an information processing system.
現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、
位置が変動する物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取ステップと、
前記識別情報に対応する前記物品に係る情報を取得する取得ステップと、
前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定ステップと、
前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定ステップにより特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示ステップとを有することを特徴とする拡張現実感提示方法。
An augmented reality presentation method executed by an augmented reality presentation device capable of combining and displaying a video of real space and computer graphics image data,
A reading step of reading identification information for identifying the article from an information transmitting device attached to the article whose position varies;
An acquisition step of acquiring information relating to the article corresponding to the identification information;
Based on the information indicating the position of the terminal device owned by the user to move together with the article, and specifying step of specifying the position of the article in real space,
Presentation that combines the computer graphics image data and the video in the real space so that the computer graphics image data indicating the information related to the article is arranged at a position that matches the position specified by the specifying step. And an augmented reality presentation method comprising: steps.
現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、
位置が変動する物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取ステップと、
前記識別情報に対応する前記物品に係る情報を取得する取得ステップと、
前記物品と共に移動するユーザが所持する端末装置の位置を示す情報に基づいて、現実空間における前記物品の位置を特定する特定ステップと、
前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定ステップにより特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示ステップとをコンピュータに実行させるためのプログラム。
A program for causing a computer to execute an augmented reality presentation method executed by an augmented reality presentation device capable of combining and displaying a video of real space and computer graphics image data,
A reading step of reading identification information for identifying the article from an information transmitting device attached to the article whose position varies;
An acquisition step of acquiring information relating to the article corresponding to the identification information;
Based on the information indicating the position of the terminal device owned by the user to move together with the article, and specifying step of specifying the position of the article in real space,
Presentation that combines the computer graphics image data and the video in the real space so that the computer graphics image data indicating the information related to the article is arranged at a position that matches the position specified by the specifying step. A program for causing a computer to execute steps.
JP2010219619A 2010-09-29 2010-09-29 Augmented reality presentation device, information processing system, augmented reality presentation method and program Active JP5525401B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010219619A JP5525401B2 (en) 2010-09-29 2010-09-29 Augmented reality presentation device, information processing system, augmented reality presentation method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010219619A JP5525401B2 (en) 2010-09-29 2010-09-29 Augmented reality presentation device, information processing system, augmented reality presentation method and program

Publications (2)

Publication Number Publication Date
JP2012073920A JP2012073920A (en) 2012-04-12
JP5525401B2 true JP5525401B2 (en) 2014-06-18

Family

ID=46170007

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010219619A Active JP5525401B2 (en) 2010-09-29 2010-09-29 Augmented reality presentation device, information processing system, augmented reality presentation method and program

Country Status (1)

Country Link
JP (1) JP5525401B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9245387B2 (en) * 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
JP6591262B2 (en) 2014-11-14 2019-10-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America REPRODUCTION METHOD, REPRODUCTION DEVICE, AND PROGRAM
JP6628516B2 (en) * 2015-07-30 2020-01-08 株式会社きもと Information providing system and computer program
EP3376772B1 (en) * 2015-11-12 2023-01-25 Panasonic Intellectual Property Corporation of America Display method, program and display device
CN107343392B (en) 2015-12-17 2020-10-30 松下电器(美国)知识产权公司 Display method and display device
CN110114988B (en) 2016-11-10 2021-09-07 松下电器(美国)知识产权公司 Transmission method, transmission device, and recording medium

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003157477A (en) * 2001-11-19 2003-05-30 Hitachi Ltd Tag management server and information acquiring/using system using it
JP2003348424A (en) * 2002-05-27 2003-12-05 Sony Corp Motion tracking apparatus and method thereof
JP2004102835A (en) * 2002-09-11 2004-04-02 Univ Waseda Information providing method and system therefor, mobile terminal device, head-wearable device, and program
JP2004127024A (en) * 2002-10-03 2004-04-22 Canon Inc Device and method for protecting content for compound reality feeling system
JP4522792B2 (en) * 2004-09-01 2010-08-11 富士通エフ・アイ・ピー株式会社 Product advertising method and product information providing device
JP2009245390A (en) * 2008-03-31 2009-10-22 Brother Ind Ltd Display processor and display processing system

Also Published As

Publication number Publication date
JP2012073920A (en) 2012-04-12

Similar Documents

Publication Publication Date Title
JP5525401B2 (en) Augmented reality presentation device, information processing system, augmented reality presentation method and program
US20240048379A1 (en) Encryption and decryption of visible codes for real time augmented reality views
AU2022202273A1 (en) Augmented reality devices, systems and methods for purchasing
US20180232799A1 (en) Exhibition device, display control device and exhibition system
WO2018159736A1 (en) Information processing device, terminal device, information processing method, information output method, customer service assistance method, and recording medium
WO2016051185A1 (en) System and method for surveying display units in a retail store
US10360613B2 (en) System and method for monitoring display unit compliance
JP2013238973A (en) Purchase information management system, merchandise movement detection device and purchase information management method
US20120130920A1 (en) Commodity processing supporting system and commodity processing supporting method
US20120130867A1 (en) Commodity information providing system and commodity information providing method
JP2006270456A (en) Information presentation system
KR20110125866A (en) Method and apparatus for providing information through augmented reality
JP7251651B2 (en) Augmented Reality Announcement Information Delivery System and Its Delivery Control Device, Method and Program
US20170300927A1 (en) System and method for monitoring display unit compliance
US20220027952A1 (en) Sales support system
JP2020009147A (en) Information processor and information processing method
US20100273140A1 (en) Apparel dressing system and method for assisting user to try on apparel item
Stoica THE ROLE OF TECHNOLOGICAL INNOVATION IN MERCHANDISING
US20240135652A1 (en) Augmented reality announcement information delivery system, and its delivery control apparatus, method, and program
JP2012123176A (en) Advertisement providing system
CN112446759A (en) Server device, mobile store, and information processing system
KR20140093074A (en) Information search method in ESL System
JPWO2015166527A1 (en) Display control apparatus, control method, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130917

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140411

R150 Certificate of patent or registration of utility model

Ref document number: 5525401

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250