JP5656457B2 - Product information supplying terminal device and product information providing system - Google Patents

Product information supplying terminal device and product information providing system Download PDF

Info

Publication number
JP5656457B2
JP5656457B2 JP2010126331A JP2010126331A JP5656457B2 JP 5656457 B2 JP5656457 B2 JP 5656457B2 JP 2010126331 A JP2010126331 A JP 2010126331A JP 2010126331 A JP2010126331 A JP 2010126331A JP 5656457 B2 JP5656457 B2 JP 5656457B2
Authority
JP
Japan
Prior art keywords
image
information
unit
product
product information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010126331A
Other languages
Japanese (ja)
Other versions
JP2011253324A (en
Inventor
洋次 太田
洋次 太田
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2010126331A priority Critical patent/JP5656457B2/en
Publication of JP2011253324A publication Critical patent/JP2011253324A/en
Application granted granted Critical
Publication of JP5656457B2 publication Critical patent/JP5656457B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、店舗に陳列されている商品についての商品情報を、来店者に対して拡張現実感技術を利用してリアルタイムに提供するための商品情報提供端末装置および商品情報提供システムに関する。 The present invention, product information about the commodities displayed in the store, to the commodity information providing terminal and commodity information providing system for providing in real time by using the Augmented Reality against online business.

近年、複合現実感(Mixed Reality)技術の研究が盛んであり、特に、コンピュータによって作成されるCG(Computer Graphics)などの仮想物体の画像を、あたかも現実空間にその仮想物体があるかのように表示部に表示する、いわゆる拡張現実感(AR: Recently, a popular research of Mixed Reality (Mixed Reality) technique, in particular, an image of the virtual objects such as CG created by a computer (Computer Graphics), as if there is the virtual object in the real space It is displayed on the display unit, the so-called augmented reality (AR:
Augmented Reality)技術が注目されている。 Augmented Reality) technology has been attracting attention.

このAR技術を実現する表示部としては、光学シースルー方式とビデオシースルー方式とが知られている。 As the display unit to realize AR technology, an optical see-through method and a video see-through method are known. 光学シースルー方式とは、観察者が現実空間を直接視認する方向に、可視光を透過可能な表示部、たとえばハーフミラーによって構成された表示部を配置し、その表示部に映る現実空間の実像に、仮想物体の画像を表示部に反射させて重畳する方式であり、この方式では観察者の網膜上で現実空間の光景と仮想物体とが融合することになる。 The optical see-through method, the direction in which the observer views the real space directly, permeable display section visible light, for example, to place the display portion constituted by the half mirror, the real image of the real space appearing on the display unit a method of superimposing is reflected on a display unit an image of a virtual object, so that the sight and the virtual object in real space on the retina of the observer to fuse in this manner. また、ビデオシースルー方式とは、ビデオカメラなどの撮像手段によって撮像された撮像画像に仮想物体の画像を重畳描画した合成画像を、表示部に表示する方式である。 Further, a video see-through method, a composite image formed by superimposing draws an image of the virtual object on the captured image captured by the imaging means such as a video camera, a method of displaying on the display unit.

このようなAR技術は、様々な分野への応用が期待されている。 Such AR technology is expected to be applied to various fields. その1つとして、スーパーマーケットなどのように様々な商品が陳列されている店舗において、光学シースルー方式またはビデオシースルー方式を採用した表示部を備える携帯型の端末装置を来店者に貸与し、光学シースルー方式の場合は表示部に映る商品の実像に、ビデオシースルー方式の場合は撮像手段によって撮像された商品を含む撮像画像に、その商品の特徴、売行きおよび購入者による評価などその商品について来店者が知りたい情報(以下、「商品情報」という)を重畳して表示するための拡張現実画像を、端末装置の表示部に表示することによって、来店者に対して商品情報をリアルタイムに提供するサービスへの応用が考えられている。 As one of them, lent at the store various items are on display, such as supermarkets, a portable terminal apparatus having a display unit employing the optical see-through method or a video see-through method to visit's optical see-through method the real image of the product appearing on the display unit in the case of, the captured image in the case of a video see-through method comprising commodity photographed by the imaging means, visit people to know about the product and evaluation according to its features of products, sales and purchaser want information (hereinafter, referred to as "merchandise information") of the augmented reality image to be displayed by superimposing, by displaying on the display unit of the terminal device, to the service providing product information in real time corresponding to visit who application has been considered.

たとえば特許文献1には、消費者が移動通信端末機用リーダによって、商品に付されたE. For example, Patent Document 1, consumers by the mobile communication terminal reader, attached to a commodity E. S(Environment protection and Safety)コードと称するバーコードを読取ることにより、その商品の生産環境に関わる評価を示す情報をサーバから取得し、その端末機の画面に表示する技術が開示されている。 By reading a bar code called S (Environment protection and Safety) code, obtains information indicating the evaluation concerning to the product of the production environment from a server, a technique of displaying on the screen of the terminal is disclosed.

特開2002−63389号公報 JP 2002-63389 JP

前記のようなサービスを実現するための携帯型の端末装置は、少なくとも、現実空間を撮像するための撮像手段と、現実空間に商品情報を重畳して表示するための拡張現実画像、すなわち光学シースルー方式の場合は表示部に映る商品の実像に商品情報を重畳して表示するための商品情報画像、ビデオシースルー方式の場合は撮像手段によって撮像された商品を含む撮像画像に商品情報を重畳描画した合成画像を生成する画像生成部と、画像生成部によって生成された拡張現実画像を表示可能な表示部と、端末装置に電力を供給する電源部とを含んで構成される。 Said portable terminal device for implementing the service, such as, at least, an imaging means for imaging the real space, real space in the product information augmented reality image to be displayed by superimposing, i.e. optical see-through for method commodity information image to be displayed by superimposing the item information into the real image of the product appearing on the display unit, in the case of a video see-through method superimposed drawn product information to the captured image containing the product taken by the imaging means an image generator for generating a composite image, and includes a display capable display unit an augmented reality image generated by the image generating unit, and a power supply unit for supplying power to the terminal apparatus.

このような携帯型の端末装置を用いることによって、撮像手段を動作させて商品を撮像し、撮像手段によって撮像された商品を含む撮像画像に基づいて、商品情報が適切な位置にかつ適切な寸法で、表示部に映る商品の実像または撮像手段によって撮像された撮像画像に重畳して表示されるように、拡張現実画像を生成し、生成された拡張現実画像を表示部に表示させ、来店者に対して商品情報をリアルタイムに提供することができる。 By using such a portable terminal device, and the imaging products by operating the imaging means, based on the captured image including the product taken by the imaging means, and appropriate dimensions in the product information appropriate position in, to appear superimposed on the image captured by the real image or the imaging unit of goods appearing on the display unit, it generates an augmented reality image to display the generated augmented reality image on the display unit, visit people it is possible to provide product information in real-time against.

ところで、撮像手段などARを実現するための各手段を動作させるためには大きな電力を要し、短時間であっても多くの電力が消費されてしまう。 Meanwhile, in order to operate each means for implementing the AR including imaging means it takes a large power, more power for any length of time is consumed. 携帯型の端末装置では、電源部が電池によって実現されているので、ARを実現するための各手段を来店者が買い物を始めてから終えるまでの間ずっと動作させておくと、買い物途中で電池の容量が低下して、必要な電力を確保することができなくなり、商品情報を提供することができなくなってしまうという問題がある。 A portable terminal device, the power supply unit is realized by a battery, the previously much operated until finish from the start of visit's shopping the means for realizing the AR, shopping middle of the battery capacity is lowered, it becomes impossible to secure the necessary power, there is a problem that it is impossible to provide a product information.

また、前記のようなサービスを実現するためには、適切な商品情報を重畳して表示するために、表示部に映る商品または撮像手段によって撮像されている商品が何であるかを認識する必要がある。 In order to realize the service, such as described above, for display by superimposing the appropriate product information is necessary to recognize the item is what being imaged by the product or imaging means reflected on the display unit is there. 商品の認識方法としては、マーカ方式およびマーカレス方式のいずれかの方式を採用することが考えられる。 As the recognition method of the product, it is conceivable to adopt one of the methods of the markers scheme and Makaresu scheme. マーカ方式は、各商品に表示されている商品固有のマーカを読取ることによって、その商品を認識する方式である。 Marker system, by reading the instrument-specific markers displayed on each product, which recognizes scheme that product. また、マーカレス方式は、商品の外観の一部または全体を撮像した撮像画像に基づいて、商品を画像認識する方式である。 Further, Makaresu scheme, based on the captured image obtained by capturing an image of a part or whole of the appearance of the product, an image recognizing system products.

マーカ方式を採用する場合、商品固有のマーカとしては、商品ごとに予め付与されているバーコードを利用するのが、安価かつ実現容易である。 When employing the marker method, as the instrument-specific marker, to utilize a bar code that is previously assigned to each product, it is inexpensive and easily implemented. しかしながら、バーコードは商品の背面や側面など通常の陳列状態では容易に確認できない位置に表示されている場合が殆どであり、この場合、バーコードをマーカとして読み取るためには、客側の方で、商品を手に取ってバーコード表示を探し出さなければならず、客にとって手間となる作業が必要になってしまう。 However, if the bar code is displayed on the position that can not be easily confirmed in the normal display state such as the back or side of the product is almost, in this case, in order to read the bar code as markers, it was customer side , it must be sought out the bar code display pick up the goods, it becomes necessary to work to be a hassle for the customer. 一方のマーカレス方式は、商品の前面の一部または全体を含む撮像画像に基づいて、すなわち通常の陳列状態の商品を撮像手段によって撮像したときの撮像画像に基づいてその商品を認識することができるので、前記のような手間となる作業を省略することができる。 One Makaresu scheme, based on the captured image including a part or whole of the front surface of the product, that is, to recognize the product on the basis of a product of the normal of the display state on the captured image when the imaging by the imaging means since, it is possible to omit the work to be troublesome as described above.

しかしながら、前述するマーカレス方式では、画像認識された商品に対して商品情報が重畳されるので、撮像手段によって撮像された撮像画像の中に複数の商品が含まれていると、画像認識された複数の商品について、各商品の商品情報を格納する商品情報データベースから商品情報が取得されてしまう。 Multiple However, in the Makaresu method of above, since the product information to the image recognized product is superimposed, the inclusion of multiple items in the captured photographed image by the imaging means, that is the image recognition for the product, the product information will be obtained from the product information database for storing product information for each product. この場合、取得した全ての商品情報を重畳して表示すると、商品情報が煩雑に表示されてしまうため、来店者は、知りたい商品情報だけを容易に得ることができなくなってしまうという問題がある。 In this case, when displayed superimposed all the product information acquired, because the product information from being complicated displayed, the visit person, there is a problem that can not be obtained only easily product desired information .

本発明の目的は、電力の消費を効率的に抑制して、AR技術を利用して店舗に陳列されている商品についての商品情報をリアルタイムに提供することができる商品情報提供端末装置を提供することである。 An object of the present invention is to effectively suppress the power consumption, to provide the product information supplying terminal device which can provide the product information of the commodities displayed in the store using AR technology in real-time it is.

また本発明の他の目的は、来店者が知りたい商品情報だけを容易に提供することができる商品情報提供端末装置および商品情報提供システムを提供することである。 Another object of the present invention is to provide a commodity information providing terminal apparatus and the commodity information providing system capable of providing only a readily commodity desired information is online business.

本発明は、電源部を備え、該電源部からの電力によって動作し、使用者によって携帯される商品情報提供端末装置であって、 The present invention includes a power supply unit operated by electric power from the power supply unit, a commodity information providing terminal device carried by a user,
現実空間を撮像するための撮像手段と、 Imaging means for imaging the real space,
前記撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、 A product information acquiring unit that acquires the product information on products included in the image captured by the imaging means,
前記撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、前記商品情報取得部によって取得された前記商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、 Based on the position of the products included in the image captured by the imaging means, the image generation for generating an augmented reality image to be displayed superimposed on the real space of the product information acquired by the product information acquiring unit and parts,
前記画像生成部によって生成された拡張現実画像を表示可能な表示部と、 A display unit capable of displaying an augmented reality image generated by the image generating unit,
加速度を検出する加速度検出手段と、 Acceleration detection means for detecting the acceleration,
前記加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、 Based on the acceleration information detected by the acceleration detecting means, and the operation state determination unit determines the operation state of the user,
前記動作状態判定部によって判定された動作状態に基づいて、前記撮像手段を起動および動作停止する動作制御部と Based on the operating state determined by the operation state determination unit, an operation control unit for starting and stop operating the imaging means,
使用者の頭部に装着するための頭部装着部とを備え And a head-mounted unit for attachment to the user's head,
前記加速度検出手段は、前記頭部装着部によって保持され、 It said acceleration detecting means is held by the head-mounted unit,
前記動作状態判定部は、加速度検出手段により検出される加速度情報に基づいて、使用者が移動している移動状態であるか移動していない非移動状態であるかを判定するとともに、使用者が頭部の位置を動かしているか否かを判定し、 The operation state determining unit, based on the acceleration information detected by the acceleration detection means, together with the user to determine whether a non-moving state of not moving or is moving state that is moving, the user It determines whether or not to move the position of the head,
前記動作制御部は、前記撮像手段の非稼動状態において、非移動状態であると判定され、かつ頭部の位置を動かしていないと判定された場合に前記撮像手段を起動し、前記撮像手段の稼動状態において、移動状態であると判定された場合、または頭部の位置を動かしていると判定された場合に前記撮像手段を動作停止することを特徴とする商品情報提供端末装置である。 The operation control unit is in the non-operating state of the imaging means, is determined to be non-moving state, and starts the imaging means when it is determined not to move the position of the head, of the image pickup means in the operating state, if it is determined that the moving state or a commodity information providing terminal apparatus characterized that you stop operating the imaging means when it is determined that moving the position of the head.

また本発明は、前記撮像手段によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する指示情報判定部と、 The present invention, in the image captured by the imaging means, and determines instruction information determination section whether contains a predetermined instruction information for identifying the items to be displayed product information,
前記指示情報判定部による判定対象の撮像画像が格納される撮像画像格納部とをさらに含み、 Further includes a captured image storing unit that captured image to be determined by the instruction information determining section is stored,
前記商品情報取得部は、前記指示情報判定部によって所定の指示情報が含まれていると判定されたときの撮像画像に基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする。 The commodity information obtaining unit, and wherein the instruction information determination unit based on the captured image when it is determined to contain a predetermined instruction information by, acquires the product information about a product included in the captured image to.

また本発明は、前記撮像画像格納部は、所定の指示情報が含まれていると判定されたときの撮像画像が格納される第1格納領域と、所定の指示情報が含まれていないと判定されたときの撮像画像が格納される第2格納領域とを有し、 The present invention determines the captured image storage unit includes a first storage area in which the captured image when it is determined to contain a predetermined instruction information is stored, and does not include a predetermined instruction information and a second storage area captured image is stored when it is,
前記指示情報判定部は、所定の指示情報が含まれていないと判定した場合、当該判定対象の撮像画像よりも後に撮像された撮像画像について判定を実行し、 The indication information determination section performs a determination for a given instruction if the information is determined not to be included, the captured image captured later than the captured image of the determination target,
前記第2格納領域には、所定の指示情報が含まれていないと判定されたときの撮像画像が更新して格納され、 Wherein the second storage area, the captured image when it is determined not to contain the predetermined instruction information is stored by updating,
前記商品情報取得部は、第1格納領域に格納される撮像画像と第2格納領域に格納される撮像画像とに基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする。 The commodity information obtaining section, based on the captured image stored in the captured image stored in the first storage area a second storage area, and obtains product information related to the product included in the captured image .

また本発明は、前記商品情報取得部は、所定の期間内または所定の判定回数内で所定の指標が含まれているとの判定がされない場合、第2格納領域に格納される撮像画像に基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする。 The present invention, the product information acquiring unit, if not a determination to contain a predetermined index in number or in a predetermined determination predetermined time period, based on the captured image stored in the second storage area Te, and obtains product information related to the product contained in the captured image.

また本発明は、前記画像生成部は、前記撮像手段によって撮像された撮像画像に対し、商品情報を表示すべき商品を追尾する機能を有することを特徴とする。 The present invention, the image generation unit, to the captured image captured by the imaging means, and having a function for tracking the items to be displayed goods information.

また本発明は、電源部を備え、該電源部からの電力によって動作し、使用者によって携帯される商品情報提供端末装置とサーバ装置とを含む商品情報提供システムであって、 The present invention includes a power supply unit operated by electric power from the power supply unit, a commodity information providing system including a commodity information providing terminal device and the server device carried by the user,
商品情報提供端末装置は、 Product information providing terminal device,
現実空間を撮像するための撮像手段と、 Imaging means for imaging the real space,
前記撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、 A product information acquiring unit that acquires the product information on products included in the image captured by the imaging means,
前記撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、前記商品情報取得部によって取得された前記商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、 Based on the position of the products included in the image captured by the imaging means, the image generation for generating an augmented reality image to be displayed superimposed on the real space of the product information acquired by the product information acquiring unit and parts,
前記画像生成部によって生成された拡張現実画像を表示可能な表示部と、 A display unit capable of displaying an augmented reality image generated by the image generating unit,
加速度を検出する加速度検出手段と、 Acceleration detection means for detecting the acceleration,
前記加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、 Based on the acceleration information detected by the acceleration detecting means, and the operation state determination unit determines the operation state of the user,
前記動作状態判定部によって判定された動作状態に基づいて、前記撮像手段を起動および動作停止する動作制御部と、 Based on the operating state determined by the operation state determination unit, an operation control unit for starting and stop operating the imaging means,
前記撮像手段によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する指示情報判定部と、 The image captured by the imaging means, and determines instruction information determination section whether contains a predetermined instruction information for identifying the items to be displayed product information,
前記指示情報判定部による判定対象の撮像画像が格納される撮像画像格納部であって、所定の指示情報が含まれていると判定されたときの撮像画像が格納される第1格納領域と、所定の指示情報が含まれていないと判定されたときの撮像画像が格納される第2格納領域とを有する撮像画像格納部と、 A captured image storage unit that captured image is stored in the determination target by the instruction information determination unit, a first storage area for the captured image is stored when it is determined to contain a predetermined instruction information, a captured image storage unit and a second storage area captured image is stored when it is determined not to contain the predetermined instruction information,
サーバ装置との間で情報を無線通信する端末側無線送受信部とを含み、 And a terminal side wireless transceiver for wirelessly communicating information to and from the server apparatus,
サーバ装置は、 Server device,
商品情報提供端末装置との間で情報を無線通信するサーバ側無線送受信部と、 A server-side radio transceiver for wirelessly communicating information to and from the commodity information providing terminal device,
商品情報を商品ごとに格納する商品情報データベースと、 And product information database that stores the product information for each product,
所定の指示情報に基づいて商品情報を表示すべき商品を特定し、該特定した商品に関する商品情報を商品情報データベースから抽出する商品情報抽出部とを含み、 Identify the items to be displayed product information based on a predetermined instruction information, see contains the product information extracting unit that extracts the product information from the product information database of products that the specific,
前記動作状態判定部は、前記加速度検出手段により検出される加速度情報に基づいて、使用者が移動している移動状態であるか移動していない非移動状態であるかを判定し、 The operation state determining unit, based on the acceleration information detected by the acceleration detection means, to determine a non-moving state of the user is not moving or is moving state that is moving,
前記動作制御部は、前記撮像手段の非稼動状態において、非移動状態であると判定された場合に前記撮像手段を起動し、前記撮像手段の稼動状態において、移動状態であると判定された場合に前記撮像手段を動作停止し、 The operation control unit is in the non-operating state of the imaging means, the imaging means is activated when it is determined that the non-moving state, the operating state of the image pickup means, when it is determined that the moving state It said imaging means operated stop,
前記指示情報判定部は、所定の指示情報が含まれていないと判定した場合には、当該判定対象の撮像画像よりも後に撮像された撮像画像についてさらに判定を実行し、 The indication information determination unit, when it is determined that the information does not include a predetermined instruction information performs further determination on the captured image captured later than the captured image of the determination target,
前記第2格納領域には、所定の指示情報が含まれていないと判定されたときの撮像画像が更新して格納され、 Wherein the second storage area, the captured image when it is determined not to contain the predetermined instruction information is stored by updating,
前記商品情報取得部は、第1格納領域に撮像画像が格納されたとき、第2格納領域に撮像画像が格納されていない場合には、第1格納領域に格納された撮像画像を、第2格納領域に撮像画像が格納されている場合には、第1格納領域に格納された撮像画像と第2格納領域に格納されている撮像画像とを、前記端末側無線送受信部を介して前記サーバ装置へ送信し、 The commodity information obtaining section, when the captured image is stored in the first storage area, when the captured image in the second storage area is not stored in the captured image stored in the first storage area, second when said captured image in the storage area is stored, and a captured image and the captured image stored in the first storage area is stored in the second storage region, through the terminal side wireless transceiver server send to the device,
前記商品情報抽出部は、前記サーバ側無線送受信部が前記商品情報提供端末装置によって送信された撮像画像を受信すると、受信した前記撮像画像において商品を特定し、当該特定した商品に関する商品情報を、前記商品情報データベースから抽出して、前記サーバ側無線送受信部を介して前記商品情報提供端末装置へ送信し、 The commodity information extracting unit, when the server-side wireless transceiver receives the captured image transmitted by said commodity information supplying terminal device, and identifying items in the captured image received, the commodity information about the commodity that the specified, extracting from said product information database, and sends via said server side wireless transceiver to the commodity information supplying terminal device,
前記商品情報取得部は、前記端末側無線送受信部が前記サーバ装置によって送信された商品情報を受信すると、受信した前記商品情報を前記画像生成部に出力することを特徴とする商品情報提供システムである。 The commodity information obtaining section, when the terminal side wireless transceiver receives the product information transmitted by the server apparatus, the commodity information received by the commodity information providing system and outputs to the image generating unit is there.

本発明によれば、商品情報提供端末装置は、撮像手段と、加速度検出手段と、動作状態判定部と、動作制御部とを備え、商品情報提供端末装置の加速度に基づいて判定された、商品情報提供端末装置を携帯する来店者の動作状態に基づいて、撮像手段を起動および動作停止することができる。 According to the present invention, the commodity information providing terminal apparatus includes an imaging means, comprising an acceleration detecting means, and the operation state determination unit, an operation control unit, is determined based on the acceleration of the product information supplying terminal device, product based on the operating state of the visit who portable information supplying terminal device, it is possible to start and stop operating the imaging means.

たとえば来店者が店舗内を移動しているとき、通常、その来店者は複数の商品に目を移しながら物色している状態にあり、特定の商品について商品情報を知りたいと思っている可能性は低い。 For example, when coming to the store who is moving to the store, usually, the visit who is in a state in which the hunting while transferring an eye on multiple items, could have wanted to know product information about the specific product low. これに対し、店舗内で足を止めたときには、特定の商品について他の商品に比べて強い関心があり、その特定の商品に関する商品情報を知りたいと思っている可能性が高い。 On the other hand, when you stop a foot in the store is, for a particular item has a strong interest in comparison to other products, it is likely to want to know the product information for that particular commodity. このように、来店者の動作状態に応じて、撮像手段を起動および動作停止して、効率的に商品情報を提供することにより、商品情報提供端末装置における電力の消費を効率的に抑制することができる。 Thus, in accordance with the operation state of the visit's start and stop operating the imaging means, by efficiently providing product information, to efficiently reduce the power consumption of the commodity information providing terminal can.

また本発明によれば、商品情報提供端末装置は、指示情報判定部と、撮像画像格納部と、商品情報取得部とを備え、商品情報を表示すべき商品を特定するための所定の指示情報が含まれていると判定されたときの撮像画像に基づいて、その撮像画像に含まれる商品に関する商品情報を取得するように構成されている。 According to the present invention, the commodity information providing terminal apparatus, an instruction information determination section includes a captured image storing unit, and a product information acquiring unit, a predetermined instruction information for identifying the items to be displayed product information based on the captured image when it is determined that includes, it is configured to acquire the product information about the product contained in the captured image. したがって、撮像画像の中に複数の商品が含まれている場合であっても、所定の指示情報に従って特定された商品の商品情報だけを表示することができる。 Therefore, even when there are multiple items in the captured image can be displayed only product information of the products identified in accordance with a predetermined instruction information. これにより、来店者が知りたい商品情報だけを容易に提供することができる。 As a result, it is possible to provide only the easily product information you want to know is coming to the store's.

本発明によれば、商品情報提供システムは、商品情報提供端末装置とサーバ装置とを含んで構成され、商品情報提供端末装置は、撮像手段と、加速度検出手段と、動作状態判定部と、動作制御部とを備え、商品情報提供端末装置の加速度に基づいて判定された、商品情報提供端末装置を携帯する来店者の動作状態に基づいて、撮像手段を起動および動作停止することができる。 According to the present invention, the commodity information providing system is configured to include the commodity information providing terminal apparatus and the server apparatus, the commodity information providing terminal device includes an imaging unit, an acceleration detecting means, and the operation state determination unit, the operation and a control unit, is determined based on the acceleration of the product information supplying terminal device can be based on the operating state of the visit who carry the product information supplying terminal device, to start and stop operating the imaging means. したがって、来店者の動作状態に応じて、撮像手段を起動および動作停止して、効率的に商品情報を提供することにより、商品情報提供端末装置における電力の消費を効率的に抑制することができる。 Thus, in accordance with the operation state of the visit's start and stop operating the imaging means, by efficiently providing product information, it is possible to efficiently suppress the power consumption of the commodity information providing terminal .

また商品情報提供端末装置は、指示情報判定部と、撮像画像格納部と、商品情報取得部と、端末側無線送受信部とを備え、サーバ装置は、サーバ側無線送受信部と、商品情報データベースと、商品情報抽出部とを備えている。 The commodity information providing terminal apparatus, an instruction information determination unit, a captured image storage unit, and the commodity information obtaining section, and a terminal-side wireless transceiver, the server device includes a server-side wireless transceiver, and the product information database , and a commodity information extraction unit. これにより、商品情報を表示すべき商品を特定するための所定の指示情報が含まれていると判定されたときの撮像画像を商品情報提供端末装置からサーバ装置へ送信し、サーバ装置側で、所定の指示情報に基づいて商品情報を表示すべき商品を特定し、特定した商品に関する商品情報を商品情報データベースから抽出し、抽出した商品情報をサーバ装置から商品情報提供端末装置へ送信し、受信した商品情報に基づいて生成された拡張現実画像が表示部に表示される。 Thus, to send a captured image when it is determined to contain a predetermined instruction information for identifying the items to be displayed commodity information from the commodity information providing terminal apparatus to the server apparatus, the server apparatus, identify the items to be displayed product information based on a predetermined instruction information, the product information on the identified product was extracted from the product information database, the extracted product information transmitted from the server apparatus to the merchandise information supplying terminal device, receiving augmented reality image generated is displayed on the display unit based on the product information. したがって、撮像画像の中に複数の商品が含まれている場合であっても、所定の指示情報に従って特定された商品の商品情報だけを表示することができる。 Therefore, even when there are multiple items in the captured image can be displayed only product information of the products identified in accordance with a predetermined instruction information. これにより、来店者が知りたい商品情報だけを容易に提供することができる。 As a result, it is possible to provide only the easily product information you want to know is coming to the store's.

本発明の一実施形態に係るHMD100を模式的に示す斜視図である。 The HMD100 according to an embodiment of the present invention is a perspective view schematically showing. 本発明の一実施形態に係るHMD100の構成を示すブロック図である。 Is a block diagram showing a configuration of HMD100 according to an embodiment of the present invention. 制御装置30の機能的な構成を示すブロック図である。 It is a block diagram showing a functional configuration of the control device 30. 本発明の一実施形態に係るHMD100と協働して用いられるサーバ装置110の構成を示すブロック図である。 Is a block diagram illustrating cooperation with HMD100 the configuration of the server apparatus 110 to be used in according to an embodiment of the present invention. 制御装置80の機能的な構成を示すブロック図である。 It is a block diagram showing a functional configuration of the control device 80. 本発明の一実施形態に係るHMD100の動作を説明するためのフローチャートである。 Is a flow chart for explaining the operation of HMD100 according to an embodiment of the present invention. 本発明の一実施形態に係るHMD100の動作を説明するためのフローチャートである。 Is a flow chart for explaining the operation of HMD100 according to an embodiment of the present invention. HMD100の装着者が商品A〜Fが陳列された商品棚Sの前で静止した状態を示す図である。 Wearer of HMD100 is a diagram showing a stationary condition in front of the shelf S which product A~F was on display. カメラ10によって撮像された撮像画像の一例を示す図である。 Is a diagram illustrating an example of the captured photographed image by the camera 10. 人間の手指が含まれている撮像画像の一例を示す図である。 Is a diagram illustrating an example of a captured image including a human finger. サーバ装置110へ送信される撮像画像の一例を示す図である。 Is a diagram illustrating an example of a captured image is transmitted to the server device 110. 商品情報画像Q1が表示された表示部21を示す図である。 Is a diagram showing a display unit 21 for product information image Q1 are displayed. 表示部21に映る商品の実像の移動に伴う商品情報画像Q1の変化の一例を示す図である。 Is a diagram showing an example of a change in the product information image Q1 with the movement of the real image of the product appearing on the display unit 21. サーバ装置110の動作を説明するためのフローチャートである。 It is a flowchart for explaining the operation of the server device 110. 割込み要求が発生した場合の動作を説明するためのフローチャートである。 It is a flowchart for explaining the operation when the interrupt request occurs. 本発明の他の実施形態に係るHMD100の動作を説明するためのフローチャートである。 Is a flow chart for explaining the operation of HMD100 according to another embodiment of the present invention. 本発明の他の実施形態に係るHMD100の動作を説明するためのフローチャートである。 Is a flow chart for explaining the operation of HMD100 according to another embodiment of the present invention.

以下、図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。 Hereinafter, with reference to the drawings, detailed description of the present invention according to its preferred embodiments.
図1は、本発明の一実施形態に係る商品情報提供端末装置である頭部装着型表示装置(HMD:Head Mounted Display)100を模式的に示す斜視図である。 Figure 1 shows an exemplary head mounted display device is a commodity information providing terminal apparatus according to the present invention: is a perspective view schematically showing a (HMD Head Mounted Display) 100. 図2は、本発明の一実施形態に係るHMD100の構成を示すブロック図である。 Figure 2 is a block diagram showing a configuration of HMD100 according to an embodiment of the present invention.

HMD100は、様々な商品が陳列されている店舗において用いられ、拡張現実感技術を利用して、現実空間における商品とCGなどで描画された商品情報とを融合表示することにより、来店者に対して商品情報をリアルタイムに提供するように構成された装置である。 HMD100 is used at the store in which the various products are on display, using the augmented reality technology, and by the fusion display product information that has been drawn in such products and CG in the real space, for coming to the store's Te is a device configured to provide a product information in real time. 本実施形態では、HMD100は、後述するサーバ装置110と協働して、商品情報を提供するように構成されている。 In the present embodiment, HMD 100, in cooperation with the server device 110 to be described later, are configured to provide product information.

本実施形態に係るHMD100は、来店者の頭部に装着した状態で使用されるように構成されている。 HMD100 according to the present embodiment is configured to be used in a state of being mounted on the head of the visit's. HMD100は、人間の頭部に着脱自在に装着可能な形状に形成されていればよい。 HMD100 is the human head may be formed on detachably mountable shape. これにより、来店者は商品情報提供端末装置を手で保持する必要がないので、今までどおり両手を使って買い物をすることができる。 As a result, the visit's is because there is no need to manually hold the product information supplying terminal device, it is possible to shop using both hands as before. 本実施形態に係るHMD100は、図1に模式的に示すように、来店者の耳に掛けるための頭部装着部であるつる部51を備え、眼鏡型の形状に形成されている。 HMD100 according to the present embodiment, as shown schematically in Figure 1, includes a vine 51 is a head-mounted unit for applying the visit's ear, and is formed in the shape of eyeglasses.

HMD100は、カメラ10と、表示装置20と、制御装置30と、加速度検出部40と、無線送受信部50と、電源部60とを備えている。 HMD100 includes a camera 10, a display device 20, a controller 30, an acceleration detection unit 40, a wireless transceiver 50, and a power supply unit 60.

カメラ10は、たとえばCCD(Charge Coupled Device)センサまたはCMOS( The camera 10 is, for example, a CCD (Charge Coupled Device) sensor or CMOS (
Complementary Metal Oxide Semiconductor)センサを撮像素子に用い、画像一枚あたりの撮像周期がたとえば1/30秒(すなわち、フレームレートが30fps)で被写体を撮像可能なビデオカメラである。 Using Complementary Metal Oxide Semiconductor) sensor in the imaging device, the imaging cycle per one image, for example 1/30 seconds (i.e., the frame rate is capable of capturing video camera subject in 30fps). カメラ10は、その撮像方向がHMD100の装着者の視線方向に略一致するように、表示部21に近接した位置に取り付けられ、現実空間を撮像して、撮像画像の画像データを処理部31へ出力する。 The camera 10 is, as its imaging direction substantially coincides with the direction of the line of sight of the wearer of HMD 100, attached to a position close to the display unit 21, by imaging the real space, to the processing unit 31 the image data of a captured image Output. 本実施形態では、カメラ10は、オートフォーカス機能を有している。 In the present embodiment, the camera 10 has an autofocus function.

表示装置20は、現実空間における商品に仮想空間における商品情報を重畳して表示するための拡張現実画像を表示可能な、右目用および左目用の一対の表示部21を備えている。 Display device 20 is capable of displaying an augmented reality image to be superimposed and displayed on the item information in the virtual space to the product in the real space, and a right eye and a pair of the display unit 21 for the left eye. 一対の表示部21は、HMD100の装着者の眼前に配置されるようにそれぞれ取り付けられている。 A pair of the display unit 21 are respectively attached so as to be positioned in front of the eyes of the wearer of the HMD 100.

本実施形態では、表示部21は、光学シースルー方式を採用している。 In the present embodiment, the display unit 21 employs an optical see-through method. すなわち、表示部21は、可視光を透過可能に構成されており、HMD100の装着者は、眼前に配置された表示部21を透過した現実空間の光景を直接見ることができるとともに、表示部21に表示された拡張現実画像も見ることができる。 That is, the display unit 21 is permeable to configure the visible light, the wearer of HMD100 is, it is possible to see the sight of the transmitted real space display unit 21 disposed in front directly, the display unit 21 it can also be seen displayed augmented reality image to. この場合の拡張現実画像は、CGなどで描画された商品情報を示す商品情報画像である。 Augmented reality image in this case is a commodity information image showing commodity information drawn like CG.

したがって、HMD100の装着者は、表示部21を透過して見える現実空間の光景、すなわち表示部21に映る現実空間の実像と、商品情報画像とを融合して見ることができる。 Thus, the wearer of HMD100 can be seen fused sight of the real space seen through the display unit 21, i.e., a real image of the real space appearing on the display unit 21, and a commodity information image. このような表示部21は、たとえばハーフミラーによって実現されてもよい。 Such a display unit 21, for example, may be implemented by a half mirror. また表示装置20は、図示しないが、後述する画像生成部106によって生成された商品情報画像を表示部21に投影するための投影装置を備えている。 The display device 20 includes, although not shown, is provided with a projection device for projecting a product information image generated by the image generating unit 106 to be described later on the display unit 21.

制御装置30は、処理部31と、ROM(Read Only Memory)32と、RAM(Random Access Memory)33とを備えて構成される。 Controller 30 is configured to include a processor 31, a ROM (Read Only Memory) 32, a RAM (Random Access Memory) 33. 処理部31は、CPU(Central Processing unit 31, CPU (Central
Processing Unit)を含み、ROM32に格納されたプログラムを実行し、HMD100の各部を制御するとともに、データ処理を行う。 Includes a Processing Unit), it executes a program stored in the ROM 32, and controls each unit of the HMD 100, performs data processing. ROM32は、処理部31が実行するプログラムおよびデータが格納される。 ROM32, the program and the data processing unit 31 executes is stored. RAM33は、プログラムの実行処理領域として利用されるほか、画像データなどの一時記憶領域、各種作業領域として利用される。 RAM33, in addition to being utilized as an execution processing area of ​​the program, a temporary storage area such as image data, is used as various work areas.

加速度検出部40は、HMD100に作用している加速度を検出するように構成されている。 Acceleration detection unit 40 is configured to detect acceleration applied to the HMD 100. 本実施形態では、加速度検出部40には、互いに直交する3方向(X軸方向、Y軸方向およびZ軸方向)の加速度を検出可能な3軸加速度センサが用いられている。 In the present embodiment, the acceleration detection unit 40 is three orthogonal directions (X-axis direction, Y axis direction and Z axis direction) the three-axis acceleration sensor detectable acceleration of used together. 加速度検出部40は、3軸加速度センサによって検出された3方向の加速度の変化を示す信号を処理部31に出力する。 Acceleration detection unit 40 outputs a signal indicating a change in acceleration of the detected three directions by the three-axis acceleration sensor to the processing unit 31.

無線送受信部50は、ZigBeeおよびIEEE802.15.4などの無線通信方式を用いた無線通信モジュールを備え、後述するサーバ装置110との間で情報を無線通信するように構成されている。 Wireless transceiver 50 includes a wireless communication module using a wireless communication scheme such as ZigBee and IEEE 802.15.4, is configured to wirelessly communicate information between the server apparatus 110 to be described later.

電源部60は、HMD100を動作させるための電力の供給源である電池61と、カメラ10、表示装置20、制御装置30、加速度検出部40および無線送受信部50に必要な電力を供給するための電源回路部62とからなる。 Power unit 60 includes a battery 61 is a power supply source for operating the HMD 100, the camera 10, the display device 20, the control device 30, for supplying power required for acceleration detection unit 40 and the wireless transceiver 50 made from the power circuit unit 62.

加速度検出部40、ならびに後述する動作状態判定部101および動作制御部102は、電源部60からの電力供給によって常時動作して加速度を検出するとともに、所定の演算処理を実行するように構成されている。 Acceleration detecting section 40 and the operation state determination unit 101 and an operation control unit 102 will be described later, is configured to detect an acceleration always operates by electric power supplied from the power supply unit 60, it is configured to execute a predetermined arithmetic processing there. すなわち、加速度検出部40は、動作状態判定部101に対して加速度の変化を示す信号を常時出力している。 That is, the acceleration detection unit 40, and outputs a signal indicating a change in acceleration with respect to the operation state determination unit 101 constantly.

制御装置30、加速度検出部40および無線送受信部50は、頭部装着部であるつる部51に取り付けられた装置本体部52に内蔵されている。 Controller 30, the acceleration detection unit 40 and the wireless transceiver unit 50 is incorporated in the apparatus main body 52 attached to the vine 51 is a head-mounted unit. すなわち、加速度検出部40は、つる部51によって保持されており、HMD100の装着者の頭部の動きに応じた加速度の変化を示す信号を出力する。 That is, the acceleration detection unit 40 is held by the crane unit 51, and outputs a signal indicating a change in acceleration based on the movement of the wearer's head of HMD 100.

図3は、制御装置30の機能的な構成を示すブロック図である。 Figure 3 is a block diagram showing a functional configuration of the control device 30. 制御装置30は、動作状態判定部101と、動作制御部102と、指示情報判定部103と、撮像画像格納部104と、商品情報取得部105と、画像生成部106とを含んで構成される。 Controller 30 is configured with the operation state determination unit 101, an operation control unit 102, an instruction information determination section 103, a captured image storage unit 104, a product information acquiring unit 105, and a image generating unit 106 .

動作状態判定部101は、加速度検出部40によって検出される3方向の加速度の変化を示す信号が連続的に入力され、その信号に基づいて、HMD100の装着者の動作状態を判定する。 Operating condition determining module 101, a signal indicating a change in the three directions of the acceleration detected by the acceleration detection unit 40 is continuously input, based on the signal, determines the operating state of the wearer of HMD 100.

具体的には、装着者の歩行に伴う上下方向への加速度の連続的な変化に基づいて、装着者が移動している移動状態であるか移動していない非移動状態であるかを判定する。 Specifically, it is determined whether based on continuous change in acceleration in a vertical direction due to the walking of the wearer, is a non-moving state where the wearer has not moved or a moving state that is moving . さらに本実施形態では、加速度検出部40がHMD100に搭載されているので、上下方向に垂直な水平方向の加速度の変化に基づいて、HMD100の装着者が辺りを見回すなどの動作によって頭部の位置を動かしているか否かを判定する。 Furthermore, in this embodiment, the acceleration detection unit 40 is mounted on HMD 100, based on the change in acceleration in a horizontal direction perpendicular to the vertical direction, the position of the head by the operation such as the wearer of HMD 100 is look around It determines whether or not the are running.

動作制御部102は、動作状態判定部101によって判定されたHMD100の装着者の動作状態に基づいて、カメラ10を起動および動作停止する。 Operation control unit 102, based on the operating state of the wearer's HMD100 determined by the operating condition determining module 101, to start and stop operating the camera 10. 本実施形態では、動作制御部102は、カメラ10だけでなく、表示装置20を起動および動作停止するように構成されている。 In the present embodiment, the operation control unit 102, not only the camera 10, and is configured to start and stop operating the display device 20.

指示情報判定部103は、動作制御部102によってカメラ10が起動されると、カメラ10によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する。 Instruction information determination unit 103, when the camera 10 is activated by the operation control unit 102, the image captured by the camera 10, which includes a predetermined instruction information for identifying the items to be displayed product information determines whether the dolphin not. そして、その判定結果に基づいて、判定対象となった撮像画像の画像データを、撮像画像格納部104における所定の格納領域へ格納する。 Then, based on the determination result, the image data of the captured image becomes determination target and stores the predetermined storage region in the captured image storage unit 104. 本実施形態では、指示情報判定部103は、所定の指示情報として、撮像画像に人間の手指が含まれているか否かを判定する。 In the present embodiment, instruction information determination unit 103, a predetermined instruction information to determine whether contains a human hand in the captured image.

撮像画像格納部104は、指示情報判定部103によって、判定対象となった撮像画像の画像データが格納される。 The captured image storage unit 104, the instruction information determination unit 103, the image data of the captured image becomes determination target is stored. 撮像画像格納部104は、所定の指示情報が含まれていると判定されたときの撮像画像の画像データが格納される第1格納領域と、所定の指示情報が含まれていないと判定されたときの撮像画像の画像データが格納される第2格納領域とを有している。 The captured image storage unit 104, it is determined in the first storage area for the image data of the captured image when it is determined to contain a predetermined instruction information is stored, and does not include a predetermined instruction information and a second storage area for the image data of the captured image is stored in the time. 第2格納領域には、所定の指示情報が含まれていないと判定されたときの撮像画像の画像データが、順次更新して格納される。 The second storage area, image data of a captured image when it is determined not to contain the predetermined instruction information is stored sequentially updated.

商品情報取得部105は、第1格納領域に画像データが格納されると、無線送受信部50に対し、第1格納領域に格納される画像データと、第2格納領域に格納される画像データとをサーバ装置110へ送信する旨の指令を出力する。 Product information acquiring unit 105, the image data in the first storage area is stored, the wireless transceiver unit 50, the image data stored in the first storage area, and the image data stored in the second storage area and outputs a command for transmitting to the server device 110. なお、第2格納領域に画像データが格納されていない場合には、第1格納領域に格納される画像データだけが、サーバ装置110へ送信される。 In the case where the image data in the second storage area is not stored, only the image data stored in the first storage area is transmitted to the server device 110. 商品情報取得部105は、無線送受信部50がサーバ装置110から情報を受信すると、その情報を取得する。 Product information acquiring unit 105, a radio transceiver unit 50 receives the information from the server device 110, and acquires the information.

画像生成部106は、商品情報取得部105によって取得された情報に基づいて、サーバ装置110へ送信した撮像画像における一部の領域を、商品情報を表示すべき商品として認識する。 Image generation unit 106, based on the information acquired by the product information acquiring unit 105 recognizes a part of the region in the captured image transmitted to the server apparatus 110, the trade to be displayed goods information. そして、商品情報を表示すべき商品として認識した領域の画像と、カメラ10によって撮像された撮像画像とを照合(マッチング)し、撮像画像の中に商品情報を表示すべき商品の画像が含まれているか否かを判定する。 Then, include an image of a region recognized as a product to be displayed goods information, compares the image captured by the camera 10 (matching), the image of the item to be displayed goods information in the captured image and determines whether or not. 商品の画像が含まれている場合には、その商品の画像の位置および寸法に応じた位置および寸法で、商品情報画像の画像データを生成する。 If it contains images of the product, in position and size according to the position and dimensions of the product images to generate image data of the product information image. 画像生成部106によって生成された画像データは、表示装置20へ出力され、表示部21に表示される。 The image data generated by the image generating unit 106 is output to the display device 20, it is displayed on the display unit 21.

また画像生成部106は、カメラ10によって撮像された撮像画像に対し、商品情報を表示すべき商品を追尾するトラッキング機能を有する。 The image generation unit 106, to the image captured by the camera 10, has a tracking function for tracking the items to be displayed goods information. これにより、画像生成部106は、HMD100の装着者の頭部が微小に移動することにより、表示部21に映る商品の実像が微小に移動した場合であっても、商品の実像の移動に追随させた商品情報画像を生成することができる。 Thus, the image generating unit 106, by the head of the wearer's HMD100 moves minutely, even if the real image of the product appearing on the display unit 21 is moved minutely, follow the movement of the real image of the product product information image was able to generate.

図4は、本発明の一実施形態に係るHMD100と協働して用いられるサーバ装置110の構成を示すブロック図である。 Figure 4 is a block diagram illustrating cooperation with HMD100 the configuration of the server apparatus 110 to be used in according to an embodiment of the present invention. サーバ装置110は、商品情報データベース71と、画像認識データベース72と、制御装置80と、無線送受信部90とを備えている。 Server apparatus 110, a product information database 71, an image recognition database 72, a control unit 80, and a wireless transceiver 90.

商品情報データベース71は、店舗内に陳列されている各商品について、商品情報、たとえば商品の商品ID、商品名、メーカー名、価格、原材料、競合商品、特徴、売行きおよび購入者による評価などの情報が格納されている。 Product information database 71, for each of the products that are on display in the store, product information, such as product ID of the product, product name, manufacturer's name, price, raw materials, competitive products, features, information, such as evaluation by sales and purchaser There has been stored.

画像認識データベース72は、店舗内に陳列されている各商品の商品IDと、各商品について予め撮像された参照画像の画像データとが関連付けられて格納されている。 Image recognition database 72, are stored in association with the product ID of each commodities displayed in the store, and the image data of previously captured reference image for each product. 参照画像は、陳列状態における商品の前面を撮像した画像である。 Reference image is an image obtained by capturing an image of a front surface of the product in the display state.

制御装置80は、処理部81と、ROM82と、RAM83とを備えて構成される。 Controller 80 is configured to include a processor 81, a ROM 82, a RAM 83. 処理部81は、CPUを含み、ROM82に格納されたプログラムを実行し、サーバ装置110の各部を制御するとともに、データ処理を行う。 Processor 81 includes a CPU, executes the program stored in the ROM 82, and controls each unit of server device 110 performs data processing. ROM82は、処理部81が実行するプログラムおよびデータが格納される。 ROM82, the program and the data processor 81 executes is stored. RAM83は、プログラムの実行処理領域として利用されるほか、画像データなどの一時記憶領域、各種作業領域として利用される。 RAM83, in addition to being utilized as an execution processing area of ​​the program, a temporary storage area such as image data, is used as various work areas.

無線送受信部90は、ZigBeeおよびIEEE802.15.4などの無線通信方式を用いた無線通信モジュールを備え、HMD100との間で情報を無線通信するように構成されている。 Wireless transceiver 90 includes a wireless communication module using a wireless communication scheme such as ZigBee and IEEE 802.15.4, is configured to wirelessly communicate information between the HMD 100.

図5は、制御装置80の機能的な構成を示すブロック図である。 Figure 5 is a block diagram showing a functional configuration of the control device 80. 制御装置80は、商品情報抽出部111と、送受信部制御部112とを含んで構成される。 Controller 80 is configured to include a product information extraction section 111, and a transceiver controller 112.

商品情報抽出部111は、無線送受信部90がHMD100から撮像画像の画像データを受信すると、画像認識データベース72に格納されている参照画像の画像データに基づいて、受信した撮像画像において、商品情報を表示すべき商品を特定する。 Product information extraction unit 111, the wireless transceiver unit 90 receives the image data of the captured image from the HMD 100, based on the image data of the reference image stored in the image recognition database 72, in the received captured image, product information to identify the items to be displayed. そして、その特定した商品に関する商品情報を、商品情報データベース71から抽出する。 Then, the commodity information on the identified product is extracted from the product information database 71. さらに、商品情報抽出部111は、HMD100から送信されてきた撮像画像における、その特定した商品の位置(座標)とサイズを算出する。 Furthermore, the product information extracting unit 111, the captured image transmitted from the HMD 100, and calculates the size and the identified position of the items (coordinates).

送受信部制御部112は、商品情報抽出部111によって、商品情報が抽出され、かつ撮像画像における商品の位置およびサイズが算出されると、無線送受信部90に対し、抽出した商品情報、ならびに算出した商品の位置およびサイズ情報を、撮像画像を送信してきたHMD100へ送信する旨の指令を出力する。 Transceiver controller 112, the commodity information extraction unit 111, the product information is extracted, and the position and size of items in the captured image is calculated, the radio transmitting and receiving unit 90, the extracted product information, and the calculated the position and size information of the product, and outputs the instruction to send to HMD100 which has transmitted the captured image.

図6Aおよび図6Bは、本発明の一実施形態に係るHMD100の動作を説明するためのフローチャートである。 6A and 6B are a flowchart for explaining the operation of HMD100 according to an embodiment of the present invention. ステップs0で、来店者がHMD100を装着することにより、動作が開始される。 In Step s0, by visit who wears the HMD 100, operation is started.

ステップs1で、動作状態判定部101は、加速度検出部40から出力される信号に基づいて、装着者が移動状態であるか非移動状態であるかを判定する。 In step s1, the operation state determination unit 101 determines, based on a signal output from the acceleration detection unit 40, whether the wearer is in immobile state or a moving state. 移動状態であると判定されると、ステップs1へ進み、非移動状態であると判定されると、ステップs2へ進む。 If it is determined that the moving state, the process proceeds to step s1, when it is determined that the non-moving state, the process proceeds to step s2.

ステップs2で、動作状態判定部101は、加速度検出部40から出力される信号に基づいて、装着者が頭部の位置を動かしているか否かを判定する。 In step s2, the operation state determination unit 101, based on a signal output from the acceleration detection unit 40 determines whether the wearer is moving the position of the head. 頭部の位置を動かしていると判定されると、ステップs1へ進み、頭部の位置を動かしていないと判定されると、ステップs3へ進む。 If it is determined that moving the position of the head, the flow proceeds to step s1, when it is determined that no moving the position of the head, the flow proceeds to step s3.

ステップs3で、動作制御部102は、動作状態判定部101からの割込み要求の受付けを許可する。 In step s3, the operation control unit 102 permits the acceptance of interrupt requests from the operation state determination unit 101. ステップs4で、動作制御部102は、カメラ10を起動させる。 In step s4, the operation control unit 102 activates the camera 10. 図7は、HMD100の装着者が商品A〜Fが陳列された商品棚Sの前で静止した状態を示す図である。 Figure 7 is a diagram showing a state in which the wearer's HMD100 is stationary in front of the shelf S which product A~F was on display. 図7に示すように、動作状態判定部101によってHMD100の装着者が静止したと判定されると、動作制御部102によって、HMD100に搭載されるカメラ10が起動され、撮像範囲Vの画像の取り込みが開始される。 As shown in FIG. 7, when the operation state determination unit 101 wearer of HMD 100 is determined to have stationary, the operation control unit 102 is activated camera 10 to be mounted on HMD 100, the image of the imaging range V uptake There is started. 図8は、カメラ10によって撮像された撮像画像の一例を示す図であり、図8(a)は、1つの商品Aが含まれる撮像画像P1を示し、図8(b)は、2つの商品A,Bが含まれる撮像画像P2を示している。 Figure 8 is a diagram showing an example of a captured image captured by the camera 10, FIG. 8 (a) shows a captured image P1 that contains one product A, Fig. 8 (b), two items a, it shows the image P2 including the B. ステップs5で、カメラ10によって撮像された撮像画像の画像データが、指示情報判定部103へ入力される。 In step s5, the image data of the captured image captured by the camera 10 is input to the instruction information determination unit 103.

ステップs6で、指示情報判定部103は、入力される画像データに基づいて、カメラ10によって撮像された撮像画像に、人間の手指が含まれているか否かを判定する。 In step s6, instruction information determination unit 103, based on the image data input, determines the image captured by the camera 10, whether or not include a human finger. 図9は、人間の手指が含まれている撮像画像の一例を示す図であり、図9(a)は、装着者が自らの指fで商品情報が知りたい商品Aを指し示している状態を撮像した撮像画像P3を示し、図9(b)は、装着者が自らの手hで商品情報が知りたい商品Bを掴んでいる状態を撮像した撮像画像P4を示している。 Figure 9 is a diagram showing an example of a captured image that contains a human hand, FIG. 9 (a), a state in which the wearer is pointing to items A want to know product information in his finger f shows a captured image P3 captured, FIG. 9 (b), wearer indicates a captured image P4 of the captured state the product information is grabbed items B want to know by themselves h. 図9に示す撮像画像P3,P4のように、撮像画像に人間の手指f,hが含まれていると判定されると、ステップs7に進み、図8に示す撮像画像P1,P2のように、手指f,hが含まれていないと判定されると、ステップs9に進む。 As the captured image P3, P4 shown in FIG. 9, a human finger f in the captured image, when it is determined that h is included, the process proceeds to step s7, as the captured image P1, P2 shown in FIG. 8 , finger f, when it is determined not to contain h, the process proceeds to step s9.

ステップs7で、指示情報判定部103は、手指が含まれていると判定された撮像画像の画像データを、撮像画像格納部104の第1格納領域へ格納する。 In step s7, instruction information determination unit 103, the image data of the determined captured image contains finger, and stores the first storage area of ​​the captured image storage unit 104. ステップs8で、商品情報取得部105は、第1格納領域に格納されている画像データを、無線送受信部50に対しサーバ装置110へ送信させる。 In step s8, the product information acquiring unit 105, the image data stored in the first storage area, the wireless transceiver 50 to be transmitted to the server device 110. 画像データが送信されると、ステップs21へ進む。 When the image data is transmitted, the process proceeds to step s21.

ステップs9で、動作制御部102は、判定を継続するか否かの判定基準となる判定継続期間の計測を開始する。 In step s9, the operation control unit 102 starts measuring the determination duration as a criterion for determining whether to continue the determination. 判定継続期間は、予め設定されてRAM33に格納されている。 Determining duration, is stored in the RAM33 is preset. ステップs10で、指示情報判定部103は、手指が含まれていないと判定された撮像画像の画像データを、撮像画像格納部104の第2格納領域へ格納する。 In step s10, instruction information determination unit 103, the image data of the determined captured image and does not include a finger, and stores the second storage area of ​​the captured image storage unit 104. なお、第2格納領域に既に画像データが格納されている場合には、更新して格納する。 In the case where the already image data in the second storage area is stored, the update to be stored.

ステップs11で、動作制御部102は、判定継続期間の計測開始時点からの経過時間が、設定されている判定継続期間を超えたか否かを判定する。 In step s11, the operation control unit 102 determines the elapsed time from the measurement start time of the determination duration is whether exceeds a determined duration that is set. 設定されている判定継続期間を超えていないと判定されるとステップs12に進み、カメラ10によって撮像された撮像画像の画像データが、指示情報判定部103へ入力される。 If it is determined not to exceed the determined duration that is set the procedure proceeds to step s12, the image data of the captured image captured by the camera 10 is input to the instruction information determination unit 103. また設定されている判定継続期間を超えたと判定されると、ステップs16に進む。 Further, when it is determined to have exceeded the determination duration that is set, the process proceeds to step s16.

ステップs12で、カメラ10によって撮像された撮像画像の画像データが、指示情報判定部103へ入力される。 In step s12, the image data of the captured image captured by the camera 10 is input to the instruction information determination unit 103. ステップs13で、指示情報判定部103は、入力される画像データに基づいて、カメラ10によって撮像された撮像画像に、人間の手指が含まれているか否かを判定する。 In step s13, instruction information determination unit 103, based on the image data input, determines the image captured by the camera 10, whether or not include a human finger. 手指が含まれていると判定されると、ステップs14に進み、手指が含まれていないと判定されると、ステップs10に進む。 If it is determined to contain a finger, the process proceeds to step s14, it is determined that the information does not include a finger, the process proceeds to step s10.

ステップs14で、指示情報判定部103は、手指が含まれていると判定された撮像画像の画像データを、撮像画像格納部104の第1格納領域へ格納する。 In step s14, instruction information determination unit 103, the image data of the determined captured image contains finger, and stores the first storage area of ​​the captured image storage unit 104. ステップs15で、商品情報取得部105は、第1格納領域に格納されている画像データと第2格納領域に格納されている画像データとを、無線送受信部50に対しサーバ装置110へ送信させる。 In step s15, the product information acquiring unit 105, the image data stored in the image data and the second storage area is stored in the first storage area, the wireless transceiver 50 to be transmitted to the server device 110. 図10は、ステップs15においてサーバ装置110へ送信される撮像画像の一例を示す図であり、図10(a)は、装着者が自らの指fで商品Aを指している状態を撮像した撮像画像P5であり、図10(b)は、指fで商品Aを指す直前を撮像した撮像画像P6である。 Figure 10 is a diagram showing an example of a captured image is transmitted to the server apparatus 110 in step s15, FIG. 10 (a), the imaging of the captured state the wearer is pointing to items A with his finger f an image P5, FIG. 10 (b) is a captured image P6 of the captured immediately before that point to items a by the finger f. 画像データが送信されると、ステップs21へ進む。 When the image data is transmitted, the process proceeds to step s21.

ステップs16で、動作制御部102は、判定継続期間内に手指を含む画像を撮像できなかったとして、判定継続期間の計測を停止する。 In step s16, the operation control unit 102, as could not be captured images including finger in determining the duration, it stops the measurement of the determination duration. ステップs17で、動作制御部102は、カメラ10の撮像動作を停止する。 In step s17, the operation control unit 102 stops the imaging operation of the camera 10. ステップs18で、動作制御部102は、動作状態判定部101からの割込み要求の受付けを禁止する。 In step s18, the operation control unit 102 inhibits acceptance of interrupt requests from the operation state determination unit 101.

ステップs19で、動作状態判定部101は、加速度検出部40から出力される信号に基づいて、装着者が移動状態であるか非移動状態であるかを判定する。 In step s19, the operation state determination unit 101 determines, based on a signal output from the acceleration detection unit 40, whether the wearer is in immobile state or a moving state. 移動状態であると判定されると、ステップs1へ進み、非移動状態であると判定されると、ステップs20へ進む。 If it is determined that the moving state, the process proceeds to step s1, when it is determined that the non-moving state, the process proceeds to step s20.

ステップs20で、動作状態判定部101は、加速度検出部40から出力される信号に基づいて、装着者が頭部の位置を動かしているか否かを判定する。 In step s20, the operation state determination unit 101, based on a signal output from the acceleration detection unit 40 determines whether the wearer is moving the position of the head. 頭部の位置を動かしていると判定されると、ステップs1へ進み、頭部の位置を動かしていないと判定されると、ステップs19へ進む。 If it is determined that moving the position of the head, the flow proceeds to step s1, when it is determined that no moving the position of the head, the process proceeds to step s19.

このように、ステップs17においてカメラ10の動作を停止させた後は、ステップs19およびステップs20において、装着者が移動状態または頭部の位置をを動かしている状態に移行したことを確認してから、ステップs1へ進む。 Thus, after the operation of the camera 10 is stopped in step s17, in step s19 and step s20, after confirming that a transition to a state in which the wearer is moving to the position of the moving state or head , the process proceeds to step s1.

ステップs21で、商品情報取得部105は、無線送受信部50がサーバ装置110からデータを受信したか否かを判定する。 In step s21, the product information acquiring unit 105, a radio transceiver unit 50 determines whether or not data has been received from the server device 110. データを受信したと判定されると、そのデータを取得して、ステップs22に進み、データが未受信であると判定されると、ステップs21に進む。 If it is determined that the received data, and acquires the data, the process proceeds to step s22, when the data is determined to be non-received, the process proceeds to step s21.

ステップs22で、画像生成部106は、商品情報取得部105によって取得されたデータに商品情報が含まれているか否かを判定する。 In step s22, the image generating unit 106 determines whether contains product information data acquired by the product information acquiring unit 105. 商品情報が含まれていると判定されると、ステップs23に進み、商品情報が含まれていないと判定されると、ステップs27に進む。 If it is determined to contain a product information, the process proceeds to step s23, if it is determined not to contain product information, the process proceeds to step s27.

ステップs23で、画像生成部106は、商品情報取得部105によって取得された商品の位置およびサイズ情報と、ステップs8またはステップs15でサーバ装置110へ送信した撮像画像の画像データとに基づいて、その撮像画像における一部の領域を、商品情報を表示すべき商品として認識し、商品情報取得部105によって取得された商品情報に基づいて、商品情報画像の画像データを生成する。 In step s23, the image generating unit 106, based on the position and size information of the product obtained by the product information acquiring unit 105, the image data of the captured image transmitted to the server apparatus 110 in step s8 or step s15, the a partial region in the captured image, recognizes the trade to be displayed goods information, based on the product information acquired by the product information acquiring unit 105, generates image data of the product information image. 併せて、動作制御部102は、表示装置20を起動させる。 In addition, the operation control unit 102 activates the display device 20.

そして、画像生成部106は、生成した商品情報画像の画像データを表示装置20へ出力する。 Then, the image generating unit 106 outputs the generated image data of the merchandise information image to the display device 20. 表示装置20へ出力された画像データによって、表示部21へ商品情報画像が表示される。 The image data output to the display device 20, product information image is displayed on the display unit 21. 図11は、商品情報画像Q1が表示された表示部21を示す図である。 Figure 11 is a diagram showing a display unit 21 for product information image Q1 are displayed. 図11に示すように、光学シースルー方式を採用した表示部21には、商品情報qを表示すべき商品Aの実像に重畳して、商品情報画像Q1が表示されている。 As shown in FIG. 11, the display unit 21 which employs the optical see-through method, superimposed on the real image of the product A to be displayed merchandise information q, it is displayed merchandise information image Q1. HMD100の装着者は、この商品情報画像Q1を閲覧することによって、商品情報をリアルタイムに取得することができる。 HMD100 of the wearer, by viewing the product information image Q1, it is possible to acquire the product information in real time.

ステップs24で、カメラ10によって撮像された撮像画像の画像データが、画像生成部106へ入力される。 In step s24, the image data of the captured image captured by the camera 10 is input to the image generation unit 106. ステップs25で、画像生成部106は、ステップs23で商品情報を表示すべき商品として認識した一部の領域の画像と、カメラ10から入力された撮像画像とを照合(マッチング)し、撮像画像の中に商品情報を表示すべき商品の画像が含まれているか否かを判定する。 In step s25, the image generation unit 106 includes an image of a part of the region recognized as a product to be displayed goods information in step s23, compares the captured image input from the camera 10 (matching), the captured image determine if it contains an image of the item to be displayed goods information in the. 商品の画像が含まれていると判定されると、ステップs26に進み、商品の画像が含まれていないと判定されると、ステップs28に進む。 If it is determined to contain a picture of the product, the process proceeds to step s26, it is determined that the information does not include an image of the product, the process proceeds to step s28.

ステップs26で、画像生成部106は、商品情報画像を表示部21に継続して表示するために、商品情報を表示すべき商品を追尾し、追尾結果に基づいて、カメラ10から入力された撮像画像に対して、新たな商品情報画像の画像データを生成する。 In step s26, the image generation unit 106, in order to continuously displayed product information image on the display unit 21, an imaging and tracking the items to be displayed goods information, on the basis of the tracking result, input from the camera 10 the image, generates image data of a new product information image. そして、生成した商品情報画像の画像データを表示装置20へ出力する。 Then outputs the generated image data of the merchandise information image to the display device 20. これにより、表示部21には、表示部21に映る商品の実像の移動に追随して、商品情報画像が表示される。 Thus, the display unit 21, following the movement of the real image of the product appearing on the display unit 21 is displayed merchandise information image.

図12は、表示部21に映る商品の実像の移動に伴う商品情報画像Q1の変化の一例を示す図であり、図12(a)は、表示部21に映る商品の実像が移動する前の状態を示し、図12(b)は、表示部21に映る商品の実像が移動した後の状態を示している。 Figure 12 is a diagram showing an example of a change in the product information image Q1 with the movement of the real image of the product appearing on the display unit 21, FIG. 12 (a), before the real image of the product appearing on the display unit 21 moves shows a state, FIG. 12 (b) shows a state after the real image of the product appearing on the display unit 21 has moved. 図12に示すように、表示部21に映る商品の実像が表示部21の上下方向に微小に移動した場合には、たとえば商品の実像の移動に対応して吹き出しQ2の位置が変更された商品情報画像が生成されて、表示部21に表示される。 As shown in FIG. 12, items real image of products appearing on the display unit 21 when moving minutely in the vertical direction of the display unit 21, for example the position of the balloon corresponds Q2 to the movement of the real image of the product has changed information image is generated and displayed on the display unit 21. 新たに生成された商品情報画像が表示部21に表示されると、ステップs24へ進む。 When product information image newly generated is displayed on the display unit 21, the process proceeds to step s24.

ステップs27で、画像生成部106は、商品情報が発見されなかったことを示すための画像を生成する。 In step s27, the image generating unit 106 generates an image for indicating that the product information is not found. 併せて、動作制御部102は、表示装置20を起動させる。 In addition, the operation control unit 102 activates the display device 20. そして、画像生成部106は、生成した画像の画像データを表示装置20へ出力する。 Then, the image generating unit 106 outputs the image data of the generated image to the display device 20. 表示装置20へ出力された画像データによって、表示部21へ商品情報が発見されなかった旨が表示される。 The output image data to the display device 20, that the product information is not found is displayed on the display unit 21.

ステップs28で、画像生成部106は、装着者が表示部21に表示された表示内容を確認するための時間を確保するために、予め設定された表示期間だけ、商品情報画像または商品情報が発見されなかった旨を示す画像を表示部21に表示させる。 In step s28, the image generation unit 106, in order to allow time for checking the display contents wearer is displayed on the display unit 21, for a preset display period, the merchandise information image or product information finding on the display unit 21 an image indicating that not. ステップs29で、表示期間が経過すると、動作制御部102は、表示装置20の表示動作を停止する。 In step s29, when the elapse of the display period, the operation control unit 102 stops the display operation of the display device 20. ステップs30で、動作制御部102は、カメラ10の撮像動作を停止する。 In step s30, the operation control unit 102 stops the imaging operation of the camera 10. ステップs31で、動作制御部102は、動作状態判定部101からの割込み要求の受付けを禁止し、ステップs1に進む。 In step s31, the operation control unit 102 prohibits the acceptance of the interrupt request from the operating condition determining module 101, the process proceeds to step s1.

本実施形態では、指示情報判定部103は、判定対象の撮像画像に指示情報が含まれていない場合、予め設定された判定継続期間が経過するまで、撮像画像についての判定を繰り返すように構成されている。 In the present embodiment, instruction information determination unit 103, if the captured image to be determined does not include indication information, until the elapse of the determination duration that is set in advance, is configured to repeat the determination of the captured image ing. 他の実施形態では、予め設定された判定回数を超えるまで、撮像画像についての判定を繰り返すように構成されてもよい。 In other embodiments, to greater than a preset number of determinations may be configured to repeat the determination of the captured image.

図13は、サーバ装置110の動作を説明するためのフローチャートである。 Figure 13 is a flowchart for explaining the operation of the server device 110. ステップa0で、動作が開始される。 In Step a0, operation is started. ステップa1で、送受信部制御部112は、無線送受信部90がHMD100から画像データを受信したか否かを判定する。 In step a1, transceiver controller 112, a radio transceiver unit 90 determines whether the image data has been received from the HMD 100. 画像データを受信したと判定されると、ステップa2に進み、画像データが未受信であると判定されると、ステップa1に進む。 If it is determined that it has received the image data, the process proceeds to step a2, the image data is determined to be a non-received, the process proceeds to step a1.

ステップa2で、商品情報抽出部111は、受信した画像データが、手指が含まれていると判定された撮像画像の画像データのみか否かを判定する。 In step a2, the product information extraction unit 111 determines the received image data, whether only the image data determined as the captured image contains a finger. 手指が含まれていると判定された撮像画像の画像データのみと判定されると、ステップa3に進み、手指が含まれていると判定された撮像画像の画像データのみではないと判定されると、ステップa4に進む。 If it is determined only image data of the determined captured image to contain a finger, the process proceeds to step a3, if it is determined that alone is not the image data determined as the captured image contains fingers , the process proceeds to step a4.

ステップa3で、商品情報抽出部111は、手指が含まれていると判定された撮像画像の画像データと画像認識データベース72に格納されている参照画像の画像データとに基づいて画像認識し、撮像画像に含まれる商品を特定する。 In step a3, the product information extracting unit 111, and image recognition based on the image data of the reference image stored in the image data and the image recognition database 72 and determines captured image contains fingers, imaging identifying the product contained in the image. また商品情報抽出部111は、撮像画像において、その特定した商品の位置とサイズを算出する。 The product information extracting unit 111, in the captured image, calculates the position and size of the identified items.

ステップa4で、商品情報抽出部111は、手指が含まれていないと判定された撮像画像の画像データと画像認識データベース72に格納されている参照画像の画像データとに基づいて画像認識し、撮像画像に含まれる商品を特定する。 In step a4, the product information extracting unit 111, and image recognition based on the image data of the reference image stored in the image data and the image recognition database 72 of the determined captured image and does not include a finger, imaging identifying the product contained in the image. また商品情報抽出部111は、撮像画像において、その特定した商品の位置とサイズを算出する。 The product information extracting unit 111, in the captured image, calculates the position and size of the identified items.

ステップa5で、商品情報抽出部111は、撮像画像に含まれる商品について、商品情報データベース71に該当する商品情報があるか否かを判定する。 In step a5, the product information extracting unit 111, the products included in the captured image, it determines whether or not there is commodity information corresponding to the product information database 71. 商品情報があると判定されると、ステップa6に進み、商品情報がないと判定されると、ステップa11に進む。 If it is determined that there is commodity information, the process proceeds to step a6, it is determined that there is no product information, the process proceeds to step a11.

ステップa6で、商品情報抽出部111は、撮像画像に含まれる商品として特定された商品の数が複数であるか否かを判定する。 In step a6, the product information extraction unit 111 determines whether the number of items that have been identified as a product included in the captured image is a plurality. 複数でないと判定されると、ステップa7に進み、複数であると判定されると、ステップa8に進む。 If it is determined not more a, the process proceeds to step a7, it is determined that a plurality, the process proceeds to step a8.

ステップa7で、送受信部制御部112は、商品情報抽出部111によって取得された商品情報、ならびに算出された商品の位置およびサイズ情報を、無線送受信部90に対しHMD100へ送信させる。 In step a7, transceiver controller 112, the product information acquired by the product information extracting section 111, and the calculated position and size information of the product, the wireless transceiver 90 to be transmitted to the HMD 100. 各情報がHMD100へ送信されると、ステップa1へ進む。 As each information is transmitted to the HMD 100, the process proceeds to step a1.

ステップa8で、商品情報抽出部111は、受信した画像データが、手指が含まれていないと判定された撮像画像の画像データのみか否かを判定する。 In step a8, product information extraction unit 111 determines the received image data, whether only the image data of the determined captured image and does not include a finger. 手指が含まれていないと判定された撮像画像の画像データのみと判定されると、ステップa9に進み、手指が含まれていないと判定された撮像画像の画像データのみではないと判定されると、ステップa10に進む。 If it is determined only image data of the determined captured image and does not include a finger, the process proceeds to step a9, it is determined that only the not image data of the determined captured image and does not include finger , the process proceeds to step a10.

ステップa9で、商品情報抽出部111は、撮像画像に含まれる複数の商品のうち、カメラ10から距離が最も近い商品、または、撮像画像の中心部に対して最も近い位置の商品を選択する。 In step a9, the product information extracting unit 111, among a plurality of items included in the captured image, the distance from the camera 10 is closest product or select a product closest position relative to the center of the captured image.

カメラ10から距離が最も近い商品を選択する方法としては、各商品情報から得られる実際の商品のサイズの比と、撮像画像において商品の占める割合から割り出された商品のサイズの比とに基づいて、選択してもよい。 As a method of distance from the camera 10 selects the nearest item based the ratio of the actual size of the product obtained from the product information, to the ratio of the size of the product that is indexed from the ratio of product in the captured image Te, may be selected. また別の方法としては、カメラ10を最も近い被写体に対して焦点が合うように設定しておき、焦点が合っている方を選択するようにしてもよい。 In another method, may be set to focus the camera 10 to the nearest object, may be selected a person who is in focus.

ステップa10で、商品情報抽出部111は、撮像画像に含まれる複数の商品のうち、手指が重なっている商品を選択する。 In step a10, the product information extracting unit 111, among a plurality of items included in the captured image, select a product that overlap fingers. ステップa9またはステップa10で商品が選択された場合、ステップa7では、選択された商品についての商品情報、ならびに商品の位置およびサイズ情報がHMD100へ送信される。 Step a9 or if the product is selected in step a10, step a7, product information about the selected product, as well as the position and size information of the product is sent to the HMD 100.

ステップa11で、送受信部制御部112は、商品情報データベース71に該当する商品情報が発見されなかったことを示す情報を、無線送受信部90に対しHMD100へ送信させる。 In step a11, transceiver controller 112, information indicating that the commodity information corresponding to the product information database 71 is not found, the radio transceiver 90 to be transmitted to the HMD 100. 前記情報がHMD100へ送信されると、ステップa1へ進む。 When the information is transmitted to the HMD 100, the process proceeds to step a1.

図14は、割込み要求が発生した場合の動作を説明するためのフローチャートである。 Figure 14 is a flowchart for explaining the operation when an interrupt request occurs. 割込み要求は、カメラ10が動作している期間、すなわち動作制御部102によって割込み要求が許可されてから禁止されるまでの期間に発生する。 Interrupt request, the period in which the camera 10 is operating, i.e. generated in the period leading up to the interrupt request by the operation control unit 102 is inhibited from being allowed.

ステップb0で、動作制御部102によって、動作状態判定部101からの割込み要求の受付けが許可されることにより、動作が開始される。 In step b0, the operation control unit 102, by the acceptance of the interrupt request from the operating condition determining module 101 is allowed, operation is started.

ステップb1で、動作状態判定部101は、加速度検出部40から出力される信号に基づいて、装着者が移動状態であるか非移動状態であるかを判定する。 In step b1, the operation state determination unit 101 determines, based on a signal output from the acceleration detection unit 40, whether the wearer is in immobile state or a moving state. 移動状態であると判定されると、ステップb3へ進み、非移動状態であると判定されると、ステップb2へ進む。 If it is determined that the moving state, the process proceeds to step b3, is determined to be a non-moving state, the process proceeds to step b2.

ステップb2で、動作状態判定部101は、加速度検出部40から出力される信号に基づいて、装着者が頭部の位置を動かしているか否かを判定する。 In step b2, the operation state determination unit 101, based on a signal output from the acceleration detection unit 40 determines whether the wearer is moving the position of the head. 頭部の位置を動かしていると判定されると、ステップb3へ進み、頭部の位置を動かしていないと判定されると、ステップb1へ進む。 If it is determined that moving the position of the head, the flow advances to step b3, when it is determined that no moving the position of the head, the flow proceeds to step b1.

ステップb3で、動作状態判定部101は、動作制御部102に対して割込み要求を行う。 In step b3, the operation state determination unit 101 performs an interrupt request to the operation controller 102. ステップb4で、動作制御部102は、多重割込みを発生させないために、動作状態判定部101からの割込み要求の受付けを禁止し、指示情報判定部103または画像生成部106によって実行されている処理を中断する。 In step b4, the operation control unit 102, in order to prevent the occurrence of multiple interrupts, and prohibits the acceptance of interrupt requests from the operation state determination unit 101, the processing being performed at the direction information determination unit 103 or the image generation unit 106 interrupted.

ステップb4で、動作制御部102は、カメラ10の撮像動作を停止し、ステップb5で、動作を終了する。 In step b4, the operation control unit 102, the imaging operation of the camera 10 stops, in step b5, the operation ends.

上記のように、HMD100は、加速度検出部40と、動作状態判定部101と、動作制御部102とを備え、HMD100の加速度に基づいて判定された、HMD100の装着者の動作状態に基づいて、カメラ10を起動および動作停止することができる。 As described above, HMD 100 includes an acceleration detection unit 40, an operating condition determining module 101, and a operation control section 102, it is determined based on the acceleration of the HMD 100, based on the operating state of the wearer of HMD 100, it can be activated and deactivated the camera 10. すなわち、装着者の動作状態に応じて、カメラ10が起動および動作停止されるので、効率的に商品情報を提供することによって、HMD100における電力の消費を効率的に抑制することができる。 That is, in accordance with the operation state of the wearer, since the camera 10 is stopped up and running, by providing efficient product information, it is possible to efficiently suppress the power consumption of the HMD 100.

またHMD100は、指示情報判定部103と、撮像画像格納部104とを備え、商品情報を表示すべき商品を特定するための所定の指示情報が含まれていると判定されたときの撮像画像に基づいて、その撮像画像に含まれる商品に関する商品情報を取得するように構成されている。 The HMD100 includes instruction information determination unit 103, and a captured image storage unit 104, the captured image when it is determined to contain a predetermined instruction information for identifying the items to be displayed product information based on, it is configured to acquire the product information about the product contained in the captured image. したがって、撮像画像の中に複数の商品が含まれている場合であっても、所定の指示情報に従って特定された商品の商品情報だけを表示することができる。 Therefore, even when there are multiple items in the captured image can be displayed only product information of the products identified in accordance with a predetermined instruction information. これにより、HMD100の装着者が知りたい商品情報だけを容易に提供することができる。 As a result, it is possible to provide only the easily product information you want to know the wearer of the HMD100.

図15Aおよび図15Bは、本発明の他の実施形態に係るHMD100の動作を説明するためのフローチャートである。 15A and 15B are flowcharts for explaining the operation of HMD100 according to another embodiment of the present invention. 図15Aに示すフローチャートは、図6Aに示すフローチャートに類似し、詳細には、図6Aにおけるステップs16〜ステップs20に代えて、ステップs35を採用していることを除き、残余の工程については同一である。 Flowchart shown in FIG. 15A is similar to the flowchart shown in FIG. 6A, in particular, in place of step s16~ step s20 in FIG. 6A, except that it employs a step s35, the same for the remainder of the process is there. また、図15Bに示すフローチャートは、図6Bに示すフローチャートと同一である。 Further, the flowchart shown in FIG. 15B is the same as the flowchart shown in FIG. 6B. したがって、同一の工程については重複する説明を省略する。 Therefore, for the same steps and the description thereof is omitted here.

本実施形態では、ステップs11において、判定継続期間の計測開始時点からの経過時間が、予め設定された判定継続期間を超えたと判定されると、ステップs35に進む。 In this embodiment, in step s11, the elapsed time from the measurement start time of the determination duration is determined to exceed the preset determination duration, the process proceeds to step s35. ステップs35で、商品情報取得部105は、第2格納領域に格納されている画像データを、無線送受信部50に対しサーバ装置110へ送信させる。 In step s35, the product information acquiring unit 105, the image data stored in the second storage area, the wireless transceiver 50 to be transmitted to the server device 110.

すなわち、本実施形態では、手指が含まれている撮像画像が取得されなかった場合であっても、手指が含まれていない撮像画像の画像データのみがサーバ装置110へ送信される。 That is, in this embodiment, even when the captured image that includes the finger has not been acquired, only the image data of the captured image does not include the finger is transmitted to the server device 110. このように、手指が含まれていない撮像画像に基づいて商品を特定する処理を実行するように構成されてもよい。 Thus, it may be configured to perform processing for identifying a product based on the captured image does not include the finger.

以上に記載の実施形態は、光学シースルー方式を採用した表示部21を備えるHMD100を用いた場合について説明したが、これに限らず、手で携帯するように構成されたハンディターミナルによって、商品情報提供端末装置が実現されてもよい。 The embodiments described above has described the case of using the HMD100 having a display unit 21 employing the optical see-through method is not limited thereto, the configured handy terminal to portable hand, provide product information terminal device may be realized. ハンディターミナルの場合には、表示部は光学シースルー方式であってもビデオシースルー方式であってもよい。 When the handy terminal, the display unit may be a video see-through method may be an optical see-through method. なお、ビデオシースルー方式を採用した場合には拡張現実画像として、商品を含む撮像画像に商品情報を重畳描画した合成画像が生成される。 As augmented reality image in the case of employing the video see-through method, the composite image is generated by superimposing drawn product information to the captured image containing the product.

10 カメラ20 表示装置21 表示部30 制御装置40 加速度検出部50 無線送受信部60 電源部61 電池71 商品情報データベース72 画像認識データベース80 制御装置90 無線送受信部100 頭部装着型表示装置101 動作状態判定部102 動作制御部103 指示情報判定部104 撮像画像格納部105 商品情報取得部106 画像生成部110 サーバ装置111 商品情報抽出部112 送受信部制御部 10 camera 20 display 21 display unit 30 control unit 40 acceleration detector 50 wireless transceiver 60 the power supply unit 61 battery 71 product information database 72 the image recognition database 80 the controller 90 wireless transceiver 100 head-mounted display device 101 operating state determination part 102 operation control unit 103 instructs the information determining unit 104 the captured image storage unit 105 product information acquiring unit 106 image generating unit 110 the server apparatus 111 product information extracting unit 112 transceiver controller

Claims (6)

  1. 電源部を備え、該電源部からの電力によって動作し、使用者によって携帯される商品情報提供端末装置であって、 A power supply unit operated by electric power from the power supply unit, a commodity information providing terminal device carried by a user,
    現実空間を撮像するための撮像手段と、 Imaging means for imaging the real space,
    前記撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、 A product information acquiring unit that acquires the product information on products included in the image captured by the imaging means,
    前記撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、前記商品情報取得部によって取得された前記商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、 Based on the position of the products included in the image captured by the imaging means, the image generation for generating an augmented reality image to be displayed superimposed on the real space of the product information acquired by the product information acquiring unit and parts,
    前記画像生成部によって生成された拡張現実画像を表示可能な表示部と、 A display unit capable of displaying an augmented reality image generated by the image generating unit,
    加速度を検出する加速度検出手段と、 Acceleration detection means for detecting the acceleration,
    前記加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、 Based on the acceleration information detected by the acceleration detecting means, and the operation state determination unit determines the operation state of the user,
    前記動作状態判定部によって判定された動作状態に基づいて、前記撮像手段を起動および動作停止する動作制御部と Based on the operating state determined by the operation state determination unit, an operation control unit for starting and stop operating the imaging means,
    使用者の頭部に装着するための頭部装着部とを備え And a head-mounted unit for attachment to the user's head,
    前記加速度検出手段は、前記頭部装着部によって保持され、 It said acceleration detecting means is held by the head-mounted unit,
    前記動作状態判定部は、加速度検出手段により検出される加速度情報に基づいて、使用者が移動している移動状態であるか移動していない非移動状態であるかを判定するとともに、使用者が頭部の位置を動かしているか否かを判定し、 The operation state determining unit, based on the acceleration information detected by the acceleration detection means, together with the user to determine whether a non-moving state of not moving or is moving state that is moving, the user It determines whether or not to move the position of the head,
    前記動作制御部は、前記撮像手段の非稼動状態において、非移動状態であると判定され、かつ頭部の位置を動かしていないと判定された場合に前記撮像手段を起動し、前記撮像手段の稼動状態において、移動状態であると判定された場合、または頭部の位置を動かしていると判定された場合に前記撮像手段を動作停止することを特徴とする商品情報提供端末装置。 The operation control unit is in the non-operating state of the imaging means, is determined to be non-moving state, and starts the imaging means when it is determined not to move the position of the head, of the image pickup means in the operating state, the merchandise information supplying terminal device which is characterized that you stop operating the imaging unit when it is determined when it is determined that the moving state, or that moves the position of the head.
  2. 前記撮像手段によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する指示情報判定部と、 The image captured by the imaging means, and determines instruction information determination section whether contains a predetermined instruction information for identifying the items to be displayed product information,
    前記指示情報判定部による判定対象の撮像画像が格納される撮像画像格納部とをさらに含み、 Further includes a captured image storing unit that captured image to be determined by the instruction information determining section is stored,
    前記商品情報取得部は、前記指示情報判定部によって所定の指示情報が含まれていると判定されたときの撮像画像に基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする請求項1に記載の商品情報提供端末装置。 The commodity information obtaining unit, and wherein the instruction information determination unit based on the captured image when it is determined to contain a predetermined instruction information by, acquires the product information about a product included in the captured image commodity information providing terminal according to claim 1.
  3. 前記撮像画像格納部は、所定の指示情報が含まれていると判定されたときの撮像画像が格納される第1格納領域と、所定の指示情報が含まれていないと判定されたときの撮像画像が格納される第2格納領域とを有し、 Imaging when the captured image storage unit, it is determined in the first storage area captured image is stored when it is determined to contain a predetermined instruction information, and does not include a predetermined instruction information and a second storage area where the image is stored,
    前記指示情報判定部は、所定の指示情報が含まれていないと判定した場合、当該判定対象の撮像画像よりも後に撮像された撮像画像について判定を実行し、 The indication information determination section performs a determination for a given instruction if the information is determined not to be included, the captured image captured later than the captured image of the determination target,
    前記第2格納領域には、所定の指示情報が含まれていないと判定されたときの撮像画像が更新して格納され、 Wherein the second storage area, the captured image when it is determined not to contain the predetermined instruction information is stored by updating,
    前記商品情報取得部は、第1格納領域に格納される撮像画像と第2格納領域に格納される撮像画像とに基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする請求項に記載の商品情報提供端末装置。 The commodity information obtaining section, based on the captured image stored in the captured image stored in the first storage area a second storage area, and obtains product information related to the product included in the captured image commodity information providing terminal according to claim 2.
  4. 前記商品情報取得部は、所定の期間内または所定の判定回数内で所定の指標が含まれているとの判定がされない場合、第2格納領域に格納される撮像画像に基づいて、撮像画像に含まれる商品に関する商品情報を取得することを特徴とする請求項に記載の商品情報提供端末装置。 The product information acquiring unit, if not a determination to contain a predetermined index in number or in a predetermined determination predetermined time period, based on the captured image stored in the second storage region, a captured image commodity information providing terminal according to claim 3, characterized in that acquires the product information related to the product contained.
  5. 前記画像生成部は、前記撮像手段によって撮像された撮像画像に対し、商品情報を表示すべき商品を追尾する機能を有することを特徴とする請求項に記載の商品情報提供端末装置。 The image generation unit, to the captured image captured by the imaging means, the commodity information providing terminal according to claim 1, characterized in that it comprises a function of tracking the items to be displayed goods information.
  6. 電源部を備え、該電源部からの電力によって動作し、使用者によって携帯される商品情報提供端末装置とサーバ装置とを含む商品情報提供システムであって、 A power supply unit operated by electric power from the power supply unit, a commodity information providing system including a commodity information providing terminal device and the server device carried by the user,
    商品情報提供端末装置は、 Product information providing terminal device,
    現実空間を撮像するための撮像手段と、 Imaging means for imaging the real space,
    前記撮像手段によって撮像された撮像画像に含まれる商品に関する商品情報を取得する商品情報取得部と、 A product information acquiring unit that acquires the product information on products included in the image captured by the imaging means,
    前記撮像手段によって撮像された撮像画像に含まれる商品の位置に基づいて、前記商品情報取得部によって取得された前記商品情報を現実空間に重畳して表示するための拡張現実画像を生成する画像生成部と、 Based on the position of the products included in the image captured by the imaging means, the image generation for generating an augmented reality image to be displayed superimposed on the real space of the product information acquired by the product information acquiring unit and parts,
    前記画像生成部によって生成された拡張現実画像を表示可能な表示部と、 A display unit capable of displaying an augmented reality image generated by the image generating unit,
    加速度を検出する加速度検出手段と、 Acceleration detection means for detecting the acceleration,
    前記加速度検出手段により検出される加速度情報に基づいて、使用者の動作状態を判定する動作状態判定部と、 Based on the acceleration information detected by the acceleration detecting means, and the operation state determination unit determines the operation state of the user,
    前記動作状態判定部によって判定された動作状態に基づいて、前記撮像手段を起動および動作停止する動作制御部と、 Based on the operating state determined by the operation state determination unit, an operation control unit for starting and stop operating the imaging means,
    前記撮像手段によって撮像された撮像画像に、商品情報を表示すべき商品を特定するための所定の指示情報が含まれているか否かを判定する指示情報判定部と、 The image captured by the imaging means, and determines instruction information determination section whether contains a predetermined instruction information for identifying the items to be displayed product information,
    前記指示情報判定部による判定対象の撮像画像が格納される撮像画像格納部であって、所定の指示情報が含まれていると判定されたときの撮像画像が格納される第1格納領域と、所定の指示情報が含まれていないと判定されたときの撮像画像が格納される第2格納領域とを有する撮像画像格納部と、 A captured image storage unit that captured image is stored in the determination target by the instruction information determination unit, a first storage area for the captured image is stored when it is determined to contain a predetermined instruction information, a captured image storage unit and a second storage area captured image is stored when it is determined not to contain the predetermined instruction information,
    サーバ装置との間で情報を無線通信する端末側無線送受信部とを含み、 And a terminal side wireless transceiver for wirelessly communicating information to and from the server apparatus,
    サーバ装置は、 Server device,
    商品情報提供端末装置との間で情報を無線通信するサーバ側無線送受信部と、 A server-side radio transceiver for wirelessly communicating information to and from the commodity information providing terminal device,
    商品情報を商品ごとに格納する商品情報データベースと、 And product information database that stores the product information for each product,
    所定の指示情報に基づいて商品情報を表示すべき商品を特定し、該特定した商品に関する商品情報を商品情報データベースから抽出する商品情報抽出部とを含み、 Identify the items to be displayed product information based on a predetermined instruction information, see contains the product information extracting unit that extracts the product information from the product information database of products that the specific,
    前記動作状態判定部は、前記加速度検出手段により検出される加速度情報に基づいて、使用者が移動している移動状態であるか移動していない非移動状態であるかを判定し、 The operation state determining unit, based on the acceleration information detected by the acceleration detection means, to determine a non-moving state of the user is not moving or is moving state that is moving,
    前記動作制御部は、前記撮像手段の非稼動状態において、非移動状態であると判定された場合に前記撮像手段を起動し、前記撮像手段の稼動状態において、移動状態であると判定された場合に前記撮像手段を動作停止し、 The operation control unit is in the non-operating state of the imaging means, the imaging means is activated when it is determined that the non-moving state, the operating state of the image pickup means, when it is determined that the moving state It said imaging means operated stop,
    前記指示情報判定部は、所定の指示情報が含まれていないと判定した場合には、当該判定対象の撮像画像よりも後に撮像された撮像画像についてさらに判定を実行し、 The indication information determination unit, when it is determined that the information does not include a predetermined instruction information performs further determination on the captured image captured later than the captured image of the determination target,
    前記第2格納領域には、所定の指示情報が含まれていないと判定されたときの撮像画像が更新して格納され、 Wherein the second storage area, the captured image when it is determined not to contain the predetermined instruction information is stored by updating,
    前記商品情報取得部は、第1格納領域に撮像画像が格納されたとき、第2格納領域に撮像画像が格納されていない場合には、第1格納領域に格納された撮像画像を、第2格納領域に撮像画像が格納されている場合には、第1格納領域に格納された撮像画像と第2格納領域に格納されている撮像画像とを、前記端末側無線送受信部を介して前記サーバ装置へ送信し、 The commodity information obtaining section, when the captured image is stored in the first storage area, when the captured image in the second storage area is not stored in the captured image stored in the first storage area, second when said captured image in the storage area is stored, and a captured image and the captured image stored in the first storage area is stored in the second storage region, through the terminal side wireless transceiver server send to the device,
    前記商品情報抽出部は、前記サーバ側無線送受信部が前記商品情報提供端末装置によって送信された撮像画像を受信すると、受信した前記撮像画像において商品を特定し、当該特定した商品に関する商品情報を、前記商品情報データベースから抽出して、前記サーバ側無線送受信部を介して前記商品情報提供端末装置へ送信し、 The commodity information extracting unit, when the server-side wireless transceiver receives the captured image transmitted by said commodity information supplying terminal device, and identifying items in the captured image received, the commodity information about the commodity that the specified, extracting from said product information database, and sends via said server side wireless transceiver to the commodity information supplying terminal device,
    前記商品情報取得部は、前記端末側無線送受信部が前記サーバ装置によって送信された商品情報を受信すると、受信した前記商品情報を前記画像生成部に出力することを特徴とする商品情報提供システム。 The commodity information obtaining section, when the terminal side wireless transceiver receives the product information transmitted by the server apparatus, the commodity information providing system and outputs the product information received in the image generation unit.
JP2010126331A 2010-06-01 2010-06-01 Product information supplying terminal device and product information providing system Active JP5656457B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010126331A JP5656457B2 (en) 2010-06-01 2010-06-01 Product information supplying terminal device and product information providing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010126331A JP5656457B2 (en) 2010-06-01 2010-06-01 Product information supplying terminal device and product information providing system

Publications (2)

Publication Number Publication Date
JP2011253324A JP2011253324A (en) 2011-12-15
JP5656457B2 true JP5656457B2 (en) 2015-01-21

Family

ID=45417223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010126331A Active JP5656457B2 (en) 2010-06-01 2010-06-01 Product information supplying terminal device and product information providing system

Country Status (1)

Country Link
JP (1) JP5656457B2 (en)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
WO2014006580A1 (en) * 2012-07-05 2014-01-09 Koninklijke Philips N.V. Medication management device and method
JP2014071499A (en) 2012-09-27 2014-04-21 Kyocera Corp Display device and control method
US9430752B2 (en) * 2012-11-02 2016-08-30 Patrick Soon-Shiong Virtual planogram management, systems, and methods
JP6108159B2 (en) * 2013-03-04 2017-04-05 日本電気株式会社 The information processing system, information processing apparatus and a control method and control program
JPWO2014192103A1 (en) * 2013-05-29 2017-02-23 三菱電機株式会社 Information display device
CN104508695B (en) 2013-06-04 2019-03-15 松下电器(美国)知识产权公司 Bootstrap technique and guidance system
JP2015061200A (en) * 2013-09-18 2015-03-30 コニカミノルタ株式会社 Image display device, image display method, and image display program
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
JP6092761B2 (en) * 2013-12-06 2017-03-08 株式会社Nttドコモ Shopping support device and shopping support method
JPWO2015166527A1 (en) * 2014-04-28 2017-04-20 パイオニア株式会社 Display control apparatus, a control method, program and storage medium
CN105320931A (en) 2014-05-26 2016-02-10 京瓷办公信息系统株式会社 Article information providing apparatus and article information providing system
JP2016012349A (en) * 2014-06-05 2016-01-21 トーヨーカネツソリューションズ株式会社 Advertisement provision system using ar, and customer added value information provision system using ar
JP6500355B2 (en) 2014-06-20 2019-04-17 富士通株式会社 Display device, display program, and display method
JP6476643B2 (en) * 2014-08-11 2019-03-06 セイコーエプソン株式会社 Head-mounted display device, information system, the control method of the head-mounted display device, and a computer program
JP6076304B2 (en) * 2014-09-29 2017-02-08 京セラドキュメントソリューションズ株式会社 The article information providing apparatus, the article information providing system, an article information providing method and article information providing program
JP6439566B2 (en) * 2015-04-23 2018-12-19 大日本印刷株式会社 Multilingual display multilingual display system, multilingual display method and multilingual display program
JP2016206447A (en) * 2015-04-23 2016-12-08 セイコーエプソン株式会社 Head-mounted display device, information system, method for controlling head-mounted display device, and computer program
JP2017102768A (en) 2015-12-03 2017-06-08 セイコーエプソン株式会社 Information processor, display device, information processing method, and program
JP2017171443A (en) * 2016-03-23 2017-09-28 パナソニックIpマネジメント株式会社 Projection instruction device, goods assort system and projection instruction method
JP6404526B2 (en) * 2016-05-31 2018-10-10 株式会社オプティム Captured image sharing system, the captured image sharing method, and program
JP2016224959A (en) * 2016-06-29 2016-12-28 京セラ株式会社 Display apparatus and control method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4003316B2 (en) * 1998-10-09 2007-11-07 富士フイルム株式会社 Pedometer with camera
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP4533087B2 (en) * 2004-10-28 2010-08-25 キヤノン株式会社 Image processing method, image processing apparatus
JP2007017613A (en) * 2005-07-06 2007-01-25 Fujifilm Holdings Corp Photographing apparatus
EP1965344B1 (en) * 2007-02-27 2017-06-28 Accenture Global Services Limited Remote object recognition
JP2010061265A (en) * 2008-09-02 2010-03-18 Fujifilm Corp Person retrieval and registration system
JP2010118019A (en) * 2008-11-14 2010-05-27 Sharp Corp Terminal device, distribution device, control method of terminal device, control method of distribution device, control program, and recording medium

Also Published As

Publication number Publication date
JP2011253324A (en) 2011-12-15

Similar Documents

Publication Publication Date Title
JP3993991B2 (en) Microdisplay system having a function of detecting a gaze of the subject
CN101566875B (en) Image processing apparatus, and image processing method
US20060244677A1 (en) Industrial augmented reality
US7830334B2 (en) Image displaying method and apparatus
US20130215149A1 (en) Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium
EP3014338B1 (en) Tracking head movement when wearing mobile device
KR101926942B1 (en) Portable eye tracking device
US9189021B2 (en) Wearable food nutrition feedback system
EP3097460B1 (en) Gaze swipe selection
CN103561635B (en) Gaze tracking system
US8359247B2 (en) System and methods for generating virtual clothing experiences
WO2014128749A1 (en) Shape recognition device, shape recognition program, and shape recognition method
US8836768B1 (en) Method and system enabling natural user interface gestures with user wearable glasses
US20160364914A1 (en) Augmented reality lighting effects
US9728010B2 (en) Virtual representations of real-world objects
JP5965410B2 (en) The optimal focus area for the augmented reality display
CN104919398B (en) Wearable behavior-based vision system
JP4824793B2 (en) Wearable terminal device and program
JP4054585B2 (en) Information processing apparatus and method
US9606992B2 (en) Personal audio/visual apparatus providing resource management
US20160196603A1 (en) Product augmentation and advertising in see through displays
US8139087B2 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
US20140160055A1 (en) Wearable multi-modal input device for augmented reality
KR20150116871A (en) Human-body-gesture-based region and volume selection for hmd
KR20030064834A (en) Method and apparatus for supporting apparel product sale and fitting room

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141125

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5656457

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150