JP6853152B2

JP6853152B2 - Information processing equipment, terminal equipment and information processing system

Info

Publication number: JP6853152B2
Application number: JP2017185078A
Authority: JP
Inventors: 直之中尾; 邦臣石田; 美由紀木村
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2017-09-26
Filing date: 2017-09-26
Publication date: 2021-03-31
Anticipated expiration: 2037-09-26
Also published as: JP2019061455A

Description

本発明は、情報処理装置、端末装置および情報処理システムに関する。 The present invention relates to an information processing device, a terminal device and an information processing system.

拡張現実を表示する発明として、例えば特許文献１に開示された情報処理装置がある。この情報処理装置は、ポスターに設けられたマーカを撮影すると、ポスターに関する商品の情報やクーポンを表示する。 As an invention for displaying augmented reality, for example, there is an information processing device disclosed in Patent Document 1. When this information processing device photographs a marker provided on the poster, it displays product information and coupons related to the poster.

特開２０１４−１２７１４８号公報Japanese Unexamined Patent Publication No. 2014-127148

例えば、店頭で商品を見る場合、商品の情報を得たい場合がある。商品にマーカを付与すれば、マーカを撮影することにより商品の情報やクーポンを得ることができる。しかしながら、商品の各々にマーカを付与するのは手間がかかることとなる。画像処理により物体を認識し、認識したことに応じて情報を表示する構成も考えられるが、この場合、興味のない商品の情報についても表示してしまうこととなる。 For example, when viewing a product at a store, you may want to obtain product information. If a marker is attached to a product, product information and a coupon can be obtained by photographing the marker. However, it takes time and effort to attach a marker to each of the products. A configuration is conceivable in which an object is recognized by image processing and information is displayed according to the recognition, but in this case, information on a product that is not of interest is also displayed.

本発明は、ユーザが関心のある商品の情報を表示する技術を提供することを目的とする。 An object of the present invention is to provide a technique for displaying information on a product that a user is interested in.

本発明は、端末装置から現実空間の画像を受信する受信部と、前記受信部が受信した画像内において予め定められた物体を認識する認識部と、前記認識部が認識した物体に対するユーザの動作を、前記画像に基づいて特定する特定部と、前記特定部が特定した動作が予め定められた動作である場合、前記認識部が認識した物体に対応した情報を、前記端末装置へ送信する送信部とを有する情報処理装置を提供する。 The present invention includes a receiving unit that receives an image in real space from a terminal device, a recognition unit that recognizes a predetermined object in the image received by the receiving unit, and a user's operation on the object recognized by the recognition unit. When the specific unit specified based on the image and the operation specified by the specific unit are predetermined operations, the information corresponding to the object recognized by the recognition unit is transmitted to the terminal device. An information processing device having a unit is provided.

本発明においては、前記動作は、前記ユーザが前記物体を手に持つ動作であってもよい。 In the present invention, the operation may be an operation in which the user holds the object in his / her hand.

また、本発明においては、前記送信部が送信する情報は、前記動作の継続時間に応じて異なる構成であってもよい。 Further, in the present invention, the information transmitted by the transmission unit may have a different configuration depending on the duration of the operation.

また、本発明においては、前記動作は、前記物体に対する前記ユーザの視点が変わる動作であってもよい。 Further, in the present invention, the operation may be an operation in which the user's viewpoint with respect to the object is changed.

また、本発明においては、前記送信部が送信する情報は、前記動作に応じて異なる構成であってもよい。 Further, in the present invention, the information transmitted by the transmission unit may have a different configuration depending on the operation.

また、本発明においては、前記予め定められた物体のうち、予め定められた条件を満たした物体を識別する情報を記憶する記憶部を有し、前記送信部は、前記記憶部に記憶されている情報で特定される物体を前記認識部が認識した場合、前記情報を送信しない構成であってもよい。 Further, in the present invention, there is a storage unit for storing information for identifying an object satisfying a predetermined condition among the predetermined objects, and the transmission unit is stored in the storage unit. When the recognition unit recognizes an object specified by the information, the information may not be transmitted.

また、本発明においては、前記画像を送信する端末装置のユーザの属性を記憶する記憶部を有し、前記送信部は、前記認識部が認識した物体と前記属性との関係に応じて、前記情報の送信を制御する構成であってもよい。 Further, in the present invention, the storage unit has a storage unit for storing the attributes of the user of the terminal device for transmitting the image, and the transmission unit is said to have a storage unit according to the relationship between the object recognized by the recognition unit and the attributes. It may be configured to control the transmission of information.

また、本発明においては、前記物体は、商品であり、前記情報は、前記認識部が認識した商品の広告または前記認識部が認識した商品に関連する商品の情報である構成であってもよい。 Further, in the present invention, the object may be a product, and the information may be an advertisement for a product recognized by the recognition unit or information on a product related to the product recognized by the recognition unit. ..

また、本発明は、撮像部と、前記撮像部が生成した画像内において予め定められた物体を認識する認識部と、前記認識部が認識した物体に対するユーザの動作を、前記画像に基づいて特定する特定部と、前記特定部が特定した動作が予め定められた動作である場合、ユーザの視界または前記撮像部が生成した現実空間の画像に重畳して表示する情報を取得する取得部と、前記取得部が取得した情報を、ユーザの眼前に表示または前記撮像部が生成した現実空間の画像に重畳して表示する表示制御部とを備える端末装置を提供する。 Further, the present invention specifies the image pickup unit, the recognition unit that recognizes a predetermined object in the image generated by the image pickup unit, and the user's operation with respect to the object recognized by the recognition unit based on the image. When the specific unit is a predetermined operation and the operation specified by the specific unit is a predetermined operation, an acquisition unit that acquires information to be displayed by superimposing it on the user's field of view or an image in the real space generated by the imaging unit. Provided is a terminal device including a display control unit that displays information acquired by the acquisition unit in front of the user's eyes or superimposes it on an image in the real space generated by the imaging unit.

また、本発明は、撮像部と、前記撮像部が生成した画像内において予め定められた物体を認識する認識部と、前記認識部が認識した物体に対するユーザの動作を、前記画像に基づいて特定する特定部と、前記特定部が特定した動作が予め定められた動作である場合、前記認識部が認識した物体を表す第１情報を送信する第１送信部と、前記第１情報への応答として送信される第２情報を取得する取得部と、前記取得部が取得した前記第２情報を、ユーザの眼前に表示または前記撮像部が生成した現実空間の画像に重畳して表示する表示制御部とを有する端末装置と、前記第１情報を受信する受信部と、前記受信部が受信した前記第１情報に対応した第２情報を前記端末装置へ送信する第２送信部と、を有する情報処理装置とを備える情報処理システムを提供する。 Further, the present invention specifies the imaging unit, the recognition unit that recognizes a predetermined object in the image generated by the imaging unit, and the user's operation with respect to the object recognized by the recognition unit based on the image. When the specific unit and the operation specified by the specific unit are predetermined operations, the first transmission unit that transmits the first information representing the object recognized by the recognition unit and the response to the first information. The acquisition unit that acquires the second information transmitted as, and the display control that displays the second information acquired by the acquisition unit in front of the user's eyes or superimposes it on the image of the real space generated by the imaging unit. It has a terminal device having a unit, a receiving unit that receives the first information, and a second transmitting unit that transmits the second information corresponding to the first information received by the receiving unit to the terminal device. Provide an information processing system including an information processing device.

本発明によれば、ユーザが関心のある商品の情報を表示することができる。 According to the present invention, information on products that the user is interested in can be displayed.

本発明の一実施形態に係る情報処理システム１を構成する装置を示した図。The figure which showed the apparatus which comprises the information processing system 1 which concerns on one Embodiment of this invention. 端末装置１０のハードウェア構成を示したブロック図。The block diagram which showed the hardware configuration of the terminal apparatus 10. 端末装置１０の機能ブロック図。The functional block diagram of the terminal apparatus 10. サーバ装置２０のハードウェア構成を示したブロック図。The block diagram which showed the hardware configuration of the server apparatus 20. 店舗テーブルの一例を示した図。The figure which showed an example of the store table. 商品情報テーブルの一例を示した図。The figure which showed an example of the product information table. サーバ装置２０の機能ブロック図。The functional block diagram of the server apparatus 20. 端末装置１０が行う処理の流れを示したフローチャート。The flowchart which showed the flow of the process performed by the terminal apparatus 10. 変形例に係る機能の構成を示した機能ブロック図。The functional block diagram which showed the structure of the function which concerns on the modification.

（全体構成）
図１は、本発明の一実施形態に係る情報処理システム１を構成する装置を示した図である。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。通信網２は、インターネット、固定電話網、移動体通信網などを含む。通信網２には、端末装置１０が有線または無線によって接続される。また、通信網２には、有線でサーバ装置２０が接続されている。 (overall structure)
FIG. 1 is a diagram showing an apparatus constituting an information processing system 1 according to an embodiment of the present invention. In the following description, the word "device" can be read as a circuit, a device, a unit, or the like. The communication network 2 includes the Internet, a fixed telephone network, a mobile communication network, and the like. The terminal device 10 is connected to the communication network 2 by wire or wirelessly. Further, the server device 20 is connected to the communication network 2 by wire.

本実施形態に係る端末装置１０は、所謂、ウェアラブル端末と呼ばれる眼鏡型のコンピュータ装置であり、本発明に係る端末装置の一例である。端末装置１０は、通信網２を介して音声通信および／またはデータ通信を行う。端末装置１０は、眼鏡型のコンピュータ装置に限定されるものではなく、スマートフォン、タブレット端末、フィーチャーフォンなどの携帯型の装置であってもよい。端末装置１０は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。サーバ装置２０は、通信網２を介して端末装置１０と通信を行い、端末装置１０からのアクセスに応じて端末装置１０へ情報を提供する。サーバ装置２０は、本発明に係る情報処理装置の一例である。本実施形態に係る情報処理システム１においては、端末装置１０は、店にある商品を撮影し、撮影した商品の情報をサーバ装置２０から取得して表示する。 The terminal device 10 according to the present embodiment is a so-called wearable terminal, which is a spectacle-type computer device, and is an example of the terminal device according to the present invention. The terminal device 10 performs voice communication and / or data communication via the communication network 2. The terminal device 10 is not limited to the eyeglass-type computer device, and may be a portable device such as a smartphone, a tablet terminal, or a feature phone. The terminal device 10 may be a subscriber station, a mobile unit, a subscriber unit, a wireless unit, a remote unit, a mobile device, a wireless device, a wireless communication device, a remote device, a mobile subscriber station, an access terminal, a mobile terminal, etc. It may also be referred to as a wireless terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable term. The server device 20 communicates with the terminal device 10 via the communication network 2 and provides information to the terminal device 10 in response to access from the terminal device 10. The server device 20 is an example of an information processing device according to the present invention. In the information processing system 1 according to the present embodiment, the terminal device 10 photographs a product in the store, acquires information on the photographed product from the server device 20, and displays the information.

（端末装置１０の構成）
図２は、端末装置１０のハードウェア構成の一例を示した図である。操作部１０３は、端末装置１０を操作するための操作子を有する。端末装置１０は、操作された操作子に応じて動作する。通信部１０５は、有線および／または無線でコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信部１０５は、通信網２を介して音声通信とデータ通信を行う。音声処理部１０７は、マイクロフォンとスピーカを有している。音声処理部１０７は、端末装置１０同士が音声通話を行う場合、通話相手の音声に係るデジタル信号が通信部１０５から供給されると、供給されたデジタル信号をアナログ信号に変換する。このアナログ信号は、スピーカへ供給され、スピーカからは、通話相手の音声が放音される。また、音声処理部１０７は、マイクロフォンが音声を収音すると、収音した音声をデジタル信号に変換する。音声処理部１０７は、端末装置で音声通話を行う場合、ユーザの音声を変換したデジタル信号を通信部１０５へ供給する。このデジタル信号は、通信部１０５から通信網２へ送信され、通話相手の端末装置へ送信される。 (Configuration of terminal device 10)
FIG. 2 is a diagram showing an example of the hardware configuration of the terminal device 10. The operation unit 103 has an operator for operating the terminal device 10. The terminal device 10 operates according to the operated operator. The communication unit 105 is hardware (transmission / reception device) for performing wired and / or wireless communication between computers, and is also referred to as, for example, a network device, a network controller, a network card, a communication module, or the like. The communication unit 105 performs voice communication and data communication via the communication network 2. The voice processing unit 107 has a microphone and a speaker. When the terminal devices 10 make a voice call with each other, the voice processing unit 107 converts the supplied digital signal into an analog signal when the digital signal related to the voice of the other party is supplied from the communication unit 105. This analog signal is supplied to the speaker, and the voice of the other party is emitted from the speaker. Further, when the microphone picks up the voice, the voice processing unit 107 converts the picked up voice into a digital signal. When the voice processing unit 107 makes a voice call on the terminal device, the voice processing unit 107 supplies a digital signal converted from the user's voice to the communication unit 105. This digital signal is transmitted from the communication unit 105 to the communication network 2 and transmitted to the terminal device of the other party.

表示部１０４は、眼鏡型である端末装置１０が備えるレンズに画像を表示する。レンズに画像を表示することにより、端末装置１０を装着したユーザの視界には、表示部１０４が表示した画像が重畳して表示される。撮像部１０８は、撮像素子、撮像素子に像を結像する光学系、撮像素子へ入射する光を制限する絞りなどを備えている。撮像部１０８は、ユーザの視界を撮像範囲とし、撮像した範囲の画像を生成する。 The display unit 104 displays an image on a lens included in the terminal device 10 which is a spectacle type. By displaying the image on the lens, the image displayed by the display unit 104 is superimposed and displayed in the field of view of the user wearing the terminal device 10. The image pickup unit 108 includes an image pickup element, an optical system for forming an image on the image pickup element, a diaphragm for limiting light incident on the image pickup element, and the like. The imaging unit 108 sets the user's field of view as the imaging range and generates an image of the captured range.

測位部１０９は、衛星測位システムを利用して端末装置１０の位置を測位する。測位部１０９は、人工衛星から送信される電波を取得し、取得した電波に基づいて端末装置の位置を表す位置情報を生成する。なお、測位部１０９は、所謂Ａ−ＧＰＳ（Assisted-GPS）やＤＧＰＳ（Differential GPS）の技術を用いて位置を測位するものであってもよい。 The positioning unit 109 positions the terminal device 10 by using the satellite positioning system. The positioning unit 109 acquires radio waves transmitted from the artificial satellite and generates position information indicating the position of the terminal device based on the acquired radio waves. The positioning unit 109 may position the position using so-called A-GPS (Assisted-GPS) or DGPS (Differential GPS) technology.

記憶部１０２は、制御部１０１が実行するプログラムを記憶する。なお、プログラムは、電気通信回線を介してネットワークから取得してもよい。記憶部１０２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。記憶部１０２は、補助記憶装置と呼ばれてもよい。 The storage unit 102 stores a program executed by the control unit 101. The program may be acquired from the network via a telecommunication line. The storage unit 102 is a computer-readable recording medium, and is, for example, an optical disk such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disk, an optical magnetic disk (for example, a compact disk, a digital versatile disk, Blu-). It may consist of at least one such as a ray® disc), a smart card, a flash memory (eg, a card, stick, key drive), a floppy® disc, a magnetic strip, and the like. The storage unit 102 may be called an auxiliary storage device.

制御部１０１は、ＣＰＵ（Central Processing Unit）およびメモリを有している。端末装置１０において実現する機能は、記憶部１０２に記憶されているプログラム（ソフトウェア）をＣＰＵ、メモリなどのハードウェア上に読み込ませることでＣＰＵが演算を行い、端末装置１０の各部の制御、メモリおよび記憶部１０２におけるデータの読み出しおよび／または書き込みの制御を行うことで実現される。制御部１０１が行う後述の各種処理は、１つのＣＰＵでの実行に限定されるものではなく、２以上のＣＰＵにより同時または逐次に実行されてもよい。ＣＰＵは、１以上のチップで実装されてもよい。制御部１０１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ）で構成されてもよい。また、制御部１０１は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。 The control unit 101 has a CPU (Central Processing Unit) and a memory. The function realized in the terminal device 10 is that the CPU performs calculations by reading the program (software) stored in the storage unit 102 onto hardware such as the CPU and memory, and controls each part of the terminal device 10 and the memory. And, it is realized by controlling the reading and / or writing of data in the storage unit 102. The various processes described later performed by the control unit 101 are not limited to execution by one CPU, and may be executed simultaneously or sequentially by two or more CPUs. The CPU may be mounted on one or more chips. The control unit 101 may be composed of a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic unit, a register, and the like. Further, the control unit 101 includes hardware such as a microprocessor, a digital signal processor (DSP: Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). It may be configured, and the hardware may implement some or all of each functional block.

メモリは、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリは、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリは、本発明の一実施形態に係る処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。 The memory is a computer-readable recording medium, and is composed of at least one such as a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EPROM (Electrically Erasable Programmable ROM), and a RAM (Random Access Memory). You may. The memory may be referred to as a register, a cache, a main memory (main storage device), or the like. The memory can store a program (program code), a software module, or the like that can be executed to perform the process according to the embodiment of the present invention.

図３は、記憶部１０２に記憶されているプログラムを制御部１０１が実行することにより実現する機能のうち、本発明に係る機能の構成を示した機能ブロック図である。これらの機能ブロック（構成部）は、ハードウェアおよび／またはソフトウェアの任意の組み合わせによって実現されてもよい。また、各機能ブロックの実現手段は特に限定されない。即ち、各機能ブロックは、物理的および／または論理的に結合した１つの装置により実現されてもよいし、物理的および／または論理的に分離した２つ以上の装置を直接的および／または間接的に（例えば、有線および／または無線）で接続し、これら複数の装置により実現されてもよい。 FIG. 3 is a functional block diagram showing a configuration of a function according to the present invention among the functions realized by the control unit 101 executing a program stored in the storage unit 102. These functional blocks (components) may be realized by any combination of hardware and / or software. Further, the means for realizing each functional block is not particularly limited. That is, each functional block may be realized by one physically and / or logically coupled device, or directly and / or indirectly by two or more physically and / or logically separated devices. (For example, wired and / or wireless) may be connected and realized by these plurality of devices.

認識部１００１は、撮像部１０８が生成した画像を解析し、画像内にある予め定められた物体を認識する。特定部１００２は、認識部１００１が認識した物体に対するユーザの動作を特定する。送信部１００３（第１送信部）は、特定部１００２が特定した動作が予め定められた動作である場合、認識部１００１が認識した物体を表す情報（商品識別子）をサーバ装置２０へ送信する。取得部１００４は、送信部１００３が送信した情報への応答としてサーバ装置２０から送信された情報を取得する。表示制御部１００５は、取得部１００４が取得した情報が表示されるように表示部１０４を制御する。 The recognition unit 1001 analyzes the image generated by the image pickup unit 108 and recognizes a predetermined object in the image. The identification unit 1002 specifies the user's action with respect to the object recognized by the recognition unit 1001. When the operation specified by the specific unit 1002 is a predetermined operation, the transmission unit 1003 (first transmission unit) transmits information (product identifier) representing the object recognized by the recognition unit 1001 to the server device 20. The acquisition unit 1004 acquires the information transmitted from the server device 20 as a response to the information transmitted by the transmission unit 1003. The display control unit 1005 controls the display unit 104 so that the information acquired by the acquisition unit 1004 is displayed.

（サーバ装置２０の構成）
図４は、サーバ装置２０のハードウェア構成を示した図である。通信部２０５は、コンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信部２０５は、通信網２を介してデータ通信を行う。 (Configuration of server device 20)
FIG. 4 is a diagram showing a hardware configuration of the server device 20. The communication unit 205 is hardware (transmission / reception device) for performing communication between computers, and is also referred to as, for example, a network device, a network controller, a network card, a communication module, or the like. The communication unit 205 performs data communication via the communication network 2.

記憶部２０２は、制御部２０１が実行するプログラムを記憶している。なお、プログラムは、電気通信回線を介してネットワークから取得してもよい。記憶部２０２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。記憶部２０２は、補助記憶装置と呼ばれてもよい。 The storage unit 202 stores a program executed by the control unit 201. The program may be acquired from the network via a telecommunication line. The storage unit 202 is a computer-readable recording medium, and is, for example, an optical disk such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disk, an optical magnetic disk (for example, a compact disk, a digital versatile disk, Blu-). It may consist of at least one such as a ray® disc), a smart card, a flash memory (eg, a card, stick, key drive), a floppy® disc, a magnetic strip, and the like. The storage unit 202 may be called an auxiliary storage device.

また、記憶部２０２は、店舗テーブルと、商品情報テーブルとを記憶する。図５は、店舗テーブルの一例を示した図である。店舗テーブルは、複数の店毎に、店を識別する店舗識別子と、店の位置を表す位置情報とを対応付けて記憶する。図６は、商品情報テーブルの一例を示した図である。店舗識別子のフィールドには、店の識別子が格納される。商品識別子のフィールドには、店舗識別子のフィールドに格納された店舗識別子の店で販売されている商品を識別するための商品識別子が格納される。商品情報のフィールドには、商品識別子のフィールドに格納された商品識別子の商品の情報が格納される。例えば、店で販売されている野菜については、商品に係る情報として生産地の情報が格納される。なお、商品に係る情報は、生産地の情報に限定されるものではなく、生産者の情報または収穫日時の情報であってもよい。また、商品に係る情報は、例えば、生産地の情報、生産者の情報、収穫日時の情報の少なくとも一つを含む構成であってもよい。 Further, the storage unit 202 stores the store table and the product information table. FIG. 5 is a diagram showing an example of a store table. The store table stores the store identifier that identifies the store and the location information that indicates the location of the store in association with each other for each of the plurality of stores. FIG. 6 is a diagram showing an example of a product information table. The store identifier is stored in the store identifier field. In the product identifier field, a product identifier for identifying a product sold at the store of the store identifier stored in the store identifier field is stored. In the product information field, the product information of the product identifier stored in the product identifier field is stored. For example, for vegetables sold in stores, information on the production area is stored as information on the products. The information related to the product is not limited to the information on the production area, but may be the information on the producer or the information on the harvest date and time. Further, the information related to the product may be configured to include at least one of information on the production area, information on the producer, and information on the harvest date and time, for example.

制御部２０１は、ＣＰＵ（Central Processing Unit）およびメモリを有している。サーバ装置２０において実現する機能は、記憶部２０２に記憶されているプログラム（ソフトウェア）をＣＰＵ、メモリなどのハードウェア上に読み込ませることでＣＰＵが演算を行い、記憶部２０２の制御、通信部２０５の制御、メモリおよび記憶部２０２におけるデータの読み出しおよび／または書き込みの制御を行うことで実現される。制御部２０１が行う後述の各種処理は、１つのＣＰＵでの実行に限定されるものではなく、２以上のＣＰＵにより同時または逐次に実行されてもよい。ＣＰＵは、１以上のチップで実装されてもよい。制御部２０１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。また、制御部２０１は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。 The control unit 201 has a CPU (Central Processing Unit) and a memory. The function realized in the server device 20 is that the CPU performs calculations by loading the program (software) stored in the storage unit 202 onto hardware such as the CPU and memory, and controls the storage unit 202 and the communication unit 205. It is realized by controlling the above, reading and / or writing data in the memory and the storage unit 202. The various processes described later performed by the control unit 201 are not limited to execution by one CPU, and may be executed simultaneously or sequentially by two or more CPUs. The CPU may be mounted on one or more chips. The control unit 201 may be composed of a central processing unit (CPU) including an interface with a peripheral device, a control device, an arithmetic unit, a register, and the like. Further, the control unit 201 includes hardware such as a microprocessor, a digital signal processor (DSP: Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). It may be configured, and the hardware may implement some or all of each functional block.

図７は、記憶部２０２に記憶されているプログラムを制御部２０１が実行することにより実現する機能のうち、本発明に係る機能の構成を示した機能ブロック図である。これらの機能ブロック（構成部）は、ハードウェアおよび／またはソフトウェアの任意の組み合わせによって実現されてもよい。また、各機能ブロックの実現手段は特に限定されない。即ち、各機能ブロックは、物理的および／または論理的に結合した１つの装置により実現されてもよいし、物理的および／または論理的に分離した２つ以上の装置を直接的および／または間接的に（例えば、有線および／または無線）で接続し、これら複数の装置により実現されてもよい。 FIG. 7 is a functional block diagram showing a configuration of a function according to the present invention among the functions realized by the control unit 201 executing a program stored in the storage unit 202. These functional blocks (components) may be realized by any combination of hardware and / or software. Further, the means for realizing each functional block is not particularly limited. That is, each functional block may be realized by one physically and / or logically coupled device, or directly and / or indirectly by two or more physically and / or logically separated devices. (For example, wired and / or wireless) may be connected and realized by these plurality of devices.

受信部２００１は、端末装置１０から送信された情報（商品識別子）を受信する。送信部２００２（第２送信部）は、受信部２００１が受信した情報に対応付けられている情報（商品情報）を商品情報テーブルから取得し、取得した情報を端末装置１０へ送信する。 The receiving unit 2001 receives the information (product identifier) transmitted from the terminal device 10. The transmission unit 2002 (second transmission unit) acquires information (product information) associated with the information received by the reception unit 2001 from the product information table, and transmits the acquired information to the terminal device 10.

（実施形態の動作例）
次に本実施形態の動作例について説明する。端末装置１０のユーザは、端末装置１０が撮像部１０８で撮像を行っている状態で店に入店する。端末装置１０（認識部１００１）は、撮像部１０８が生成する画像を解析し、予め定められている商品、即ち、店で販売されている商品を認識したか判断する（図８：ステップＳＡ１）。端末装置１０は、撮像部１０８が生成した画像において商品を認識しなかった場合（ステップＳＡ１でＮＯ）、撮像部１０８が生成する画像を解析し、ステップＳＡ１の処理を繰り返す。 (Operation example of the embodiment)
Next, an operation example of this embodiment will be described. The user of the terminal device 10 enters the store in a state where the terminal device 10 is taking an image with the image pickup unit 108. The terminal device 10 (recognition unit 1001) analyzes the image generated by the image pickup unit 108 and determines whether or not a predetermined product, that is, a product sold in the store has been recognized (FIG. 8: step SA1). .. When the terminal device 10 does not recognize the product in the image generated by the imaging unit 108 (NO in step SA1), the terminal device 10 analyzes the image generated by the imaging unit 108 and repeats the process of step SA1.

端末装置１０は、撮像部１０８が生成した画像において予め定められた商品が映っている場合（ステップＳＡ１でＹＥＳ）、映っている商品を認識し、認識した商品の商品識別子を取得する（ステップＳＡ２）。ここで端末装置１０は、商品名と商品識別子とを対応付けて記憶している。端末装置１０が記憶する商品名および商品識別子については、例えば、端末装置１０が定期的にサーバ装置２０から取得することにより更新される。また、端末装置１０が認識する予め定められた商品についても、当該商品についての情報をサーバ装置２０から取得することにより更新される。このような更新を行うことにより、新商品についても商品を認識することができる。例えば、ユーザが店で販売されているキャベツを端末装置１０のレンズ越しに見た場合、ユーザが見たキャベツを撮像部１０８が撮像する。端末装置１０は、撮像部１０８が生成した画像からユーザが見たキャベツを認識し、商品名のキャベツに対応付けられている商品識別子を取得する。なお、例えば、野菜を認識する技術としては、https://www.slideshare.net/ShizumaKubo/cookwhatに記載されている技術や、特開２００２−２４７４３６号公報に開示された技術がある。 When a predetermined product is displayed in the image generated by the imaging unit 108 (YES in step SA1), the terminal device 10 recognizes the displayed product and acquires the product identifier of the recognized product (step SA2). ). Here, the terminal device 10 stores the product name and the product identifier in association with each other. The product name and product identifier stored in the terminal device 10 are updated, for example, by the terminal device 10 periodically acquiring the product name and the product identifier from the server device 20. Further, the predetermined product recognized by the terminal device 10 is also updated by acquiring the information about the product from the server device 20. By performing such an update, the product can be recognized even for a new product. For example, when the user looks at the cabbage sold in the store through the lens of the terminal device 10, the image pickup unit 108 takes an image of the cabbage seen by the user. The terminal device 10 recognizes the cabbage seen by the user from the image generated by the imaging unit 108, and acquires the product identifier associated with the cabbage of the product name. For example, as a technique for recognizing vegetables, there are a technique described in https://www.slideshare.net/ShizumaKubo/cookwhat and a technique disclosed in JP-A-2002-247436.

端末装置１０（特定部１００２）は、予め定められた商品を認識した場合、認識した商品に対してユーザが予め定められた動作を行ったか判定する（ステップＳＡ３）。ここでは、予め定められた動作は、例えば、商品を手に持つ動作である。端末装置１０は、撮像部１０８が生成する画像を解析し、例えば、撮像部１０８が生成した画像において手を認識し、認識している手と認識した商品の位置関係により、認識した商品をユーザが手に持っているか判定する。具体的には、例えば画像中において、手の特徴点の座標から商品の特徴点の座標までの距離が所定範囲内にある状態が予め定められた時間以上続いていた場合、ユーザが商品を手に持っていると判断する。 When the terminal device 10 (specific unit 1002) recognizes a predetermined product, it determines whether or not the user has performed a predetermined operation on the recognized product (step SA3). Here, the predetermined operation is, for example, an operation of holding a product in a hand. The terminal device 10 analyzes the image generated by the imaging unit 108, recognizes the hand in the image generated by the imaging unit 108, and uses the recognized product based on the positional relationship between the recognized hand and the recognized product. Determine if you have it in your hand. Specifically, for example, in an image, when the distance from the coordinates of the feature point of the hand to the coordinates of the feature point of the product is within a predetermined range for a predetermined time or longer, the user picks up the product. Judge that you have it.

端末装置１０は、認識した商品に対してユーザが予め定められた動作を行っていないと判定した場合（ステップＳＡ３でＮＯ）、処理の流れをステップＳＡ１へ戻す。即ち、端末装置１０は、予め定められた商品を認識しても、認識した商品に対してユーザが予め定められた動作を行っていない場合、認識した商品の情報を表示しない。 When the terminal device 10 determines that the user has not performed a predetermined operation on the recognized product (NO in step SA3), the terminal device 10 returns the processing flow to step SA1. That is, even if the terminal device 10 recognizes a predetermined product, the terminal device 10 does not display the information of the recognized product if the user does not perform a predetermined operation on the recognized product.

一方、端末装置１０は、認識した商品に対してユーザが予め定められた動作を行っていると判定した場合（ステップＳＡ３でＹＥＳ）、測位部１０９から位置情報を取得する（ステップＳＡ４）。次に端末装置１０（送信部１００３）は、ステップＳＡ２で特定した商品識別子（第１情報）と、ステップＳＡ４で取得した位置情報をサーバ装置２０へ送信する（ステップＳＡ５）。 On the other hand, when it is determined that the user is performing a predetermined operation on the recognized product (YES in step SA3), the terminal device 10 acquires the position information from the positioning unit 109 (step SA4). Next, the terminal device 10 (transmission unit 1003) transmits the product identifier (first information) specified in step SA2 and the position information acquired in step SA4 to the server device 20 (step SA5).

サーバ装置２０（受信部２００１）は、端末装置１０から送信された位置情報と商品識別子を取得する。次にサーバ装置２０は、取得した位置情報の位置から予め定められた範囲内にある店の店舗識別子を取得する。ここでサーバ装置２０は、店舗テーブルに格納されている位置情報が表す位置毎に、取得した位置情報が表す位置までの距離を特定する。サーバ装置２０は、取得した位置情報の位置からの距離が予め定められた閾値以下となる位置の位置情報を格納したレコードから店舗識別子を取得する。 The server device 20 (reception unit 2001) acquires the position information and the product identifier transmitted from the terminal device 10. Next, the server device 20 acquires the store identifier of the store within a predetermined range from the position of the acquired position information. Here, the server device 20 specifies the distance to the position represented by the acquired position information for each position represented by the position information stored in the store table. The server device 20 acquires the store identifier from the record storing the position information of the position where the distance from the position of the acquired position information is equal to or less than a predetermined threshold value.

次にサーバ装置２０は、取得した店舗識別子を格納した商品情報テーブルを特定する。サーバ装置２０は、特定した商品情報テーブルにおいて、取得した商品識別子を格納したレコードを特定し、特定したレコードから商品情報を取得する。商品情報テーブルから商品情報を取得したサーバ装置２０（送信部２００２）は、取得した商品情報（第２情報）を端末装置１０へ送信する。 Next, the server device 20 specifies a product information table that stores the acquired store identifier. The server device 20 specifies a record in which the acquired product identifier is stored in the specified product information table, and acquires product information from the specified record. The server device 20 (transmission unit 2002) that has acquired the product information from the product information table transmits the acquired product information (second information) to the terminal device 10.

端末装置１０（取得部１００４）は、サーバ装置２０が送信した商品情報を取得する（ステップＳＡ６）。商品情報を取得した端末装置１０（表示制御部１００５）は、取得した商品情報を表示部１０４で表示する（ステップＳＡ７）。 The terminal device 10 (acquisition unit 1004) acquires the product information transmitted by the server device 20 (step SA6). The terminal device 10 (display control unit 1005) that has acquired the product information displays the acquired product information on the display unit 104 (step SA7).

以上説明したように、本実施形態においては、端末装置１０は、予め定められた商品を認識し、認識した商品に対してユーザが予め定められた動作を行うと、認識した商品の情報を表示する。ユーザが商品に関心をもって手に持ったときに商品の情報が表示され、手に持たないときには商品の情報が表示されないため、関心のない商品について情報が表示されるのを抑えることができる。 As described above, in the present embodiment, the terminal device 10 recognizes a predetermined product, and when the user performs a predetermined operation on the recognized product, the information on the recognized product is displayed. To do. Since the product information is displayed when the user is interested in the product and holds it in his / her hand, and the product information is not displayed when the user does not hold the product in his / her hand, it is possible to suppress the display of information about the product that he / she is not interested in.

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態および以下の変形例は、各々を組み合わせてもよい。 [Modification example]
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and can be implemented in various other embodiments. For example, the present invention may be carried out by modifying the above-described embodiment as follows. The above-described embodiment and the following modifications may be combined with each other.

上述した実施形態においては、商品に対する予め定められた動作は、商品を手にとる動作であったが、商品に対する予め定められた動作は、商品を手にとる動作に限定されるものではない。例えば、端末装置１０は、商品を予め定められた時間を超えて持ち続ける動作を、商品に対する予め定められた動作としてもよく、また、認識した商品から離れる動作も、商品に対する予め定められた動作としてもよい。さらに端末装置１０は、商品を予め定められた時間（継続時間）を超えて持ち続ける動作を、商品に対する予め定められた動作とする場合、表示する情報をユーザが商品を持った時間に応じて変更してもよい。例えば、端末装置１０は、ユーザが商品を手に持ってから５秒経過すると、上述したように商品の生産地の情報を表示し、ユーザが商品を手に持ってから１０秒経過すると、サーバ装置２０から商品の生産者の情報を取得して表示してもよい。 In the above-described embodiment, the predetermined action for the product is the action of picking up the product, but the predetermined action for the product is not limited to the action of picking up the product. For example, in the terminal device 10, the operation of holding the product for a predetermined time may be a predetermined operation for the product, and the operation of moving away from the recognized product may be a predetermined operation for the product. May be. Further, when the operation of holding the product for a predetermined time (duration) beyond a predetermined time (duration) is set as a predetermined operation for the product, the terminal device 10 displays information according to the time when the user holds the product. You may change it. For example, the terminal device 10 displays the information on the production area of the product as described above when 5 seconds have passed since the user held the product, and when 10 seconds have passed since the user held the product, the server Information on the producer of the product may be acquired from the device 20 and displayed.

また、端末装置１０は、認識した商品に対して視点が変わる動作を、商品に対する予め定められた動作としてもよい。例えば、端末装置１０は、認識した商品に対する視点を立っているときの位置からしゃがんだときの位置に変える動作、または、認識した商品に対する視点をしゃがんでいるときの位置から立っているときの位置に変える動作を、商品に対する予め定められた動作としてもよい。 Further, the terminal device 10 may perform an operation of changing the viewpoint with respect to the recognized product as a predetermined operation with respect to the product. For example, the terminal device 10 changes the viewpoint of the recognized product from the standing position to the crouching position, or the terminal device 10 changes the viewpoint of the recognized product from the squatting position to the standing position. The action of changing to may be a predetermined action for the product.

本発明においては、端末装置１０は、認識した商品に対して行われた動作の種類に応じて、表示する情報が異なる構成であってもよい。例えば、端末装置１０は、認識した商品を手にとる動作を認識すると、ユーザが手に取った商品の生産地の情報をサーバ装置２０から取得して表示し、認識した商品を棚に戻す動作を認識すると、ユーザが手に持っていた商品を購入したときにポイントサービスで付与されるポイントの情報をサーバ装置２０から取得して表示してもよい。この構成によれば、商品の購入に有用な情報が表示されるため、ユーザの購買意欲を高めることができる。 In the present invention, the terminal device 10 may have a configuration in which the information to be displayed differs depending on the type of operation performed on the recognized product. For example, when the terminal device 10 recognizes the operation of picking up the recognized product, the terminal device 10 acquires and displays the information on the production area of the product picked up by the user from the server device 20, and returns the recognized product to the shelf. When the user recognizes the above, the information of the points given by the point service when the user purchases the product in his / her hand may be acquired from the server device 20 and displayed. According to this configuration, information useful for purchasing the product is displayed, so that the user's purchasing motivation can be increased.

本発明においては、認識した商品に対して予め定められた動作が行われた場合、認識した商品の価格を割り引くクーポンの情報を表示してもよい。例えば、端末装置１０は、認識した商品を手にとる動作を認識すると、ユーザが手に取った商品の生産地の情報をサーバ装置２０から取得して表示し、認識した商品を棚に戻す動作を認識すると、認識した商品のクーポンの情報を表示して記憶してもよい。この構成で端末装置１０がスマートフォンまたはタブレット端末である場合、ユーザは、店での会計時に端末装置１０が記憶したクーポンの情報を端末装置１０で提示し、会計時に割引を受けてもよい。 In the present invention, when a predetermined operation is performed on the recognized product, the information of the coupon that discounts the price of the recognized product may be displayed. For example, when the terminal device 10 recognizes the operation of picking up the recognized product, the terminal device 10 acquires and displays the information on the production area of the product picked up by the user from the server device 20, and returns the recognized product to the shelf. When is recognized, the coupon information of the recognized product may be displayed and stored. When the terminal device 10 is a smartphone or a tablet terminal in this configuration, the user may present the coupon information stored in the terminal device 10 at the time of checkout at the store on the terminal device 10 and receive a discount at the time of checkout.

本発明においては、端末装置１０のユーザの商品に対する購買履歴に応じて、商品に係る情報の表示を制御してもよい。例えば、ユーザが購入した映像ソフトのタイトルを端末装置１０が記憶部１０２に記憶し、映像ソフトの販売店にて、ユーザが手に取った映像ソフトの情報を端末装置１０で表示する場合を想定する。映像ソフトのタイトルは、端末装置１０が認識する物体のうち、ユーザが購入済みという予め定められた条件を満たした物体を識別する情報の一例である。端末装置１０は、映像ソフトのタイトルを認識し、且つ、認識した映像ソフトをユーザが手にとる動作を認識すると、認識した映像ソフトに係る情報として、例えば、認識した映像ソフトのサンプル映像をサーバ装置２０から取得する。端末装置１０は、認識した映像ソフトのタイトルが記憶部１０２に記憶されている場合、取得したサンプル映像を表示せず、認識した映像ソフトのタイトルが記憶部１０２に記憶されていない場合、取得したサンプル映像を表示する構成としてもよい。この構成によれば、購入したことがある映像ソフトについては、端末装置１０は映像ソフトに係る情報を表示しないため、ユーザは、手に取った映像ソフトを購入済みであるか否かを知ることができる。 In the present invention, the display of information related to the product may be controlled according to the purchase history of the user of the terminal device 10 for the product. For example, it is assumed that the terminal device 10 stores the title of the video software purchased by the user in the storage unit 102, and the terminal device 10 displays the information of the video software picked up by the user at the video software store. To do. The title of the video software is an example of information for identifying an object that satisfies a predetermined condition that the user has purchased it, among the objects recognized by the terminal device 10. When the terminal device 10 recognizes the title of the video software and recognizes the operation of the user picking up the recognized video software, the terminal device 10 uses, for example, a sample video of the recognized video software as information related to the recognized video software as a server. Obtained from device 20. The terminal device 10 does not display the acquired sample video when the title of the recognized video software is stored in the storage unit 102, and acquires the title of the recognized video software when the title of the recognized video software is not stored in the storage unit 102. It may be configured to display a sample image. According to this configuration, the terminal device 10 does not display the information related to the video software that has been purchased, so that the user knows whether or not the video software picked up has been purchased. Can be done.

本発明においては、端末装置１０のユーザに関係する情報に応じて、商品に係る情報の表示を制御してもよい。例えば、映像ソフトの販売店にて、ユーザが手に取った映像ソフトの情報を端末装置１０で表示する場合を想定する。この場合、端末装置１０は、例えばユーザの属性の一例である年齢を記憶する。端末装置１０は、映像ソフトのタイトルを認識し、且つ、認識した映像ソフトをユーザが手にとる動作を認識すると、認識した映像ソフトに係る情報として、例えば、認識した映像ソフトのサンプル映像と、認識した映像ソフトの年齢制限の情報をサーバ装置２０から取得する。端末装置１０は、取得した年齢制限の情報が１８歳以上を視聴可能とする情報であり、記憶しているユーザの年齢が１８歳未満である場合、取得したサンプル映像を表示しない。また、端末装置１０は、取得した年齢制限の情報が１８歳以上を視聴可能とする情報であり、記憶しているユーザの年齢が１８歳以上である場合、取得したサンプル映像を表示する。本変形例によれば、ユーザに関係する情報に応じて、表示する情報を制限することができる。 In the present invention, the display of information related to the product may be controlled according to the information related to the user of the terminal device 10. For example, it is assumed that the information of the video software picked up by the user is displayed on the terminal device 10 at the store of the video software. In this case, the terminal device 10 stores, for example, the age, which is an example of the user's attributes. When the terminal device 10 recognizes the title of the video software and recognizes the operation of the user picking up the recognized video software, as information related to the recognized video software, for example, a sample video of the recognized video software and a sample video of the recognized video software. Information on the age limit of the recognized video software is acquired from the server device 20. The terminal device 10 does not display the acquired sample video when the acquired age limit information is information that enables viewing by a person aged 18 years or older and the age of the memorized user is less than 18 years. Further, the terminal device 10 displays the acquired sample video when the acquired age limit information is information that enables viewing by a user aged 18 years or older, and the age of the memorized user is 18 years or older. According to this modification, the information to be displayed can be limited according to the information related to the user.

端末装置１０が予め定められた商品を認識し、商品に対して予め定められた動作が行われたときに表示する情報は、商品の情報に限定されるものではない。例えば、端末装置１０が表示する情報は、商品の広告の情報であってもよい。また、端末装置１０は、商品の情報に加えて、認識した商品に関連する商品の情報を表示してもよい。例えば、上述したようにユーザがキャベツを手に持った場合、キャベツを用いる料理で使用する食材の情報を表示してもよい。 The information displayed when the terminal device 10 recognizes a predetermined product and a predetermined operation is performed on the product is not limited to the product information. For example, the information displayed by the terminal device 10 may be product advertisement information. Further, the terminal device 10 may display product information related to the recognized product in addition to the product information. For example, when the user holds the cabbage in his / her hand as described above, information on the ingredients used in the dish using the cabbage may be displayed.

本発明においては、端末装置１０がスマートフォンまたはタブレット端末である場合、撮像部１０８で撮影されて表示部１０４で表示されている現実空間の画像に対し、サーバ装置２０から取得した情報を重畳して表示してもよい。 In the present invention, when the terminal device 10 is a smartphone or tablet terminal, the information acquired from the server device 20 is superimposed on the image in the real space taken by the imaging unit 108 and displayed by the display unit 104. It may be displayed.

本発明においては、端末装置１０は、認識した商品の商品識別子を特定しているが、商品識別子を特定する装置は、端末装置１０に限定されるものではない。例えば、端末装置１０は、予め定められた商品を認識し、認識した商品に対して予め定められた動作が行われたと判断した場合、位置情報と、認識した商品の画像をサーバ装置２０へ送信する。サーバ装置２０は、商品名と商品識別子とを対応付けて記憶する。サーバ装置２０は、位置情報と商品の画像を受信すると、受信した画像に含まれる商品を認識し、認識した商品名に対応する商品識別子を特定する。サーバ装置２０は、商品情報テーブルにおいて、特定した商品識別子を格納したレコードを特定し、特定したレコードから商品情報を取得して端末装置１０へ送信する。この構成でも、ユーザが予め定められた動作を行った商品に関する情報を端末装置１０で表示することができる。 In the present invention, the terminal device 10 specifies the product identifier of the recognized product, but the device for specifying the product identifier is not limited to the terminal device 10. For example, when the terminal device 10 recognizes a predetermined product and determines that a predetermined operation has been performed on the recognized product, the terminal device 10 transmits the position information and the image of the recognized product to the server device 20. To do. The server device 20 stores the product name and the product identifier in association with each other. Upon receiving the location information and the image of the product, the server device 20 recognizes the product included in the received image and identifies the product identifier corresponding to the recognized product name. The server device 20 specifies a record in which the specified product identifier is stored in the product information table, acquires product information from the specified record, and transmits the product information to the terminal device 10. Even in this configuration, the terminal device 10 can display information about the product in which the user has performed a predetermined operation.

上述した実施形態においては、商品の認識と、商品に対する予め定められた動作の認識を端末装置１０が行っているが、これらの動作をサーバ装置２０が行う構成であってもよい。図９は、本変形例に係る機能の構成を示した機能ブロック図である。表示制御部１００５、第１送信部１００６および第１受信部１００７は、制御部１０１において実現し、第２受信部２００３、認識部２００４、特定部２００５および第２送信部２００６は、制御部２０１において実現する。第１送信部１００６は、位置情報と、撮像部１０８が生成した画像をサーバ装置２０へ送信する。第２受信部２００３は、第１送信部１００６が送信した位置情報および画像を受信する。認識部２００４は、第２受信部２００３が受信した画像を解析し、予め定められている商品、即ち、店で販売されている商品を認識し、認識した商品の商品識別子を特定する。認識部２００４は、上述した認識部１００１と同様の認識を行う。特定部２００５は、認識部２００４が予め定められた商品を認識した場合、認識した商品に対して端末装置１０のユーザが予め定められた動作を行ったか特定する。特定部２００５は、上述した特定部１００２と同様の特定を行う。第２送信部２００６は、認識部２００４が認識した商品に対してユーザが予め定められた動作を行っていると特定部２００５が特定した場合、第２受信部２００３が受信した位置情報から店舗識別子を特定し、特定した店舗識別子と認識部２００４が特定した商品識別子に対応した商品情報を端末装置１０へ送信する。第１受信部１００７は、第２送信部２００６が送信した商品情報を受信する。表示制御部１００５は、第１受信部１００７が受信した商品情報を表示する。 In the above-described embodiment, the terminal device 10 recognizes the product and the predetermined operation of the product, but the server device 20 may perform these operations. FIG. 9 is a functional block diagram showing a configuration of functions according to this modification. The display control unit 1005, the first transmission unit 1006, and the first reception unit 1007 are realized in the control unit 101, and the second reception unit 2003, the recognition unit 2004, the specific unit 2005, and the second transmission unit 2006 are realized in the control unit 201. Realize. The first transmission unit 1006 transmits the position information and the image generated by the image pickup unit 108 to the server device 20. The second receiving unit 2003 receives the position information and the image transmitted by the first transmitting unit 1006. The recognition unit 2004 analyzes the image received by the second receiving unit 2003, recognizes a predetermined product, that is, a product sold in the store, and identifies the product identifier of the recognized product. The recognition unit 2004 performs the same recognition as the recognition unit 1001 described above. When the recognition unit 2004 recognizes a predetermined product, the identification unit 2005 specifies whether the user of the terminal device 10 has performed a predetermined operation on the recognized product. The specific unit 2005 makes the same identification as the specific unit 1002 described above. When the specific unit 2005 identifies that the user is performing a predetermined operation on the product recognized by the recognition unit 2004, the second transmission unit 2006 uses the position information received by the second reception unit 2003 to identify the store identifier. Is specified, and the product information corresponding to the specified store identifier and the product identifier specified by the recognition unit 2004 is transmitted to the terminal device 10. The first receiving unit 1007 receives the product information transmitted by the second transmitting unit 2006. The display control unit 1005 displays the product information received by the first reception unit 1007.

本変形例の場合、例えば、端末装置１０（第１送信部１００６）は、位置情報と、撮像部１０８が生成した画像をサーバ装置２０へ送信する。サーバ装置２０（第２受信部２００３）は、端末装置１０から送信された位置情報と画像を受信する。サーバ装置２０（認識部２００４）は、受信した画像を解析し、店で販売されている商品を認識し、認識した商品の商品識別子を特定する。また、サーバ装置２０（特定部２００５）は、受信した画像を解析し、認識した商品に対してユーザが予め定められた動作を行っているが特定する。サーバ装置２０（第２送信部２００６）は、認識部２００４が認識した商品に対してユーザが予め定められた動作を行っていると特定部２００５が特定した場合、第２受信部２００３が受信した位置情報から店舗識別子を特定し、特定した店舗識別子と認識部２００４が特定した商品識別子に対応した商品情報を、商品情報テーブルから取得して端末装置１０へ送信する。端末装置１０（第１受信部１００７）は、サーバ装置２０から送信された商品情報を受信する。端末装置１０（表示制御部１００５）は、受信した商品情報が示す情報を表示部１０４で表示する。なお、上述した変形例において端末装置１０で行われるとした動作は、サーバ装置２０が行うようにしてもよい。 In the case of this modification, for example, the terminal device 10 (first transmission unit 1006) transmits the position information and the image generated by the image pickup unit 108 to the server device 20. The server device 20 (second receiving unit 2003) receives the position information and the image transmitted from the terminal device 10. The server device 20 (recognition unit 2004) analyzes the received image, recognizes the product sold in the store, and identifies the product identifier of the recognized product. Further, the server device 20 (specification unit 2005) analyzes the received image and specifies that the user performs a predetermined operation on the recognized product. When the specific unit 2005 specifies that the user is performing a predetermined operation on the product recognized by the recognition unit 2004, the server device 20 (second transmission unit 2006) receives the product. The store identifier is specified from the location information, and the product information corresponding to the specified store identifier and the product identifier specified by the recognition unit 2004 is acquired from the product information table and transmitted to the terminal device 10. The terminal device 10 (first receiving unit 1007) receives the product information transmitted from the server device 20. The terminal device 10 (display control unit 1005) displays the information indicated by the received product information on the display unit 104. The operation performed by the terminal device 10 in the above-described modification may be performed by the server device 20.

本変形例においては、端末装置１０のユーザの商品に対する購買履歴に応じて、商品に係る情報の表示を制御してもよい。例えば、ユーザが購入した映像ソフトのタイトルをサーバ装置２０が記憶部２０２に記憶し、映像ソフトの販売店にて、ユーザが手に取った映像ソフトの情報を端末装置１０で表示する場合を想定する。映像ソフトのタイトルは、サーバ装置２０が認識する物体のうち、ユーザが購入済みという予め定められた条件を満たした物体を識別する情報の一例である。サーバ装置２０は、映像ソフトのタイトルを認識し、且つ、認識した映像ソフトをユーザが手にとる動作を認識すると、認識した映像ソフトに係る情報として、例えば、認識した映像ソフトのサンプル映像を記憶部２０２から取得する。サーバ装置２０は、ユーザが購入済みとして記憶している映像ソフトのタイトルの中に、認識した映像ソフトのタイトルがある場合、取得したサンプル映像を端末装置１０に送信せず、ユーザが購入済みとして記憶している映像ソフトのタイトルの中に、認識した映像ソフトのタイトルがない場合、取得したサンプル映像を端末装置１０へ送信する構成としてもよい。 In this modification, the display of information related to the product may be controlled according to the purchase history of the user of the terminal device 10 for the product. For example, it is assumed that the server device 20 stores the title of the video software purchased by the user in the storage unit 202, and the terminal device 10 displays the information of the video software picked up by the user at the video software store. To do. The title of the video software is an example of information for identifying an object that satisfies a predetermined condition that the user has purchased it among the objects recognized by the server device 20. When the server device 20 recognizes the title of the video software and recognizes the operation of the user picking up the recognized video software, the server device 20 stores, for example, a sample video of the recognized video software as information related to the recognized video software. Obtained from unit 202. When the title of the recognized video software is included in the titles of the video software stored as purchased by the user, the server device 20 does not transmit the acquired sample video to the terminal device 10 and assumes that the user has purchased the video software. If the recognized video software title is not included in the stored video software titles, the acquired sample video may be transmitted to the terminal device 10.

本変形例においては、端末装置１０のユーザに関係する情報に応じて、商品に係る情報の表示を制御してもよい。例えば、映像ソフトの販売店にて、ユーザが手に取った映像ソフトの情報を端末装置１０で表示する場合を想定する。この場合、サーバ装置２０は、例えばユーザの属性の一例である年齢を記憶する。サーバ装置２０は、映像ソフトのタイトルを認識し、且つ、認識した映像ソフトをユーザが手にとる動作を認識すると、認識した映像ソフトに係る情報として、例えば、認識した映像ソフトのサンプル映像と、認識した映像ソフトの年齢制限の情報を記憶部２０２から取得する。サーバ装置２０は、取得した年齢制限の情報が１８歳以上を視聴可能とする情報であり、記憶している端末装置１０のユーザの年齢が１８歳未満である場合、取得したサンプル映像を端末装置１０へ送信しない。また、サーバ装置２０は、取得した年齢制限の情報が１８歳以上を視聴可能とする情報であり、記憶している端末装置１０のユーザの年齢が１８歳以上である場合、取得したサンプル映像を端末装置１０へ送信する。本変形例によれば、ユーザに関係する情報に応じて、表示する情報を制限することができる。 In this modification, the display of information related to the product may be controlled according to the information related to the user of the terminal device 10. For example, it is assumed that the information of the video software picked up by the user is displayed on the terminal device 10 at the store of the video software. In this case, the server device 20 stores, for example, the age, which is an example of the user's attributes. When the server device 20 recognizes the title of the video software and recognizes the operation of the user picking up the recognized video software, the information related to the recognized video software includes, for example, a sample video of the recognized video software. Information on the age limit of the recognized video software is acquired from the storage unit 202. The server device 20 is information that enables viewing of the acquired age limit information for those aged 18 years or older, and when the age of the user of the stored terminal device 10 is less than 18 years old, the acquired sample video is displayed on the terminal device. Do not send to 10. Further, the server device 20 is information that the acquired age limit information can be viewed by a person aged 18 years or older, and when the age of the user of the storage terminal device 10 is 18 years or more, the acquired sample video is displayed. It is transmitted to the terminal device 10. According to this modification, the information to be displayed can be limited according to the information related to the user.

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステムおよび／またはこれらに基づいて拡張された次世代システムに適用されてもよい。 Each aspect / embodiment described herein includes LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA. (Registered Trademarks), GSM (Registered Trademarks), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, UWB (Ultra-WideBand), It may be applied to Bluetooth®, other systems that utilize suitable systems and / or next-generation systems that are extended based on them.

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。 The order of the processing procedures, sequences, flowcharts, and the like of each aspect / embodiment described in the present specification may be changed as long as there is no contradiction. For example, the methods described herein present elements of various steps in an exemplary order, and are not limited to the particular order presented.

情報等は、上位レイヤ（または下位レイヤ）から下位レイヤ（または上位レイヤ）へ出力され得る。複数のネットワークノードを介して入出力されてもよい。 Information and the like can be output from the upper layer (or lower layer) to the lower layer (or upper layer). Input / output may be performed via a plurality of network nodes.

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。 The input / output information and the like may be stored in a specific location (for example, a memory) or may be managed by a management table. Input / output information and the like can be overwritten, updated, or added. The output information and the like may be deleted. The input information or the like may be transmitted to another device.

本発明においては、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。 In the present invention, the determination may be made by a value represented by 1 bit (0 or 1), a boolean value (Boolean: true or false), or a comparison of numerical values. (For example, comparison with a predetermined value) may be performed.

本開示においては、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。 In the present disclosure, the notification of predetermined information (for example, the notification of "being X") is not limited to the explicit notification, but is implicit (for example, the notification of the predetermined information is not performed). It may be done.

本開示においては、ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。 In the present disclosure, the software, whether referred to as software, firmware, middleware, microcode, hardware description language, or by any other name, is an instruction, instruction set, code, code segment, program code, program, It should be broadly interpreted to mean subprograms, software modules, applications, software applications, software packages, routines, subroutines, objects, executable files, execution threads, procedures, features, and so on.

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペアおよびデジタル加入者回線（ＤＳＬ）などの有線技術および／または赤外線、無線およびマイクロ波などの無線技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および／または無線技術は、伝送媒体の定義内に含まれる。 Further, software, instructions, and the like may be transmitted and received via a transmission medium. For example, the software uses wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave to websites, servers, or other When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されてもよい。 The information, signals, etc. described herein may be represented using any of a variety of different techniques. For example, data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description are voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may be represented by a combination of.

本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。 The terms "system" and "network" as used herein are used interchangeably.

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。 Further, the information, parameters, etc. described in the present specification may be represented by an absolute value, a relative value from a predetermined value, or another corresponding information. .. For example, the radio resource may be indexed.

本明細書で使用する「判断（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認（ascertaining）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。 The terms "determining" and "determining" as used herein may include a wide variety of actions. “Judgment” and “decision” are, for example, judgment (judging), calculation (calculating), calculation (computing), processing (processing), derivation (deriving), investigating (investigating), and searching (looking up) (for example, a table). , Searching in a database or another data structure), ascertaining can be regarded as "judgment" or "decision". Also, "judgment" and "decision" are receiving (for example, receiving information), transmitting (for example, transmitting information), input (input), output (output), and access. (Accessing) (for example, accessing data in memory) may be regarded as "judgment" or "decision". In addition, "judgment" and "decision" mean that "resolving", "selecting", "choosing", "establishing", "comparing", etc. are regarded as "judgment" and "decision". Can include. That is, "judgment" and "decision" may include considering some action as "judgment" and "decision".

本開示において「接続された（connected）」、「結合された（coupled）」という用語、またはこれらのあらゆる変形は、２またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」または「結合」された２つの要素間に１またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、あるいはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１またはそれ以上の電線、ケーブルおよび／またはプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光（可視および不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」または「結合」されると考えることができる。 In the present disclosure, the terms "connected", "coupled", or any variation thereof, mean any direct or indirect connection or connection between two or more elements. And can include the presence of one or more intermediate elements between two elements that are "connected" or "combined" to each other. The connection or connection between the elements may be physical, logical, or a combination thereof. As used herein, the two elements are by using one or more wires, cables and / or printed electrical connections, and, as some non-limiting and non-comprehensive examples, radio frequencies. By using electromagnetic energies such as electromagnetic energies with wavelengths in the region, microwave region and light (both visible and invisible) regions, they can be considered to be "connected" or "coupled" to each other.

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。 The phrase "based on" as used herein does not mean "based on" unless otherwise stated. In other words, the statement "based on" means both "based only" and "at least based on".

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。 As long as "inclusion," "comprising," and variations thereof are used herein or in the claims, these terms are as comprehensive as the term "comprising." Intended to be targeted. Furthermore, the term "or" as used herein or in the claims is intended not to be an exclusive OR.

本開示の全体において、例えば、英語でのa、an、およびtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。 Throughout this disclosure, if articles are added by translation, for example, a, an, and the in English, unless the context clearly indicates that these articles are not. It shall include more than one.
Although the present invention has been described in detail above, it is clear to those skilled in the art that the present invention is not limited to the embodiments described herein. The present invention can be implemented as modifications and modifications without departing from the spirit and scope of the invention as defined by the claims. Therefore, the description of the present specification is for the purpose of exemplification and does not have any limiting meaning to the present invention.

１…情報処理システム、１０…端末装置、２０…サーバ装置、１０１…制御部、１０２…記憶部、１０３…操作部、１０４…表示部、１０５…通信部、１０７…音声処理部、１０８…撮像部、１０９…測位部、２０１…制御部、２０２…記憶部、２０５…通信部、１００１…認識部、１００２…特定部、１００３…送信部、１００４…取得部、１００５…表示制御部、２００１…受信部、２００２…送信部。 1 ... Information processing system, 10 ... Terminal device, 20 ... Server device, 101 ... Control unit, 102 ... Storage unit, 103 ... Operation unit, 104 ... Display unit, 105 ... Communication unit, 107 ... Voice processing unit, 108 ... Imaging Unit, 109 ... Positioning unit, 201 ... Control unit, 202 ... Storage unit, 205 ... Communication unit, 1001 ... Recognition unit, 1002 ... Specific unit, 1003 ... Transmission unit, 1004 ... Acquisition unit, 1005 ... Display control unit, 2001 ... Receiver, 2002 ... Transmitter.

Claims

A receiver that receives real-space images from the terminal device,
A recognition unit that recognizes a predetermined object in the image received by the reception unit, and a recognition unit.
A specific unit that specifies the user's action with respect to an object recognized by the recognition unit based on the image, and a specific unit.
When the operation specified by the specific unit is an operation in which the user holds the object in his / her hand, the information corresponds to the object recognized by the recognition unit, and depends on the duration of the operation specified by the specific unit. An information processing device having a transmission unit that transmits different information to the terminal device.

It has a storage unit that stores information for identifying an object that satisfies the predetermined conditions among the predetermined objects.
The information processing device according to claim 1, wherein the transmission unit does not transmit the information when the recognition unit recognizes an object specified by the information stored in the storage unit.

It has a storage unit that stores the attributes of the user of the terminal device that transmits the image.
The information processing device according to claim 1 or 2 , wherein the transmission unit controls transmission of the information according to the relationship between the object recognized by the recognition unit and the attribute.

The object is a commodity
The information processing device according to any one of claims 1 to 3 , wherein the information is information on a product recognized by the recognition unit or a product related to the product recognized by the recognition unit.

Imaging unit and
A recognition unit that recognizes a predetermined object in the image generated by the imaging unit, and a recognition unit.
A specific unit that specifies the user's action with respect to an object recognized by the recognition unit based on the image, and a specific unit.
The operation of the specific portion identified, if the user is an operation Holding the object, an information to be displayed superimposed on the image of the real space visibility or the imaging unit of the user generated, the specific An acquisition unit that acquires different information according to the duration of the operation specified by the unit,
A terminal device including a display control unit that displays information acquired by the acquisition unit in front of the user's eyes or superimposes it on an image in real space generated by the imaging unit.

Imaging unit and
A recognition unit that recognizes a predetermined object in the image generated by the imaging unit, and a recognition unit.
A specific unit that specifies the user's action with respect to an object recognized by the recognition unit based on the image, and a specific unit.
When the operation specified by the specific unit is an operation in which the user holds the object in his / her hand, the first transmission unit that transmits the first information representing the object recognized by the recognition unit and the first transmission unit.
The second information transmitted as a response to the first information, the acquisition unit that acquires the second information that differs depending on the duration of the operation specified by the specific unit, and the acquisition unit.
A terminal device having a display control unit that displays the second information acquired by the acquisition unit in front of the user's eyes or superimposes it on an image in the real space generated by the imaging unit.
A receiving unit that receives the first information and
A second transmission unit that transmits the second information corresponding to the first information received by the reception unit to the terminal device,
An information processing system including an information processing device having.