WO2014132525A1 - 情報処理システム、および情報処理方法 - Google Patents

情報処理システム、および情報処理方法 Download PDF

Info

Publication number
WO2014132525A1
WO2014132525A1 PCT/JP2013/083520 JP2013083520W WO2014132525A1 WO 2014132525 A1 WO2014132525 A1 WO 2014132525A1 JP 2013083520 W JP2013083520 W JP 2013083520W WO 2014132525 A1 WO2014132525 A1 WO 2014132525A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
product
display
information processing
type
Prior art date
Application number
PCT/JP2013/083520
Other languages
English (en)
French (fr)
Inventor
典良 広井
観 荒井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN201380074131.8A priority Critical patent/CN105074762A/zh
Priority to JP2015502726A priority patent/JPWO2014132525A1/ja
Priority to US14/765,596 priority patent/US20150379494A1/en
Publication of WO2014132525A1 publication Critical patent/WO2014132525A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Definitions

  • Some aspects according to the present invention relate to an information processing system and an information processing method.
  • a checkout system for processing is considered (for example, see Patent Document 1).
  • a purchaser arranges a tray on which a product is placed in front of a terminal (hereinafter referred to as a POS terminal) constituting a POS system (Point Of Sale system) and then identifies the product. It is confirmed whether or not it is correct, and then various processes such as payment of money are performed.
  • Patent Document 2 a system that displays product information about the product in the vicinity of the product displayed on the display shelf or on the surface of the product is considered (for example, see Patent Document 2).
  • Patent Document 2 by identifying the position and product code of a product, a character string such as “New Release”, “Made in France”, “Popularity No. 1”, or the like on the vicinity of the product or on the product surface
  • a system capable of projecting related information related to products by a projection device such as a projector.
  • JP2013-030202A Japanese Patent Laid-Open No. 2005-156591
  • an object of the present invention is to provide an information processing system and an information processing method that can suitably provide information to a user. I will.
  • An information processing system includes: a first detection unit that detects an object position that is a position of an object; and information based on a type of the object or a type of accommodation contained in the object.
  • Display control means for displaying in the vicinity of the position or the object position.
  • the information processing method includes a step of detecting an object position, which is a position of an object, and information based on the type of the object, or the type of accommodation contained in the object, the object position of the object, or the Displaying in the vicinity of the object position.
  • “part”, “means”, “apparatus”, and “system” do not simply mean physical means, but “part”, “means”, “apparatus”, “system”. This includes the case where the functions possessed by "are realized by software. Further, even if the functions of one “unit”, “means”, “apparatus”, and “system” are realized by two or more physical means or devices, two or more “parts” or “means”, The functions of “device” and “system” may be realized by a single physical means or device.
  • an information processing system and an information processing method capable of suitably providing information to a user.
  • the display system according to the present embodiment is applied to, for example, a self-service restaurant or the like, and a user C who is a purchaser (customer) places a tray T on a tray rail R, and displays a shelf. An arbitrary product P is taken from S and placed (placed) on the tray T. In this way, the purchaser user C proceeds to a cash register (not shown) while sliding the tray T on the tray rail R, and pays the product P at the cash register.
  • the user C is described as purchasing the product P.
  • the embodiment is not limited to this, and it may be applied to a store that rents (rents) the product P, for example. .
  • the user C puts the goods P before purchase into containers, such as an in-store cart and a basket ( It is also possible to make it fit.
  • the total price of the product P taken by the user C on the tray T is usually counted by a store clerk visually or using an RFID (Radio Frequency Identification) method or the like.
  • the image is displayed on a display near the cash register by counting with image processing by a camera installed in the cash register. Therefore, if such a method is taken, the user C cannot grasp the total amount of money until the cash register is reached. Therefore, the user C prepares the price from the wallet only after reaching the cash register.
  • the time for the user C to prepare the payment price in the vicinity of the cash register is a waiting time for the buyers lined up behind. Even if the skills of the clerk in charge of the cash register are improved, the time for the user C to prepare the payment price cannot be shortened, and thus such a payment system becomes a factor of lengthening the queue. Also, if the procession becomes too long, some customers will avoid the procession, causing a loss of sales opportunities. Further, since the user C prepares the payment price while the store clerk is waiting, the customer feels a sense of tension, frustration, shame, etc. at this time, and the customer satisfaction may decrease.
  • information D such as the total price of the product is displayed on or near the tray.
  • information in the store such as the total calories, nutritional balance, vacant seats, tableware, etc. of the product is also displayed as information D, it is possible to improve customer satisfaction.
  • information (including advertisements) of products that are easily purchased together with purchased products is displayed as information D, an increase in the unit price of customers can be expected.
  • the display system of this embodiment includes a display device 101 and a detection device 103.
  • the detection device 103 has a function for detecting the position of the tray T on the tray rail R, the positions of the products P1 and P2 in the tray T, and the types of the products P1 and P2.
  • the display device 101 is realized by a projector, for example, and can display arbitrary information D on the tray T.
  • a display device (not shown in FIG. 1) The total amount of the placed product is calculated, and a message to be displayed on the tray T is generated.
  • the display device 101 displays the message on a position (empty area) on the tray T other than the position where the products P1 and P2 are placed.
  • the detection range by the detection device 103 and the display range (projection range) by the display device 101 seem to correspond only to a narrow range similar to the width of the tray rail R. Even when the detection / display range is narrow, the detection / projection range can be expanded by arranging a plurality of units and overlapping the ranges.
  • the display system 1 broadly includes a display device 101, a detection device 103, an input device 105, an external output device 107, and a control device 200.
  • the display device 101 displays information on the product P placed on the tray T on or near the tray T.
  • the information to be displayed may be, for example, the total price of the product P, the total calories, product information recommended based on the product P (including advertisements), vacant seat information, tableware stock position, change request message, etc.
  • the display device 101 for example, a projector as shown in FIG. 1 may be used, or it may be realized by a display (for example, an organic EL or a liquid crystal) included in the tray T. It is also possible to achieve this.
  • the display device 101 will be described as a projector.
  • the detection device 103 includes the position and direction of the tray T, the type of the product P on the tray T, the position and direction of the product P on the tray T (hereinafter, both the position and direction of the product P). Simply called “position of the product P”).
  • position of the product P since the position and type of the product P on the tray T and the position of the tray T change every moment, the detection device 103 can be dynamically detected, such as a 2D or 3D camera. can do.
  • the input device 105 is a device for receiving input from a user, for example, and may be realized as a gesture recognition device using a touch panel or a 2D or 3D camera, for example.
  • User C who is a purchaser, for example, selects display information D, selects a fee payment method, calculates a change forecast by inputting the number of coins / banknotes to be paid, reserves vacant seats, reserves a dish that requires cooking, and waits. Time games, coupon selection and acquisition, etc. can be performed. Note that if the input from the user C is not accepted, the input device 105 is not necessary.
  • the external output device 107 is connected to an external device such as a POS terminal by wire or wirelessly and has a function of outputting the status of the user C who is a purchaser. Note that when there is no need to output information to the outside, the external output device 107 is unnecessary.
  • the control device 200 is connected to the display device 101, the detection device 103, the input device 105, the external output device 107, and the like, and performs various controls for suitably displaying the information D on or near the tray T.
  • the control device 200 includes a container position detection unit 201, a product type detection unit 203, a product position detection unit 205, an information generation unit 207, a display control unit 209, an input unit 211, and a purchaser specification unit 213.
  • the container position detection unit 201 detects the position and direction of the tray T placed on the tray rail R at any time by using the detection result of the detection device 103.
  • the product type detection unit 203 specifies the type of each product P placed on the tray T by using the detection result of the detection device 103.
  • a plurality of methods for specifying the type of the product P can be considered. For example, matching with a product shape or product image registered in advance can be considered.
  • the information generation unit 207 which will be described later, can calculate the total amount of each product P placed on the tray T.
  • the product position detection unit 205 can detect the position of the product P on the tray T by using the detection result of the detection device 103.
  • the position of the product P may be specified by comparing the shape or image of the tray T registered in advance with the detection result of the detection device 103.
  • the information generation unit 207 generates display information D including information based on the type of the product P to be displayed on the tray T or in the vicinity of the tray T. More specifically, the information that can be included in the display information D includes, for example, the total price or individual / total calories of the products P placed on the tray T, the recommendation (recommendation) of related products of the products P, and the like. Conceivable. In addition, the display information D may include information such as vacant seat information, tableware stock position, advertisement, and change preparation request.
  • the display control unit 209 controls the display device 101 to display the display information D generated by the information generation unit 207 on the tray T or in the vicinity of the tray T.
  • the display position of the display information D can be determined based on the position and orientation (direction) of the tray T detected by the container position detection unit 201 and the position of the product P detected by the product position detection unit 205.
  • the display control unit 209 displays, in a direction parallel to the tray T, in an empty area on the tray T where no product P is placed, as shown in a specific example in FIG. Information D can be displayed on the display device 101.
  • the input unit 211 has a function of accepting a user input input from the input device 105 and transmitting the input information to each unit of the control device 200. More specifically, for example, selection of display information D (what information is displayed), selection of fee payment method, change prediction calculation by inputting the expected coin / number of bills, vacant seat reservation and cooking It is conceivable that the input unit 211 receives from the input device 105 input of information relating to reservation of a necessary dish, waiting time game, coupon selection and acquisition, and the like.
  • the above-described display control unit 209 can cause the display device 101 to display the display information D generated by the information generation unit 207 in response to these inputs. Note that if the input from the user C is not accepted, the input unit 211 is not necessary.
  • the purchaser identifying unit 213 has a function of identifying a user C who is a purchaser who intends to purchase the product P on the tray T as necessary.
  • a method for specifying the user C for example, a method for specifying the image by comparing the image or shape of the detection device 103 with the image or shape of the user C registered in advance, There may be a plurality of methods for inputting information.
  • specification part 213 is unnecessary.
  • FIG. 3 is a flowchart showing a process flow of the control device 200 according to the present embodiment.
  • each processing step to be described later can be executed in any order or in parallel as long as there is no contradiction in processing contents, and other steps can be added between the processing steps. good.
  • a step described as a single step for convenience can be executed by being divided into a plurality of steps, and a step described as being divided into a plurality of steps for convenience can be executed as one step. The same applies to the second and later embodiments described later.
  • the container position detection unit 201 detects the position of the tray T on the tray rail R (S301). As a result, if the tray T is outside the detection range (Yes in S303), the processing for the tray T is terminated. If the position of the tray T can be detected (No in S303), the product type detection unit 203 determines the type of the product P on the detected tray T (S305). At this time, when a plurality of products P are placed on the tray T, the product type detection unit 203 identifies the types of all the products P.
  • the information generation unit 207 generates information to be presented to the user C, that is, display information D displayed on or near the tray T, according to the type of the product P on the tray T specified by the product type detection unit 203. (S307). More specifically, for example, the information generation unit 207 can generate the display information D by calculating the total price of the price of the product P placed on the tray T or calculating the total calories. .
  • the product position detection unit 205 detects the position of the product P placed on the tray T (S309). Accordingly, the display control unit 209 determines the display position of the display information D on the tray T or in the vicinity of the tray T (S311). More specifically, for example, the display control unit 209 displays the empty area different from the area where the product P is placed (also referred to as the product position) in the position on or near the tray T. D can be a display position.
  • the display control unit 209 displays the display information D on the tray T or in the vicinity of the tray T at the position determined in S311 (S313). Then, it returns to S301 and repeats a process again.
  • the purchaser specifying unit 213 may acquire the information such as the product type detection unit 203. In such a case, the purchaser specifying unit 213 specifies the user C having the tray T based on the person information or card information, and the information generating unit 207 and the display control unit 209 provide information tailored to the user. It becomes possible to do. For example, if coupon information can be acquired, coupon information etc. can be reflected (for example, reduction of a total amount) in the display information D which shows a total amount etc. Further, if a process such as providing discount information by simultaneous purchase based on the coupon information is performed, it is possible to improve the customer unit price.
  • the information generation unit 207 calculates the amount of money, so that the display control unit 209 displays the amount of change planned. Is also possible.
  • the control device 200 includes a processor 401, a memory 403, a storage device 405, an input interface (I / F) 407, a data I / F 409, a communication I / F 411, and a display device 413.
  • I / F input interface
  • the processor 401 controls various processes in the control device 200 by executing a program stored in the memory 403.
  • a program stored in the memory 403.
  • the processing can be realized as a program mainly operating on the processor 401 after being temporarily stored in the memory 403.
  • the memory 403 is a storage medium such as a RAM (Random Access Memory).
  • the memory 403 temporarily stores a program code of a program executed by the processor 401 and data necessary for executing the program. For example, a stack area necessary for program execution is secured in the storage area of the memory 403.
  • the storage device 405 is a non-volatile storage medium such as a hard disk or flash memory.
  • the storage device 405 implements an operating system, a container position detection unit 201, a product type detection unit 203, a product position detection unit 205, an information generation unit 207, a display control unit 209, an input unit 211, and a purchaser identification unit 213. And various data used in other programs are stored. Programs and data stored in the storage device 405 are referred to by the processor 401 by being loaded into the memory 403 as necessary.
  • the input I / F 407 is a device for receiving input from the user.
  • the input device 105 described in FIG. 2 can also be realized by the input I / F 407.
  • Specific examples of the input I / F 407 include a keyboard, a mouse, a touch panel, and various sensors.
  • the input I / F 407 may be connected to the control device 200 via an interface such as a USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the data I / F 409 is a device for inputting data from outside the control device 200.
  • a specific example of the data I / F 409 includes a drive device for reading data stored in various storage devices. It is also conceivable that the data I / F 409 is provided outside the control device 200. In this case, the data I / F 409 is connected to the control device 200 via an interface such as a USB.
  • the communication I / F 411 is a device for performing data communication with an external device of the control device 200, for example, a POS terminal by wire or wireless.
  • the external output device 107 described in FIG. 2 can also be realized by the communication I / F 411. It is conceivable that the communication I / F 411 is provided outside the control device 200. In this case, the communication I / F 411 is connected to the control device 200 via an interface such as a USB.
  • the display device 413 is a device for displaying various information.
  • the display device 101 described in FIG. 2 can also be realized by the display device 413.
  • Specific examples of the display device 413 include a projector, a liquid crystal display, an organic EL (Electro-Luminescence) display, and the like.
  • the display device 101 may be provided outside the control device 200.
  • a display device 413 such as a liquid crystal display or an organic EL may be provided integrally with the tray T.
  • the second embodiment is greatly different from the first embodiment in the method for specifying the product P on the tray T.
  • the method for specifying the product P in the present embodiment will be described with reference to FIG.
  • the shape is usually slightly different even if it is the same product. In such a case, it may be difficult to specify the product P by 2D image processing or 3D shape measurement as in the first embodiment. Moreover, it is conceivable that a food alone is placed on another food without using RFID tableware, such as a topping on a bowl or noodles. In such a case, the same problem is likely to occur.
  • the display position of the product P on the display shelf S is determined in advance for each type, and the timing at which the user C as a customer picks up the product P and from which position of the display shelf S the product P is displayed.
  • the type of the product P is detected by detecting whether it has been picked up.
  • FIG. 5 when a product is taken from area A, product A is taken.
  • product B When a product is taken from area B, product B is taken.
  • product C is taken.
  • the display shelves S are three-dimensionally arranged in the vertical direction.
  • the tray T on which the product P is placed can be detected by assigning a unique ID (identifier) to the tray T and managing it.
  • This ID may be one that can be explicitly identified by a number printed in advance on the tray T, a built-in RFID, or the like, or is virtually determined according to a product acquisition history on the tray T. It is also possible.
  • the product type detection unit 203 may change the mass change of the display shelf S detected by the detection device 103, the time change of the image of the display shelf S, and the display position. It can be detected according to the count of the number of times the hand has entered.
  • the outline of the functional configuration of the system is the same as that of the first embodiment described with reference to FIG.
  • FIG. 6 is a flowchart showing a processing flow of the display system 1 according to the present embodiment.
  • the container position detection unit 201 detects the position of the tray T (S601). As a result, if the tray T is outside the detection range (Yes in S603), the processing for the tray T is terminated. If the position of the tray T can be detected (No in S603), the container position detection unit 201 identifies the identifier (ID) of the tray T (S605). As described above, this identification method may be assigned in advance for each tray T by a technique such as printing / built-in RFID, or dynamically for each tray T newly detected on the tray rail R. You may make it allocate.
  • the product type detection unit 203 determines whether or not a product has been added to the tray T by the function of the detection device 103 (S607).
  • this discrimination method as described above, for example, a method such as a change in the mass of the display shelf S, a change in the image of the display shelf S, and whether or not a hand has entered the display position can be considered. If a product is added to the tray (Yes in S607), the product type detection unit 203 identifies the type of the product P on the tray T.
  • the information generation unit 207 performs the processing from S613 onward, assuming that the product P is added to the tray T of that type.
  • the information generation unit 207 generates information to be presented to the user C, that is, display information D displayed on or near the tray T, according to the type of the product P on the tray T specified by the product type detection unit 203. (S613). More specifically, for example, the information generation unit 207 can generate the display information D by calculating the total price of the price of the product P placed on the tray T or calculating the total calories. .
  • the product position detection unit 205 detects the position of the product P placed on the tray T (S615). Accordingly, the display control unit 209 sets the display position of the display information D on the tray T or in the vicinity of the tray T in an empty area different from the area where the product P is placed. The display information D can be displayed (S617).
  • the display control unit 209 displays the display information D at the position determined in S617 on or near the tray T (S619). Then, it returns to S601 and repeats a process again.
  • the kind of the product P is specified according to the position where the product P is picked up, when the shape of the product P is not uniform, or when the product P is placed on another product, for example, by topping Even if it exists, it becomes possible to specify the kind of goods P suitably.
  • the third embodiment is greatly different from the first embodiment and the second embodiment in the display information D display method.
  • a display method of the display information D in the present embodiment will be described with reference to FIG.
  • the display control unit 209 displays the display information D on any of the display devices 101A to 101C. More specifically, the display information D for the tray T1 in the area A is displayed on the display device 101A, and the display information D for the tray T2 in the area B is displayed on the display device 101B. If the tray T moves, the display device 101 on which the display information D is displayed also changes.
  • information such as the total amount according to the product P is stored in the cash register near the tray T on which the user C places the product P. Since it is displayed at any time before reaching, the user C can prepare the payment amount before the cash register. This makes it possible to speed up the accounting process.
  • the display control unit 209 may transmit an image or data to the display device 101 for display.
  • FIG. 8 is a block diagram illustrating a functional configuration of the information processing system 800.
  • the information processing system 800 includes a first detection unit 810, a second detection unit 820, and a display control unit 830.
  • the first detection unit 810 detects a container position that is a position of a container on which a measurement object, such as a product, is placed.
  • the second detection unit 820 detects the type of the measurement object placed in the container.
  • the display control unit 830 displays information based on the type of the detected measurement object at the container position or in the vicinity of the container position.
  • Various methods other than each method are conceivable.
  • the container in which the user C puts the product P instead of the tray T is a shopping cart equipped with a tablet.
  • the product type detection unit 203 specifies the take-out position of the product P according to the detection position of the detection device 103 mounted as a pressure sensor on the floor surface, and the weight change information and take-out information of the cart.
  • a system in which the type of the product P is specified based on the position and the display information D generated as a result is displayed on the display mounted on the shopping cart can be considered.
  • (6 Fifth Embodiment) 9 to 12 are diagrams for explaining the fifth embodiment.
  • the present embodiment will be described according to the following flow with reference to these drawings.
  • the outline of the present embodiment will be described in “6.1”.
  • the functional configuration of the system will be described in “6.2”
  • the process flow will be described in “6.3”
  • a specific example of the hardware configuration capable of realizing this system will be described in “6.4”.
  • effects and the like according to the present embodiment will be described.
  • the display system according to the present embodiment realizes digital signage and the like for displaying information on products and services at, for example, stores.
  • product in a digital signage system in which a display or the like is installed in the vicinity of a product or service (hereinafter, the product and service may be collectively referred to as “product”)
  • product information on the product is displayed separately from the product.
  • a screen for displaying product information In such a system, when appealing the attractiveness of a product to a customer (digital signage viewer / buyer, hereinafter also referred to as “user”) by digital signage, product information is displayed instead of the product itself. It is necessary to attract customer attention to the contents of the screen. That is, since the customer's interest is shifted to the screen, the customer's interest may be separated from the product itself.
  • the display when the user C approaches the product P, the display is not provided separately from the product (object), but on the surface of the product P or in the vicinity thereof.
  • an image is projected by a projection device 901 that is a projector.
  • the position of the projection image is dynamically changed as the product moves along with the operation. Thereafter, if the user C leaves the product P, the projection of the image is stopped.
  • the display system of this embodiment shown in FIG. 9 includes a projection device 901, a detection device 903, and a drive device 905.
  • the detection device 903 detects the position and orientation of the product P arranged on the display shelf S and the position and movement of the user C at any time (dynamically) within the detection range R.
  • the projection device 901 has a function of projecting (displaying) an image on the surface of the product P or in the vicinity of the product P.
  • the drive device 905 is for changing the projection direction of the projection device 901.
  • the driving device 905 allows the projection device 901 to change the projection position in accordance with the change in the position or direction of the product P.
  • FIG. 9 only one projection device 901, one detection device 903, and one drive device 905 are shown, and these are realized as one collective device. It is not something that can be done.
  • a plurality of one collective device including the projection device 901, the detection device 903, and the drive device 905 may be provided, or each device may be installed apart.
  • a control device 1000 (shown in FIG. 10) that controls them is provided with the respective projection devices 901, detection devices 903, and drives. What is necessary is just to control so that the apparatus 905 cooperates.
  • the drive device 905 physically changes the projection position and the projection direction by the projection device 901, it is normal that an image can be projected to only one location at a time. It is conceivable that the projection device 901 and the driving device 905 are installed so that the projection ranges are the same or partially overlap.
  • the display system 10 broadly includes a projection device 901, a detection device 903, a drive device 905, an external input / output device 907, and a control device 1000.
  • the projection device 901 is driven by the drive device 905 to project an image (including a video) related to the product information on the surface of the product P or in the vicinity of the product P.
  • the information to be displayed includes information on the product P itself, and information (recommendation) on a product that is often purchased together with the product P.
  • a projector can be considered as a specific example of the projection device 901.
  • the detection device 903 detects the position, direction, and movement of the product P and the user C. Thereby, for example, when the user C enters a certain range from the product P, it is possible to project an image related to the product information on the target product P or in the vicinity of the product P. Further, the detection device 903 may have a function of detecting the line of sight of the user C. In that case, the projection device 901 can be mounted so as to project an image when the user C is within the detection range R by the detection device 903 and faces the direction of the product P.
  • the detection device 903 can be realized by, for example, a 2D or 3D camera.
  • a method of detecting the position of the user C by such a detection device 903, for example it is conceivable to detect the position from 2D images or 3D measurement data, or by combining position recognition and shape recognition of a person.
  • the position of the user C may be detected.
  • a method for detecting the position of the product P by the detection device 903, for example it may be detected as a predetermined position, or may be detected by image recognition (including 2D and 3D). .
  • the driving device 905 directs the projection device 901 to the position and direction in which the projection device 901 should project an image under the control of the control device 1000. More specifically, the driving device 905 directs the projection device 901 toward or near the surface of the product P, and if the product C moves when the user C holds the product P, the projection direction of the projection device 901 follows the projection direction.
  • the drive device 905 may change the projection direction and the projection position by physically changing the direction of the projection device 901, or an optical system (such as a lens or a light valve) inside the projection device 901. It may be changed. Alternatively, it is conceivable to change the projection direction with a mirror attached to the front surface of the projection device 901. In addition, when the projection range by the projection device 901 covers a wide range, it is conceivable that the drive device 905 controls to generate only a part of the entire projectable range and change its position. .
  • the external input / output device 907 is, for example, an illumination, a speaker, a display, a cash register system, an in-store monitoring system, a business terminal, a personal terminal, a content control device, an advertisement distribution device, a voice distribution device, a data input device, a monitoring camera, etc. , It is connected to at least one of them in a wired or wireless manner and serves as an interface for inputting / outputting (communication) information as required. More specifically, the external input / output device 907 outputs various control commands to the lighting, the speaker, the display, and the like, and under the control of the control device 1000, in addition to the display of information by the projection device 901, It is possible to perform effects such as switching between voice and lighting.
  • the external input / output device 907 outputs various data to a cash register system, in-store monitoring system, business terminal, personal terminal, etc., for example, information such as the location and purchase status of the user C is used in these devices. It becomes possible to do. Furthermore, when the external input / output device 907 receives input from a content control device, advertisement distribution device, audio distribution device, business terminal, personal terminal, data input device, in-store monitoring system, cash register system, and monitoring camera. For example, it is possible to cause the projection device 901 to project (display) the received information, or to output the information to the above-described illumination, speaker, or the like. If the input / output function is not used, the display system 10 does not necessarily include the external input / output device 907.
  • the control device 1000 is connected to the projection device 901, the detection device 903, the drive device 905, the external input / output device 907, and the like, and has a function of controlling these devices.
  • the control device 1000 includes a product position detection unit 1001, a product type detection unit 1003, a person position detection unit 1005, a drive control unit 1007, a display control unit 1009, an effect output unit 1011, an information output unit 1013, an input unit 1015, and a line-of-sight detection. Part 1017.
  • the product position detection unit 1001 uses the 2D image and the 3D measurement data that are detection results by the detection device 903 to determine whether or not the product P is within the detection range R, and if there is the product P, the position And the direction can be detected.
  • a method for detecting the product P for example, a method for comparing an image or shape of the product P registered in advance with a 2D image or 3D measurement data by the detection device 903, a shape change with respect to a state where the product P is not placed, or the like. The method of detecting by this can be considered.
  • the product type detection unit 1003 specifies the type of the product P using the detection result by the detection device 903.
  • the type is detected based on the degree of coincidence between the 2D image that is the detection result by the detection device 903 and the product image registered in advance for each product. It is possible to do.
  • the product type detection unit 1003 may specify the type of the product P based on the position specified by the product position detection unit 1001 and the product P placed on the display shelf S.
  • the display control unit 1009 can project information (image) corresponding to the type of the product P on the projection device 901.
  • the person position detection unit 1005 specifies the position of the user C using the 2D image or 3D measurement data that is the detection result of the detection device 903.
  • a method for specifying the position of the user C for example, it is conceivable to use a detection result by the external input / output device 907 which is a sensor for detecting infrared rays of a person who falls within a certain range.
  • the drive control unit 1007 controls the drive device 905 to change the projection position and direction of the image by the projection device 901.
  • the projection position of the projection device 901 may be switched between being on the surface of the product P or in the vicinity of the product P according to the type of the product P.
  • the drive control unit 1007 controls the driving device 905 so that an image is projected on the surface of the product P when the product P has a simple package, and in other cases, the product P It is conceivable to project an image on the display shelf S near P.
  • the drive control unit 1007 determines the position and direction of the projection image accordingly.
  • the driving device 905 is controlled so as to change.
  • the drive control unit 1007 may perform control such that the projected image is not changed even if the product P moves.
  • the display control unit 1009 controls the projection device 901 to cause the projection device 901 to project an image to be displayed on or near the surface of the product P.
  • the display control unit 1009 causes the projection device 901 to project information when the user C is within a certain range from the product P according to the person detection result by the person position detection unit 1005, and the user C can detect the certain range. If not, control is performed to stop projection by the projection device 901.
  • the product P is in the visual field range of the user C according to the detection result of the visual direction of the user C by the visual line detection unit 1017, an image is projected, and when the product P is out of the visual field range of the user C, It is also conceivable to stop projecting the image.
  • the display control unit 1009 may stop the projection by the projection device 901 when a condition such as after a lapse of a certain time from the start of display is satisfied.
  • Information that the display control unit 1009 causes the projection device 901 to project as an image includes an advertisement, a price, a discount price, a usage method, an inventory status, a product that is often purchased together with the product P, etc. (Recommendation) Introducing products. These pieces of information may be displayed in combination. In addition, although not direct information, the display control unit 1009 performs control such as applying a spotlight to the product P, projecting flashing light or moving light, and projecting information on the position of the product P. It is also possible.
  • the information that the display control unit 1009 projects onto the projection device 901 may be prepared in advance, or a content control device, an advertisement distribution device, an audio distribution device, and a business device connected to the external input / output device 907. It is conceivable to receive input from a terminal, personal terminal, data input device, in-store monitoring system, cash register system, or the like. In addition, for example, based on customer C's customer information (specifically, for example, gender, age, etc.) acquired by the input unit 1015 from a monitoring camera (not shown), the content of information to be projected on the projection device 901 is changed. It is also possible.
  • the product position detection unit 1001 detects the orientation and color of the surface of the product P on which the projection device 901 projects an image
  • the display control unit 1009 corrects the image to be projected according to the detection result. May be.
  • this correction method for example, it is possible to correct the color tone (when the projection location is blue, it is possible to make a correction such as increasing the blue color, or not using the blue color, or inverting the color).
  • distortion correction including so-called trapezoidal correction of the projected image shape with respect to a projection surface that is not vertical can be considered.
  • the effect output unit 1011 performs an effect related to the product P for the user C using, for example, lighting, a speaker, a display, and the like connected to the external input / output device 907.
  • an effect method by the effect output unit 1011 for example, an effect such as outputting sound from a speaker or making the product P stand out by blinking light or moving light as described in the display control unit 1009 is considered. It is done. By performing such an effect, the presence of the user C is increased, and as a result, the advertising effect can be enhanced. If such an effect is not performed, the control apparatus 1000 does not necessarily include the effect output unit 1011.
  • the information output unit 1013 has a function of outputting information from the external input / output device 907 to various devices such as a cash register system, an in-store monitoring system, a business terminal, and a personal terminal.
  • a cash register system for example, information on the position and direction of the product P and the user C can be considered.
  • an in-store monitoring system for example, information on the position and direction of the product P and the user C can be considered.
  • the input unit 1015 is an external input / output device 907 from various devices such as a content control device, an advertisement distribution device, a voice distribution device, a business terminal, a personal terminal, a data input device, an in-store monitoring system, a cash register system, and a monitoring camera. It has a function of receiving input of various received data and transmitting the input information to each unit of the control apparatus 1000. As the information that receives the input, for example, information projected by the projection device 901, a control command for controlling each part of the control device 1000, and the like can be considered. When the display system 1 does not have an input / output function, the control device 1000 does not necessarily include the information output unit 1013 and the input unit 1015.
  • the line-of-sight detection unit 1017 detects the direction of the user C, the direction of the line of sight, or the like using the detection device 903 as necessary. If the line-of-sight detection unit 1017 can estimate whether or not the product P is in the visual field range of the user C, the display control unit 1009 causes the projection device 901 to project information only when the product P is in the visual field range of the user C. It becomes possible to control to. If such control is not performed, the line-of-sight detection unit 1017 is not necessary.
  • FIG. 11 is a flowchart showing a processing flow of the control apparatus 1000 according to the present embodiment.
  • each processing step to be described later can be executed in any order or in parallel as long as there is no contradiction in processing contents, and other steps can be added between the processing steps. good.
  • a step described as a single step for convenience can be executed by being divided into a plurality of steps, and a step described as being divided into a plurality of steps for convenience can be executed as one step. This also applies to the sixth and later embodiments described later.
  • the product position detection unit 1001 and the person position detection unit 1005 recognize an object in the detection range R based on the detection result by the detection device 903 (S1101). As a result, when the product P is not in the detection range R (No in S1103) or when the user C is not in the detection range R (No in S1105), the process returns to S1101, and both the product P and the user C are The process is repeated until it is detected.
  • the display control unit 1009 displays an image related to the product P on the projection device 901.
  • the drive control unit 1007 controls the drive device 905 to direct the projection direction of the projection device 901 on the surface of the product P or on the display shelf S near the product P (S1107).
  • the product type detection unit 1003 detects the type of the product P, and the display control unit 1009 may change the image to be projected on the projection device 901 according to the detection result.
  • the drive control unit 1007 responds accordingly to the projection device 901. It is possible to follow the projection direction by.
  • the display control unit 1009 stops the projection of the image by the projection device 901 (S1111).
  • the control device 1000 includes a processor 1201, a memory 1203, a storage device 1205, an input interface (I / F) 1207, a data I / F 1209, a communication I / F 1211, and a display device 1213.
  • a processor 1201 a memory 1203, a storage device 1205, an input interface (I / F) 1207, a data I / F 1209, a communication I / F 1211, and a display device 1213.
  • the processor 1201 controls various processes in the control device 1000 by executing a program stored in the memory 1203.
  • the product position detection unit 1001, the product type detection unit 1003, the person position detection unit 1005, the drive control unit 1007, the display control unit 1009, the effect output unit 1011, the information output unit 1013, and the input unit described with reference to FIG. 1015 and the processing related to the line-of-sight detection unit 1017 can be realized as a program mainly operating on the processor 1201 after being temporarily stored in the memory 1203.
  • the memory 1203 is a storage medium such as a RAM (Random Access Memory).
  • the memory 1203 temporarily stores a program code of a program executed by the processor 1201 and data necessary for executing the program. For example, a stack area necessary for program execution is secured in the storage area of the memory 1203.
  • the storage device 1205 is a non-volatile storage medium such as a hard disk or flash memory.
  • the storage device 1205 includes an operating system, a product position detection unit 1001, a product type detection unit 1003, a person position detection unit 1005, a drive control unit 1007, a display control unit 1009, an effect output unit 1011, an information output unit 1013, and an input unit 1015.
  • various programs for realizing the line-of-sight detection unit 1017 and various data used in other programs are stored. Programs and data stored in the storage device 1205 are referred to by the processor 1201 by being loaded into the memory 1203 as necessary.
  • the input I / F 1207 is a device for receiving input from, for example, an administrator or the user C. Specific examples of the input I / F 1207 include a keyboard, a mouse, a touch panel, and various sensors.
  • the input I / F 1207 may be connected to the control apparatus 1000 via an interface such as a USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the data I / F 1209 is a device for inputting data from outside the control apparatus 1000.
  • a specific example of the data I / F 1209 includes a drive device for reading data stored in various storage devices.
  • the data I / F 1209 may be provided outside the control apparatus 1000. In this case, the data I / F 1209 is connected to the control device 1000 via an interface such as a USB.
  • the communication I / F 1211 is a device external to the control device 1000, for example, each device such as a projection device 901, a detection device 903, and a drive device 905, lighting, a speaker, a display, a cash register system, an in-store monitoring system, a business terminal, It is a device for data communication by wire or wireless with personal terminals, content control devices, advertisement distribution devices, audio distribution devices, data input devices, surveillance cameras, and the like.
  • the external input / output device 907 described with reference to FIG. 10 can also be realized by the data I / F 1209 and the communication I / F 1211 described above. It is conceivable that the communication I / F 1211 is provided outside the control device 1000. In that case, the communication I / F 1211 is connected to the control apparatus 1000 via an interface such as a USB.
  • the display device 1213 is a device for displaying various information.
  • the projection device 901 described in FIG. 10 can also be realized by the display device 1213.
  • Specific examples of the display device 1213 include a projector, a liquid crystal display, an organic EL (Electro-Luminescence) display, and the like.
  • the display device 1213 may be provided outside the control device 1000.
  • power consumption can be suppressed by suppressing projection of an image when the user C is not in the vicinity of the product P or when the user C is not viewing the product P. It becomes possible to plan.
  • the sixth embodiment is greatly different from the fifth embodiment in that the projection device 901 is a trigger for starting projection.
  • the projection device 901 is a trigger for starting projection.
  • the projection device 901 is The projection of the image is started, and the driving device 905 controls the projection direction / projection position by the projection device 901 so that the image is displayed on the surface of the product P or in the vicinity thereof.
  • the person position detection unit 1005 in the fifth embodiment may not be provided.
  • the outline of the functional configuration of the system other than the above points is the same as that of the fifth embodiment described with reference to FIG.
  • FIG. 14 is a flowchart showing the flow of processing of the control apparatus 1000 according to this embodiment.
  • the product position detection unit 1001 recognizes an object within the detection range R based on the detection result by the detection device 903 (S1401).
  • the display control unit 1009 projects an image related to the product P on the projection device 901, and the drive control unit 1007 controls the drive device 905, thereby
  • the projection direction of the projection device 901 is directed on the surface of the product P or in the vicinity of the product P (S1405).
  • the drive control unit 1007 follows the projection direction by the projection device 901 accordingly. It becomes possible to make it.
  • the display control unit 1009 stops the output (S1409). The process is terminated.
  • FIG. 15 is a block diagram illustrating a functional configuration of the information processing system 1500.
  • the information processing system 1500 includes a detection unit 1510, a display control unit 1520, and a drive control unit 1530.
  • the detection unit 1510 dynamically detects the position of an object, for example, a product.
  • the display control unit 1520 projects information based on the type of the object on a projection device (not shown) on the vicinity or the surface of the object.
  • the drive control unit 1530 changes the position projected by the projection device according to the change in the position of the object.
  • FIG. 16 is a block diagram illustrating a functional configuration of the information processing system 1600.
  • the information processing system 1600 includes a detection unit 1610 and a display control unit 1620.
  • the detection unit 1610 detects an object position that is the position of the object.
  • the display control unit 1620 displays information based on the type of the object described above or the type of the object accommodated in the object at or near the object position of the object. By mounting in this way, the information processing system 1600 according to the present embodiment can suitably provide information to the user.
  • First detection means for detecting an object position, which is the position of the object, and information based on the type of the object or the type of the container accommodated in the object are displayed in the object position of the object or in the vicinity of the object position.
  • An information processing system comprising display control means for displaying.
  • Appendix 2 The information processing system according to supplementary note 1, wherein the object is a container for storing the storage object, and further includes second detection means for detecting a type of the storage object stored in the object.
  • the apparatus further comprises third detecting means for detecting a stored object position that is a position of the stored object stored in the object, wherein the display control unit displays information based on the type of the stored object according to the stored object position. Further, the information processing system according to appendix 2, wherein the information is displayed in the vicinity of the stored item position or the stored item position.
  • Appendix 4 The information processing system according to appendix 3, wherein the display control means displays information based on the type of the stored object at a position other than the stored object position within the object position.
  • the first detection means detects the direction of the object together with the object position, and the display control means changes the display direction of information based on the type of the accommodation according to the direction of the object. Or the information processing system according to any one of appendix 5;
  • Appendix 7 The information processing according to any one of appendix 2 to appendix 6, wherein the display control means displays information based on the type of the accommodation on a display device in the vicinity of the object position among a plurality of display devices. system.
  • Appendix 8 The information processing system according to any one of appendix 2 to appendix 7, wherein the display control unit displays information based on a type of the accommodation by a projector.
  • Appendix 10 The information processing apparatus according to any one of appendices 2 to 9, further comprising means for specifying information relating to the user, wherein the display control means changes information based on a type of the accommodation according to the information relating to the user.
  • Information processing system
  • Appendix 11 The information processing system according to appendix 2 to appendix 10, wherein the second detection means detects a price for the contained item contained in the object.
  • the first detection means dynamically detects the object position, and the display control means projects information based on the type of the object onto a projection device on the vicinity or the surface of the object, thereby changing the object position.
  • Appendix 13 The information processing system according to appendix 12, wherein the first detection unit detects the position of a person, and the display control unit switches presence / absence of information display according to the position of the person.
  • Appendix 14 The information processing system according to appendix 12 or appendix 13, further comprising means for detecting the shape of the object and means for identifying the type of the object based on the shape of the object.
  • Appendix 15 14. The information processing system according to appendix 12 or appendix 13, further comprising means for specifying the type of the object based on the object position.
  • Appendix 17 The appendix 12 to the appendix 16, further comprising output means for outputting information to at least one of lighting, a speaker, a display, a cash register system, an in-store monitoring system, a business terminal, and a personal terminal connected to the outside. Information processing system.
  • Appendix 18 Receives information input from at least one of an externally connected content control device, advertisement distribution device, audio distribution device, business terminal, personal terminal, data input device, in-store monitoring system, cash register system, and monitoring camera 18.
  • the information processing system according to any one of supplementary notes 12 to 17, further comprising input means and control means for controlling based on the inputted information.
  • the first detection means detects the direction of the line of sight of a person, and the display control means projects information based on the type of the object when the object is estimated to be in the person's visual field range.
  • the information processing system according to any one of appendix 12 to appendix 18, which is projected on an apparatus.
  • An information processing method comprising:
  • Appendix 21 The information processing method according to appendix 20, further comprising a step of detecting the type of the stored object stored in the object, wherein the object is a container for storing the stored object.
  • Appendix 22 A step of detecting a position of the stored object that is a position of the stored object in the object, and the information based on the type of the stored object includes the stored object position or the stored object according to the stored object position.
  • Appendix 23 The information processing method according to appendix 22, wherein information based on a type of the stored item is displayed at a position other than the stored item position within the object position.
  • Appendix 24 24.
  • Appendix 25 The information processing method according to any one of appendices 21 to 24, wherein the direction of the object is detected together with the object position, and the display direction of information based on the type of the object is changed according to the direction of the object.
  • Appendix 29 29.
  • Appendix 30 The information processing method according to appendix 21 to appendix 29, wherein a price for the accommodated item contained in the object is detected.
  • the object position is dynamically detected, information based on the type of the object is projected onto the projection device on the vicinity or the surface of the object, and the projection position of the projection device is changed according to the change in the object position.
  • Appendix 32 32.
  • Appendix 33 33.
  • the supplementary note 31 to supplementary note 35 further comprising a step of outputting information to at least one of lighting, a speaker, a display, a cash register system, an in-store monitoring system, a business terminal, and a personal terminal connected to the outside.
  • Information processing method
  • Appendix 37 Receives information input from at least one of an externally connected content control device, advertisement distribution device, audio distribution device, business terminal, personal terminal, data input device, in-store monitoring system, cash register system, and monitoring camera 37.
  • the information processing method according to any one of supplementary notes 31 to 36, further comprising a step and a step of controlling based on the input information.

Abstract

【課題】ユーザに、好適に情報を提供することを可能とする情報処理システム、及び情報処理方法を提供する。 【解決手段】物体の位置である物体位置を検出する容器位置検出部201と、物体の種類、又は物体が収容する収容物の種類に基づく情報を、物体の物体位置、もしくは物体位置の近傍に表示させる表示制御部209とを備える。

Description

情報処理システム、および情報処理方法
 本発明に係るいくつかの態様は、情報処理システム、および情報処理方法に関する。
 関連する技術として、例えばドーナツなどの商品購入時に、トレイ上にある全ての商品を認識した上で、当該商品が正しいか否かを表示し、その入力に応じて、商品の価格等の情報を処理するチェックアウトシステムが考えられている(例えば、特許文献1参照)。このようなチェックアウトシステムでは、購入者は、POSシステム(Point Of Sale system)を構成する端末(以降、POS端末と称する)前に商品を載せたトレイを配置した上で、当該商品に対する識別が正しいか否かを確認し、その上で、金銭の支払いなどの各種処理を行う。
 また関連する技術として、陳列棚に陳列されている商品の近傍、もしくは商品の表面上に、当該商品に関する商品情報を表示するシステムが考えられている(例えば、特許文献2参照)。特許文献2には、商品の位置及び商品コードを識別することにより、当該商品の近傍もしくは商品の表面上に、「新発売」「フランス製」「人気No.1」等の文字列や、関連商品に関する関連情報を、プロジェクタ等の投影装置により投影することを可能とするシステムが開示されている。
特開2013-030202号公報 特開2005-156591号公報
 しかしながら、特許文献1記載の手法では、POS端末に到達するまで合計金額が明示されないため、購入者は、POS端末近傍に到達してから、初めて代金を準備することとなる。このような流れでは、代金を準備するまでの間、後ろに並ぶ購入者は待つ必要があるため、待ち時間が長くなってしまう。つまり、情報が好適に提供されないために、顧客満足度が下がることがあった。
 また特許文献2記載の手法では、商品位置が変化する場合について考慮されていない。例えば、顧客(ユーザ)が商品を手にとった場合には、商品情報は元の場所に表示されたままである。これにより、顧客が商品を持っている場合には、商品本体か商品情報かのいずれか一方にしか顧客の注目を集められない場合があった。
 本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、ユーザに、好適に情報を提供することを可能とする情報処理システム、及び情報処理方法を提供することを目的の1つとする。
 本発明に係る情報処理システムは、物体の位置である物体位置を検出する第1の検出手段と、前記物体の種類、又は前記物体が収容する収容物の種類に基づく情報を、前記物体の物体位置、又は前記物体位置の近傍に表示させる表示制御手段とを備える。
 本発明に係る情報処理方法は、物体の位置である物体位置を検出するステップと、前記物体の種類、又は前記物体が収容する収容物の種類に基づく情報を、前記物体の物体位置、もしくは前記物体位置の近傍に表示させるステップとを備える。
 なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や「手段」、「装置」、「システム」が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や「手段」、「装置」、「システム」の機能が1つの物理的手段や装置により実現されても良い。
 本発明によれば、ユーザに、好適に情報を提供することを可能とする情報処理システム、及び情報処理方法を提供する。
第1実施形態に係る表示システムの概要を説明するための図である。 第1実施形態に係る表示システムの概略構成を示す機能ブロック図である。 図2に示す制御装置の処理の流れを示すフローチャートである。 図3に示す制御装置を実装可能なハードウェアの構成を示すブロック図である。 第2実施形態に係る表示システムの概要を説明するための図である。 図2に示す制御装置の処理の流れを示すフローチャートである。 第3実施形態に係る表示システムの概要を説明するための図である。 第4実施形態に係る情報処理システムの概略構成を示す機能ブロック図である。 第5実施形態に係る表示システムの概要を説明するための図である。 第5実施形態に係る表示システムの概略構成を示す機能ブロック図である。 図10に示す制御装置の処理の流れを示すフローチャートである。 図11に示す制御装置を実装可能なハードウェアの構成を示すブロック図である。 第6実施形態に係る表示システムの概要を説明するための図である。 図13に示す制御装置の処理の流れを示すフローチャートである。 第7実施形態に係る情報処理システムの概略構成を示す機能ブロック図である。 第8実施形態に係る情報処理システムの概略構成を示す機能ブロック図である。
 以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
 (1 第1実施形態)
 図1乃至図4は、第1実施形態を説明するための図である。以下、これらの図を参照しながら、次の流れに従って本実施形態を説明する。まず、「1.1」で本実施形態の概要を説明する。その後、「1.2」でシステムの機能構成を説明し、「1.3」で処理の流れを、「1.4」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に、「1.5」で、本実施形態に係る効果等を説明する。
 (1.1 概要)
 図1を参照しながら、本実施形態に係る表示システムの概要を説明する。本実施形態に係る表示システムは、例えばセルフ方式(Self-service)のレストラン等に適用されるものであり、購入者(顧客)であるユーザCはトレイレールR上にトレイTを置き、陳列棚Sから、任意の商品Pを取ってトレイT上に載せる(置く)。このようにしながら購入者であるユーザCはトレイTをトレイレールR上を滑らせながら図示しないレジへと進み、当該レジで商品Pに対する支払いを行う。
 なお、以下の説明では、ユーザCは商品Pを購入するものとして説明するが、実施形態はこれに限られるものではなく、例えば商品Pを借りる(レンタルする)店舗等に適用することも考えられる。
 また、商品PをトレイTに置くものとして説明するが、実施形態はこれに限られるものではなく、ユーザCは、例えば店内用のカートやカゴ等の容器に、購入前の商品Pを入れる(収める)ようにすることも考えられる。
 このようなセルフ方式の購入システムにおいては、通常、ユーザCがトレイTに取った商品Pの合計金額は、店員が目視でカウントするか、RFID(Radio Frequency Identification)方式等を用いてカウントするか、レジ部に設置されたカメラによる画像処理でカウントすることにより、レジ近傍のディスプレイに表示される。よって、このような方式を取ると、ユーザCは、レジに到達するまで合計金額を把握することができないため、レジに到達して初めて、代金を財布から準備することとなる。
 しかしながら、ユーザCがレジ近傍で支払代金を用意する時間は、後ろに並ぶ購入者に取っては待ち時間となる。レジを担当する店員のスキルを向上させたとしても、ユーザCが支払代金を用意する時間は短縮することができないため、このような支払いシステムとすることは、待ち行列を長くする要因となる。また、行列があまりに長くなった場合には行列を敬遠する顧客もいるため、販売機会の損失を生じさせる原因となってしまう。さらに、店員が待ち構えた状態でユーザCが支払代金を用意することとなるため、顧客はこの時間に緊張感、焦燥感、羞恥心などを感じることとなり、顧客満足度が低下する可能性もある。
 そこで、本実施形態では、トレイ上、もしくはトレイ近傍に、例えば商品の合計金額などの情報Dを表示する。これにより、ユーザCは、レジに到達する前に、支払代金を準備できるようになるため、会計処理の迅速化を図ることが可能となる。この他、商品の総カロリーや栄養バランス、空席状況や食器の置き場所などの店内の案内等をも情報Dとして表示すれば、顧客満足度の向上も図ることが可能である。また、購入商品と共に購入されやすい商品の情報(広告も含む)なども情報Dとして表示すれば、客単価の増加も期待することが可能となる。
 そのために、本実施形態の表示システムでは、表示装置101と検出装置103とを含む。検出装置103は、トレイレールR上のトレイTの位置や、トレイT内の商品P1及びP2の位置、並びに商品P1及びP2の種類を検出するための機能を持つ。また、表示装置101は、例えばプロジェクタにより実現され、トレイT上に任意の情報Dを表示することが可能である。
 これにより、図1の例では、検出装置103が、トレイTの位置、及びトレイT内に置かれた商品の種類を検出した上で、図1には図示しない表示装置が、トレイT内に置かれた商品の合計金額等を算出し、トレイT上に表示するメッセージを生成する。その上で、表示装置101は、トレイT上の、商品P1及びP2が置かれた位置以外の位置(空き領域)に、当該メッセージを表示する。
 なお、図1では、検出装置103による検出範囲、及び表示装置101による表示範囲(投影範囲)が、トレイレールRの幅と同様の狭い範囲にしか対応していないように見えるが、1台の検出/表示範囲が狭い場合であっても、複数台並べ、範囲を重ねることで、検出・投影範囲を広げることが可能である。
 (1.2 システムの機能構成)
 図2に示すように、本実施形態にかかる表示システム1は、大きく分けて、表示装置101、検出装置103、入力装置105、外部出力装置107、制御装置200を含む。
 表示装置101は、前述の通り、トレイT上、もしくはトレイTの近傍に、トレイT上に置かれた商品Pの情報を表示する。表示する情報は、例えば、商品Pの合計金額、合計カロリー、商品Pに基づき推薦される商品の情報(広告を含む)、空席情報、食器ストック位置、小銭準備の依頼メッセージ、等が考えられる。
 ここで、表示装置101の具体例としては、例えば図1に示したようにプロジェクタを用いることも考えられるし、或いは、トレイTが有するディスプレイ(例えば、有機ELや液晶等により実現することが考えられる)として実現することも考えられる。本実施形態では、表示装置101はプロジェクタであるものとして説明する。
 検出装置103は、前述の通り、トレイTの位置及び方向、トレイT上の商品Pの種類、トレイT上の商品Pの位置及び方向(以下、商品Pの位置及び方向の双方を含む意味で単に「商品Pの位置」と呼ぶ場合がある。)、等を検出する。ここで、トレイT上の商品Pの位置や種類、トレイTの位置は刻々と変化するため、検出装置103は、動的にこれらの位置等を検出可能な、例えば2Dまたは3Dカメラ等により実現することができる。
 入力装置105は、例えばユーザからの入力を受けるためのデバイスであり、例えば、タッチパネルや、2Dまたは3Dカメラによるジェスチャ認識装置等として実現することが考えられる。購入者であるユーザCは、例えば、表示情報Dの選択、料金支払い方法の選択、支払予定硬貨/紙幣枚数を入力することによる釣り銭予測計算、空き席予約や調理が必要な料理の予約、待ち時間用ゲーム、クーポンの選択と取得、等を行うことが可能となる。なお、ユーザCからの入力を受け付けない場合には、入力装置105は不要である。
 外部出力装置107は、例えばPOS端末などの外部装置に有線又は無線で接続され、購入者であるユーザCの状況などを出力する機能を有する。なお、外部に情報を出力する必要がない場合には、外部出力装置107は不要である。
 次に、制御装置200について説明する。制御装置200は、表示装置101、検出装置103、入力装置105、及び外部出力装置107等に接続され、トレイT上又はトレイTの近傍に情報Dを好適に表示するための各種制御を行う。制御装置200は、容器位置検出部201、商品種別検出部203、商品位置検出部205、情報生成部207、表示制御部209、入力部211、及び購入者特定部213を含む。
 容器位置検出部201は、検出装置103による検出結果を利用することにより、トレイレールR上に置かれたトレイTの位置及び方向を、随時検出する。トレイTの位置の検出方法は複数考えられるが、例えば、2D画像処理による認識や、3D形状計測による認識などが考えられる。
 商品種別検出部203は、検出装置103による検出結果を利用することにより、トレイT上に置かれたそれぞれの商品Pの種類を特定する。商品Pの種類の特定方法は複数考えられるが、例えば、予め登録されていた商品形状もしくは商品画像とのマッチングを取ること等が考えられる。商品種別検出部203が商品Pの種類を特定することにより、後述する情報生成部207がトレイT上に置かれたそれぞれの商品Pの合計金額等を算出することが可能となる。
 商品位置検出部205は、検出装置103による検出結果を利用することにより、トレイT上の商品Pの位置を検出することができる。商品Pの位置の特定方法としては、例えば、予め登録されたトレイTの形状や画像と、検出装置103による検出結果とを対比することにより、商品Pの位置を特定すること等が考えられる。
 情報生成部207は、トレイT上、もしくはトレイTの近傍に表示する、商品Pの種類に基づく情報等を含む表示情報Dを生成する。より具体的には、表示情報Dに含むことのできる情報としては、例えば、トレイT上に載せられた商品Pの合計金額や個別/合計カロリー、商品Pの関連商品の推薦(リコメンド)等が考えられる。この他、空席情報、食器ストック位置、広告、小銭準備の依頼等の情報をも、表示情報Dに含むことが考えられる。
 表示制御部209は、表示装置101を制御することにより、トレイT上、もしくはトレイTの近傍に情報生成部207が生成した表示情報Dを表示させる。この時、容器位置検出部201が検出したトレイTの位置及び向き(方向)、及び商品位置検出部205が検出した商品Pの位置に基づいて、表示情報Dの表示位置を決定することができる。より具体的には、表示制御部209は、例えば図1に具体例を示したように、トレイTの上の、商品Pが置かれていない空き領域に、トレイTと平行の向きに、表示情報Dを表示装置101に表示させることができる。
 入力部211は、入力装置105から入力されたユーザ入力を受付け、当該入力情報を制御装置200の各部へ伝える機能を持つ。より具体的には、例えば、表示情報Dの選択(どのような情報を表示させるか)、料金支払い方法の選択、支払予定硬貨/紙幣枚数を入力することによる釣り銭予測計算、空き席予約や調理が必要な料理の予約、待ち時間用ゲーム、クーポンの選択及び取得、等に係る情報の入力を、入力部211が入力装置105から受けることが考えられる。前述の表示制御部209は、これらの入力に応じて情報生成部207が生成した表示情報Dも表示装置101に表示させることができる。なお、ユーザCからの入力を受け付けない場合には、入力部211は不要である。
 購入者特定部213は、必要に応じて、トレイT上の商品Pを購入しようとする購入者であるユーザCを特定する機能を持つ。ユーザCの特定方法としては、例えば、検出装置103による画像もしくは形状と、予め登録されたユーザCの画像もしくは形状との比較により特定する方法や、ユーザC自身が入力装置105に対して自身の情報を入力する方法等、複数考えられる。なお、ユーザCに応じた処理を行わない場合には、購入者特定部213は不要である。
 (1.3 処理の流れ)
 以下、表示システム1における処理の流れを、図3を参照しながら説明する。図3は、本実施形態に係る制御装置200の処理の流れを示すフローチャートである。
 なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更してもしくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上1つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを1ステップとして実行することもできる。この点、後述する第2実施形態以降についても同様である。
 まず、容器位置検出部201は、トレイレールR上のトレイTの位置を検出する(S301)。その結果、もしトレイTが検出範囲外にあれば(S303のYes)、トレイTに対する処理を終了する。もし、トレイTの位置を検出することができれば(S303のNo)、商品種別検出部203は、検出されたトレイT上にある商品Pの種別を判定する(S305)。このとき、トレイT上に複数の商品Pが置かれている場合には、全ての商品Pの種類を、商品種別検出部203は特定する。
 情報生成部207は、商品種別検出部203で特定した、トレイT上の商品Pの種類に応じて、ユーザCに提示する情報、すなわちトレイT上もしくはトレイT近傍に表示する表示情報Dを生成する(S307)。より具体的には、例えばトレイT上に置かれた商品Pの価格の合計金額を計算したり、合計カロリーを計算したりすることにより、情報生成部207は表示情報Dを生成することができる。
 また、商品位置検出部205はトレイT上に置かれた商品Pの位置を検出する(S309)。これに伴い、表示制御部209は、表示情報Dの表示位置をトレイT上もしくはトレイT近傍の中で決定する(S311)。より具体的には、例えば、トレイT上もしくはトレイT近傍の位置の中で、商品Pの置かれている領域(商品位置ともいう。)とは異なる空き領域を、表示制御部209は表示情報Dを表示する位置とすることができる。
 このような表示情報Dの生成及び表示位置の決定に伴い、表示制御部209は表示情報Dを、トレイT上もしくはトレイT近傍の、S311で決定した位置に表示する(S313)。その後、S301に戻り、再度処理を繰返す。
 なお、この処理において、トレイT上に置かれた商品Pの種類の他に、トレイTを持つユーザCの人物情報や、トレイT上に置かれた、商品以外の物体、例えばクーポンや会員カード等の情報も、購入者特定部213は商品種別検出部203が取得することも考えられる。そのような場合には、購入者特定部213は、人物情報やカード情報により、トレイTを持つユーザCを特定し、情報生成部207および表示制御部209は、そのユーザに合わせた情報を提供することが可能となる。たとえば、クーポン情報を取得することができれば、合計金額等を示す表示情報Dに、クーポン情報などを反映(例えば、合計金額の減額)することができる。また、クーポン情報を元に、同時購入による割引情報を提供する等の処理を行えば、客単価の向上も図ることが可能となる。
 更に、商品種別検出部203がトレイT上の支払予定硬貨/紙幣等を検出すれば、情報生成部207がその金額を計算することにより、表示制御部209は、釣り銭予定金額などを表示することも可能となる。
 (1.4 ハードウェア構成)
 以下、図4を参照しながら、上述してきた制御装置200をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、制御装置200の機能は、複数の情報処理装置により実現することも可能である。
 図4に示すように、制御装置200は、プロセッサ401、メモリ403、記憶装置405、入力インタフェース(I/F)407、データI/F409、通信I/F411、及び表示装置413を含む。
 プロセッサ401は、メモリ403に記憶されているプログラムを実行することにより、制御装置200における様々な処理を制御する。例えば、図2を参照しながら説明した容器位置検出部201、商品種別検出部203、商品位置検出部205、情報生成部207、表示制御部209、入力部211、及び購入者特定部213に係る処理は、メモリ403に一時記憶された上で、主にプロセッサ401上で動作するプログラムとして実現可能である。
 メモリ403は、例えばRAM(Random Access Memory)等の記憶媒体である。メモリ403は、プロセッサ401によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ403の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
 記憶装置405は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置405は、オペレーティングシステムや、容器位置検出部201、商品種別検出部203、商品位置検出部205、情報生成部207、表示制御部209、入力部211、及び購入者特定部213を実現するための各種プログラムや、その他プログラムで使用する各種データなどを記憶する。記憶装置405に記憶されているプログラムやデータは、必要に応じてメモリ403にロードされることにより、プロセッサ401から参照される。
 入力I/F407は、ユーザからの入力を受け付けるためのデバイスである。図2で説明した入力装置105は、入力I/F407により実現することも可能である。入力I/F407の具体例としては、キーボードやマウス、タッチパネル、各種センサー等が挙げられる。入力I/F407は、例えばUSB(Universal Serial Bus)等のインタフェースを介して制御装置200に接続されても良い。
 データI/F409は、制御装置200の外部からデータを入力するためのデバイスである。データI/F409の具体例としては、各種記憶装置に記憶されているデータを読み取るためのドライブ装置などがある。データI/F409は、制御装置200の外部に設けられることも考えられる。その場合、データI/F409は、例えばUSB等のインタフェースを介して制御装置200へと接続される。
 通信I/F411は、制御装置200の外部の装置、例えばPOS端末などとの間で有線又は無線によりデータ通信するためのデバイスである。図2で説明した外部出力装置107は、通信I/F411により実現することも可能である。通信I/F411は制御装置200の外部に設けられることも考えられる。その場合、通信I/F411は、例えばUSB等のインタフェースを介して制御装置200に接続される。
 表示装置413は、各種情報を表示するためのデバイスである。図2で説明した表示装置101は、表示装置413により実現することも可能である。表示装置413の具体例としては、例えばプロジェクタ、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等が挙げられる。表示装置101は、制御装置200の外部に設けられても良く、たとえば、液晶ディスプレイや有機ELなどである表示装置413が、トレイTと一体的に設けられることも考えられる。
 (1.5 本実施形態に係る効果)
 以上説明したように、本実施形態に係る表示システム1では、ユーザCが商品PをおいたトレイT上、もしくはその近傍に、商品Pに応じて合計金額等の情報を、レジに到達する前に、随時表示するため、ユーザCはレジ手前で支払金額を準備できるようになる。これにより、会計処理の迅速化を図ることが可能となる。また、付随的に、総カロリーや栄養バランス、空席状況や食器置き場所等の店内の案内等の情報をもユーザに提供することができるため、会計後の混雑の緩和や、顧客満足度の向上も期待できる。さらに、おすすめ商品やその他広告を投影することにより、客単価を増加させることも可能となる。
 (2 第2実施形態)
 以下、第2実施形態を、図5及び図6を参照しながら説明する。以下の説明では、第1実施形態と同様の構成については同一の符号を付すと共に、説明を省略する。また、第1実施形態と同様の作用効果についても、説明を省略している。
 (2.1 概要)
 第2実施形態が第1実施形態と大きく異なる点は、トレイT上にある商品Pの特定方法である。以下、図5を参照しながら、本実施形態における商品Pの特定方法を説明する。
 商品Pが、例えば惣菜やパン等の食品等である場合には、同一商品であっても形状が少しずつ異なることが通常である。そのような場合には、第1実施形態のように2D画像処理や3D形状計測により商品Pを特定することは困難な場合がある。また、丼ものや麺類へのトッピングのように、RFID付き食器を用いずに、食品単体を別の食品上に載せる場合も考えられ、そのような場合にも、同様の問題が生じやすい。
 そこで、本実施形態では、種類ごとに商品Pの陳列棚S上の陳列位置が予め決まっており、顧客であるユーザCが商品Pをピックアップするタイミング、及び陳列棚Sのどの位置から商品Pをピックアップしたのかを検出することにより、商品Pの種類を検出する。図5の例では、エリアAから商品が取られた場合には商品Aが、エリアBから商品が取られた場合には商品Bが、エリアCから商品が取られた場合には商品Cが、それぞれトレイTに載せられたものと検出することができる。なお、陳列棚Sは、上下方向に立体的に配置することも考えられる。
 商品PがどのトレイTに置かれたのかは、トレイTに固有のID(識別子)を割り当てて管理することにより検出することが可能となる。このIDは、トレイTに予め印刷された番号や内蔵RFIDなどにより、明示的にトレイTを識別できるものでも良いし、或いは、トレイT上の商品取得履歴に応じて、仮想的にIDを決めることも考えられる。
 また、商品PがトレイTに移動したか否かについては、例えば、商品種別検出部203が、検出装置103が検出する陳列棚Sの質量変化、陳列棚Sの画像の時間変化、陳列位置に手が入った回数のカウント等に応じて検出することができる。
 システムの機能構成の概要については、図2を参照しながら説明した第1実施形態と同様であるので、説明を省略する。
 (2.2 処理の流れ)
 以下、図6を参照しながら、本実施形態に係る表示システム1の処理の流れを説明する。図6は、本実施形態に係る表示システム1の処理の流れを示すフローチャートである。
 まず、容器位置検出部201は、トレイTの位置を検出する(S601)。その結果、もしトレイTが検出範囲外にあれば(S603のYes)、トレイTに対する処理を終了する。もし、トレイTの位置を検出することができれば(S603のNo)、容器位置検出部201はトレイTの識別子(ID)を識別する(S605)。この識別方法は、前述の通り、トレイT毎に予め印刷/内蔵RFID等の手法により割り当てるようにしても良いし、トレイレールR上で新たに検出された各トレイTに対して、動的に割り当てるようにしても良い。
 その後、商品種別検出部203は、検出装置103の機能により、トレイTに商品が追加されたか否かを判別する(S607)。この判別手法としては、前述の通り、例えば陳列棚Sの質量変化、陳列棚Sの画像の変化、陳列位置に手が入ったか否か、等の手法が考えられる。もし、トレイに商品が追加された場合には(S607のYes)、商品種別検出部203は、トレイT上にある商品Pの種類を特定する。この手法としては、例えば陳列棚Sの質量が変化した領域の特定、陳列棚Sの画像が変化した位置の特定、陳列位置に手が入った位置の特定、等の方法が考えられる。商品Pの種類が特定できれば、情報生成部207は、トレイTに商品Pがその種類の商品P追加されたものとしてS613以降の処理を行う。
 情報生成部207は、商品種別検出部203で特定した、トレイT上の商品Pの種類に応じて、ユーザCに提示する情報、すなわちトレイT上もしくはトレイT近傍に表示する表示情報Dを生成する(S613)。より具体的には、例えばトレイT上に置かれた商品Pの価格の合計金額を計算したり、合計カロリーを計算したりすることにより、情報生成部207は表示情報Dを生成することができる。
 また、商品位置検出部205は、トレイT上に置かれた商品Pの位置を検出する(S615)。これに伴い、表示制御部209は、表示情報Dの表示位置をトレイT上もしくはトレイT近傍の位置の中で、商品Pの置かれている領域とは異なる空き領域を、表示制御部209は表示情報Dを表示する位置とすることができる(S617)。
 このような表示情報Dの生成及び表示位置の決定に伴い、表示制御部209は表示情報Dを、トレイT上もしくはトレイT近傍の、S617で決定した位置に表示する(S619)。その後、S601に戻り、再度処理を繰返す。
 (2.3 本実施形態に係る効果)
 以上説明したように、本実施形態に係る表示システム1でも、第1実施形態と同様、ユーザCが商品Pを置いたトレイT上、もしくはその近傍に、商品Pに応じて合計金額等の情報を、レジに到達する前に、随時表示するため、ユーザCはレジ手前で支払金額を準備できるようになる。これにより、会計処理の迅速化を図ることが可能となる。また、付随的に、総カロリーや栄養バランス、空席状況や食器置き場所等の店内の案内等の情報をもユーザに提供することができるため、会計後の混雑の緩和や、顧客満足度の向上も期待できる。さらに、おすすめ商品やその他広告を投影することにより、客単価を増加させることも可能となる。
 また、本実施形態では、商品Pをピックアップした位置に応じて商品Pの種類を特定しているため、商品Pの形状が不揃いな場合や、商品Pが別の商品の上に載せる例えばトッピングであったとしても、好適に商品Pの種類を特定することが可能となる。
 (3 第3実施形態)
 以下、第3実施形態を、図7を参照しながら説明する。以下の説明では、第1実施形態と同様の構成については、同一の符号を付すと共に、説明を省略する。また、第1実施形態と同様の作用効果についても、説明を省略している。
 第3実施形態が第1実施形態及び第2実施形態と大きく異なる点は、表示情報Dの表示方法である。以下、図7を参照しながら、本実施形態における表示情報Dの表示方法を説明する。
 本実施形態に係る表示システム1では、表示装置101が複数台ある(図7の例では、表示装置101A、101B、101Cの3台)。表示制御部209は、表示情報Dを、表示装置101A乃至101Cのいずれかに表示する。より具体的には、エリアAにあるトレイT1に対する表示情報Dは表示装置101Aに、エリアBにあるトレイT2に対する表示情報Dは表示装置101Bに、それぞれ表示される。トレイTが移動すれば、表示情報Dが表示される表示装置101も変わる。
 システムの機能構成の概要、及び処理の流れの概要については、図2及び図3を参照しながら説明した第1実施形態と同様であるので、ここでは説明を省略する。
 本実施形態に係る表示システム1でも、第1実施形態及び第2実施形態と同様、ユーザCが商品Pを置いたトレイTの近傍に、商品Pに応じて合計金額等の情報を、レジに到達する前に、随時表示するため、ユーザCはレジ手前で支払金額を準備できるようになる。これにより、会計処理の迅速化を図ることが可能となる。また、付随的に、総カロリーや栄養バランス、空席状況や食器置き場所等の店内の案内等の情報をもユーザに提供することができるため、会計後の混雑の緩和や、顧客満足度の向上も期待できる。さらに、おすすめ商品やその他広告を投影することにより、客単価を増加させることも可能となる。
 なお、表示装置101のディスプレイ上に表示情報Dを表示する場合であっても、このように複数の表示装置101のうち、いずれの表示装置101に表示するかを切り換える以外にも、いくつかの手法が考えられる。例えば、ユーザCがスマートフォン等の情報端末を有している場合には、表示制御部209は画像やデータを表示装置101に送信して表示させるようにしても良い。
 (4 第4実施形態)
 以下、第4実施形態を、図8を参照しながら説明する。図8は、情報処理システム800の機能構成を示すブロック図である。図8に示すように情報処理システム800は、第1検出部810と第2検出部820と表示制御部830とを含む。
 第1検出部810は、測定対象物、例えば商品等を置く容器の位置である容器位置を検出する。第2検出部820は、容器に置かれた測定対象物の種類を検出する。
 表示制御部830は、検出された測定対象物の種類に基づく情報を、容器位置、もしくは容器位置の近傍に表示する。
 このように実装することで、本実施形態に係る情報処理システム800は、顧客に、好適に情報を提供することを可能とすることができる。
 (5 付記事項1)
 なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
 特に、トレイTの容器の種類や、トレイTや商品Pの位置検出方法、商品Pの種類検出方法、表示制御部209による表示情報Dの提供方法、表示情報Dの内容などについては、前述の各方法以外にも種々考えられる。以下具体例として、トレイTではなく、ユーザCが商品Pを入れる容器が、タブレットが搭載された買い物カートである場合を考える。このような場合には、例えば、床面の圧力センサーとして実装される検出装置103の検出位置に応じて商品種別検出部203が商品Pの取り出し位置を特定すると共に、カートの重量変化情報と取り出し位置とに基づいて商品Pの種類を特定し、その結果生成される表示情報Dを、買い物カートに搭載されたディスプレイに表示される、等のシステムも考えることができる。
 (6 第5実施形態)
 図9乃至図12は、第5実施形態を説明するための図である。以下、これらの図を参照しながら、次の流れに従って本実施形態を説明する。まず、「6.1」で本実施形態の概要を説明する。その後、「6.2」でシステムの機能構成を説明し、「6.3」で処理の流れを、「6.4」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に、「6.5」で、本実施形態に係る効果等を説明する。
 (6.1 概要)
 図9を参照しながら、本実施形態に係る表示システムの概要を説明する。本実施形態に係る表示システムは、例えば店頭などにおいて、商品やサービスの情報を表示するデジタルサイネージ等を実現するものである。
 ここで、商品やサービス(以下、商品及びサービスを纏めて「商品」と呼ぶ場合がある。)近傍にディスプレイ等を設置して商品に関する情報等を表示するデジタルサイネージシステムにおいては、商品とは別に、商品情報を表示する画面が存在することが通常である。このようなシステムでは、デジタルサイネージにより顧客(デジタルサイネージ視聴者/購買者。以下、「ユーザ」ともいう。)に商品の魅力などをアピールする場合には、商品そのものではなく、商品情報が表示される画面の内容に顧客の注目を集める必要がある。つまり、顧客の関心が画面に移ってしまうために、顧客の関心が商品自体から離れてしまう可能性がある。
 そこで、本実施形態における表示システムでは、図9に示すように、ユーザCが商品Pに近づくと、商品(物体)とは別に設けられたディスプレイではなく、商品Pの表面、若しくはその近傍に、例えばプロジェクタである投影装置901により画像を投影する。またこのとき、顧客であるユーザCが商品を手に取る等の動作を行った場合には、その動作に伴う商品の移動に伴い、投影画像の位置も動的に変化させる。その後、もしユーザCが商品Pから離れると、画像の投影を停止する。
 このように実装することで、ユーザCの注目を商品P自体に直接集めることが可能となり、結果として、売上の向上等を見込むことができる。更に、既存のLCD(Liquid Crystal Display)等を用いたデジタルサイネージとは異なり、専用のスクリーン面を置く必要がなくなるため、画像レイアウトや商品レイアウトの自由度を上げることが可能となる。
 このような表示システムを実現すべく、図9に示す本実施形態の表示システムでは、投影装置901、検出装置903、及び駆動装置905を含む。
 このシステムにおいて、検出装置903は、検出範囲R内にある、陳列棚Sに並べられた商品Pの位置及び向きやユーザCの位置及び動きを随時(動的に)検出する。投影装置901は、商品Pの表面、若しくは商品Pの近傍に画像を投影(表示)する機能を持つ。駆動装置905は、投影装置901の投影方向を変化させるためのものである。駆動装置905により、投影装置901は、商品Pの位置や方向が変化した場合に、それに併せて投影位置を変化させることが可能となる。
 なお、図9の例では投影装置901、検出装置903、及び駆動装置905がそれぞれ1台ずつしか示されておらず、またこれらが1つの集合的な装置として実現されているが、これに限られるものではない。例えば、投影装置901、検出装置903、及び駆動装置905を備える1つの集合的な装置を複数設けてもいいし、それぞれの装置をバラバラに設置することも考えられる。特に、投影装置901及び駆動装置905を備える1つの集合的な装置を複数設置する一方で、検出装置903を1台のみ、若しくは当該集合的な装置よりも少数のみ設置することも考えられる。
 投影装置901、検出装置903、及び駆動装置905がそれぞれ複数台設けられる場合には、これらを制御する制御装置1000(図10に示す。)が、それぞれの投影装置901、検出装置903、及び駆動装置905が連携するように制御すれば良い。このとき、もし駆動装置905が投影装置901による投影位置及び投影方向を物理的に変化させる場合には、通常、同時に一箇所にしか画像を投影できないことが通常であるため、複数箇所を同時に投影できるように、投影範囲が同一又は一部が重なるように、投影装置901及び駆動装置905を設置することが考えられる。
 (6.2 システムの機能構成)
 図10に示すように、本実施形態に係る表示システム10は、大きく分けて、投影装置901、検出装置903、駆動装置905、外部入出力装置907、及び制御装置1000を含む。
 投影装置901は、前述の通り、駆動装置905による駆動を受けて、商品Pの表面、若しくは商品Pの近傍に、商品情報などに関する画像(映像を含む)を投影する。表示する情報は、商品Pそのものの情報もあれば、商品Pと共に購入されることの多い商品に関する情報(リコメンド)なども考えられる。なお、投影装置901の具体例としては、プロジェクタが考えられる。
 検出装置903は、商品P及びユーザCの位置、方向及び動きを検出する。これにより、例えばユーザCが商品Pから一定範囲内に入った場合に、対象とする商品P又は商品P近傍に商品情報に係る画像を投影することが可能となる。また、検出装置903がユーザCの視線を検出する機能を持つようにしても良い。その場合には、投影装置901は、ユーザCが検出装置903による検出範囲R内で、且つ、商品Pの方向を向いている場合に、画像を投影するように実装することが可能となる。
 ここで、検出装置903は、例えば2Dまたは3Dカメラにより実現することができる。このような検出装置903によりユーザCの位置を検出する方法としては、例えば2D画像又は3D計測データから位置を検出することも考えられるし、或いは、位置認識と人物の形状認識とを組み合わせることにより、ユーザCの位置を検出するようにしても良い。また、検出装置903による商品Pの位置の検出方法としては、例えば、予め定められた位置として検出することも考えられるし、或いは、画像認識(2D及び3Dを含む)により検出することも考えられる。
 駆動装置905は、制御装置1000による制御の下、投影装置901が画像を投影すべき位置及び方向に投影装置901を向ける。より具体的には、駆動装置905は、商品Pの表面若しくはその近傍に投影装置901を向け、ユーザCが商品Pを持つことにより商品Pが移動すれば、投影装置901の投影方向もそれに追随させる。ここで、駆動装置905は、物理的に投影装置901の向きを変えることにより投影方向及び投影位置を変化させるようにしても良いし、投影装置901内部の光学系(レンズやライトバルブ等)を変化させるようにしても良い。或いは、投影装置901の前面に取り付けたミラーで投影方向を変化させることも考えられる。この他、投影装置901による投影範囲が広範囲に及ぶ場合には、投影可能範囲全体のうち、一部分のみの映像を生成してその位置を変化させるように、駆動装置905が制御することも考えられる。
 外部入出力装置907は、例えば照明、スピーカ、ディスプレイ、レジシステム、店内監視システム、業務用端末、個人端末、コンテンツ制御装置、広告配信装置、音声配信装置、データ入力装置、及び監視カメラ等のうち、少なくともいずれかと有線又は無線で接続され、必要に応じて情報を入出力(通信)するためのインタフェースの役割を果たす。より具体的には、外部入出力装置907が照明、スピーカ、及びディスプレイ等に対して各種制御コマンドを出力することにより、制御装置1000による制御の下、投影装置901による情報の表示と併せて、音声や照明の切換え等の演出を行うことが可能となる。また、外部入出力装置907がレジシステム、店内監視システム、業務用端末、個人端末等に各種データを出力することにより、例えば、ユーザCの位置や購入状況等の情報を、これらの装置で利用することが可能となる。更に、外部入出力装置907が、コンテンツ制御装置、広告配信装置、音声配信装置、業務用端末、個人端末、データ入力装置、店内監視システム、レジシステム、及び監視カメラからの入力を受ける場合には、例えば投影装置901に、入力を受けた情報を投影(表示)させたり、或いはそれを先述の照明やスピーカ等に出力したりすることが可能となる。
 なお、入出力機能を使用しない場合には、表示システム10は、外部入出力装置907を必ずしも備えなくとも良い。
 次に、制御装置1000について説明する。制御装置1000は、投影装置901、検出装置903、駆動装置905、及び外部入出力装置907等に接続されており、これらの装置をそれぞれ制御する機能を持つ。制御装置1000は、商品位置検出部1001、商品種別検出部1003、人物位置検出部1005、駆動制御部1007、表示制御部1009、演出出力部1011、情報出力部1013、入力部1015、及び視線検出部1017を含む。
 商品位置検出部1001は、検出装置903による検出結果である2D画像や3D計測データを利用することにより、検出範囲R内に商品Pがあるか否か、及び商品Pがある場合にはその位置及び方向を検出することができる。商品Pの検出方法としては、例えば、予め登録された商品Pの画像や形状を、検出装置903による2D画像又は3D計測データと比較する方法や、商品Pが置かれていない状態に対する形状変化等により検出する方法が考えられる。
 商品種別検出部1003は、検出装置903による検出結果を用いて、商品Pの種類を特定する。商品種別検出部1003による商品Pの種類の特定方法としては、例えば、検出装置903による検出結果である2D画像と、予め商品毎に登録された商品画像との一致度等に基づいて種類を検出することが考えられる。若しくは、商品位置検出部1001が特定する、商品Pが陳列棚Sに置かれた位置に基づいて、商品種別検出部1003は商品Pの種類を特定しても良い。商品種別検出部1003が商品Pの種類を特定することにより、表示制御部1009は商品Pの種類に応じた情報(画像)を投影装置901に投影させることが可能となる。
 人物位置検出部1005は、検出装置903による検出結果である2D画像または3D計測データを用いて、ユーザCの位置を特定する。なお、ユーザCの位置の特定方法としては、例えば、一定範囲内に入った人物の赤外線を検出するセンサである外部入出力装置907による検出結果を用いることも考えられる。
 駆動制御部1007は、投影装置901による画像の投影位置及び方向を変化させるべく、駆動装置905を制御する。ここで、投影装置901の投影位置は、例えば、商品Pの種類に応じて商品Pの表面上とするか、或いは商品Pの近傍とするかを切り換えることも考えられる。より具体的には、駆動制御部1007は、商品Pがシンプルなパッケージをもつ場合には商品Pの表面に画像が投影されるように駆動装置905を制御し、それ以外の場合には、商品Pの近傍の陳列棚S上に画像を投影するようにすることが考えられる。また、前述の通り、ユーザCが商品Pを手に取る等することにより、商品Pの位置や方向が移動した場合には、駆動制御部1007は、これに合わせて投影画像の位置及び方向が変化するように、駆動装置905を制御する。この時も、商品Pの種類に応じて、商品Pの表面に画像を投影している場合には、商品Pの移動に伴い投影画像の位置及び方向を変化させ、商品Pの近傍の陳列棚Sに画像を投影している場合には、商品Pが移動したとしても投影画像を変化させない、といった制御を駆動制御部1007が行うことも考えられる。
 表示制御部1009は、投影装置901を制御することにより、投影装置901に、商品Pの表面上若しくは近傍に表示させる画像を投影させる。ここで、表示制御部1009は、人物位置検出部1005による人物検出結果に応じて、ユーザCが商品Pから一定範囲内にいる場合に投影装置901に情報を投影させ、ユーザCが当該一定範囲内にいない場合には投影装置901による投影を停止させる制御を行う。或いは、視線検出部1017によるユーザCの視線方向の検出結果に応じて、ユーザCの視野範囲に商品Pがある場合に画像を投影させ、商品PがユーザCの視野範囲から外れた場合に、画像の投影を停止させるようにすることも考えられる。或いは、ユーザCの視野範囲内に商品Pがない場合に、ユーザCの視野範囲に商品Pの情報を投影することも考えられる。若しくは、表示制御部1009は、表示開始から一定時間経過後等の条件を満たした場合に、投影装置901による投影を停止させることも考えられる。
 表示制御部1009が投影装置901に画像として投影させる情報としては、商品Pに係る広告、価格、割引価格、使用方法、在庫状況、又は商品Pと併せて購入されることの多い商品等の推薦(リコメンド)商品の紹介等が考えられる。これらの情報は、組み合わせて表示しても良い。この他、直接的な情報では無いが、商品Pにスポットライトを当てる、点滅光や動きのある光を投影する、商品P位置の案内情報を投影する、等の制御を表示制御部1009が行うことも考えられる。
 なお、表示制御部1009が投影装置901に投影させる情報は、予め用意していても良いし、或いは、外部入出力装置907に接続されたコンテンツ制御装置、広告配信装置、音声配信装置、業務用端末、個人端末、データ入力装置、店内監視システム、レジシステムなどから入力を受けることも考えられる。この他、例えば図示しない監視カメラ等から入力部1015が取得したユーザCの顧客情報(具体的には、例えば性別や年令など)を元に、投影装置901に投影させる情報の内容を変化させることも考えられる。
 この他、投影装置901が画像を投影する商品Pの表面の向きや色等を商品位置検出部1001が検出し、その検出結果に応じて、表示制御部1009は投影する画像を補正するようにしても良い。この補正方法としては、例えば色調補正(投影場所が青い場合には青色を濃くする、若しくは青色を使わない、色を反転させる、等の補正を行うことが考えられる)、投影する光軸に対して垂直ではない投影面に対する投影画像形状の歪み補正(いわゆる台形補正などが含まれる)等が考えられる。
 演出出力部1011は、外部入出力装置907に接続された、例えば照明、スピーカ、及びディスプレイ等を用いて、ユーザCに対して商品Pに係る演出を行う。この演出出力部1011による演出方法としては、例えばスピーカから音声を出力したり、或いは、表示制御部1009で説明したように、点滅光や動きのある光により商品Pを目立たせたりといった演出が考えられる。このような演出を行うことで、ユーザCの臨場感が増し、結果として、広告効果を高めることが可能となる。もしこのような演出を行わない場合には、制御装置1000は、演出出力部1011を必ずしも備える必要はない。
 情報出力部1013は、例えば、レジシステム、店内監視システム、業務用端末、個人端末等の各種装置に、外部入出力装置907から情報を出力する機能を持つ。出力する情報としては、例えば、商品PやユーザCに係る位置や方向等に関する情報等が考えられる。
 入力部1015は、例えば、コンテンツ制御装置、広告配信装置、音声配信装置、業務用端末、個人端末、データ入力装置、店内監視システム、レジシステム、及び監視カメラといった各種装置から外部入出力装置907で受信した各種データの入力を受付け、当該入力情報を、制御装置1000の各部へと伝える機能を持つ。入力を受ける情報としては、例えば、投影装置901で投影する情報や、制御装置1000の各部を制御するための制御コマンド等が考えられる。
 なお、表示システム1が入出力機能を有さない場合には、制御装置1000は、情報出力部1013及び入力部1015を必ずしも備えなくとも良い。
 視線検出部1017は、必要に応じて、ユーザCの向き、或いは視線の向き等を、検出装置903を利用して検出する。視線検出部1017がユーザCの視野範囲に商品Pがあるか否かを推定できれば、表示制御部1009は、ユーザCの視野範囲に商品Pがある場合のみ、投影装置901に情報を投影させるように制御することが可能となる。なお、このような制御を行わない場合には、視線検出部1017は不要である。
 (6.3 処理の流れ)
 以下、表示システム10における処理の流れを、図11を参照しながら説明する。図11は、本実施形態に係る制御装置1000の処理の流れを示すフローチャートである。
 なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更してもしくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上1つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを1ステップとして実行することもできる。この点、後述する第6実施形態以降についても同様である。
 まず、商品位置検出部1001及び人物位置検出部1005は、検出装置903による検出結果に基づき、検出範囲R内にある物体を認識する(S1101)。その結果、商品Pが検出範囲R内にない場合(S1103のNo)や検出範囲R内にユーザCがいない場合(S1105のNo)には、S1101に戻って、商品P及びユーザCの両方が検出されるまで処理を繰返す。
 商品位置検出部1001によって商品Pが検出され、かつ、人物位置検出部1005によってユーザCが検出された場合には(S1105のYes)、表示制御部1009は商品Pに係る画像を投影装置901に投影させ、駆動制御部1007は駆動装置905を制御することにより、投影装置901の投影方向を商品Pの表面上若しくは商品Pの近傍の例えば陳列棚S上等に向ける(S1107)。このとき、商品Pの種類を商品種別検出部1003が検出し、表示制御部1009はこの検出結果に応じて、投影装置901に投影させる画像を変えるようにしても良い。
 その後、検出装置903による検出範囲RからユーザCが出るまで(S1109のNo)S1101~S1109の処理を繰り返すことにより、商品Pが移動した場合には、駆動制御部1007はそれに応じて投影装置901による投影方向を追随させることが可能となる。
 もし、ユーザCが検出装置903による検出範囲Rから出れば(S1109のYes)、表示制御部1009は投影装置901による画像の投影を停止させる(S1111)。
 (6.4 ハードウェア構成)
 以下、図12を参照しながら、上述してきた制御装置1000をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、制御装置1000の機能は、複数の情報処理装置により実現することも可能である。
 図12に示すように、制御装置1000は、プロセッサ1201、メモリ1203、記憶装置1205、入力インタフェース(I/F)1207、データI/F1209、通信I/F1211、及び表示装置1213を含む。
 プロセッサ1201は、メモリ1203に記憶されているプログラムを実行することにより、制御装置1000における様々な処理を制御する。例えば、図10を参照しながら説明した商品位置検出部1001、商品種別検出部1003、人物位置検出部1005、駆動制御部1007、表示制御部1009、演出出力部1011、情報出力部1013、入力部1015、及び視線検出部1017に係る処理は、メモリ1203に一時記憶された上で、主にプロセッサ1201上で動作するプログラムとして実現可能である。
 メモリ1203は、例えばRAM(Random Access Memory)等の記憶媒体である。メモリ1203は、プロセッサ1201によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ1203の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
 記憶装置1205は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置1205は、オペレーティングシステムや、商品位置検出部1001、商品種別検出部1003、人物位置検出部1005、駆動制御部1007、表示制御部1009、演出出力部1011、情報出力部1013、入力部1015、及び視線検出部1017を実現するための各種プログラムや、その他プログラムで使用する各種データなどを記憶する。記憶装置1205に記憶されているプログラムやデータは、必要に応じてメモリ1203にロードされることにより、プロセッサ1201から参照される。
 入力I/F1207は、例えば管理者やユーザCからの入力を受け付けるためのデバイスである。入力I/F1207の具体例としては、キーボードやマウス、タッチパネル、各種センサ等が挙げられる。入力I/F1207は、例えばUSB(Universal Serial Bus)等のインタフェースを介して制御装置1000に接続されても良い。
 データI/F1209は、制御装置1000の外部からデータを入力するためのデバイスである。データI/F1209の具体例としては、各種記憶装置に記憶されているデータを読み取るためのドライブ装置などがある。データI/F1209は、制御装置1000の外部に設けられることも考えられる。その場合、データI/F1209は、例えばUSB等のインタフェースを介して制御装置1000へと接続される。
 通信I/F1211は、制御装置1000の外部の装置、例えば、投影装置901、検出装置903、駆動装置905等の各装置や、照明、スピーカ、ディスプレイ、レジシステム、店内監視システム、業務用端末、個人端末、コンテンツ制御装置、広告配信装置、音声配信装置、データ入力装置、及び監視カメラ等との間で有線又は無線によりデータ通信するためのデバイスである。図10で説明した外部入出力装置907は、前述のデータI/F1209や通信I/F1211により実現することも可能である。通信I/F1211は制御装置1000の外部に設けられることも考えられる。その場合、通信I/F1211は、例えばUSB等のインタフェースを介して制御装置1000に接続される。
 表示装置1213は、各種情報を表示するためのデバイスである。図10で説明した投影装置901は、表示装置1213により実現することも可能である。表示装置1213の具体例としては、例えばプロジェクタ、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等が挙げられる。表示装置1213は、制御装置1000の外部に設けられても良い。
 (6.5 本実施形態に係る効果)
 以上説明したように、本実施形態に係る表示システム10では、商品Pの表面上若しくは近傍に、広告映像や在庫情報などといった商品Pに関する情報が投影される。これにより、ユーザCの注目を商品Pそのものに直接集めることが可能となるため、情報表示用のディスプレイを別途儲ける場合と比べて、売上の向上を見込むことが可能となる。また、本実施形態に係る表示システム10では、このような情報表示用のディスプレイを用いたデジタルサイネージとは異なり、専用のスクリーン面を設ける必要がなくなるため、画像レイアウトや商品レイアウトの自由度を高めることが可能となる。
 更に、本実施形態に係る表示システム10では、ユーザCが商品Pの近辺にいない場合、或いはユーザCが商品Pを見ていない状況での画像の投影を抑制することで、電力消費の抑制を図ることが可能となる。
 (7 第6実施形態)
 以下、第6実施形態を、図13及び図14を参照しながら説明する。以下の説明では、第5実施形態と同様の構成については同一の符号を付すと共に、説明を省略する。また、第5実施形態と同様の作用効果についても、説明を省略している。
 (7.1 概要)
 第6実施形態が第5実施形態と大きく異なる点は、投影装置901が投影を開始するトリガである。以下、図13を参照しながら、本実施形態における商品Pへの画像投影方法を説明する。
 商品Pが、陳列棚Sの上段ではなく、図13に示すように中段や下段に並んでいる場合には、天井に取り付けられた投影装置901から商品Pやその近傍に画像を投影することは難しい。そこで、本実施形態では、商品Pが陳列棚Sから取り出される等することにより検出装置903により検出できるようになった時、すなわち検出装置903の検出範囲Rに入った場合に、投影装置901は画像の投影を開始し、駆動装置905は商品Pの表面若しくはその近傍に画像を表示するように投影装置901による投影方向/投影位置を制御する。この場合、ユーザCの商品Pへの接近や、商品Pへの接触検知等を行う必要は必ずしも無い。つまり、第5実施形態における人物位置検出部1005を備えなくとも良い。
 上記の点以外のシステムの機能構成の概要については、図10を参照しながら説明した第5実施形態と同様であるので、説明を省略する。
 (7.2 処理の流れ)
 以下、図14を参照しながら、本実施形態に係る表示システム10の処理の流れを説明する。図14は、本実施形態に係る制御装置1000の処理の流れを示すフローチャートである。
 まず、商品位置検出部1001は、検出装置903による検出結果に基づき、検出範囲R内にある物体を認識する(S1401)。その結果、投影対象となる商品Pがある場合には(S1403)、表示制御部1009は商品Pに係る画像を投影装置901に投影させ、駆動制御部1007は駆動装置905を制御することにより、投影装置901の投影方向を商品Pの表面上若しくは商品Pの近傍に向ける(S1405)。その後、検出装置903による検出範囲Rから商品Pが出るまでS1401乃至S1405の処理を繰り返すことにより、商品Pが移動した場合には、駆動制御部1007はそれに応じて投影装置901による投影方向を追随させることが可能となる。
 もし商品Pの位置が検出装置903による検出範囲Rから外れれば(S1403のNo)、投影装置901が画像出力中であれば(S1407のYes)表示制御部1009は当該出力を停止し(S1409)、処理を終了する。
 (7.3 本実施形態に係る効果)
 以上説明したように、本実施形態に係る表示システム10でも、第5実施形態と同様、商品Pの表面上若しくは近傍に、広告映像や在庫情報などといった商品Pに関する情報が投影される。これにより、ユーザCの注目を商品Pそのものに直接集めることが可能となるため、情報表示用のディスプレイを別途設ける場合と比べて、売上の向上を見込むことが可能となる。また、本実施形態に係る表示システム10では、このような情報表示用のディスプレイを用いたデジタルサイネージとは異なり、専用のスクリーン面を設ける必要がなくなるため、画像レイアウトや商品レイアウトの自由度を高めることが可能となる。
 (8 第7実施形態)
 以下、第7実施形態を、図15を参照しながら説明する。図15は、情報処理システム1500の機能構成を示すブロック図である。図15に示すように情報処理システム1500は、検出部1510と表示制御部1520と駆動制御部1530とを含む。
 検出部1510は、物体、例えば商品の位置を動的に検出する。表示制御部1520は、物体の種類に基づく情報を、物体の近傍若しくは表面に、図示しない投影装置に投影させる。駆動制御部1530は、物体の位置の変化に応じて、投影装置が投影する位置を変化させる。
 このように実装することで、本実施形態に係る情報処理システム1500は、ユーザに、好適に物品の情報を提供することができる。
 (9 第8実施形態)
 以下、第8実施形態を、図16を参照しながら説明する。図16は、情報処理システム1600の機能構成を示すブロック図である。図16に示すように情報処理システム1600は、検出部1610と表示制御部1620とを含む。
 検出部1610は、物体の位置である物体位置を検出する。表示制御部1620は、前述の物体の種類、又は当該物体が収容する収容物の種類に基づく情報を、物体の物体位置、もしくは物体位置の近傍に表示させる。
 このように実装することで、本実施形態に係る情報処理システム1600は、ユーザに、好適に情報を提供することができる。
 (10 付記事項2)
 なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
 なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
(付記1)
 物体の位置である物体位置を検出する第1の検出手段と、前記物体の種類、又は前記物体が収容する収容物の種類に基づく情報を、前記物体の物体位置、又は前記物体位置の近傍に表示させる表示制御手段とを備える情報処理システム。
(付記2)
 前記物体は前記収容物を収容する容器であり、前記物体に収容された前記収容物の種類を検出する第2の検出手段、を更に備える付記1記載の情報処理システム。
(付記3)
 前記物体に収容された前記収容物の位置である収容物位置を検出する第3の検出手段を更に備え、前記表示制御手段は、前記収容物の種類に基づく情報を、前記収容物位置に応じた、前記収容物位置もしくは前記収容物位置の近傍に表示する、付記2記載の情報処理システム。
(付記4)
 前記表示制御手段は、前記物体位置内の前記収容物位置以外の位置に、前記収容物の種類に基づく情報を表示する、付記3記載の情報処理システム。
(付記5)
 前記第2の検出手段は、前記収容物が陳列された陳列棚から移動したことを検出することにより、前記物体に収容された前記収容物の種類を検出する、付記2乃至付記4のいずれか1項記載の情報処理システム。
(付記6)
 前記第1の検出手段は、前記物体位置と共に前記物体の方向を検出し、前記表示制御手段は、前記収容物の種類に基づく情報の表示方向を、前記物体の方向に応じて変える、付記2乃至付記5のいずれか1項記載の情報処理システム。
(付記7)
 前記表示制御手段は、複数の表示装置のうち、前記物体位置の近傍にある表示装置に、前記収容物の種類に基づく情報を表示する、付記2乃至付記6のいずれか1項記載の情報処理システム。
(付記8)
 前記表示制御手段は、プロジェクタで前記収容物の種類に基づく情報を表示する、付記2乃至付記7のいずれか1項記載の情報処理システム。
(付記9)
 ユーザから入力を受ける入力手段を更に備え、前記表示制御手段は、ユーザからの入力に応じて、前記収容物の種類に基づく情報を変化させる、付記2乃至付記8のいずれか1項記載の情報処理システム。
(付記10)
 ユーザに係る情報を特定する手段を更に備え、前記表示制御手段は、ユーザに係る情報に応じて、前記収容物の種類に基づく情報を変化させる、付記2乃至付記9のいずれか1項記載の情報処理システム。
(付記11)
 前記第2の検出手段は、前記物体に収容された、前記収容物に対する対価を検出する、付記2乃至付記10記載の情報処理システム。
(付記12)
 前記第1の検出手段は前記物体位置を動的に検出し、前記表示制御手段は、前記物体の種類に基づく情報を、前記物体の近傍若しくは表面に投影装置に投影させ、前記物体位置の変化に応じて、前記投影装置が投影する位置を変化させる駆動制御手段を更に備える、付記1記載の情報処理システム。
(付記13)
 前記第1の検出手段は、人物の位置を検出し、前記表示制御手段は、人物の位置に応じて情報表示の有無を切り換える、付記12記載の情報処理システム。
(付記14)
 前記物体の形状を検出する手段と、前記物体の形状に基づいて前記物体の種類を特定する手段とを更に備える付記12又は付記13記載の情報処理システム。
(付記15)
 前記物体位置に基づいて前記物体の種類を特定する手段を更に備える付記12又は付記13記載の情報処理システム。
(付記16)
 前記第1の検出手段は前記物体の表面状態を検出し、前記表示制御手段は、前記物体の表面状態に基づいて、投影する情報を変化させる、付記12乃至付記15のいずれか1項記載の情報処理システム。
(付記17)
 外部に接続される照明、スピーカ、ディスプレイ、レジシステム、店内監視システム、業務用端末、及び個人端末の少なくともいずれかに情報を出力する出力手段を更に備える付記12乃至付記16のいずれか1項記載の情報処理システム。
(付記18)
 外部に接続されるコンテンツ制御装置、広告配信装置、音声配信装置、業務用端末、個人端末、データ入力装置、店内監視システム、レジシステム、及び監視カメラのうち、少なくともいずれかから情報の入力を受ける入力手段と、前記入力された情報に基づいて制御する制御手段とを更に備える付記12乃至付記17のいずれか1項記載の情報処理システム。
(付記19)
 前記第1の検出手段は、人物の視線の向きを検出し、前記表示制御手段は、人物の視野範囲に前記物体があると推定される場合に、前記物体の種類に基づく情報を、前記投影装置に投影させる、付記12乃至付記18のいずれか1項記載の情報処理システム。
(付記20)
 物体の位置である物体位置を検出するステップと、前記物体の種類、又は前記物体が収容する収容物の種類に基づく情報を、前記物体の物体位置、もしくは前記物体位置の近傍に表示させるステップとを備える情報処理方法。
(付記21)
 前記物体は前記収容物を収容する容器であり、前記物体に収容された前記収容物の種類を検出するステップ、を更に備える付記20記載の情報処理方法。
(付記22)
 前記物体に収容された前記収容物の位置である収容物位置を検出するステップを更に備え、前記収容物の種類に基づく情報を、前記収容物位置に応じた、前記収容物位置もしくは前記収容物位置の近傍に表示する、付記21記載の情報処理方法。
(付記23)
 前記物体位置内の前記収容物位置以外の位置に、前記収容物の種類に基づく情報を表示する、付記22記載の情報処理方法。
(付記24)
 前記収容物が陳列された陳列棚から移動したことを検出することにより、前記物体に収容された前記収容物の種類を検出する、付記21乃至付記23のいずれか1項記載の情報処理方法。
(付記25)
 前記物体位置と共に前記物体の方向を検出し、前記収容物の種類に基づく情報の表示方向を、前記物体の方向に応じて変える、付記21乃至付記24のいずれか1項記載の情報処理方法。
(付記26)
 複数の表示装置のうち、前記物体位置の近傍にある表示装置に、前記収容物の種類に基づく情報を表示する、付記21乃至付記25のいずれか1項記載の情報処理方法。
(付記27)
 プロジェクタで前記収容物の種類に基づく情報を表示する、付記21乃至付記26のいずれか1項記載の情報処理方法。
(付記28)
 ユーザから入力を受けるステップを更に備え、ユーザからの入力に応じて、前記収容物の種類に基づく情報を変化させる、付記21乃至付記27のいずれか1項記載の情報処理方法。
(付記29)
 ユーザに係る情報を特定するステップを更に備え、ユーザに係る情報に応じて、前記収容物の種類に基づく情報を変化させる、付記21乃至付記28のいずれか1項記載の情報処理方法。
(付記30)
 前記物体に収容された、前記収容物に対する対価を検出する、付記21乃至付記29記載の情報処理方法。
(付記31)
 前記物体位置を動的に検出し、前記物体の種類に基づく情報を、前記物体の近傍若しくは表面に投影装置に投影させ、前記物体位置の変化に応じて、前記投影装置が投影する位置を変化させるステップを更に備える、付記20記載の情報処理方法。
(付記32)
 人物の位置を検出し、人物の位置に応じて情報表示の有無を切り換える、付記31記載の情報処理方法。
(付記33)
 前記物体の形状を検出するステップと、前記物体の形状に基づいて前記物体の種類を特定するステップとを更に備える付記31又は付記32記載の情報処理方法。
(付記34)
 前記物体位置に基づいて前記物体の種類を特定するステップを更に備える付記31又は付記32記載の情報処理方法。
(付記35)
 前記物体の表面状態を検出し、前記物体の表面状態に基づいて、投影する情報を変化させる、付記31乃至付記34のいずれか1項記載の情報処理方法。
(付記36)
 外部に接続される照明、スピーカ、ディスプレイ、レジシステム、店内監視システム、業務用端末、及び個人端末の少なくともいずれかに情報を出力するステップを更に備える付記31乃至付記35のいずれか1項記載の情報処理方法。
(付記37)
 外部に接続されるコンテンツ制御装置、広告配信装置、音声配信装置、業務用端末、個人端末、データ入力装置、店内監視システム、レジシステム、及び監視カメラのうち、少なくともいずれかから情報の入力を受けるステップと、前記入力された情報に基づいて制御するステップとを更に備える付記31乃至付記36のいずれか1項記載の情報処理方法。
(付記38)
 人物の視線の向きを検出し、人物の視野範囲に前記物体があると推定される場合に、前記物体の種類に基づく情報を、前記投影装置に投影させる、付記31乃至付記37のいずれか1項記載の情報処理方法。
 この出願は、2013年3月1日に出願された日本出願特願2013-040623及び特願2013-040620を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1・・・表示システム、10・・・表示システム、101  :表示装置、103・・・検出装置、105・・・入力装置、107・・・外部出力装置、200・・・制御装置、201・・・容器位置検出部、203・・・商品種別検出部、205・・・商品位置検出部、207・・・情報生成部、209・・・表示制御部、211・・・入力部、213・・・購入者特定部、401・・・プロセッサ、403・・・メモリ、405・・・記憶装置、407・・・入力インタフェース、409・・・データI/F、411・・・通信インタフェース、413・・・表示装置、800・・・情報処理システム、810・・・第1検出部、820・・・第2検出部、830・・・表示制御部、901・・・投影装置、903・・・検出装置、905・・・駆動装置、907・・・外部入出力装置、1000・・・制御装置、1001・・・商品位置検出部、1003・・・商品種別検出部、1005・・・人物位置検出部、1007・・・駆動制御部、1009・・・表示制御部、1011・・・演出出力部、1013・・・情報出力部、1015・・・入力部、1017・・・視線検出部、1201・・・プロセッサ、1203・・・メモリ、1205・・・記憶装置、1207・・・入力インタフェース、1209・・・データインタフェース、1211・・・通信インタフェース、1213・・・表示装置、1500・・・情報処理システム、1510・・・検出部、1520・・・表示制御部、1530・・・駆動制御部、1600・・・情報処理システム、1610・・・検出部、1620・・・表示制御部

Claims (20)

  1.  物体の位置である物体位置を検出する第1の検出手段と、
     前記物体の種類、又は前記物体が収容する収容物の種類に基づく情報を、前記物体の物体位置、又は前記物体位置の近傍に表示させる表示制御手段と
    を備える情報処理システム。
  2.  前記物体は前記収容物を収容する容器であり、
     前記物体に収容された前記収容物の種類を検出する第2の検出手段、を更に備える
    請求項1記載の情報処理システム。
  3.  前記物体に収容された前記収容物の位置である収容物位置を検出する第3の検出手段
    を更に備え、
     前記表示制御手段は、前記収容物の種類に基づく情報を、前記収容物位置に応じた、前記収容物位置もしくは前記収容物位置の近傍に表示する、
    請求項2記載の情報処理システム。
  4.  前記表示制御手段は、前記物体位置内の前記収容物位置以外の位置に、前記収容物の種類に基づく情報を表示する、
    請求項3記載の情報処理システム。
  5.  前記第2の検出手段は、前記収容物が陳列された陳列棚から移動したことを検出することにより、前記物体に収容された前記収容物の種類を検出する、
    請求項2乃至請求項4のいずれか1項記載の情報処理システム。
  6.  前記第1の検出手段は、前記物体位置と共に前記物体の方向を検出し、
     前記表示制御手段は、前記収容物の種類に基づく情報の表示方向を、前記物体の方向に応じて変える、
    請求項2乃至請求項5のいずれか1項記載の情報処理システム。
  7.  前記表示制御手段は、複数の表示装置のうち、前記物体位置の近傍にある表示装置に、前記収容物の種類に基づく情報を表示する、
    請求項2乃至請求項6のいずれか1項記載の情報処理システム。
  8.  前記表示制御手段は、プロジェクタで前記収容物の種類に基づく情報を表示する、
    請求項2乃至請求項7のいずれか1項記載の情報処理システム。
  9.  ユーザから入力を受ける入力手段
    を更に備え、
     前記表示制御手段は、ユーザからの入力に応じて、前記収容物の種類に基づく情報を変化させる、
    請求項2乃至請求項8のいずれか1項記載の情報処理システム。
  10.  ユーザに係る情報を特定する手段
    を更に備え、
     前記表示制御手段は、ユーザに係る情報に応じて、前記収容物の種類に基づく情報を変化させる、
    請求項2乃至請求項9のいずれか1項記載の情報処理システム。
  11.  前記第2の検出手段は、前記物体に収容された、前記収容物に対する対価を検出する、
    請求項2乃至請求項10記載の情報処理システム。
  12.  前記第1の検出手段は前記物体位置を動的に検出し、
     前記表示制御手段は、前記物体の種類に基づく情報を、前記物体の近傍若しくは表面に投影装置に投影させ、
     前記物体位置の変化に応じて、前記投影装置が投影する位置を変化させる駆動制御手段を更に備える、請求項1記載の情報処理システム。
  13.  前記第1の検出手段は、人物の位置を検出し、
     前記表示制御手段は、人物の位置に応じて情報表示の有無を切り換える、
    請求項12記載の情報処理システム。
  14.  前記物体の形状を検出する手段と、
     前記物体の形状に基づいて前記物体の種類を特定する手段と
    を更に備える請求項12又は請求項13記載の情報処理システム。
  15.  前記物体位置に基づいて前記物体の種類を特定する手段
    を更に備える請求項12又は請求項13記載の情報処理システム。
  16.  前記第1の検出手段は前記物体の表面状態を検出し、
     前記表示制御手段は、前記物体の表面状態に基づいて、投影する情報を変化させる、
    請求項12乃至請求項15のいずれか1項記載の情報処理システム。
  17.  外部に接続される照明、スピーカ、ディスプレイ、レジシステム、店内監視システム、業務用端末、及び個人端末の少なくともいずれかに情報を出力する出力手段
    を更に備える請求項12乃至請求項16のいずれか1項記載の情報処理システム。
  18.  外部に接続されるコンテンツ制御装置、広告配信装置、音声配信装置、業務用端末、個人端末、データ入力装置、店内監視システム、レジシステム、及び監視カメラのうち、少なくともいずれかから情報の入力を受ける入力手段と、
     前記入力された情報に基づいて制御する制御手段と
    を更に備える請求項12乃至請求項17のいずれか1項記載の情報処理システム。
  19.  前記第1の検出手段は、人物の視線の向きを検出し、
     前記表示制御手段は、人物の視野範囲に前記物体があると推定される場合に、前記物体の種類に基づく情報を、前記投影装置に投影させる、
    請求項12乃至請求項18のいずれか1項記載の情報処理システム。
  20.  物体の位置である物体位置を検出するステップと、
     前記物体の種類、又は前記物体が収容する収容物の種類に基づく情報を、前記物体の物体位置、もしくは前記物体位置の近傍に表示させるステップと
    を備える情報処理方法。
PCT/JP2013/083520 2013-03-01 2013-12-13 情報処理システム、および情報処理方法 WO2014132525A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380074131.8A CN105074762A (zh) 2013-03-01 2013-12-13 信息处理系统和信息处理方法
JP2015502726A JPWO2014132525A1 (ja) 2013-03-01 2013-12-13 情報処理システム、および情報処理方法
US14/765,596 US20150379494A1 (en) 2013-03-01 2013-12-13 Information processing system, and information processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013040623 2013-03-01
JP2013040620 2013-03-01
JP2013-040623 2013-03-01
JP2013-040620 2013-03-01

Publications (1)

Publication Number Publication Date
WO2014132525A1 true WO2014132525A1 (ja) 2014-09-04

Family

ID=51427811

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/083520 WO2014132525A1 (ja) 2013-03-01 2013-12-13 情報処理システム、および情報処理方法

Country Status (4)

Country Link
US (1) US20150379494A1 (ja)
JP (1) JPWO2014132525A1 (ja)
CN (1) CN105074762A (ja)
WO (1) WO2014132525A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173657A (ja) * 2015-03-16 2016-09-29 カシオ計算機株式会社 オブジェクト認識装置および認識結果提示方法
WO2017054453A1 (zh) * 2015-09-29 2017-04-06 腾讯科技(深圳)有限公司 一种信息处理方法、终端及计算机存储介质
JP2017228921A (ja) * 2016-06-22 2017-12-28 サッポロビール株式会社 投影システム、投影方法、および投影プログラム
WO2018096804A1 (ja) * 2016-11-25 2018-05-31 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2018147415A (ja) * 2017-03-09 2018-09-20 株式会社ブレイン 食事の識別システムとそのプログラム
WO2020203380A1 (ja) * 2019-03-29 2020-10-08 パナソニックIpマネジメント株式会社 精算決済装置および無人店舗システム
JP2022525815A (ja) * 2019-03-29 2022-05-19 旭化成株式会社 物体への注意を引かせる装置、物体への注意を引かせるための方法、およびコンピュータで読み取り可能な非一過性の記憶媒体

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6315085B2 (ja) * 2014-05-12 2018-04-25 富士通株式会社 商品情報表示システム、制御装置、制御プログラムおよび制御方法
JP6197952B2 (ja) * 2014-05-12 2017-09-20 富士通株式会社 商品情報出力方法、商品情報出力プログラムおよび制御装置
WO2015173871A1 (ja) * 2014-05-12 2015-11-19 富士通株式会社 商品情報出力方法、プログラムおよび制御装置
WO2016103541A1 (ja) * 2014-12-25 2016-06-30 パナソニックIpマネジメント株式会社 投影装置
US10447979B2 (en) * 2014-12-25 2019-10-15 Panasonic Intellectual Property Management Co., Ltd. Projection device for detecting and recognizing moving objects
JP2018181251A (ja) * 2017-04-21 2018-11-15 東芝テック株式会社 読取装置およびプログラム
CN107239927A (zh) * 2017-07-24 2017-10-10 杭州知己科技有限公司 智能零售管理系统和方法
CN108426521A (zh) * 2017-08-12 2018-08-21 中民筑友科技投资有限公司 一种构件的质量检测方法及装置
US10977886B2 (en) * 2018-02-13 2021-04-13 Gojo Industries, Inc. Modular people counters
US10843333B2 (en) 2018-03-05 2020-11-24 Berkshire Grey, Inc. Systems and methods for processing objects, including automated re-circulating processing stations
JP7218984B2 (ja) * 2018-04-27 2023-02-07 日本電気株式会社 商品登録装置、商品登録方法及びプログラム
WO2020057569A1 (en) * 2018-09-18 2020-03-26 AI Gaspar Limited System and process for the identification of a user-selected article, presentation of data thereof and acquisition of user interaction therewith
US11866224B2 (en) * 2019-06-24 2024-01-09 Berkshire Grey Operating Company, Inc. Systems and methods for providing shipping of orders in an order fulfillment center
JP2021189592A (ja) * 2020-05-27 2021-12-13 株式会社Jvcケンウッド 管理情報表示システム及び管理情報表示方法
US20230342746A1 (en) * 2021-03-17 2023-10-26 Nec Corporation Information processing apparatus, information processing method, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021412A (ja) * 2002-06-13 2004-01-22 Matsushita Electric Ind Co Ltd 自動精算システムおよび精算方法
JP2004110805A (ja) * 2002-08-28 2004-04-08 Matsushita Electric Ind Co Ltd ショッピングカートおよび買い物かご
JP2009193399A (ja) * 2008-02-15 2009-08-27 Seiko Epson Corp 配膳用トレイ、無線タグリーダ、無線タグリーダの表示制御方法およびそのプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003268627A1 (en) * 2002-08-28 2004-03-19 Matsushita Electric Industrial Co., Ltd. Shopping cart, shopping basket, and information transmission device
EP2324409A2 (en) * 2008-09-03 2011-05-25 Koninklijke Philips Electronics N.V. Method of performing a gaze-based interaction between a user and an interactive display system
JP2010152647A (ja) * 2008-12-25 2010-07-08 Fujitsu Ltd 情報提供システムおよび情報提供方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021412A (ja) * 2002-06-13 2004-01-22 Matsushita Electric Ind Co Ltd 自動精算システムおよび精算方法
JP2004110805A (ja) * 2002-08-28 2004-04-08 Matsushita Electric Ind Co Ltd ショッピングカートおよび買い物かご
JP2009193399A (ja) * 2008-02-15 2009-08-27 Seiko Epson Corp 配膳用トレイ、無線タグリーダ、無線タグリーダの表示制御方法およびそのプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173657A (ja) * 2015-03-16 2016-09-29 カシオ計算機株式会社 オブジェクト認識装置および認識結果提示方法
WO2017054453A1 (zh) * 2015-09-29 2017-04-06 腾讯科技(深圳)有限公司 一种信息处理方法、终端及计算机存储介质
US10786733B2 (en) 2015-09-29 2020-09-29 Tencent Technology (Shenzhen) Company Limited Information processing method, terminal, and computer storage medium for releasing virtual skill object based on user gesture
JP2017228921A (ja) * 2016-06-22 2017-12-28 サッポロビール株式会社 投影システム、投影方法、および投影プログラム
WO2018096804A1 (ja) * 2016-11-25 2018-05-31 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2018096804A1 (ja) * 2016-11-25 2019-10-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10802700B2 (en) 2016-11-25 2020-10-13 Sony Corporation Information processing apparatus and information processing method
JP2018147415A (ja) * 2017-03-09 2018-09-20 株式会社ブレイン 食事の識別システムとそのプログラム
WO2020203380A1 (ja) * 2019-03-29 2020-10-08 パナソニックIpマネジメント株式会社 精算決済装置および無人店舗システム
JP2022525815A (ja) * 2019-03-29 2022-05-19 旭化成株式会社 物体への注意を引かせる装置、物体への注意を引かせるための方法、およびコンピュータで読み取り可能な非一過性の記憶媒体

Also Published As

Publication number Publication date
CN105074762A (zh) 2015-11-18
US20150379494A1 (en) 2015-12-31
JPWO2014132525A1 (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
WO2014132525A1 (ja) 情報処理システム、および情報処理方法
US11756017B1 (en) System and method for self-checkout, scan portal, and pay station environments
CN103707908B (zh) 一种购物车、购物系统及其使用方法
CN107864679B (zh) 用于商品化电子显示的系统和方法
US11138584B1 (en) System and method for self-checkout, scan portal, and pay station environments
JP2021185532A (ja) Posシステム、精算装置、及びプログラム
WO2012132324A1 (ja) 店舗システム並びにその制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体
US20120310757A1 (en) Method for controlling stores and system for the same
US20140139548A1 (en) Retail digital signage
JP2013235613A (ja) 購買分析システム、プログラムおよび棚札
US20170213277A1 (en) Goods purchase apparatus and goods purchase system having the same
US20130103187A1 (en) "shopping cart" paradigm for single- or multi-vend vending machine transaction process flow
US20180285959A1 (en) Product recommendation engine for consumer interface of unattended retail points of sale
JP6419702B2 (ja) 支援および利便性のための装置
CN104574672A (zh) 自动贩卖装置及商品贩售方法
JP2010049619A (ja) Pos端末装置
KR102191103B1 (ko) 듀얼 터치스크린 키오스크
KR101492369B1 (ko) 광고판 기능이 구비된 스마트 벤딩머신
KR101951833B1 (ko) 지나가는 관찰자에게 반응하는 공개 시스템
JP7023879B2 (ja) 充電管理装置、充電管理方法、および、プログラム
JP2012094070A (ja) 自動販売機
CN209417862U (zh) 导购装置和导购系统
KR20200099297A (ko) 고속도로 휴게소 주문 결제를 위한 앱 장치 및 그 시스템
KR102387078B1 (ko) 임직원 복지 제공 시스템 및 이를 이용한 복지 제공 방법
KR20170068336A (ko) 이동 단말기 및 그의 동작 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380074131.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13876438

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14765596

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015502726

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13876438

Country of ref document: EP

Kind code of ref document: A1