WO2023079846A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2023079846A1
WO2023079846A1 PCT/JP2022/034885 JP2022034885W WO2023079846A1 WO 2023079846 A1 WO2023079846 A1 WO 2023079846A1 JP 2022034885 W JP2022034885 W JP 2022034885W WO 2023079846 A1 WO2023079846 A1 WO 2023079846A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
customer
unit
environment
Prior art date
Application number
PCT/JP2022/034885
Other languages
English (en)
French (fr)
Inventor
保乃花 尾崎
真理 安田
麻紀 井元
賢次 杉原
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023079846A1 publication Critical patent/WO2023079846A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Literature 1 discloses a technique for understanding the customer's pre-shelf psychology and pre-shelf behavior for a product display shelf and analyzing the customer's purchase intention. Then, the humanoid robot provides customer service according to the customer's willingness to purchase.
  • Patent Document 1 it is necessary to analyze the facial expressions and line of sight of customers searching for items in front of shelves, and for example, the behavior of customers appearing outside of shelves was not analyzed.
  • the present disclosure proposes a new and improved information processing device, information processing method, and program capable of providing customers with reference information that meets their needs while moving in a certain environment.
  • an acquisition unit that acquires sensing information obtained by at least one or more sensors, and based on the sensing information acquired by the acquisition unit, moves in an environment in which the one or more sensors are installed.
  • An information processing device comprising: an estimating unit that estimates the user's demand in the environment based on user information; and a generating unit that generates reference information corresponding to the user's demand estimated by the estimating unit. provided.
  • a computer-implemented information processing method comprising: estimating the needs of the user in the environment based on; and generating reference information corresponding to the estimated needs of the user.
  • the computer is provided with an acquisition function for acquiring sensing information obtained by at least one or more sensors, and the one or more sensors based on the sensing information acquired by the acquisition function.
  • An estimation function for estimating the demand of the user in the environment based on the information of the user moving in the environment, and a generating function for generating reference information corresponding to the demand of the user estimated by the estimation function.
  • a program is provided to
  • FIG. 1 is an explanatory diagram for explaining an overview of an information processing system according to the present disclosure
  • FIG. 3 is an explanatory diagram for explaining an example of a functional configuration of a server 30 according to the present disclosure
  • FIG. FIG. 4 is an explanatory diagram for explaining an example of a method of acquiring customer's prior information according to the present disclosure
  • FIG. 10 is an explanatory diagram for explaining an example showing factors that attract customers' attention
  • FIG. 10 is an explanatory diagram for explaining an example of reference information corresponding to factors that customers pay attention to
  • FIG. 10 is an explanatory diagram for explaining another example of reference information corresponding to factors that customers pay attention to
  • FIG. 4 is an explanatory diagram for explaining another example of reference information corresponding to customer demand according to the present disclosure
  • FIG. 4 is an explanatory diagram for explaining an example of reference information generated for a customer U who has no purchase intention or purchase purpose;
  • FIG. 4 is an explanatory diagram for explaining an example of reference information generated for a customer who has a purchase intention but no purchase purpose;
  • FIG. 4 is an explanatory diagram for explaining an example of reference information generated for a customer who has a purchase intention and a purchase purpose;
  • FIG. 4 is an explanatory diagram for explaining an example of operation processing for generating reference information corresponding to a customer's demand according to the present disclosure;
  • FIG. 5 is an explanatory diagram for explaining an example of operation processing for generating reference information corresponding to a customer's consideration phase according to the present disclosure;
  • 3 is a block diagram showing a hardware configuration of server 30 according to the present disclosure;
  • An embodiment of the present disclosure relates to an information processing system capable of providing customers with reference information corresponding to their needs while traveling in an environment. An overview of the information processing system according to the present disclosure will be described below with reference to FIG.
  • FIG. 1 is an explanatory diagram for explaining an outline of an information processing system according to the present disclosure.
  • An information processing system according to the present disclosure includes an output device 10, a sensor device 20, and a server 30, as shown in FIG.
  • An example shown in FIG. 1 shows a situation in which a customer U is considering purchasing an article in an environment E in which the article is arranged. In environment E, a plurality of items may be placed.
  • the output device 10 is a device that outputs reference information generated by the server 30 .
  • the output device 10 according to the present disclosure may be AR (Augmented Reality) glasses as shown in FIG. 1, for example.
  • the output device 10 displays the reference information R received from the server 30 on the glasses G.
  • the customer U can visually recognize the actual object and the reference information R through the glass G. Note that the customer U is an example of a user.
  • the reference information R may be an image that emphasizes the goods recommended to the customer U, as shown in FIG. 1, for example.
  • the output device 10 is not limited to AR glasses.
  • the output device 10 may be, for example, various devices such as a display, a projector, a speaker, a unidirectional speaker, a smart phone, or a vibrotactile device. Further, the output device 10 may be one device installed in the environment E or attached to the customer U among the various devices described above, or a plurality of devices may be installed in the environment E or attached to the customer U. good too.
  • the sensor device 20 is installed in the environment E.
  • the environment E the environment E, the customer U in the vicinity of the entrance/exit of the environment E, the goods in the environment E, the situation around the environment E, etc. It is a device that detects various sensing information. Further, the sensor device 20 transmits various detected sensing information to the server 30 .
  • the sensor device 20 may be a camera as shown in FIG.
  • the sensor device 20 according to the present disclosure is not limited to a camera.
  • the sensor device 20 may be, for example, a device equipped with various sensors such as a human sensor, an acceleration sensor, a depth sensor, a capacitance sensor, a microphone, a gyro sensor, or an RFID (Radio Frequency Identification).
  • At least one or more sensor devices 20 are installed in the environment E. FIG.
  • the sensor device 20 can detect the position information of the customer U, the motion information related to the posture, and the motion information related to the line of sight using a depth sensor, a camera, or the like.
  • the sensor device 20 may detect the location information of the customer U by performing Bluetooth communication with a mobile terminal (for example, a smartphone, tablet, etc.) possessed by the customer U.
  • a mobile terminal for example, a smartphone, tablet, etc.
  • the sensor device 20 detects the distance from the article display shelf to the customer U. obtain.
  • the sensor device 20 may be worn by the customer U as a wearable device. Thereby, the sensor device 20 can detect the motion information related to the posture of the customer U and the motion information related to the line of sight with higher accuracy.
  • the sensor device 20 may detect information on the article using a depth sensor or a camera. Moreover, the sensor device 20 having a weight sensor and a capacitance sensor may be installed on the article display shelf. Moreover, the sensor device 20 having an acceleration sensor, RFID, QR code (registered trademark), or the like may be installed on the article. This allows the sensor device 20 to detect information about items such as item inventory.
  • the sensor device 20 may be provided with different sensors depending on the content to be detected (customer U information or product information). Moreover, the sensor device 20 may be arranged at various positions in the environment depending on the target (customer, article, environment) to be detected.
  • the server 30 is an example of an information processing device.
  • the server 30 acquires various sensing information such as customer U information and article information from the sensor device 20 .
  • the server 30 estimates the demand of the customer U in the environment E based on the information of the customer U moving in the environment E based on the acquired sensing information.
  • the server 30 also generates reference information corresponding to the estimated customer U demand. Furthermore, the server 30 may transmit the generated reference information to the output device 10 .
  • FIG. 2 is an explanatory diagram for explaining an example of the functional configuration of the server 30 according to the present disclosure.
  • the server 30 according to the present disclosure includes a communication unit 310, a detection determination unit 320, a recognition unit 330, a processing unit 340, a timer 350, and a storage unit 360, as shown in FIG.
  • the communication unit 310 performs various communications with the output device 10 and the sensor device 20 .
  • the communication unit 310 according to the present disclosure is an example of an acquisition unit, and receives various sensing information obtained by at least one or more sensor devices 20 installed in the environment E.
  • the communication unit 310 transmits reference information generated by the information generation unit 349, which will be described later, to the output device 10.
  • the detection determination unit 320 determines the type, quantity, etc. of the sensing target based on the sensing information received by the communication unit 310 . For example, the detection determination unit 320 detects feature information of customers and articles based on sensing information received by the communication unit 310 .
  • the recognition unit 330 recognizes customer information based on sensing information received by the communication unit 310 .
  • the customer information includes, for example, the customer's attribute, position, posture, or the amount of change in the posture and the amount of change in the line of sight of the customer.
  • the amount of change in the customer's posture includes various information such as the customer's moving speed and the customer's stop frequency.
  • the amount of change related to the customer's line of sight includes various types of information such as the speed of movement of the customer's line of sight and the degree of retention.
  • the recognition unit 330 may recognize information on the article based on the sensing information received by the communication unit 310.
  • the product information includes, for example, the position of the product and the status of the product in stock.
  • the recognition unit 330 may recognize environmental information based on sensing information received by the communication unit 310 .
  • the environmental information includes, for example, the size of the environment, the brightness, the volume of the environmental sound, and the like.
  • the processing unit 340 executes processing based on various types of information (customer information, article information, or environment information) recognized based on sensing information.
  • the processing unit 340 according to the present disclosure includes a demand estimation unit 341, a status estimation unit 345, and an information generation unit 349, as shown in FIG.
  • the demand estimation unit 341 estimates the customer's demand in the environment based on the customer's information moving through the environment. For example, the demand estimating unit 341 may estimate the presence or absence of the customer's purchase intention indicating the intention to purchase the goods of the customer in the environment as the customer's demand based on the information of the customer moving in the environment.
  • the demand estimation unit 341 may estimate the presence or absence of a purchase purpose indicating the customer's purpose of purchasing a specific item in the environment as the customer's demand, based on the customer's information moving through the environment.
  • the demand estimation unit 341 may estimate customer demand in the environment based on information on customers who stop in the environment. For example, the demand estimating unit 341 may estimate the customer's demand based on the motion information related to the line of sight and the motion information related to the posture of the customer who examines the product near the product display shelf in the environment.
  • the customer's demand related to this disclosure is not limited to the presence or absence of purchase intention and purchase purpose.
  • the customer demand according to the present disclosure includes various information such as the customer's hunger level, budget, likes and dislikes, last meal eaten, or future schedule.
  • customer demand includes various demands such as the degree of urgency required for purchasing and preferences. Details regarding the customer demand described above will be described later.
  • the status estimator 345 is an example of an estimator, and estimates a consideration phase indicating a stage in which the customer is considering an item in the environment based on customer information.
  • the status estimation unit 345 estimates the consideration status based on the motion information related to the customer's body or the motion information related to the customer's line of sight. Then, the status estimation unit 345 updates the consideration phase when the estimated consideration status satisfies a predetermined criterion. Details of the review status and review phase will be described later.
  • the information generation unit 349 is an example of a generation unit, and generates reference information corresponding to customer demand estimated by the demand estimation unit 341 .
  • the information generation unit 349 may also generate reference information corresponding to the consideration phase estimated by the status estimation unit 345 .
  • the information generation unit 349 may generate reference information based on the customer's demand and consideration phase.
  • the information generation unit 349 may generate reference information based on the information on the article and the information on the environment received from the sensor device 20 in addition to the customer's demand.
  • the information generation unit 349 selects a customer who matches or is similar to the customer information received from the sensor device 20, among the customer information received from the sensor device 20 and the customer information held in the storage unit 360, which will be described later.
  • the reference information may be generated based on the customer's demand held in association with the information of . A specific example of the reference information will be described later.
  • Timer 350 outputs the elapsed time to processing section 340 and storage section 360 .
  • the storage unit 360 holds software and various data.
  • the storage unit 360 stores customer information and customer demand in association with each other.
  • the storage unit 360 may store customer information or customer demand in association with the customer's purchase history.
  • the information generator 349 may generate reference information based on the customer's purchase history held in association with the customer's information received from the sensor device 20 or the customer's demand based on the customer's information. As a result, the information generator 349 can generate reference information based on the customer's past record, and can generate more information that the customer desires.
  • the storage unit 360 may hold information on various items such as the calorie content of the item, the content amount, or the display position.
  • Sensor devices 20 placed at various locations in an environment such as a store detect information about customers, goods, and the environment.
  • the sensor device 20 detects various sensing information such as motion information related to the customer's posture and motion information related to the customer's line of sight.
  • the recognition unit 330 recognizes various types of information such as customer information and product information based on sensing information acquired via the communication unit 310 .
  • the recognition unit 330 recognizes the amount of change related to the customer's posture based on the motion information related to the customer's posture. More specifically, the recognition unit 330 recognizes the movement speed of the customer and the stop frequency indicating the frequency at which the movement of the customer stops based on the motion information related to the posture of the customer.
  • the recognition unit 330 may recognize the amount of change related to the customer's line of sight based on the motion information related to the customer's line of sight. For example, the recognition unit 330 may recognize the speed at which the customer's line of sight moves and the degree of retention based on the motion information related to the customer's line of sight.
  • the demand estimation unit 341 estimates the customer's demand based on the recognized customer information. Also, the status estimation unit 345 estimates the consideration phase of the customer based on the recognized customer information.
  • the information generation unit 349 generates reference information corresponding to at least one of the estimated customer's demand and the customer's consideration phase. In generating such reference information, customer information is obtained in various situations.
  • the recognition unit 330 can recognize the customer's information at the time of entering the environment based on the sensing information acquired from the sensor devices 20 installed around the environment (for example, entrances and the like).
  • the recognition unit 330 can recognize the information of the customer moving in the environment based on the sensing information acquired from the sensor device 20 installed in the passage or the like in the environment.
  • the recognition unit 330 can recognize the information of the customer considering purchasing the item based on the sensing information acquired from the sensor devices 20 installed around the item placed in the environment.
  • the recognition unit 330 can recognize customer information when the customer moves around or within the environment, and when the customer stops in the environment while examining articles. . Specific examples in which the recognition unit 330 recognizes customer information will be sequentially described below with respect to two types of customer situations, when the customer moves and when the customer stops.
  • the process of estimating customer demand and the process of generating reference information may be executed at any timing or at a plurality of timings.
  • the sensor device 20 installed at the entrance of the environment and its surroundings detects various sensing information such as motion information related to the posture of the customer moving through the entrance and the periphery of the environment and motion information related to the line of sight of the customer, and transmits the information to the server 30. do.
  • the sensor device 20 installed in the environment detects various sensing information such as motion information related to the posture of the customer moving through the passages in the environment and motion information related to the line of sight of the customer, and transmits the information to the server 30 .
  • the recognition unit 330 recognizes various types of customer information, such as the customer's moving speed and line-of-sight movement speed, based on various sensing information received from the sensor device 20 .
  • the demand estimating unit 341 may estimate the customer's demand based on the customer's information such as the customer's moving speed and stop frequency when moving through the entrances and passages of the environment recognized by the recognizing unit 330 .
  • the demand estimating unit 341 may also estimate the customer's demand based on the speed of movement of the customer's line of sight and the staying degree of the customer who moves at the entrance recognized by the recognizing unit 330 .
  • the demand estimation unit 341 determines that both the customer's purchase intention and purchase purpose are It can be assumed that there are none.
  • the recognition unit 330 recognizes that the customer's moving speed when entering the store is normal and further recognizes that the customer's line of sight moves quickly and stays regularly
  • the demand estimation unit 341 determines that the customer has a purchase intention. may be presumed to have no purchasing purpose.
  • the recognition unit 330 recognizes that the customer moves quickly when entering the store and further recognizes that the line of sight moves quickly and stays regularly
  • the demand estimation unit 341 determines the customer's purchase intention and purchase intention. It may be presumed that they have a common purpose.
  • the specific example described above is an example of the estimation results based on the recognition results of the recognition unit 330, and the recognition results and estimation results according to the present disclosure are not limited to such examples.
  • the demand estimating unit 341 may estimate the customer's purchase intention and purchase purpose based on product information and environment information in addition to the above-described customer information.
  • the information generation unit 349 generates reference information corresponding to the customer's demand estimated by the demand estimation unit 341 .
  • the information generation unit 349 may generate information regarding recommended products such as new products and featured products as reference information.
  • the information generation unit 349 When the demand estimation unit 341 estimates that there is a purchase intention but no purchase purpose, the information generation unit 349 generates, as reference information, information specifying the customer's interest in the types of items placed in the environment. may
  • the information generation unit 349 When the demand estimating unit 341 estimates that both the purchase intention and the purchase purpose are present, the information generation unit 349 generates the floor map of the environment and the information (for example, the position of the goods, etc.) related to the goods targeted for the purchase purpose of the customer. may be generated as reference information.
  • prior information specifying the purpose of the customer entering the environment may be acquired in advance at the time of entry. An example of acquisition of prior information will be described with reference to FIG.
  • FIG. 3 is an explanatory diagram for explaining an example of a method of acquiring customer's prior information according to the present disclosure.
  • a monitor M is installed around the entrance/exit of the environment.
  • the monitor M may display information specifying the preferences and circumstances of the customer U as shown in FIG.
  • the customer U selects one of the options displayed on the monitor M by various operation methods such as touch operation and voice operation.
  • the demand estimation unit 341 may estimate the demand of the customer U based on the prior information obtained from the monitor M.
  • the recognition unit 330 may recognize the characteristics of the customer U when considering.
  • the features during the review may include, for example, habits of line of sight movements and actions during the review, and the distance between the customer U and the monitor M when making a selection.
  • the characteristics to be examined may include the tendency of the customer U to stay in the line of sight to the item that the customer U finds attractive, and the degree of fatigue and drowsiness depending on the reaction speed.
  • the demand estimation unit 341 can estimate the demand of the customer U with higher accuracy by using the characteristics of the customer U when considering.
  • the demand estimating unit 341 can estimate the customer's demand in advance based on the sensing information acquired when the customer U enters the environment. As a result, the demand estimation unit 341 can estimate the customer's visit purpose at an early stage, and can provide the customer with reference information requested by the customer at the stage of entering the environment.
  • the sensor device 20 installed around an article in the environment detects various sensing information such as motion information related to the posture of a customer who is considering purchasing the item and motion information related to the line of sight.
  • the recognition unit 330 may recognize, for example, gripping information indicating that the customer has gripped an article, based on the motion information related to the customer's posture. Further, the recognition unit 330 may recognize, for example, information related to the line-of-sight direction based on the motion information related to the line-of-sight of the customer.
  • the demand estimating unit 341 for example, based on the information related to the line-of-sight direction of the customer viewing the item recognized by the recognizing unit 330, may estimate the factor that the customer pays attention to as the customer's demand. good.
  • the demand estimation unit 341 estimates that the customer prefers the specific group of products that the customer has been browsing.
  • the recognition unit 330 recognizes that the customer is browsing specific information related to the article
  • the demand estimation unit 341 estimates that the customer attaches importance to the specific information. good.
  • the specific information includes, for example, various kinds of information such as the price, calorie content, and content of the article.
  • the demand estimating unit 341 may also estimate a customer's demand for an item placed in the environment based on gripping information indicating that the customer has gripped the item recognized by the recognizing unit 330 .
  • the demand estimating unit 341 may estimate that an item group including the item picked up by the customer is an item group that the customer prefers. Then, the information generation unit 349 may generate, for example, information regarding a group of items that the customer prefers.
  • the status estimator 345 may infer a consideration phase indicating the stage at which the customer is considering the item in the environment.
  • the consideration phase includes a bird's-eye view phase indicating the stage in which the customer is considering purchasing an item in the environment, and a comparison indicating the stage in which the customer is considering purchasing by comparing a plurality of items. It is assumed that there are three phases: a review phase and a final decision phase indicating whether or not to finally decide on the article to be purchased. For example, it indicates that the bird's-eye view phase is the stage of the least consideration, and the comparison phase and the final decision phase are the stages in which the customer has proceeded with the consideration of the purchase of the goods in this order.
  • the bird's-eye view phase, comparative study phase, and final judgment phase are examples of study phases related to this disclosure.
  • the examination phase may have two stages, or may have four or more stages.
  • the consideration phase may be a continuous value.
  • the status estimation unit 345 may estimate that the customer's consideration phase is the overview phase. In addition, when prior information regarding an item or a group of items that a customer wishes to purchase is acquired, the status estimation unit 345 may estimate the customer's consideration phase as the final determination phase.
  • the status estimation unit 345 may estimate the consideration phase as a stage in which further consideration has been made. For example, in the bird's-eye view phase, when the customer picks up the item, the status estimation unit 345 may update the consideration phase from the bird's-eye view phase to the comparison study phase. Also, in the comparison study phase, when the customer picks up the item, the status estimation unit 345 may update the study phase from the comparison study phase to the final determination phase.
  • the status estimation unit 345 may move the examination phase from the bird's-eye view phase to the final determination phase by one step.
  • the status estimation unit 345 estimates that it is the consideration phase indicating the stage where the customer's consideration has progressed further. good.
  • the status estimation unit 345 may estimate that the consideration phase is a stage in which further consideration is not progressing. For example, in the final determination phase, when the customer returns the gripped item to the shelf, the status estimation unit 345 may update the consideration phase from the final determination phase to the comparison consideration phase. Further, in the comparison study phase, when the customer returns the gripped item to the shelf, the status estimation unit 345 may update the study phase from the comparison study phase to the bird's eye view phase.
  • the status estimating unit 345 may update the consideration phase to the bird's-eye view phase beyond the final determination phase by one stage.
  • the status estimation unit 345 estimates that the customer is in the consideration phase indicating that the customer's consideration stage has not progressed further.
  • the status estimation unit 345 updates that it is the examination phase corresponding to the specific action. You may
  • the status estimation unit 345 enters the consideration phase. may be presumed to be in the review phase.
  • the information generating section 349 may generate reference information corresponding to the consideration phase estimated by the status estimating section 345 .
  • the information generating unit 349 may generate reference information that specifies factors that the customer attaches importance to.
  • the information generation unit 349 may generate reference information that assists the decision regarding the purchase of the article by presenting the parameters.
  • the information generation unit 349 may generate reference information that provides a decisive decision regarding the purchase of the item or supports the purchase.
  • the status estimation unit 345 may estimate a consideration status indicating a status related to estimation of the consideration phase based on the customer information recognized by the recognition unit 330 .
  • the status estimation unit 345 may estimate the consideration phase as a stage in which the consideration has progressed when the consideration status based on the customer's information satisfies the first criteria. Furthermore, the status estimator 345 may estimate the review phase as a stage in which the review is not advanced when the review status satisfies the second criteria.
  • the customer information used for estimating the review status includes, for example, the amount of movement, the distance from the customer to the shelf, and the attitude.
  • the status estimation unit 345 increases the consideration status when the customer's movement amount is less than the first threshold, and increases the consideration status when the customer's movement amount is equal to or greater than the second threshold, In addition, the review status may be decreased.
  • the status estimating unit 345 increases the consideration status when the distance from the customer to the shelf is less than the third threshold, and increases the consideration status to a fourth threshold when the distance from the customer to the shelf is greater than the third threshold.
  • the review status may be decreased when the threshold is exceeded.
  • the status estimation unit 345 may increase the consideration status when the customer's posture is tilted forward, and decrease the consideration status when the customer's posture is tilted backward.
  • the customer's information may affect either the increase or decrease of the consideration status.
  • the status estimator 345 may increase the consideration status when the time spent in a certain area increases.
  • the status estimation unit 345 may estimate that the customer has an upcoming appointment when checking the wristwatch, and increase the consideration status.
  • the consideration status is cumulatively increased or decreased, and, for example, when the consideration status reaches or exceeds the first predetermined value, the status estimation unit 345 estimates the consideration phase as a stage in which the consideration has progressed further. good too.
  • the status estimation unit 345 may estimate the consideration phase as a stage where the consideration is not progressing when the consideration status becomes equal to or less than a second predetermined value.
  • the status estimation unit 345 may store the factors used in the consideration in the storage unit 360 when updating the consideration phase. For example, when updating from the final determination phase to the comparison study phase or the bird's-eye view phase, the status estimation unit 345 may store information on the article considered in the final determination in the storage unit 360 . Further, when updating from the comparison study phase to the bird's-eye view phase or the final determination phase, the status estimation unit 345 may store information on the compared articles in the storage unit 360 . Thereby, the demand estimating unit 341 may estimate the customer's demand based on the information of the article examined by the customer in the final determination and the information of the article compared.
  • FIG. 4A is an explanatory diagram for explaining an example showing factors that attract customers' attention.
  • the customer is in an area in which a certain group of goods (for example, bread) is arranged in the environment, and the status estimation unit 345 estimates that the customer's consideration phase is the bird's-eye view phase. It is an example of reference information.
  • a certain group of goods for example, bread
  • the information generation unit 349 may generate reference information corresponding to the area where the customer is located and the bird's-eye view phase. For example, the information generating unit 349 generates the graph shown in FIG. 4A, in which the vertical axis is the calorie and the horizontal axis is the price. and information obtained by mapping the article E may be generated as reference information.
  • the output device 10 such as AR glasses receives the reference information from the server 30 and outputs the reference information as shown in FIG. 4A.
  • the customer can intuitively grasp the relationship between the calorie and price of each item.
  • the demand estimating unit 341 estimates the factor that the customer pays attention to as the customer's demand based on the information related to the direction of the customer's line of sight. For example, if the customer is watching goods C and D in the reference information output from the output device 10 as shown in FIG. It is estimated as the factor N1 that the customer pays attention to.
  • FIG. 4B is an explanatory diagram for explaining an example of reference information corresponding to factors that customers pay attention to.
  • the information generation unit 349 may change the calorie set on the vertical axis to content as the factor related to the price. More specifically, the information generation unit 349 calculates the number of items A, B, C, D, and items placed in the area where the customer is located in a graph in which the vertical axis is the content amount and the horizontal axis is the price. Information obtained by mapping E may be generated as reference information.
  • the information generator 349 may be able to provide the customer with reference information corresponding to the factors that the customer pays more attention to.
  • FIG. 4C is an explanatory diagram for explaining another example of reference information corresponding to factors that customers pay attention to.
  • the information generation unit 349 may generate reference information corresponding to the customer's demand based on the customer's movement line and the customer's demand.
  • the demand estimating unit 341 estimates that the factor that the customer pays attention to is the price as shown in FIG. 4A
  • the customer moves to an area where other product groups (for example, rice balls, etc.) are arranged.
  • the information generation unit 349 generates an item F and an item G that have prices similar to those of the item C and the item D in the post-movement area for the item C and the item D that the customer has been gazing at, which is estimated in FIG. 4A. may be generated as reference information by mapping to a graph.
  • the reference information described above is an example of reference information related to this disclosure, and the reference information related to this disclosure is not limited to such examples.
  • the demand estimation unit 341 estimates that the customer will purchase food that can be eaten without using chopsticks. You may Then, the information generation unit 349 may generate, as reference information, positional information of an area in which a group of items that can be eaten without chopsticks is placed and information related to the group of items.
  • the parameters set as the vertical axis or horizontal axis of the graph have been used as parameters set as the vertical axis or horizontal axis of the graph, the parameters according to the present disclosure are not limited to such examples.
  • the parameters set on the vertical or horizontal axis may be various parameters such as warranty period, weight, performance and versatility.
  • the information generation unit 349 may return parameters changed by the customer's manual operation or voice operation. Thereby, the information generator 349 can provide the customer with reference information more suitable for the customer's demand.
  • reference information related to the present disclosure does not have to be information using graphs as shown in FIGS. 4A to 4C.
  • Other examples of reference information according to the present disclosure will be described below with reference to FIGS. 5 and 6A to 6C.
  • FIG. 5 is an explanatory diagram for explaining another example of reference information corresponding to customer demand according to the present disclosure.
  • customer U stops in front of a plurality of items arranged on an item display shelf.
  • the information generator 349 may change the reference information to be generated according to the purchase intention of the customer U and the presence or absence of the purchase purpose.
  • FIG. 6A is an explanatory diagram for explaining an example of reference information generated for a customer U who has no purchase intention or purchase purpose. For example, if there is no purchase intention or purchase purpose of the customer, the information generation unit 349 may generate reference information regarding recommended items in the environment.
  • the reference information about the recommended product may be, for example, a character that emphasizes the recommended product as shown in FIG. 6A, or information that includes voice or text that recommends the product.
  • the customer can grasp the recommended items in the environment through the glasses G provided by the AR glasses, which is an example of the output device 10, and the purchase motivation can be improved.
  • FIG. 6B is an explanatory diagram for explaining an example of reference information generated for a customer who has a purchase intention but no purchase purpose. For example, if there is a customer's purchase intention but no purchase intent, the information generator 349 may generate reference information that identifies the customer's interest in the types of items placed in the environment.
  • the information generation unit 349 refers to information including, for example, a character indicating the types of a plurality of goods, and a voice or text confirming whether or not there is an article of interest to the customer, as shown in FIG. 6B. It may be generated as information.
  • the customer can examine whether there is an article of interest in the environment through the glasses G provided by the AR glasses. Furthermore, when the customer selects one item displayed on the glass G by manual operation or voice operation, the demand estimating unit 341 identifies the type of the selected item as being of interest to the customer, and the information generating unit 349 may also generate reference information regarding the types of items of interest to the identified customer.
  • the information generating unit 349 when the customer selects rice balls among the items shown in FIG. 6B, the information generating unit 349 generates various information about the rice balls arranged in the environment and the positions where the rice balls are displayed as reference information. good too.
  • FIG. 6C is an explanatory diagram for explaining an example of reference information generated for a customer who has a purchase intention and a purchase purpose.
  • the information generation unit 349 may generate reference information regarding an article that is the target of the customer's purchase purpose.
  • the information generation unit 349 determines whether the character indicating the egg sandwich or whether the egg sandwich indicated by the character is the customer's purchase purpose. Information including voice or text for confirming whether or not may be generated as reference information. Thereby, the customer can easily grasp the position of the target of purchase through the glasses G provided by the AR glasses.
  • the embodiment of the server 30 according to the present disclosure has been described above. Next, an example of operation processing for generating reference information according to the present disclosure will be described.
  • FIG. 7 is an explanatory diagram for explaining an example of operation processing for generating reference information corresponding to customer demand according to the present disclosure.
  • the detection determination unit 320 detects a customer based on the sensing information received by the communication unit 310 from the sensor device 20 (S101).
  • the processing unit 340 determines whether or not the detected customer has been registered as a user (S105). If user registration has not been performed (S105/No), the processing unit 340 advances the process to S109, and if user registration has been performed (S105/Yes), the processing unit 340 advances the process to S113.
  • the processing unit 340 stores the customer's feature information and identification information in the storage unit 360 (S109). Note that the processing unit 340 may store the feature information such as the customer's face and the identification information in the storage unit 360 only when the customer's permission is obtained.
  • the recognition unit 330 recognizes the information of the customer moving within the environment (S113).
  • the demand estimation unit 341 estimates the customer's demand in the environment based on the customer's information (S117).
  • the demand estimation unit 341 determines whether the customer's demand is stored in the storage unit 360 (S121). If the customer's demand is held (S121/Yes), the demand estimating unit 341 advances the process to S125, and if the customer's demand is not held (S121/No), the demand estimating part 341 advances the process to S129. proceed to
  • the demand estimation unit 341 updates the customer demand held in the storage unit 360 (S125).
  • the demand estimation unit 341 stores the customer's demand in the storage unit 360 (S129).
  • the information generation unit 349 generates reference information corresponding to the customer's demand estimated by the demand estimation unit 341 (S133).
  • the communication unit 310 transmits the reference information corresponding to the customer's demand generated by the information generation unit 349 to the output device 10 (S137), and the server 30 according to the present disclosure ends the processing.
  • FIG. 8 is an explanatory diagram for explaining an example of operation processing for generating reference information corresponding to the customer consideration phase according to the present disclosure. Since the processing of S101 to S113 overlaps with the content described with reference to FIG. 7, the description thereof is omitted in FIG.
  • the status estimation unit 345 estimates the consideration status based on the customer information (S201).
  • the status estimation unit 345 updates the estimated review status (S205).
  • the status estimation unit 345 determines whether or not the review status has reached or exceeded a first predetermined value (S209). If it is determined to be equal to or greater than the first predetermined value (S209/Yes), the status estimation unit 345 advances the process to S217, and if determined to be less than the first predetermined value (S209/No), the status The estimation unit 345 advances the process to S213.
  • the status estimation unit 345 determines whether the consideration status has become equal to or less than the second predetermined value (S213). If it is determined that the value is equal to or less than the second predetermined value (S213/Yes), the status estimation unit 345 advances the process to S217, and if it is determined that the value exceeds the second predetermined value (S213/No) The status estimation unit 345 advances the process to S221.
  • the status estimation unit 345 enters the consideration phase. Update (S217).
  • the information generation unit 349 generates reference information corresponding to the customer's consideration phase (S221).
  • the communication unit 310 transmits the reference information corresponding to the customer's demand generated by the information generation unit 349 to the output device 10 (S225), and the server 30 according to the present disclosure ends the processing.
  • the server 30 can provide the customer with reference information corresponding to the demand of the customer who moves within the environment.
  • Hardware configuration example >> The embodiment according to the present disclosure has been described above. The information processing described above is realized by cooperation between software and hardware of the server 30 described below. Note that the hardware configuration described below can also be applied to the output device 10 and the sensor device 20 .
  • FIG. 9 is a block diagram showing the hardware configuration of the server 30 according to the present disclosure.
  • the server 30 comprises a CPU (Central Processing Unit) 3001 , a ROM (Read Only Memory) 3002 , a RAM (Random Access Memory) 3003 and a host bus 3004 .
  • the server 30 also includes a bridge 3005 , an external bus 3006 , an interface 3007 , an input device 3008 , an output device 3010 , a storage device (HDD) 3011 , a drive 3012 and a communication device 3015 .
  • HDMI storage device
  • the CPU 3001 functions as an arithmetic processing device and a control device, and controls overall operations within the server 30 according to various programs.
  • the CPU 3001 may be a microprocessor.
  • a ROM 3002 stores programs, calculation parameters, and the like used by the CPU 3001 .
  • a RAM 3003 temporarily stores programs used in the execution of the CPU 3001, parameters that change as appropriate during the execution, and the like. These are interconnected by a host bus 3004 comprising a CPU bus or the like. Functions such as the demand estimating unit 341 and the information generating unit 349 described with reference to FIG.
  • the host bus 3004 is connected via a bridge 3005 to an external bus 3006 such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • an external bus 3006 such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • PCI Peripheral Component Interconnect/Interface
  • bridge 3005 and external bus 3006 do not necessarily have to be configured separately, and these functions may be implemented in one bus.
  • the input device 3008 includes input means for the user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the user's input and outputs it to the CPU 3001 . etc.
  • input device 3008 By operating the input device 3008, the user of the server 30 can input various data to the server 30 and instruct processing operations.
  • the output device 3010 includes display devices such as liquid crystal display devices, OLED devices, and lamps, for example.
  • output device 3010 includes audio output devices such as speakers and headphones.
  • the output device 3010 outputs reproduced content, for example.
  • the display device displays various information such as reproduced video data as text or images.
  • the audio output device converts reproduced audio data and the like into audio and outputs the audio.
  • the storage device 3011 is a device for storing data.
  • the storage device 3011 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 3011 is composed of, for example, an HDD (Hard Disk Drive).
  • the storage device 3011 drives a hard disk and stores programs executed by the CPU 3001 and various data.
  • the drive 3012 is a reader/writer for storage media, and is built in or externally attached to the server 30 .
  • the drive 3012 reads out information recorded in the attached removable storage medium 35 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 3003 .
  • Drive 3012 can also write information to removable storage medium 35 .
  • the communication device 3015 is, for example, a communication interface configured with a communication device or the like for connecting to the network 1. Also, the communication device 3015 may be a wireless LAN compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication.
  • LTE Long Term Evolution
  • an example assuming a store where goods are purchased has been described as an example of the environment, but the environment according to the present disclosure is not limited to such an example.
  • an environment according to the present disclosure may be a venue where exhibits are displayed.
  • the demand estimating unit 341 may estimate the demand of visitors to the venue.
  • the information generation unit 349 may generate, as reference information corresponding to the demand of the visitor, information relating to introduction of exhibition booths that meet the demand of the visitor, for example.
  • the environment according to the present disclosure may be an unmanned store or a manned store.
  • the information generation unit 349 may generate, as reference information, customer service response information for customer service on behalf of a store clerk based on customer demand.
  • the storage unit 360 may discard the data of the customer when it is determined that the customer has left the store.
  • the processing unit 340 may preferentially check whether customer feature information and identification information are held in the storage unit 360 . Thereby, the load on the server 30 can be reduced.
  • the detection determination unit 320 may constantly determine the number of customers in the store, and determine whether or not the customer has left the store according to the change in the number of customers and whether the customer can be detected.
  • the information generation unit 349 may generate reference information by changing the area and color of the generated UI (User Interface) according to the customer's characteristics and work environment.
  • the information generation unit 349 may further generate reference information including notification information by voice.
  • the server 30 may transmit reference information to the customer's smart phone, for example.
  • the information generation unit 349 may change the color of the reference information. This allows the customer to check the output reference information with higher visibility.
  • the demand estimation unit 341 may estimate the customer's reason for coming to the store based on the customer's demand and the product information or environment information recognized based on the sensing information. For example, the demand estimating unit 341 estimates that the customer has neither the purchase intention nor the purchase purpose. Furthermore, when the recognition unit 330 recognizes that it is raining outside the environment as information of the environment, the demand estimation unit 341 may estimate shelter from the rain as the customer's reason for coming to the store. In this case, the information generation unit 349 may generate the display position of the umbrella and the information related to the weather forecast as the reference information. The demand estimating unit 341 may estimate the customer's reason for coming to the store by weighting the customer's demand, the product information, and the environment information. This can further improve customer convenience in the environment.
  • the demand estimation unit 341 can estimate the customer's demand with higher accuracy.
  • the output device 10 or the sensor device 20 may be an information processing device.
  • the output device 10 may include a demand estimation unit 341, a status estimation unit 345, an information generation unit 349, and the like.
  • each step in the processing of the information processing system in this specification does not necessarily have to be processed in chronological order according to the order described as the flowchart.
  • each step in the processing of the information processing system may be processed in an order different from the order described as the flowchart or in parallel.
  • an acquisition unit that acquires sensing information obtained by at least one or more sensors
  • an estimating unit that estimates the demand of the user in the environment based on the information of the user moving in the environment in which the one or more sensors are installed, based on the sensing information acquired by the acquiring unit
  • a generating unit that generates reference information corresponding to the user's demand estimated by the estimating unit
  • the sensing information includes at least one of motion information related to the user's posture and motion information related to the user's line of sight;
  • the user information is at least one of a change amount related to the user's posture based on motion information related to the user's posture and a change amount related to the user's line of sight based on motion information related to the user's line of sight.
  • the estimation unit estimating the demand of the user in the environment based on the information of the user who stops in the environment based on the sensing information acquired by the acquisition unit; The information processing apparatus according to (1) or (2).
  • the environment has a plurality of items arranged therein, The estimation unit estimating user demand for items placed in the environment; The information processing apparatus according to any one of (1) to (3).
  • the user information includes information related to the user's line of sight direction, The estimation unit estimating a factor in which the user pays attention to an article as the user's demand based on information related to the direction of the user's line of sight; The information processing device according to (4) above.
  • the user information includes gripping information indicating that the user has gripped the article; The estimation unit estimating a factor in which the user pays attention to the article as a demand of the user based on the holding information; The information processing device according to (5) above.
  • the estimation unit estimating a consideration phase indicating a stage at which the user in the environment is considering the item based on the user's information;
  • the generating unit generating reference information corresponding to the consideration phase estimated by the estimation unit;
  • the information processing apparatus according to any one of (4) to (6).
  • the estimation unit estimating the review phase as a more advanced stage when the review status based on the user's information satisfies a first criterion; and estimating the review phase when the review status satisfies a second criterion; Presume the phase as a less advanced stage of consideration,
  • the information processing device according to (7) above.
  • the first criterion includes that the review status has reached or exceeded a first predetermined value; the second criterion includes the review status being equal to or less than a second predetermined value;
  • the information processing device according to (8) above.
  • (10) a storage unit that holds the information of the user and the demand of the user in association with each other; further comprising The generating unit generating the reference information based on the information of the user acquired by the acquisition unit and the demand of the user held in association with the information of the user by the storage unit;
  • the information processing apparatus according to any one of (1) to (9).
  • the user's demand includes the presence or absence of a purchase intention indicating the user's intention to purchase an item in the environment, The generating unit generating reference information according to the presence or absence of the user's purchase intention; The information processing apparatus according to any one of (1) to (11).
  • the user's demand includes the presence or absence of a purchase purpose indicating the user's purpose of purchasing a specific item in the environment, The generating unit generating reference information according to the presence or absence of the purchase purpose of the user; The information processing device according to (12) above.
  • the generating unit generating reference information specifying the user's interest in the types of items placed in the environment when the estimation unit estimates that the purchase intention is present and that the purchase purpose is absent; The information processing device according to (14) above.
  • the generating unit generating references regarding types of items of interest to the user identified by references identifying the interests of the user; The information processing device according to (15) above.
  • the acquisition unit Acquiring prior information regarding the user's purpose of entering the environment acquired before the user moves within the environment;
  • the estimation unit estimating the demand of the user in the environment based on the prior information acquired by the acquisition unit;
  • the information processing device according to (17) above.
  • a computer-implemented information processing method comprising: (20) to the computer, an acquisition function for acquiring sensing information obtained by at least one or more sensors; an estimation function for estimating the demand of the user in the environment based on the information of the user moving in the environment in which the one or more sensors are installed, based on the sensing information acquired by the acquisition function; a generation function that generates reference information corresponding to the user's demand estimated by the estimation function;
  • a program that realizes

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ある環境を移動する顧客の需要に対応する参考情報を顧客に提供する。 【解決手段】少なくとも1以上のセンサにより得られたセンシング情報を取得する取得部と、前記取得部により取得された前記センシング情報に基づく、前記1以上のセンサが設置された環境を移動するユーザの情報に基づき、前記環境における前記ユーザの需要を推定する推定部と、前記推定部により推定された前記ユーザの需要に対応する参考情報を生成する生成部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法およびプログラム
 本開示は、情報処理装置、情報処理方法およびプログラムに関する。
 近年、物品を販売する店舗等の環境において、物品を選定する顧客の情報に基づき、当該顧客に最適な情報を提示する技術が開発されている。例えば、特許文献1では、商品陳列棚に対する顧客の棚前心理および棚前行動を把握し、顧客の購買意欲を分析する技術が開示されている。そして、人型ロボットは、購買意欲に応じて顧客による接客サービスを提供する。
特開2019-032778号公報
 しかし、特許文献1に記載の技術では、棚前において物品を探す顧客の表情や視線を分析する必要があり、例えば、棚前以外で現れる顧客の挙動に関しては分析されていなかった。
 そこで、本開示では、ある環境を移動する顧客の需要に対応する参考情報を顧客に提供することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
 本開示によれば、少なくとも1以上のセンサにより得られたセンシング情報を取得する取得部と、前記取得部により取得された前記センシング情報に基づく、前記1以上のセンサが設置された環境を移動するユーザの情報に基づき、前記環境における前記ユーザの需要を推定する推定部と、前記推定部により推定された前記ユーザの需要に対応する参考情報を生成する生成部と、を備える、情報処理装置が提供される。
 また、本開示によれば、少なくとも1以上のセンサにより得られたセンシング情報を取得することと、取得された前記センシング情報に基づく、前記1以上のセンサが設置された環境を移動するユーザの情報に基づき、前記環境における前記ユーザの需要を推定することと、推定された前記ユーザの需要に対応する参考情報を生成することと、を含む、コンピュータにより実行される情報処理方法が提供される。
 また、本開示によれば、コンピュータに、少なくとも1以上のセンサにより得られたセンシング情報を取得する取得機能と、前記取得機能により取得された前記センシング情報に基づく、前記1以上のセンサが設置された環境を移動するユーザの情報に基づき、前記環境における前記ユーザの需要を推定する推定機能と、前記推定機能により推定された前記ユーザの需要に対応する参考情報を生成する生成機能と、を実現させる、プログラムが提供される。
本開示に係る情報処理システムの概要を説明するための説明図である。 本開示に係るサーバ30の機能構成の一例を説明するための説明図である。 本開示に係る顧客の事前情報を取得する方法の一例を説明するための説明図である。 顧客の注目する要因を示す一例を説明するための説明図である。 顧客の注目する要因に対応する参考情報の一例を説明するための説明図である。 顧客の注目する要因に対応する参考情報の他の例を説明するための説明図である。 本開示に係る顧客の需要に対応する参考情報の他の例を説明するための説明図である。 購買意思および購買目的が無い顧客Uに対して生成される参考情報の一例を説明するための説明図である。 購買意思は有るが購買目的が無い顧客に対して生成される参考情報の一例を説明するための説明図である。 購買意思および購買目的が有る顧客に対して生成される参考情報の一例を説明するための説明図である。 本開示に係る顧客の需要に対応する参考情報を生成する動作処理の一例を説明するための説明図である。 本開示に係る顧客の検討フェーズに対応する参考情報を生成する動作処理の一例を説明するための説明図である。 本開示に係るサーバ30のハードウェア構成を示したブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
  1.情報処理システムの概要
  1.1.概要
  1.2.サーバ30の機能構成例
  2.実施例
  2.1.顧客の需要
  2.2.検討フェーズ
  2.3.参考情報
  3.動作処理例
  4.ハードウェア構成例
  5.補足
 <<1.情報処理システムの概要>>
 本開示の一実施形態は、ある環境を移動する顧客の需要に対応する参考情報を顧客に提供することが可能な情報処理システムに関する。以下、図1を参照し、本開示に係る情報処理システムの概要を説明する。
 <1.1.概要>
 図1は、本開示に係る情報処理システムの概要を説明するための説明図である。本開示に係る情報処理システムは、図1に示すように、出力装置10と、センサ装置20と、サーバ30と、を有する。図1に示す一例は、物品が配置される環境Eおいて、顧客Uが物品の購買を検討している様子を示す。環境Eには、複数の物品が配置されてもよい。
 (出力装置10)
 本開示に係る出力装置10は、サーバ30により生成された参考情報を出力する装置である。本開示に係る出力装置10は、例えば、図1に示すようなAR(Augmented Reality)グラスであってもよい。
 例えば、出力装置10は、サーバ30から受信した参考情報RをグラスG上に表示する。また、グラスGは、実物体を透過するため、顧客Uは、グラスGを通して、実物体および参考情報Rを視認することが可能である。なお、顧客Uはユーザの一例である。
 また、参考情報Rの詳細は後述するが、参考情報Rは、例えば図1に示すような、顧客Uに推奨する物品を強調するような映像であってもよい。
 また、本開示に係る出力装置10は、ARグラスに限定されない。出力装置10は、例えば、ディスプレイ、プロジェクタ、スピーカ、単一指向性スピーカ、スマートフォンまたは振動触覚装置などの各種装置であってもよい。また、出力装置10は、上述したような各種装置のうち、一の装置が環境Eに設置または顧客Uに装着されてもよいし、複数の装置が環境Eに設置または顧客Uに装着されてもよい。
 (センサ装置20)
 本開示に係るセンサ装置20は、環境Eに設置されており、例えば、環境Eや、環境Eの出入口周辺にいる顧客Uや、環境E内にある物品や、環境Eの周囲の状況などの各種センシング情報を検出する装置である。また、センサ装置20は、検出した各種センシング情報をサーバ30に送信する。
 例えば、センサ装置20は、図1に示すようなカメラであってもよい。また、本開示に係るセンサ装置20は、カメラに限定されない。センサ装置20は、例えば、人感センサ、加速度センサ、デプスセンサ、静電容量センサ、マイクロフォン、ジャイロセンサまたはRFID(Radio Frequency Identification)等の各種センサを備えた装置であってもよい。なお、環境Eには、少なくとも1以上のセンサ装置20が設置されている。
 例えば、センサ装置20は、デプスセンサやカメラ等により、顧客Uの位置情報や姿勢に係る動作情報や視線に係る動作情報を検出することが可能である。
 また、センサ装置20は、顧客Uが所持する携帯端末(例えば、スマートフォンやタブレット等)との間でBluetooth通信を行うことで顧客Uの位置情報を検出してもよい。例えば、物品が陳列される棚(以下、物品陳列棚と表現する場合がある。)にセンサ装置20が設置された場合、センサ装置20は、当該物品陳列棚から顧客Uまでの距離を検出し得る。
 また、センサ装置20は、顧客Uにウェアラブルデバイスとして装着されてもよい。これにより、センサ装置20は、顧客Uの姿勢に係る動作情報や視線に係る動作情報をより高い精度で検出し得る。
 また、センサ装置20は、デプスセンサやカメラにより物品の情報を検出してもよい。また、物品陳列棚に重量センサや静電容量センサを備えたセンサ装置20が設置されてもよい。また、物品に加速度センサやRFIDやQRコード(登録商標)等を備えたセンサ装置20が設置されてもよい。これにより、センサ装置20は、物品の在庫などの物品の情報を検出し得る。
 このように、センサ装置20は、検出したい内容(顧客Uの情報や物品の情報)に応じて異なるセンサを備えていてもよい。また、センサ装置20は、検出したい対象(顧客や物品や環境)に応じて、環境内の様々な位置に配置されてもよい。
 (サーバ30)
 本開示に係るサーバ30は、情報処理装置の一例である。サーバ30は、センサ装置20から顧客Uの情報や物品の情報等の各種センシング情報を取得する。そして、サーバ30は、取得したセンシング情報に基づく、環境Eを移動する顧客Uの情報に基づき、環境Eにおける顧客Uの需要を推定する。
 また、サーバ30は、推定された顧客Uの需要に対応する参考情報を生成する。更に、サーバ30は、生成した参考情報を出力装置10に送信してもよい。
 以上、本開示に係る情報処理システムの概要を説明した。続いて、図2を参照して、本開示に係るサーバ30の機能構成例を説明する。
 <1.2.サーバ30の機能構成例>
 図2は、本開示に係るサーバ30の機能構成の一例を説明するための説明図である。本開示に係るサーバ30は、図2に示すように、通信部310と、検出判定部320と、認識部330と、処理部340と、タイマー350と、記憶部360と、を備える。
 (通信部310)
 本開示に係る通信部310は、出力装置10およびセンサ装置20との間で各種通信を行う。例えば、本開示に係る通信部310は、取得部の一例であり、環境Eに設置された少なくとも1以上のセンサ装置20により得られた各種センシング情報を受信する。
 また、本開示に係る通信部310は、後述する情報生成部349により生成された参考情報を出力装置10に送信する。
 (検出判定部320)
 本開示に係る検出判定部320は、通信部310により受信されたセンシング情報に基づき、センシング対象の種類や数量等を判定する。例えば、検出判定部320は、通信部310により受信されたセンシング情報に基づき、顧客や物品の特徴情報を検出する。
 (認識部330)
 本開示に係る認識部330は、通信部310により受信されたセンシング情報に基づき、顧客の情報を認識する。ここで、顧客の情報とは、例えば、顧客の属性、位置、姿勢、または顧客の姿勢に係る変化量や視線に係る変化量を含む。
 なお、顧客の姿勢に係る変化量は、例えば、顧客の移動速度や顧客が停止頻度などの各種情報を含む。また、顧客の視線に係る変化量は、顧客の視線の動く速さや滞留度合などの各種情報を含む。
 また、本開示に係る認識部330は、通信部310により受信されたセンシング情報に基づき、物品の情報を認識してもよい。ここで、物品の情報とは、例えば、物品の位置や在庫などの状態を含む。
 また、本開示に係る認識部330は、通信部310により受信されたセンシング情報に基づき、環境の情報を認識してもよい。ここで、環境の情報とは、例えば、環境の広さ、明るさ、環境音の大きさなどを含む。
 (処理部340)
 本開示に係る処理部340は、センシング情報に基づき認識された各種情報(顧客の情報、物品の情報または環境の情報)に基づく処理を実行する。本開示に係る処理部340は、図2に示すように、需要推定部341と、ステータス推定部345と、情報生成部349と、を備える。
 本開示に係る需要推定部341は、環境を移動する顧客の情報に基づき、当該環境における顧客の需要を推定する。例えば、需要推定部341は、環境を移動する顧客の情報に基づき、環境における顧客の物品を購買する意思を示す購買意思の有無を顧客の需要として推定してもよい。
 また、需要推定部341は、環境を移動する顧客の情報に基づき、環境における顧客の特定の物品を購買する目的を示す購買目的の有無を顧客の需要として推定してもよい。
 また、需要推定部341は、環境において停止する顧客の情報に基づき、環境における顧客の需要を推定してもよい。例えば、需要推定部341は、環境の物品陳列棚の付近で物品を検討する顧客の視線に係る動作情報や姿勢に係る動作情報に基づき、顧客の需要を推定してもよい。
 また、本開示に係る顧客の需要は、購買意思および購買目的の有無に限定されない。例えば、本開示に係る顧客の需要は、顧客の空腹度、予算、好き嫌い、直近で食べた食事、またはその後の予定等の各種情報を含む。また、顧客の需要は、購買に要する緊急度合や趣向等の各種需要を含む。以上において説明した顧客の需要に係る詳細については後述する。
 本開示に係るステータス推定部345は、推定部の一例であり、顧客の情報に基づき、環境における顧客が物品に関して検討している段階を示す検討フェーズを推定する。
 例えば、ステータス推定部345は、顧客の身体に係る動作情報または顧客の視線に係る動作情報に基づき、検討ステータスを推定する。そして、ステータス推定部345は、推定した検討ステータスが所定の基準を満たした際に、検討フェーズを更新する。検討ステータスおよび検討フェーズの詳細については後述する。
 本開示に係る情報生成部349は、生成部の一例であり、需要推定部341により推定された顧客の需要に対応する参考情報を生成する。
 また、情報生成部349は、ステータス推定部345により推定された検討フェーズに対応する参考情報を生成してもよい。
 また、情報生成部349は、顧客の需要および検討フェーズに基づく参考情報を生成してもよい。
 また、情報生成部349は、顧客の需要に加え、センサ装置20から受信した物品の情報や環境の情報に基づき参考情報を生成してもよい。
 また、情報生成部349は、センサ装置20から受信した顧客の情報と、後述する記憶部360に保持されている顧客の情報のうち、センサ装置20から受信した顧客の情報に一致または類似する顧客の情報に対応付けて保持された顧客の需要に基づき、参考情報を生成してもよい。参考情報の具体例については後述する。
 (タイマー350)
 本開示に係るタイマー350は、経過した時間を処理部340および記憶部360に出力する。
 (記憶部360)
 本開示に係る記憶部360は、ソフトウェアおよび各種データを保持する。例えば、記憶部360は、顧客の情報と、顧客の需要とを対応付けて保持する。
 また、記憶部360は、顧客の情報または顧客の需要と、顧客の購買履歴と、を対応付けて保持してもよい。これにより、情報生成部349は、センサ装置20から受信した顧客の情報または当該顧客の情報に基づく顧客の需要に対応付けて保持された顧客の購買履歴に基づく参考情報を生成してもよい。これにより、情報生成部349は、顧客の過去の実績に基づく参考情報を生成することが可能になり、より顧客の求める情報を生成し得る。
 また、記憶部360は、物品のカロリーや内容量または陳列位置などの各種物品の情報を保持していてもよい。
 以上、本開示に係るサーバ30の機能構成例を説明した。続いて、本開示に係る実施例を詳細に説明する。
 <<2.実施例>>
 ある店舗等の環境の様々な位置に配置されたセンサ装置20は、顧客や物品や環境に関する情報を検出する。例えば、センサ装置20は、顧客の姿勢に係る動作情報や顧客の視線に係る動作情報などの各種センシング情報を検出する。
 そして、本開示に係る認識部330は、通信部310を介して取得されたセンシング情報に基づき、顧客の情報や物品の情報等の各種情報を認識する。
 例えば、認識部330は、顧客の姿勢に係る動作情報に基づき、顧客の姿勢に係る変化量を認識する。より具体的には、認識部330は、顧客の姿勢に係る動作情報に基づき、顧客の移動速度や顧客の移動が停止する頻度を示す停止頻度を認識する。
 また、認識部330は、顧客の視線に係る動作情報に基づき、顧客の視線に係る変化量を認識してもよい。例えば、認識部330は、顧客の視線に係る動作情報に基づき、顧客の視線が動く速さや滞留度合を認識してもよい。
 次に、本開示に係る需要推定部341は、認識された顧客の情報に基づき、当該顧客の需要を推定する。また、ステータス推定部345は、認識された顧客の情報に基づき、当該顧客の検討フェーズを推定する。
 そして、本開示に係る情報生成部349は、推定された顧客の需要または顧客の検討フェーズの少なくともいずれか一方に対応する参考情報を生成する。このような、参考情報の生成に際して、顧客の情報は種々の状況で得られる。
 例えば、認識部330は、環境の周辺(例えば、出入口など)に設置されたセンサ装置20から取得されたセンシング情報に基づき、環境の入場時における顧客の情報を認識し得る。
 また、認識部330は、環境内の通路などに設置されたセンサ装置20から取得されたセンシング情報に基づき、環境を移動する顧客の情報を認識し得る。
 また、認識部330は、環境内に配置された物品周辺に設置されたセンサ装置20から取得されたセンシング情報に基づき、物品の購買を検討する顧客の情報を認識し得る。
 このように、認識部330は、顧客が環境周辺または環境内を移動する移動時と、顧客が物品の検討に際して環境内で停止する停止時とでそれぞれ顧客の情報を認識することが可能である。以下では、移動時と、停止時の2種類の顧客の状況について、認識部330が顧客の情報を認識する具体例について順次説明するが、本開示に係るサーバ30は、顧客の移動時または停止時のいずれかのタイミングまたは複数のタイミングで顧客の需要を推定する処理や参考情報を生成する処理を実行してもよい。
 <2.1.顧客の需要>
 (移動時)
 環境の出入口や周辺に設置されたセンサ装置20は、環境の出入口や周辺を移動する顧客の姿勢に係る動作情報や顧客の視線に係る動作情報などの各種センシング情報を検出し、サーバ30に送信する。
 また、環境内に設置されたセンサ装置20は、環境の通路を移動する顧客の姿勢に係る動作情報や顧客の視線に係る動作情報などの各種センシング情報を検出し、サーバ30に送信する。
 続いて、認識部330は、センサ装置20から受信した各種センシング情報に基づき、顧客の移動速度や視線の動く速さ等の各種顧客の情報を認識する。
 そして、需要推定部341は、認識部330により認識された環境の出入口や通路などを移動する顧客の移動速度や停止頻度等の顧客の情報に基づき、顧客の需要を推定してもよい。また、需要推定部341は、認識部330により認識された入場に際して移動する顧客の視線の動く速さや滞留度合に基づき、顧客の需要を推定してもよい。
 例えば、認識部330が入店時における顧客の移動速度が普通または遅いと認識し、更に、視線が滞留していないと認識した場合、需要推定部341は、顧客の購買意思および購買目的が共に無いと推定してもよい。
 また、認識部330が入店時における顧客の移動速度が普通と認識し、更に、視線が素早く動き定期的に滞留していると認識した場合、需要推定部341は、顧客の購買意思は有るが購買目的が無いと推定してもよい。
 また、認識部330が入店時における顧客の移動速度が速いと認識し、更に、視線が素早く動き定期的に滞留していると認識した場合、需要推定部341は、顧客の購買意思および購買目的が共に有ると推定してもよい。
 但し、上述した具体例は、認識部330の認識結果に基づく推定結果の一例であり、本開示に係る認識結果および推定結果は係る例に限定されない。例えば、需要推定部341は、上述したような顧客の情報に加え、物品情報や環境の情報に基づき顧客の購買意思および購買目的を推定してもよい。
 そして、情報生成部349は、需要推定部341により推定された顧客の需要に対応する参考情報を生成する。例えば、需要推定部341により購買意思および購買目的が共に無いと推定された場合、情報生成部349は、新作商品や目玉商品等の推奨物品に係る情報を参考情報として生成してもよい。
 また、需要推定部341により購買意思は有るが購買目的が無いと推定された場合、情報生成部349は、環境に配置された物品の種類に対する顧客の関心を特定する情報を参考情報として生成してもよい。
 また、需要推定部341により購買意思および購買目的が共に有ると推定された場合、情報生成部349は、環境のフロアマップや顧客の購買目的の対象となる物品に関する情報(例えば、物品位置など)を参考情報として生成してもよい。
 また、入場時において予め顧客が環境に入場する目的を特定する事前情報が取得されてもよい。図3を参照し、事前情報の取得に係る一例を説明する。
 図3は、本開示に係る顧客の事前情報を取得する方法の一例を説明するための説明図である。例えば、環境の出入口周辺にモニターMが設置されているとする。この場合、モニターMは、図3に示すような顧客Uの趣向や状況を特定する情報を表示してもよい。
 そして、顧客Uは、モニターMに表示された選択肢に対して、タッチ操作や音声操作などの各種操作方法により、いずれかを選択する。そして、需要推定部341は、モニターMより得られた事前情報に基づき、顧客Uの需要を推定してもよい。
 例えば、図3に示す「どちらが好みですか?」という選択肢に対して、顧客Uがいずれか一方の食べ物を選択した場合、需要推定部341は、顧客Uの食事に関する趣向や気分を推定してもよい。
 また、図3に示す「4時間以内に食事をしましたか?」という選択肢に対して、顧客Uが「Yes」または「No」を選択した場合、需要推定部341は、当該選択結果に応じて顧客Uの空腹度合を推定してもよい。
 また、顧客が選択肢からいずれかを選択する際に、認識部330は、顧客Uの検討する際の特徴を認識してもよい。検討する際の特徴は、例えば、検討している際の視線の動きや動作の癖や、選択する際の顧客UとモニターMとの距離を含んでもよい。また、検討する際の特徴は、顧客Uが魅力を感じている物品への視線滞留傾向や、反応速度による疲労度や眠気を含んでもよい。
 需要推定部341は、顧客Uの検討する際の特徴を用いることにより、より高い精度で顧客Uの需要を推定し得る。
 以上、説明したように、需要推定部341は、顧客Uが環境に入場する際に取得されたセンシング情報に基づき、予め顧客の需要を推定することが可能になり得る。この結果、需要推定部341は、顧客の来場目的を早期で推定することが可能になり、顧客に対して顧客が求める参考情報を環境に入場した段階で提供し得る。
 以上、顧客が環境に入場および移動する際における顧客の需要の推定に係る具体例を説明した。続いて、顧客が環境内で物品を検討する際における顧客の需要の推定に係る具体例を説明する。
 (停止時)
 環境内の物品周辺に設置されたセンサ装置20は、当該物品の購買を検討する顧客の姿勢に係る動作情報や視線に係る動作情報などの各種センシング情報を検出する。
 そして、認識部330は、顧客の姿勢に係る動作情報に基づき、例えば、物品を把持したことを示す把持情報を認識してもよい。また、認識部330は、顧客の視線に係る動作情報に基づき、例えば、視線の向きに係る情報を認識してもよい。
 そして、需要推定部341は、例えば、認識部330により認識された物品を閲覧する顧客の視線の向きに係る情報に基づき、顧客が物品に対して注目する要因を顧客の需要として推定してもよい。
 例えば、認識部330により顧客が特定の物品群を中心に閲覧していると認識された場合、需要推定部341は、顧客が閲覧していた特定の物品群を顧客が好んでいると推定してもよい。
 また、認識部330により顧客が物品に係る特定の情報を中心に閲覧していると認識された場合、需要推定部341は、当該特定の情報を顧客が重要視していると推定してもよい。ここで、特定の情報とは、例えば、物品の価格やカロリーや内容量等の各種情報を含む。
 また、需要推定部341は、認識部330により認識された顧客が物品を把持したことを示す把持情報に基づき、環境に配置された物品に関する顧客の需要を推定してもよい。
 例えば、顧客がある物品を把持した場合、需要推定部341は、顧客が把持した物品が含まれる物品群は顧客が好む物品群であるとして推定してもよい。そして、情報生成部349は、例えば、顧客が好む物品群に関する情報を生成してもよい。
 以上、本開示に係る顧客の需要に関する具体例を説明した。続いて、本開示に係る検討フェーズの推定に係る具体例を説明する。
 <2.2.検討フェーズ>
 ステータス推定部345は、顧客の情報に基づき、環境において顧客が物品に関して検討している段階を示す検討フェーズを推定してもよい。
 例えば、本開示に係る検討フェーズは、顧客が環境内で俯瞰的に物品の購買を検討している段階を示す俯瞰フェーズと、複数の物品を比較して購買を検討している段階を示す比較検討フェーズと、最終的に購買する物品を決定するか否かを検討している段階を示す最終判定フェーズの3段階あるとする。例えば、俯瞰フェーズが最も検討の浅い段階で、比較検討フェーズ、最終判定フェーズの順に顧客が物品の購買に関する検討が進められた段階であることを示す。
 ただし、俯瞰フェーズ、比較検討フェーズおよび最終判定フェーズは本開示に係る検討フェーズの例である。例えば、検討フェーズは2段階であってもよいし、4段階以上であってもよい。また、検討フェーズは連続値であってもよい。
 例えば、顧客が環境に来場した際に、ステータス推定部345は、当該顧客の検討フェーズを俯瞰フェーズであるとして推定してもよい。また、顧客が購買を希望する物品や物品群に関する事前情報が取得された場合、ステータス推定部345は、当該顧客の検討フェーズを最終判定フェーズとして推定してもよい。
 例えば、顧客が物品を把持した場合、ステータス推定部345は、検討フェーズをより検討が進められた段階として推定してもよい。例えば、俯瞰フェーズにおいて、顧客が物品を把持した場合、ステータス推定部345は、検討フェーズを俯瞰フェーズから比較検討フェーズに更新してもよい。また、比較検討フェーズにおいて、顧客が物品を把持した場合、ステータス推定部345は、検討フェーズを比較検討フェーズから最終判定フェーズに更新してもよい。
 また、俯瞰フェーズにおいて、顧客が物品を把持した場合、ステータス推定部345は、検討フェーズを俯瞰フェーズから1段階超えて最終判定フェーズに更新してもよい。
 このように顧客の検討段階がより進められたことに対応する特定の動作が行われた際に、ステータス推定部345は、より検討が進められた段階を示す検討フェーズであると推定してもよい。
 また、顧客が把持した物品を棚に戻した場合、ステータス推定部345は、検討フェーズをより検討が進められていない段階として推定してもよい。例えば、最終判定フェーズにおいて、顧客が把持した物品を棚に戻した場合、ステータス推定部345は、検討フェーズを最終判定フェーズから比較検討フェーズに更新してもよい。また、比較検討フェーズにおいて、顧客が把持した物品を棚に戻した場合、ステータス推定部345は、検討フェーズを比較検討フェーズから俯瞰フェーズに更新してもよい。
 また、最終判定フェーズにおいて、顧客が把持した物品を棚に戻した場合、ステータス推定部345は、検討フェーズを最終判定フェーズから1段階超えて俯瞰フェーズに更新してもよい。
 このように顧客の検討段階がより進められていないことに対応する特定の動作が行われた際に、ステータス推定部345は、より検討が進められていない段階を示す検討フェーズであると推定してもよい。
 また、顧客が俯瞰フェーズ、比較検討フェーズまたは最終判定フェーズのいずれか一つに対応した特定の動作を行った際に、ステータス推定部345は、当該特定の動作に対応する検討フェーズであると更新してもよい。
 例えば、ある顧客が複数の物品を比較検討している際に生じる癖が腕組みであった場合、認識部330が顧客が腕組みを行ったことを認識した際に、ステータス推定部345は、検討フェーズを比較検討フェーズであると推定してもよい。
 そして、情報生成部349は、ステータス推定部345により推定された検討フェーズに対応する参考情報を生成してもよい。
 例えば、ステータス推定部345により俯瞰フェーズであると推定された場合、情報生成部349は、顧客が重要視する因子を特定する参考情報を生成してもよい。
 また、ステータス推定部345により比較検討フェーズであると推定された場合、情報生成部349は、パラメータ提示による物品の購買に係る決定を補助する参考情報を生成してもよい。
 また、ステータス推定部345により最終判定フェーズであると推定された場合、情報生成部349は、物品の購買に係る決定打の提供または購買を後押しする参考情報を生成してもよい。
 また、ステータス推定部345は、認識部330により認識された顧客の情報に基づき、検討フェーズの推定に係るステータスを示す検討ステータスを推定してもよい。
 そして、ステータス推定部345は、顧客の情報に基づく検討ステータスが第1の基準を満たした際に、検討フェーズをより検討が進められた段階として推定してもよい。更にステータス推定部345は、検討ステータスが第2の基準を満たした際に、検討フェーズをより検討が進められていない段階として推定してもよい。
 ここで、検討ステータスの推定に用いる顧客の情報とは、例えば、移動量、顧客から物品棚までの距離、姿勢を含む。
 (移動量)
 例えば、ステータス推定部345は、顧客の移動量が第1の閾値未満であった際に、検討ステータスを増加し、顧客の移動量が第1の閾値より大きい第2の閾値以上になった際に、検討ステータスを減少してもよい。
 (顧客から物品棚までの距離)
 また、ステータス推定部345は、顧客から物品棚までの距離が第3の閾値未満であった際に、検討ステータスを増加し、顧客から物品棚までの距離が第3の閾値より大きい第4の閾値以上になった際に、検討ステータスを減少してもよい。
 (姿勢)
 また、ステータス推定部345は、顧客の姿勢が前傾になった際に、検討ステータスを増加し、顧客の姿勢が後傾になった際に、検討ステータスを減少してもよい。
 また、顧客の情報は、検討ステータスの増加または減少のいずれか一方に影響してもよい。例えば、ステータス推定部345は、ある一定のエリアに滞在する時間が増加した際に、検討ステータスを増加してもよい。また、ステータス推定部345は、腕時計を確認した際に、顧客は次の予定が迫っていると推定し、検討ステータスを増加してもよい。
 このように、検討ステータスが累積的に増減され、例えば、ステータス推定部345は、検討ステータスが第1の所定値以上になった際に、検討フェーズをより検討が進められた段階として推定してもよい。
 また、ステータス推定部345は、検討ステータスが第2の所定値以下になった際に、検討フェーズをより検討が進められていない段階として推定してもよい。
 なお、ステータス推定部345は、検討フェーズの更新に際して、検討に用いた要因を記憶部360に保存してもよい。例えば、最終判定フェーズから比較検討フェーズまたは俯瞰フェーズに更新する際に、ステータス推定部345は、最終判定において検討した物品の情報を記憶部360に保存してもよい。また、比較検討フェーズから俯瞰フェーズまたは最終判定フェーズに更新する際に、ステータス推定部345は、比較した物品の情報を記憶部360に保存してもよい。これにより、需要推定部341は、顧客が最終判定において検討した物品の情報や比較した物品の情報に基づき、顧客の需要を推定してもよい。
 以上、本開示に係る検討フェーズの推定に係る詳細を説明した。続いて、情報生成部349により生成される参考情報の具体例を説明する。
 <2.3.参考情報>
 図4Aは、顧客の注目する要因を示す一例を説明するための説明図である。例えば、図4Aでは、顧客が環境内のある物品群(例えば、パン等)が配置されたエリアにおり、更に、ステータス推定部345により顧客の検討フェーズが俯瞰フェーズであると推定された場合の参考情報の一例である。
 例えば、情報生成部349は、顧客がいるエリアと、俯瞰フェーズに対応する参考情報を生成してもよい。例えば、情報生成部349は、図4Aに示すような、縦軸をカロリーとし、横軸を値段としたグラフに対し、顧客がいるエリアに配置された物品A、物品B、物品C、物品Dおよび物品Eをマッピングした情報を参考情報として生成してもよい。
 そして、ARグラスなどの出力装置10は、サーバ30から参考情報を受信し、図4Aに示すように当該参考情報を出力する。この結果、顧客は、物品ごとのカロリーと値段の関係を直感的に把握し得る。
 続いて、需要推定部341は、顧客の視線の向きに係る情報に基づき、顧客が物品に対して注目する要因を顧客の需要として推定する。例えば、顧客が出力装置10から出力された図4Aに示すような参考情報のうち、物品Cおよび物品Dを注視していた場合、需要推定部341は、カロリーと比較して、値段の方が顧客の注目する要因N1であるとして推定する。
 図4B、顧客の注目する要因に対応する参考情報の一例を説明するための説明図である。顧客の注目する要因が値段であると推定された場合、情報生成部349は、縦軸に設定されていたカロリーを、値段に関連する要因として内容量に変更してもよい。より具体的には、情報生成部349は、縦軸を内容量とし、横軸を値段としたグラフに対し、顧客がいるエリアに配置された物品A、物品B、物品C、物品Dおよび物品Eをマッピングした情報を参考情報として生成してもよい。
 例えば、図4Aに示した参考情報では、顧客は、物品Cが最も値段は安いことが理解できたが、図4Bに示した参考情報を確認することで、内容量も少ないことも認識することが可能である。このため、情報生成部349は、より顧客の注目する要因に対応する参考情報を顧客に提供することが可能になり得る。
 図4Cは、顧客の注目する要因に対応する参考情報の他の例を説明するための説明図である。情報生成部349は、顧客が移動した動線と、顧客の需要に基づき、当該顧客の需要に対応する参考情報を生成してもよい。
 例えば、需要推定部341が図4Aに示したように顧客が注目する要因が値段であると推定された後、顧客が他の物品群(例えば、おにぎり等)が配置されたエリアに移動する。この場合、情報生成部349は、図4Aにおいて推定された顧客が注視していた物品Cおよび物品Dに対し、移動後のエリアにおいて物品Cおよび物品Dに類似する値段である物品Fおよび物品Gをグラフにマッピングした情報を参考情報として生成してもよい。
 また、上述した参考情報は本開示に係る参考情報の一例であり、本開示に係る参考情報は係る例に限定されない。例えば、パンが配置されたエリアからおにぎりが配置されたエリアに顧客が移動した場合、需要推定部341は、箸を必要とせずに食べることが可能な食品を購買することを顧客の需要として推定してもよい。そして、情報生成部349は、箸を必要とせずに食べることが可能な物品群が配置されたエリアの位置情報や当該物品群に係る情報を参考情報として生成してもよい。
 また、グラフの縦軸または横軸として設定されたパラメータとして、カロリー、内容量および値段の3種類を用いて説明したが、本開示に係るパラメータは係る例に限定されない。例えば、縦軸または横軸に設定されるパラメータは、保証期間や重量、性能や多機能性等の各種パラメータであってもよい。
 また、情報生成部349は、顧客の手動操作または音声操作により変更されたパラメータを戻してもよい。これにより、情報生成部349は、顧客の需要により適した参考情報を当該顧客に提供し得る。
 また、本開示に係る参考情報は、図4A~図4Cに示したようなグラフを用いた情報でなくてもよい。以下、図5及び図6A~図6Cを参照し、本開示に係る参照情報の他の例を説明する。
 図5は、本開示に係る顧客の需要に対応する参考情報の他の例を説明するための説明図である。例えば、顧客Uは、物品陳列棚に配置された複数の物品の前で停止する。この場合、情報生成部349は、顧客Uの購買意思と、購買目的の有無に応じて生成する参考情報を変更してもよい。
 図6Aは、購買意思および購買目的が無い顧客Uに対して生成される参考情報の一例を説明するための説明図である。例えば、顧客の購買意思および購買目的が共に無かった場合、情報生成部349は、環境における推奨物品に関する参考情報を生成してもよい。
 推奨物品に関する参考情報とは、例えば、図6Aに示すような推奨する物品を強調して指示するキャラクターや、当該物品を推奨する音声または文字を含む情報であってもよい。
 これにより、顧客は、出力装置10の一例であるARグラスが備えたグラスGを介して、環境における推奨物品を把握することが可能になり、購買意欲が向上され得る。
 図6Bは、購買意思は有るが購買目的が無い顧客に対して生成される参考情報の一例を説明するための説明図である。例えば、顧客の購買意思はあるが、購買目的がなかった場合、情報生成部349は、環境に配置された物品の種類に対する顧客の関心を特定する参考情報を生成してもよい。
 例えば、情報生成部349は、図6Bに示すような、例えば、複数の物品の種類を指示するキャラクターや、顧客に関心のある物品があるか否かを確認する音声または文字を含む情報を参考情報として生成してもよい。
 この場合、顧客は、ARグラスが備えたグラスGを介して、環境において関心のある物品があるか否かを検討し得る。更に、顧客が手動操作または音声操作によりグラスGに表示された一の物品を選択した場合、需要推定部341は、選択された物品の種類に顧客の関心があるとして特定し、情報生成部349は、特定された顧客に関心のある物品の種類に関する参考情報を更に生成してもよい。
 例えば、顧客が図6Bに示す各物品のうち、おにぎりを選択した場合、情報生成部349は、おにぎりが陳列されている位置や環境内に配置されるおにぎりの各種情報を参考情報として生成してもよい。
 図6Cは、購買意思および購買目的が有る顧客に対して生成される参考情報の一例を説明するための説明図である。情報生成部349は、顧客の購買目的の対象となる物品に関する参考情報を生成してもよい。
 例えば、顧客の購買目的の対象となる物品が卵サンドであった場合、情報生成部349は、卵サンドを指示するキャラクターや、当該キャラクターが指示する卵サンドが顧客の購買目的の対象であるか否かを確認する音声または文字を含む情報を参考情報として生成してもよい。これにより、顧客は、ARグラスが備えたグラスGを介して、購買目的の対象の位置を容易に把握し得る。
 以上、本開示に係るサーバ30の実施例を説明した。続いて、本開示に係る参考情報を生成する動作処理例を説明する。
 <<3.動作処理例>>
 図7は、本開示に係る顧客の需要に対応する参考情報を生成する動作処理の一例を説明するための説明図である。まず、検出判定部320は、通信部310がセンサ装置20から受信したセンシング情報に基づき、顧客を検出する(S101)。
 続いて、処理部340は、検出された顧客はユーザ登録が行われた顧客か否かを判定する(S105)。ユーザ登録が行われていなかった場合(S105/No)、処理部340は処理をS109に進め、ユーザ登録が行われていた場合(S105/Yes)、処理部340は処理をS113に進める。
 ユーザ登録が行われていなかった場合(S105/No)、処理部340は、顧客の特徴情報や識別情報を記憶部360に保存する(S109)。なお、顧客の許可が得られた場合においてのみ、処理部340は、顧客の顔等の特徴情報や識別情報を記憶部360に保存してもよい。
 ユーザ登録が行われていた場合(S105/Yes)またはユーザ登録が完了した際に(S109)、認識部330は、環境内を移動する顧客の情報を認識する(S113)。
 そして、需要推定部341は、顧客の情報に基づき、環境における顧客の需要を推定する(S117)。
 そして、需要推定部341は、顧客の需要が記憶部360に保持されているか否かを判定する(S121)。顧客の需要が保持されていた場合(S121/Yes)、需要推定部341は処理をS125に進め、顧客の需要が保持されていなかった場合(S121/No)、需要推定部341は処理をS129に進める。
 顧客の需要が保持されていた場合(S121/Yes)、需要推定部341は、記憶部360に保持される顧客の需要を更新する(S125)。
 顧客の需要が保持されていなかった場合(S121/No)、需要推定部341は、顧客の需要を記憶部360に保存する(S129)。
 続いて、情報生成部349は、需要推定部341により推定された顧客の需要に対応する参考情報を生成する(S133)。
 通信部310は、情報生成部349により生成された顧客の需要に対応する参考情報を出力装置10に送信し(S137)、本開示に係るサーバ30は処理を終了する。
 以上、本開示に係る顧客の需要に対応する参考情報を生成する動作処理の一例を説明した。続いて、図8を参照し、検討フェーズに対応する参考情報を生成する動作処理の一例を説明する。
 図8は、本開示に係る顧客の検討フェーズに対応する参考情報を生成する動作処理の一例を説明するための説明図である。S101~S113の処理については、図7を参照して説明した内容と重複するため、図8では説明を省略する。
 認識部330により環境内を移動する顧客の情報が認識された際に(S113)、ステータス推定部345は、顧客の情報に基づき、検討ステータスを推定する(S201)。
 そして、ステータス推定部345は、推定した検討ステータスを更新する(S205)。
 続いて、ステータス推定部345は、検討ステータスが第1の所定値以上になったか否かを判定する(S209)。第1の所定値以上になったと判定された場合(S209/Yes)、ステータス推定部345は処理をS217に進め、第1の所定値未満であると判定された場合(S209/No)、ステータス推定部345は処理をS213に進める。
 第1の所定値未満であると判定された場合(S209/No)、ステータス推定部345は、検討ステータスが第2の所定値以下になったか否かを判定する(S213)。第2の所定値以下になったと判定された場合(S213/Yes)、ステータス推定部345は処理をS217に進め、第2の所定値を超えていると判定された場合(S213/No)、ステータス推定部345は処理をS221に進める。
 検討ステータスが第1の所定値以上になったと判定された場合(S209/Yes)、または第2の所定値以下になったと判定された場合(S213/Yes)、ステータス推定部345は検討フェーズを更新する(S217)。
 続いて、情報生成部349は、顧客の検討フェーズに対応する参考情報を生成する(S221)。
 そして、通信部310は、情報生成部349により生成された顧客の需要に対応する参考情報を出力装置10に送信し(S225)、本開示に係るサーバ30は処理を終了する。
 以上、本開示に係る検討フェーズに対応する参考情報を生成する動作処理の一例を説明した。以上説明した動作処理によれば、本開示に係るサーバ30は、環境内を移動する顧客の需要に対応する参考情報を顧客に提供することが可能になる。
 <<4.ハードウェア構成例>>
 以上、本開示に係る実施形態を説明した。上述した情報処理は、ソフトウェアと、以下に説明するサーバ30のハードウェアとの協働により実現される。なお、以下に説明するハードウェア構成は、出力装置10およびセンサ装置20にも適用可能である。
 図9は、本開示に係るサーバ30のハードウェア構成を示したブロック図である。サーバ30は、CPU(Central Processing Unit)3001と、ROM(Read Only Memory)3002と、RAM(Random Access Memory)3003と、ホストバス3004と、を備える。また、サーバ30は、ブリッジ3005と、外部バス3006と、インタフェース3007と、入力装置3008と、出力装置3010と、ストレージ装置(HDD)3011と、ドライブ3012と、通信装置3015とを備える。
 CPU3001は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ30内の動作全般を制御する。また、CPU3001は、マイクロプロセッサであってもよい。ROM3002は、CPU3001が使用するプログラムや演算パラメータ等を記憶する。RAM3003は、CPU3001の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス3004により相互に接続されている。CPU3001、ROM3002およびRAM3003とソフトウェアとの協働により、図2を参照して説明した需要推定部341や情報生成部349などの機能が実現され得る。
 ホストバス3004は、ブリッジ3005を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス3006に接続されている。なお、必ずしもホストバス3004、ブリッジ3005および外部バス3006を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
 入力装置3008は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU3001に出力する入力制御回路などから構成されている。サーバ30のユーザは、該入力装置3008を操作することにより、サーバ30に対して各種のデータを入力したり処理動作を指示したりすることができる。
 出力装置3010は、例えば、液晶ディスプレイ装置、OLED装置およびランプなどの表示装置を含む。さらに、出力装置3010は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置3010は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
 ストレージ装置3011は、データ格納用の装置である。ストレージ装置3011は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置3011は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置3011は、ハードディスクを駆動し、CPU3001が実行するプログラムや各種データを格納する。
 ドライブ3012は、記憶媒体用リーダライタであり、サーバ30に内蔵、あるいは外付けされる。ドライブ3012は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体35に記録されている情報を読み出して、RAM3003に出力する。また、ドライブ3012は、リムーバブル記憶媒体35に情報を書き込むこともできる。
 通信装置3015は、例えば、ネットワーク1に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置3015は、無線LAN対応通信装置であっても、LTE(Long Term Evolution)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
 <<5.補足>>
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、本明細書では環境の一例として物品等の購買が行われる店舗を想定した例を説明したが、本開示に係る環境は係る例に限定されない。例えば、本開示に係る環境は、展示物が展示された会場であってもよい。この場合、需要推定部341は、会場に来場した来場者の需要を推定してもよい。更に、情報生成部349は、来場者の需要に対応する参考情報として、例えば、来場者の需要に合致する展示ブースの紹介に係る情報を生成してもよい。
 また、本開示に係る環境は、無人店舗であってもよいし、有人店舗であってもよい。例えば、本開示に係る環境が無人店舗であった場合、情報生成部349は、顧客の需要に基づき、店員に代わって接客を行う接客対応情報を参考情報として生成してもよい。
 また、記憶部360は、顧客が退店していると判定された際に、当該顧客のデータを破棄してもよいし、退店していない場合、または退店している可能性が低い場合、処理部340は、顧客の特徴情報や識別情報が記憶部360に保持されているか否かを優先的に照合してもよい。これにより、サーバ30の負担を軽減し得る。なお、検出判定部320は、店舗内の顧客の人数を常時判定し、当該人数の変動および顧客の検出の可否に応じて顧客が退店しているか否かを判定してもよい。
 また、本開示に係る情報生成部349は、顧客の特性や作業環境に応じて、生成するUI(User Interface)の領域や色を変更して参考情報を生成してもよい。
 例えば、出力装置10が顧客の視野領域から大きく外れた位置に参考情報を表示する場合、情報生成部349は、音声による通知情報を含めた参考情報を更に生成してもよい。また、出力装置10の一例であるモニターが顧客の視線より高い位置にある場合、サーバ30は、例えば、顧客のスマートフォンに対して参考情報を送信してもよい。
 また、出力装置10にプロジェクタを用いる場合、物品のパッケージと参考情報の提示に用いる色が同系色であった場合、情報生成部349は、当該参考情報の色を変更してもよい。これにより、顧客は、出力された参考情報をより高い視認性で確認し得る。
 また、本開示に係る需要推定部341は、顧客の需要と、センシング情報に基づき認識された物品の情報または環境の情報に基づき、顧客の来店理由を推定してもよい。例えば、需要推定部341は、顧客の購買意思および購買目的が共に無いとして推定する。更に、認識部330が環境の情報として、環境外で雨が降っていると認識した場合、需要推定部341は、雨宿りを顧客の来店理由として推定してもよい。この場合、情報生成部349は、傘の陳列位置や、天気予報に係る情報を参考情報として生成してもよい。なお、需要推定部341は、顧客の需要と、物品の情報と環境の情報に重み付けを行い顧客の来店理由を推定してもよい。これにより、環境における顧客の利便性が更に向上され得る。
 また、本明細書では、顧客の事前情報を取得する方法の一例として、モニターMを環境の出入り口周辺に配置する例を説明したが、例えば、ユーザ登録が完了した顧客は、例えばスマートフォン等の携帯端末を用いて、予め顧客の趣味趣向や物品に対する関心などの各種情報を登録してもよい。予め登録された顧客の事前情報を用いることにより、需要推定部341は、より高い精度で顧客の需要を推定し得る。
 また、本明細書ではサーバ30が情報処理装置である一例を説明したが、出力装置10またはセンサ装置20が情報処理装置であってもよい。例えば、出力装置10は、需要推定部341やステータス推定部345や情報生成部349等の構成を備えてもよい。
 また、本明細書の情報処理システムの処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理システムの処理における各ステップは、フローチャートとして記載した順序と異なる順序や並列的に処理されてもよい。
 また、サーバ30に内蔵されるCPU、ROMおよびRAMなどのハードウェアに、上述したサーバ30の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた非一時的な記憶媒体も提供される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 少なくとも1以上のセンサにより得られたセンシング情報を取得する取得部と、
 前記取得部により取得された前記センシング情報に基づく、前記1以上のセンサが設置された環境を移動するユーザの情報に基づき、前記環境における前記ユーザの需要を推定する推定部と、
 前記推定部により推定された前記ユーザの需要に対応する参考情報を生成する生成部と、
を備える、情報処理装置。
(2)
 前記センシング情報は、前記ユーザの姿勢に係る動作情報、または前記ユーザの視線に係る動作情報のうち少なくともいずれか一方を含み、
 前記ユーザの情報は、前記ユーザの姿勢に係る動作情報に基づく前記ユーザの姿勢に係る変化量、または前記ユーザの視線に係る動作情報に基づく前記ユーザの視線に係る変化量のうち少なくともいずれか一方を含む、
前記(1)に記載の情報処理装置。
(3)
 前記推定部は、
 前記取得部により取得された前記センシング情報に基づく前記環境において停止する前記ユーザの情報に基づき、前記環境における前記ユーザの需要を推定する、
前記(1)または前記(2)に記載の情報処理装置。
(4)
 前記環境は、複数の物品が配置され、
 前記推定部は、
 前記環境に配置された物品に関するユーザの需要を推定する、
前記(1)から前記(3)までのうちいずれか一項に記載の情報処理装置。
(5)
 前記ユーザの情報は、前記ユーザの視線の向きに係る情報を含み、
 前記推定部は、
 前記ユーザの視線の向きに係る情報に基づき、前記ユーザが物品に対して注目する要因を前記ユーザの需要として推定する、
前記(4)に記載の情報処理装置。
(6)
 前記ユーザの情報は、前記ユーザが前記物品を把持したことを示す把持情報を含み、
 前記推定部は、
 前記把持情報に基づき、前記ユーザが物品に対して注目する要因を前記ユーザの需要として推定する、
前記(5)に記載の情報処理装置。
(7)
 前記推定部は、
 前記ユーザの情報に基づき、前記環境における前記ユーザが前記物品に関して検討している段階を示す検討フェーズを推定し、
 前記生成部は、
 前記推定部により推定された前記検討フェーズに対応する参考情報を生成する、
前記(4)から前記(6)までのうちいずれか一項に記載の情報処理装置。
(8)
 前記推定部は、
 前記ユーザの情報に基づく検討ステータスが第1の基準を満たした際に、前記検討フェーズをより検討が進められた段階として推定し、前記検討ステータスが第2の基準を満たした際に、前記検討フェーズをより検討が進められていない段階として推定する、
前記(7)に記載の情報処理装置。
(9)
 前記第1の基準は、前記検討ステータスが第1の所定値以上になったことを含み、
 前記第2の基準は、前記検討ステータスが第2の所定値以下になったことを含む、
前記(8)に記載の情報処理装置。
(10)
 前記ユーザの情報と、前記ユーザの需要とを対応付けて保持する記憶部、
を更に備え、
 前記生成部は、
 前記取得部により取得された前記ユーザの情報と、前記記憶部により前記ユーザの情報に対応付けて保持された前記ユーザの需要に基づき、前記参考情報を生成する、
前記(1)から前記(9)までのうちいずれか一項に記載の情報処理装置。
(11)
 前記環境に配置された出力装置、または前記ユーザが装着する出力装置のうち少なくともいずれか一方に対して、前記生成部により生成された前記参考情報を送信する通信部、
を更に備える、
前記(1)から前記(10)までのうちいずれか一項に記載の情報処理装置。
(12)
 前記ユーザの需要は、前記環境における前記ユーザの物品を購買する意思を示す購買意思の有無を含み、
 前記生成部は、
 前記ユーザの購買意思の有無に応じて参考情報を生成する、
前記(1)から前記(11)までのうちいずれか一項に記載の情報処理装置。
(13)
 前記ユーザの需要は、前記環境における前記ユーザの特定の物品を購買する目的を示す購買目的の有無を含み、
 前記生成部は、
 前記ユーザの購買目的の有無に応じて参考情報を生成する、
前記(12)に記載の情報処理装置。
(14)
 前記生成部は、
 前記推定部により前記購買目的が有ると推定された際に、前記購買目的の対象となる物品に関する参考情報を生成する、
前記(13)に記載の情報処理装置。
(15)
 前記生成部は、
 前記推定部により前記購買意思が有ると推定され、且つ、前記購買目的が無いと推定された際に、前記環境に配置された物品の種類に対する前記ユーザの関心を特定する参考情報を生成する、
前記(14)に記載の情報処理装置。
(16)
 前記生成部は、
 前記ユーザの関心を特定する参考情報により特定された前記ユーザに関心のある物品の種類に関する参考情報を生成する、
前記(15)に記載の情報処理装置。
(17)
 前記生成部は、
 前記推定部により前記購買意思および前記購買目的が無いと推定された際に、前記環境における推奨物品に関する参考情報を生成する、
前記(16)に記載の情報処理装置。
(18)
 前記取得部は、
 前記ユーザが前記環境内を移動する前に取得した前記ユーザの前記環境に入場する目的に係る事前情報を取得し、
 前記推定部は、
 前記取得部により取得された前記事前情報に基づき、前記環境における前記ユーザの需要を推定する、
前記(17)に記載の情報処理装置。
(19)
 少なくとも1以上のセンサにより得られたセンシング情報を取得することと、
 取得された前記センシング情報に基づく、前記1以上のセンサが設置された環境を移動するユーザの情報に基づき、前記環境における前記ユーザの需要を推定することと、
 推定された前記ユーザの需要に対応する参考情報を生成することと、
を含む、コンピュータにより実行される情報処理方法。
(20)
 コンピュータに、
 少なくとも1以上のセンサにより得られたセンシング情報を取得する取得機能と、
 前記取得機能により取得された前記センシング情報に基づく、前記1以上のセンサが設置された環境を移動するユーザの情報に基づき、前記環境における前記ユーザの需要を推定する推定機能と、
 前記推定機能により推定された前記ユーザの需要に対応する参考情報を生成する生成機能と、
を実現させる、プログラム。
10  出力装置
20  センサ装置
30  サーバ
310  通信部
320  検出判定部
330  認識部
340  処理部
 341  需要推定部
 345  ステータス推定部
 349  情報生成部
350  タイマー
360  記憶部

Claims (20)

  1.  少なくとも1以上のセンサにより得られたセンシング情報を取得する取得部と、
     前記取得部により取得された前記センシング情報に基づく、前記1以上のセンサが設置された環境を移動するユーザの情報に基づき、前記環境における前記ユーザの需要を推定する推定部と、
     前記推定部により推定された前記ユーザの需要に対応する参考情報を生成する生成部と、
    を備える、情報処理装置。
  2.  前記センシング情報は、前記ユーザの姿勢に係る動作情報、または前記ユーザの視線に係る動作情報のうち少なくともいずれか一方を含み、
     前記ユーザの情報は、前記ユーザの姿勢に係る動作情報に基づく前記ユーザの姿勢に係る変化量、または前記ユーザの視線に係る動作情報に基づく前記ユーザの視線に係る変化量のうち少なくともいずれか一方を含む、
    請求項1に記載の情報処理装置。
  3.  前記推定部は、
     前記取得部により取得された前記センシング情報に基づく前記環境において停止する前記ユーザの情報に基づき、前記環境における前記ユーザの需要を推定する、
    請求項2に記載の情報処理装置。
  4.  前記環境は、複数の物品が配置され、
     前記推定部は、
     前記環境に配置された物品に関するユーザの需要を推定する、
    請求項3に記載の情報処理装置。
  5.  前記ユーザの情報は、前記ユーザの視線の向きに係る情報を含み、
     前記推定部は、
     前記ユーザの視線の向きに係る情報に基づき、前記ユーザが物品に対して注目する要因を前記ユーザの需要として推定する、
    請求項4に記載の情報処理装置。
  6.  前記ユーザの情報は、前記ユーザが前記物品を把持したことを示す把持情報を含み、
     前記推定部は、
     前記把持情報に基づき、前記ユーザが物品に対して注目する要因を前記ユーザの需要として推定する、
    請求項5に記載の情報処理装置。
  7.  前記推定部は、
     前記ユーザの情報に基づき、前記環境における前記ユーザが前記物品に関して検討している段階を示す検討フェーズを推定し、
     前記生成部は、
     前記推定部により推定された前記検討フェーズに対応する参考情報を生成する、
    請求項6に記載の情報処理装置。
  8.  前記推定部は、
     前記ユーザの情報に基づく検討ステータスが第1の基準を満たした際に、前記検討フェーズをより検討が進められた段階として推定し、前記検討ステータスが第2の基準を満たした際に、前記検討フェーズをより検討が進められていない段階として推定する、
    請求項7に記載の情報処理装置。
  9.  前記第1の基準は、前記検討ステータスが第1の所定値以上になったことを含み、
     前記第2の基準は、前記検討ステータスが第2の所定値以下になったことを含む、
    請求項8に記載の情報処理装置。
  10.  前記ユーザの情報と、前記ユーザの需要とを対応付けて保持する記憶部、
    を更に備え、
     前記生成部は、
     前記取得部により取得された前記ユーザの情報と、前記記憶部により前記ユーザの情報に対応付けて保持された前記ユーザの需要に基づき、前記参考情報を生成する、
    請求項9に記載の情報処理装置。
  11.  前記環境に配置された出力装置、または前記ユーザが装着する出力装置のうち少なくともいずれか一方に対して、前記生成部により生成された前記参考情報を送信する通信部、
    を更に備える、
    請求項10に記載の情報処理装置。
  12.  前記ユーザの需要は、前記環境における前記ユーザの物品を購買する意思を示す購買意思の有無を含み、
     前記生成部は、
     前記ユーザの購買意思の有無に応じて参考情報を生成する、
    請求項11に記載の情報処理装置。
  13.  前記ユーザの需要は、前記環境における前記ユーザの特定の物品を購買する目的を示す購買目的の有無を含み、
     前記生成部は、
     前記ユーザの購買目的の有無に応じて参考情報を生成する、
    請求項12に記載の情報処理装置。
  14.  前記生成部は、
     前記推定部により前記購買目的が有ると推定された際に、前記購買目的の対象となる物品に関する参考情報を生成する、
    請求項13に記載の情報処理装置。
  15.  前記生成部は、
     前記推定部により前記購買意思が有ると推定され、且つ、前記購買目的が無いと推定された際に、前記環境に配置された物品の種類に対する前記ユーザの関心を特定する参考情報を生成する、
    請求項14に記載の情報処理装置。
  16.  前記生成部は、
     前記ユーザの関心を特定する参考情報により特定された前記ユーザに関心のある物品の種類に関する参考情報を生成する、
    請求項15に記載の情報処理装置。
  17.  前記生成部は、
     前記推定部により前記購買意思および前記購買目的が無いと推定された際に、前記環境における推奨物品に関する参考情報を生成する、
    請求項16に記載の情報処理装置。
  18.  前記取得部は、
     前記ユーザが前記環境内を移動する前に取得した前記ユーザの前記環境に入場する目的に係る事前情報を取得し、
     前記推定部は、
     前記取得部により取得された前記事前情報に基づき、前記環境における前記ユーザの需要を推定する、
    請求項17に記載の情報処理装置。
  19.  少なくとも1以上のセンサにより得られたセンシング情報を取得することと、
     取得された前記センシング情報に基づく、前記1以上のセンサが設置された環境を移動するユーザの情報に基づき、前記環境における前記ユーザの需要を推定することと、
     推定された前記ユーザの需要に対応する参考情報を生成することと、
    を含む、コンピュータにより実行される情報処理方法。
  20.  コンピュータに、
     少なくとも1以上のセンサにより得られたセンシング情報を取得する取得機能と、
     前記取得機能により取得された前記センシング情報に基づく、前記1以上のセンサが設置された環境を移動するユーザの情報に基づき、前記環境における前記ユーザの需要を推定する推定機能と、
     前記推定機能により推定された前記ユーザの需要に対応する参考情報を生成する生成機能と、
    を実現させる、プログラム。
PCT/JP2022/034885 2021-11-04 2022-09-20 情報処理装置、情報処理方法およびプログラム WO2023079846A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021180139 2021-11-04
JP2021-180139 2021-11-04

Publications (1)

Publication Number Publication Date
WO2023079846A1 true WO2023079846A1 (ja) 2023-05-11

Family

ID=86241283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034885 WO2023079846A1 (ja) 2021-11-04 2022-09-20 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2023079846A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017065017A1 (ja) * 2015-10-16 2017-04-20 ソニー株式会社 情報処理装置、および情報処理方法、ウェアラブル端末、並びにプログラム
JP2018518778A (ja) * 2015-06-24 2018-07-12 マジック リープ, インコーポレイテッドMagic Leap,Inc. 購入のための拡張現実デバイス、システムおよび方法
JP2018195017A (ja) * 2017-05-16 2018-12-06 富士通株式会社 情報処理プログラム、情報処理方法及び情報処理装置
WO2020008938A1 (ja) * 2018-07-05 2020-01-09 パナソニックIpマネジメント株式会社 販売促進システムおよび販売促進方法
JP2021174446A (ja) * 2020-04-30 2021-11-01 株式会社Jvcケンウッド 情報提案装置、情報提案方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018518778A (ja) * 2015-06-24 2018-07-12 マジック リープ, インコーポレイテッドMagic Leap,Inc. 購入のための拡張現実デバイス、システムおよび方法
WO2017065017A1 (ja) * 2015-10-16 2017-04-20 ソニー株式会社 情報処理装置、および情報処理方法、ウェアラブル端末、並びにプログラム
JP2018195017A (ja) * 2017-05-16 2018-12-06 富士通株式会社 情報処理プログラム、情報処理方法及び情報処理装置
WO2020008938A1 (ja) * 2018-07-05 2020-01-09 パナソニックIpマネジメント株式会社 販売促進システムおよび販売促進方法
JP2021174446A (ja) * 2020-04-30 2021-11-01 株式会社Jvcケンウッド 情報提案装置、情報提案方法、およびプログラム

Similar Documents

Publication Publication Date Title
US10417878B2 (en) Method, computer program product, and system for providing a sensor-based environment
US12026748B2 (en) Information collection system, electronic shelf label, electronic pop advertising, and character information display device
US11914785B1 (en) Contactless user interface
US10026116B2 (en) Methods and devices for smart shopping
US11727468B2 (en) Agent robot control system, agent robot system, agent robot control method, and storage medium
JP6502491B2 (ja) 顧客サービスロボットおよび関連するシステムおよび方法
US10867280B1 (en) Interaction system using a wearable device
US8810513B2 (en) Method for controlling interactive display system
US20140363059A1 (en) Retail customer service interaction system and method
US20130201104A1 (en) Multi-user interactive display system
US20130204707A1 (en) Interactive digital advertising system
KR20130117868A (ko) 동적 광고 컨텐츠 선택
CN108175227A (zh) 货架控制方法、装置和电子设备
US20240112252A1 (en) Identifying object of interest for handicapped individuals based on eye movement patterns
US20220180640A1 (en) Electronic device for providing response method, and operating method thereof
WO2023079846A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR102154720B1 (ko) 점포 내의 선반에 비치된 아이템의 구매자를 식별하는 방법 및 그 전자장치
WO2020174537A1 (ja) 情報処理システムおよび情報処理方法
US11295269B2 (en) Cognitive retail facing
US10372297B2 (en) Image control method and device
US20240070729A1 (en) Navigation paths for directing users to locations within a physical retail store using extended reality
EP4332872A1 (en) Information processing device and information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22889670

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE