WO2017163879A1 - 行動分析装置、行動分析システム、行動分析方法及びプログラム - Google Patents

行動分析装置、行動分析システム、行動分析方法及びプログラム Download PDF

Info

Publication number
WO2017163879A1
WO2017163879A1 PCT/JP2017/009246 JP2017009246W WO2017163879A1 WO 2017163879 A1 WO2017163879 A1 WO 2017163879A1 JP 2017009246 W JP2017009246 W JP 2017009246W WO 2017163879 A1 WO2017163879 A1 WO 2017163879A1
Authority
WO
WIPO (PCT)
Prior art keywords
shelf
information
unit
approach
behavior
Prior art date
Application number
PCT/JP2017/009246
Other languages
English (en)
French (fr)
Inventor
準 小林
志傑 斎藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/074,658 priority Critical patent/US11461733B2/en
Priority to JP2018507198A priority patent/JP6665927B2/ja
Publication of WO2017163879A1 publication Critical patent/WO2017163879A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data

Definitions

  • the present invention relates to a behavior analysis device, a behavior analysis system, a behavior analysis method, and a program.
  • Patent Document 1 describes acquiring information such as whether or not a customer has touched a product and whether or not the contacted product has been purchased.
  • Patent Document 1 describes that information such as the display position of a product and the presence / absence of a special sale tag is used for behavior analysis, it is indicated that the shortage status of the product is reflected in the behavior analysis. Not.
  • An object of the present invention is to provide a behavior analysis device, a behavior analysis system, a behavior analysis method, and a program that can solve the above-described problems.
  • the behavior analysis device is displayed on the shelf, the approach information acquiring unit that acquires the approach information indicating the presence or absence of the approach of the person to the shelf on which the plurality of products are displayed.
  • a detecting unit for detecting a missing item position and a missing item among the plurality of items as missing item information, and an analyzing unit for analyzing the person's behavior based on the approach information and the missing item information And comprising.
  • the behavior analysis system includes a sensor that detects the approach of a person to a shelf on which a plurality of products are displayed, and the approach of the person to the shelf on which the plurality of products are displayed.
  • An approach information acquisition unit that acquires approach information indicating the presence or absence of the product
  • a detection unit that detects a position of a missing product and a missing product among the plurality of products displayed on the shelf as missing product information
  • An analysis unit that performs an action analysis of the person based on the approach information and the missing part information.
  • the behavior analysis system includes a behavior analysis device and an output device, and the behavior analysis device indicates an approach indicating whether or not a person approaches a shelf on which a plurality of products are displayed.
  • An approach information acquisition unit that acquires information
  • an analysis unit that performs an action analysis of the person based on the approach information, a position of a missing product among the plurality of products displayed on the shelf, and
  • An output that generates output information based on the missing part information acquired from the behavior analysis device and the analysis result of the behavior analysis device.
  • a generation unit is provided.
  • the behavior analysis method includes an approach information acquisition step of acquiring approach information indicating whether or not a person approaches the shelf on which a plurality of products are displayed, and the behavior analysis method is displayed on the shelf.
  • a missing item detection step of detecting a missing item position and missing item among the plurality of items as missing item information, and analyzing the behavior of the person based on the approach information and the missing item information An analysis step.
  • the program is displayed on the shelf, the approach information acquiring step for acquiring approach information indicating whether or not a person approaches the shelf on which a plurality of products are displayed.
  • a missing item detection step of detecting a missing item position and missing item among the plurality of items as missing item information, and analyzing the behavior of the person based on the approach information and the missing item information.
  • it is explanatory drawing which shows the example of arrangement
  • it is explanatory drawing which shows the example of arrangement
  • It is explanatory drawing which shows the example of a display of the customer action parameter
  • It is explanatory drawing which shows the example of the data structure of the post-association information which the memory
  • FIG. 1 is a schematic block diagram showing a functional configuration of a behavior analysis system according to an embodiment of the present invention.
  • the behavior analysis system 1 includes a pre-shelf behavior measurement sensor 110, a shelf situation photographing device 120, and a behavior analysis device 200.
  • the behavior analysis apparatus 200 includes a communication unit 210, a display unit 220, an operation input unit 230, a storage unit 280, and a control unit 290.
  • the control unit 290 includes an approach information acquisition unit 291, an association unit 292, a detection unit 293, a correction unit 294, a classification unit 295, and an analysis unit 296.
  • the behavior analysis system 1 analyzes a person's behavior in front of the shelf. Specifically, the behavior analysis system 1 acquires an index value indicating the behavior of a person in front of the shelf. The user of the behavior analysis system 1 can grasp the person's pre-shelf behavior with reference to this index value.
  • the shelf front here is the front of the product display shelf (particularly near the front), and the pre-shelf behavior here is an action performed by a person in front of the product display shelf.
  • the commodity display shelf is simply referred to as a shelf.
  • a user of the behavior analysis system 1 is simply referred to as a user.
  • the person who the behavior analysis system 1 analyzes is also called a customer. In other words, the behavior analysis system analyzes the behavior of customers who have visited the store.
  • the shelf front measurement sensor 110 is a sensor provided to detect the shelf front behavior.
  • the pre-shelf behavior measurement sensor 110 for example, a distance sensor provided from the top to the bottom of the front surface of the shelf can be used.
  • the behavior measuring sensor 110 before the shelf detects the horizontal position and the vertical position of the customer's hand in front of the shelf.
  • the behavior analysis device 200 can estimate a product that the customer has reached out based on the position detected by the sensor 110 for measuring behavior in front of the shelf.
  • the shelf situation photographing apparatus 120 includes a camera that is provided in front of the shelf and photographs a moving image or a still image, and photographs the state before the shelf and the state of the shelf continuously or at predetermined time intervals.
  • the behavior analysis apparatus 200 can detect the timing from when the customer stops in front of the shelf until the customer leaves the shelf by using the image captured by the shelf situation imaging device 120. As a result, the behavior analysis apparatus 200 can detect the hand reaching to the shelf performed during the period from when the customer stops in front of the shelf until it leaves, as a series of hand reaching by the same customer. In addition, the behavior analysis apparatus 200 compares the images before and after the customer reaches the shelf, so that the customer has picked up the product and the customer has returned the product to the shelf. Can be detected.
  • FIG. 2 is an explanatory diagram illustrating an arrangement example of the pre-shelf behavior measurement sensor 110 and the shelf situation imaging device 120 when the shelf is viewed from the side.
  • the pre-shelf behavior measurement sensor 110 is installed downward from the ceiling 930 above the entire surface of the shelf 910.
  • the shelf 910 is a plurality of shelves, and a product 920 is placed on each shelf.
  • the behavior measurement sensor 110 before the shelf measures the distance between the behavior measurement sensor 110 itself and the hand. By using the measured distance, the behavior analysis apparatus 200 can determine to which level of the shelf 910 the customer has reached.
  • the camera of the shelf status photographing device 120 is installed at a position and orientation for photographing the shelf 910 from the ceiling 930 in front of the shelf 910.
  • the shelf situation imaging apparatus 120 includes one camera, and the camera is installed at a position and orientation where the entire front surface of the shelf 910 can be captured.
  • the shelf situation imaging device 120 may include a plurality of cameras.
  • FIG. 3 is an explanatory diagram showing an example of the arrangement of the pre-shelf behavior measurement sensor 110 when the shelf is viewed from the front.
  • a plurality of pre-shelf behavior measurement sensors 110 are arranged on the ceiling 930 along the width direction of the shelf 910.
  • the behavior analysis apparatus 200 can determine the position of the hand in the horizontal direction of the shelf 910 by identifying the sensor 110 for measuring the behavior in front of the shelf that has detected the hand.
  • the pre-shelf behavior measuring sensor 110 only needs to be able to detect the position of the hand in the vertical direction of the shelf 910 and the position of the hand in the horizontal direction of the shelf 910 when the customer reaches the shelf 910. .
  • a set of three-dimensional cameras may be installed above the front surface of the shelf 910 as the pre-shelf behavior measurement sensor 110 so that the front surface of the shelf is imaged in the vertical direction.
  • the installation position of the pre-shelf behavior measurement sensor 110 is not limited to the upper side of the shelf 910.
  • the pre-shelf behavior measurement sensor 110 may be installed on the side of the shelf 910 to sense the front surface of the shelf 910 sideways.
  • the behavior analysis device 200 analyzes the behavior in front of the shelf based on the sensing data from the sensor 110 for measuring behavior in front of the shelf. Specifically, as described with reference to FIGS. 2 and 3, when the customer reaches the shelf 910, the behavior analysis apparatus 200 is based on the sensing data from the behavior measuring sensor 110 in front of the shelf. The position of the hand in the vertical direction of the shelf 910 and the position of the hand in the horizontal direction of the shelf 910 are detected. In addition, the behavior analysis apparatus 200 stores the arrangement of the products 920 on the shelf 910 in advance, and estimates the products 920 that the customer has reached out based on the position of the customer's hand. The behavior analysis apparatus 200 analyzes the behavior in front of the shelf and displays the analysis result, such as counting the number of times the customer reaches the product 920 for each product 920.
  • the behavior analysis device 200 detects a missing item of the product 920 on the shelf 910 based on the image taken by the shelf situation photographing device 120.
  • the behavior analysis apparatus 200 reflects the detected shortage of the product 920 in the analysis of the behavior in front of the shelf. For example, when the behavior analysis apparatus 200 counts the number of times the customer did not pick up a predetermined product 920 (for example, the number of times another product 920 was picked up), the period during which the product 920 is missing Are excluded from the counting target. As a result, the behavior analysis apparatus 200 can obtain an analysis result that reduces the possibility that the customer may have a false impression that the product 920 is not attractive because the product 920 is not attractive.
  • the behavior analysis apparatus 200 is configured using, for example, a computer.
  • the communication unit 210 communicates with other devices.
  • the communication unit 210 receives sensing data from the sensor 110 for measuring behavior in front of the shelf. Further, the communication unit 210 receives an image captured by the shelf situation imaging device 120 as image data.
  • the display unit 220 includes a display screen such as a liquid crystal panel or an LED (Light-Emitting Diode) panel, and displays various images according to the control of the display unit 220.
  • the display unit 220 displays a customer behavior index value such as a count result of the number of times the customer reaches for the product.
  • the customer behavior index value here is an index value calculated by the analysis unit 296 regarding the customer behavior. For example, the display unit 220 displays the customer behavior index value superimposed on the image of the shelf 910.
  • FIG. 4 is an explanatory diagram illustrating a display example of customer behavior index values by the display unit 220.
  • the display unit 220 displays an image of the shelf 910 on which the products 920 are arranged in the area A11.
  • the display unit 220 displays the product image with a color corresponding to the number of times the customer has reached the product.
  • the display unit 220 displays a legend indicating the correspondence between the number of times the customer reaches for the product and the color in the area A12. Thereby, the display part 220 has shown the frequency
  • the heat map here is a display method in which the value of each element of the matrix is indicated by color.
  • the product shown in the area A21 is temporarily out of stock, and the display unit 220 displays the number of times the customer reaches each product during the period when the product is out of stock. it's shown.
  • the number of times the customer reaches for the product corresponds to an example of the customer behavior index value.
  • the display unit 220 displays the customer behavior index value in the color attached to the image of the product at the position of the image of the product 920 in the image of the shelf 910.
  • the method of displaying the customer behavior index value by the display unit 220 is not limited to the method of coloring the product image, and any method that can present the customer behavior index value to the user may be used.
  • the display unit 220 may display customer behavior index values on a graph.
  • the operation input unit 230 includes input devices such as a keyboard and a mouse and receives user operations. For example, the operation input unit 230 receives designation of the product by a user operation of clicking the product 920 displayed on the display unit 220 with a mouse. Further, the operation input unit 230 receives a user operation for instructing a condition for calculating a customer behavior index value, such as the number of times the customer reaches each product during a period when the specified product is missing.
  • the storage unit 280 stores various information.
  • the storage unit 280 stores sensing data obtained by the pre-shelf behavior measurement sensor 110, or data obtained by processing the sensing data by the control unit 290.
  • the storage unit 280 stores information that associates the product identification information indicating the product 920 that the customer has reached with the time when the sensor 110 for measuring behavior before the shelf detects the customer's hand.
  • the information which matched goods identification information and the time information which shows sensing time is called post-association information.
  • the associating information is generated by the associating unit 292 and stored in the storage unit 280.
  • the storage unit 280 stores, in the post-association information, information that associates the product identification information indicating the product 920 that the customer has reached with the time when the sensor 110 for measuring the behavior in front of the shelf detects the customer's hand. , The time period from when the customer stops in front of the shelf until the customer leaves the shelf is stored as a series of extension information by the same customer.
  • the product identification information here is information for identifying the product 920 placed on the shelf 910 for each product. In the present embodiment, products having the same specifications (for example, products having the same name) are regarded as the same product. Predetermined information such as a product name may be used as the product identification information, or identification information dedicated to the behavior analysis system 1 may be determined.
  • FIG. 5 is an explanatory diagram showing an example of the data structure of the post-association information stored in the storage unit 280.
  • the storage unit 280 stores a group number, sensing time, and product identification information in association with each other.
  • one set of information in which these are associated is represented by one line of the post-association information. Called minutes.
  • the entire information associated with these is referred to as the entire associated information.
  • the product identification information indicates the product 920 that the customer has reached out, identified based on the sensing data from the sensor for measuring before-shelf behavior 110.
  • the sensing time indicates the time when the pre-shelf behavior measurement sensor 110 detects the object indicated by the sensing data. For example, the time when the communication unit 210 receives sensing data may be used as the sensing time.
  • the group number is used as information for grouping a series of hand stretches detected from when the customer stops in front of the shelf until the customer leaves the shelf.
  • the behavior analysis device 200 detects the timing from when the customer stops in front of the shelf until the customer leaves the shelf, based on the photographed image of the shelf situation photographing device, and the sensing transmitted by the sensor for measuring before the shelf 110 during this period.
  • the same group number is assigned to data-based information (a combination of sensing time and product identification information). Thereby, it can be detected that the same customer has reached the shelf 910 a plurality of times.
  • the information stored in the storage unit 280 is not limited to the information that associates the sensing time and the product identification information shown in the example of FIG.
  • the storage unit 280 may store the sensing data from the pre-shelf behavior measurement sensor 110 and time information indicating the sensing time in association with each other.
  • the storage unit 280 may store information obtained by converting sensing data from the pre-shelf behavior measurement sensor 110 into a vertical position and a horizontal position on the shelf 910 in the form of coordinate values.
  • the storage unit 280 stores shortage period information indicating a shortage start time and a shortage end time when any of the products 920 is missing.
  • FIG. 6 is an explanatory diagram showing an example of the data structure of the shortage period information stored in the storage unit 280. As shown in the figure, the storage unit 280 stores product identification information, a missing item start time, and a missing item end time in association with each other.
  • the product identification information in the shortage period information indicates a missing product.
  • the shortage start time indicates the time when the product indicated by the product identification information becomes a shortage. For example, after the customer picks up the last item of the same product, the time when the customer leaves the shelf can be set as the shortage start time.
  • the shortage end time indicates the time when the shortage of the product indicated by the product identification information ends. For example, the time when the store clerk replenishes the shelf 910 with the corresponding product can be set as the shortage end time.
  • the shortage period information is generated by the detection unit 293. Specifically, when detecting the missing item, the detection unit 293 writes the product identification information and the missing item start time in the missing item period information. When detecting the end of the shortage, the detection unit 293 writes the shortage end time in the corresponding column of the shortage period information. In addition, when distinguishing one set of information in which the product identification information, the missing item start time, and the missing item end time are associated with the whole, the set of information in which these items are associated is used as the missing item period. This is called one line of information. On the other hand, the entire information associated with these is referred to as the entire shortage period information.
  • the storage unit 280 stores images taken by the shelf situation photographing apparatus 120 in time series in association with the photographing time.
  • the storage unit 280 is realized using a storage device included in the behavior analysis apparatus 200.
  • the storage device included in the behavior analysis apparatus 200 may be a storage device built in the behavior analysis apparatus 200 or a storage device externally attached to the behavior analysis apparatus 200.
  • the control unit 290 controls each unit of the behavior analysis apparatus 200 and executes various functions.
  • the control unit 290 is realized by, for example, a CPU (Central Processing Unit) provided in the behavior analysis apparatus 200 reading out a program from the storage unit 280 and executing it.
  • the approach information acquisition unit 291 acquires approach information.
  • the approach information here is information indicating the presence or absence of a person approaching the shelf 910 and the position on the shelf 910 when there is an approach for each time.
  • the approach information acquisition unit 291 converts the sensing data into coordinate values on the front surface of the shelf 910.
  • the storage unit 280 stores in advance information indicating the position at which the pre-shelf behavior measurement sensor 110 detects an object for each pre-shelf behavior measurement sensor 110.
  • the approach information acquisition unit 291 reads, from the storage unit 280, information on the position at which the pre-shelf behavior measurement sensor 110 detects an object, according to the pre-shelf behavior measurement sensor 110 that has detected the object.
  • the approach information acquisition unit 291 reads the distance between the object detected by the front shelf action measurement sensor 110 and the front shelf action measurement sensor 110 itself from the sensing data.
  • the approach information acquisition unit 291 converts the read distance into a vertical position of the shelf 910.
  • the approach information acquisition part 291 produces
  • the approach information indicates whether or not at least a part of the customer's body approaches the shelf 910 based on the presence or absence of the information.
  • the approach information indicates the presence / absence of at least a part of the customer's body and the position on the shelf 910 when there is an approach using coordinate values.
  • the position indicated by the coordinates is a position on the shelf 910 to which at least a part of the customer's body approaches.
  • the associating unit 292 associates the approach information generated by the approach information acquiring unit 291 with one of the products 920 according to the position indicated by the approach information.
  • the storage unit 280 stores in advance information that associates position information detected by the approach information acquisition unit 291 from the sensing data with any of the products 920.
  • the storage unit 280 stores the position of the product 920 on the shelf 910 in advance in the horizontal and vertical two-dimensional coordinate values of the shelf 910.
  • the associating unit 292 reads the product 920 associated with the coordinate value indicated by the approach information generated by the approach information acquiring unit 291 from the storage unit 280, thereby associating the approach information with the product 920.
  • the associating unit 292 generates information associating the product identification information for identifying the associated product 920 with the time information indicating the sensing time, and causes the storage unit 280 to store the information.
  • the information generated by the association unit 292 and associated with the product identification information and the time information indicating the sensing time is referred to as post-association information.
  • the post-association information corresponds to an example of information indicating a product associated with the approach information.
  • the detection unit 293 detects the position of the product displayed on the shelf 910 and the missing item as missing item information. Specifically, the detection unit 293 is a difference image between an image taken by the shelf situation photographing apparatus 120 before the customer stops in front of the shelf and an image taken by the shelf situation photographing apparatus 120 after the customer leaves the shelf. Is calculated. When it is detected from the difference image that a region where the product is lost is newly generated, the detection unit 293 determines that the product is missing.
  • the detection unit 293 converts the position where the missing item is detected in the image of the shelf 910 into the position of the shelf 910. Then, the detection unit 293 refers to the arrangement information of the product 920 in the shelf 910 stored in advance in the storage unit 280, and identifies the product placed at the corresponding position. Alternatively, the detection unit 293 may identify a missing product by analyzing an image before the missing product. For example, the detection unit 293 specifies a missing product by pattern matching an image of the product shown in the area where the missing item is detected with an image of each product stored in the storage unit 280. That is, the detection unit 293 determines the presence or absence of the missing product 920 on the shelf 910, identifies the missing product 920, and the position of the missing product 920 and the missing product 920. The missing item information indicating is generated.
  • the correction unit 294 corrects that the person's hand approaches the position adjacent to the approach position. Specifically, the correction unit 294 reads a position where a person approaches the shelf 910 from the approach information. The correction unit 294 acquires the position information of the product determined by the detection unit 293 as a missing item. For example, the detection unit 293 may detect the position in the image of the shelf 910 of the product for which the shortage is detected, convert the detected position into a position on the shelf 910, and notify the correction unit 294 of the detected position. Alternatively, the storage unit 280 may store the arrangement of each product 920 on the shelf 910 in advance, and the correction unit 294 may read out the position of the product determined by the detection unit 293 from the storage unit 280. .
  • the correcting unit 294 determines whether or not the position where the person approaches the shelf 910 matches the position of the missing item on the shelf 910. When it is determined that the two match, the correction unit 294 corrects the position where the person approaches the shelf 910. The customer is generally considered to reach for the shelf 910 to pick up the product 920 or touch the product 920. Then, the customer is usually considered not to reach the position where the product is missing. On the other hand, when the approach information acquisition unit 291 detects reaching to the position where the product is missing, the cause is that the customer is missing due to the measurement accuracy of the sensor 110 for measuring behavior in front of the shelf. It may be detected that reaching out to the product next to the product being sold is detected as reaching out to the location of the missing product. Therefore, the correction unit 294 corrects the reaching of the missing product to the position of the product adjacent to the missing product. Thereby, the behavior analysis apparatus 200 can detect the product 920 that the customer has reached out with higher accuracy.
  • the classification unit 295 classifies the approach information for each shortage condition detected by the detection unit 293. Specifically, when the detection unit 293 detects a shortage of any of the products 920, the classification unit 295 determines whether the product 920 is out of stock and the approach information according to the time (sensing time). Classify when there are 920 (before shortage and after replenishment).
  • the analysis unit 296 analyzes a person's behavior based on the approach information and the missing part information. Specifically, the analysis unit 296 calculates an index value related to customer behavior using the approach information classified by the classification unit 295. Further, the analysis unit 296 calculates an index value related to customer behavior for the product based on the approach information when the detection unit 293 detects that the specific product is not missing. Thereby, when the corresponding product is missing, the analysis unit 296 ignores information that the customer did not pick up the product as noise. When the behavior analysis system 1 presents this index value to the user, it is possible to reduce the possibility that the user erroneously recognizes that the product is not attractive.
  • the analysis unit 296 calculates an index value related to the customer's behavior based on the approach information when the detection unit 293 detects that at least one of the products is missing.
  • the behavior analysis system 1 presents this index value to the user, so that the user can infer a situation in which the customer has inevitably picked up the product because other products are missing.
  • the behavior analysis system 1 presents the index value to the user, so that the user can obtain information on the customer's behavior in front of the shelf when the popular product disappears. For example, the user can grasp the behavior that the customer returns without stopping in front of the shelf.
  • FIG. 7 is a flowchart illustrating an example of a processing procedure in which the behavior analysis apparatus 200 generates post-association information.
  • the behavior analysis apparatus 200 starts the process of FIG. 5 when the power supply of the behavior analysis apparatus 200 is connected (ON) and becomes an operation state.
  • the approach information acquisition unit 291 determines whether or not a customer stoppage in front of the shelf has been detected (step S ⁇ b> 101). Specifically, when the approach information acquisition unit 291 detects that there is a customer who has not been in front of the shelf in the image captured by the shelf situation imaging device 120, the approach information acquisition unit 291 detects the stop of the customer in front of the shelf. It is determined that When a plurality of customers are shown in the image photographed by the shelf situation photographing device 120, the approach information acquisition unit 291 may determine whether or not the customer's stop is detected for each of the plurality of customers.
  • step S101: NO the approach information acquisition unit 291 returns to step S101. That is, the behavior analysis apparatus 200 waits for a customer to drop in front of the shelf. If it is determined in step S101 that a customer stoppage has been detected in front of the shelf (step S101: YES), the approach information acquisition unit 291 determines a group number for the customer stoppage (step S102). For example, the initial value of the group number may be set to 0, and the approach information acquisition unit 291 may add 1 to the group number each time a customer stops in front of the shelf is detected.
  • the approach information acquisition unit 291 determines whether or not a customer leaving from the shelf has been detected (step S103). Specifically, the approach information acquisition unit 291 detects the leaving of the customer from the front of the shelf when it is detected from the image taken by the shelf situation photographing device 120 that there is no customer who has been in front of the shelf. It is determined that When a plurality of customers are reflected in the image captured by the shelf situation photographing apparatus 120, the approach information acquisition unit 291 may determine whether or not the customer has left for each of the plurality of customers. When it is determined that a customer stoppage from the shelf has been detected (step S103: YES), the approach information acquisition unit 291 returns to step S101.
  • step S103 If it is determined in step S103 that a customer stoppage from the front of the shelf has not been detected (step S103: NO), the approach information acquisition unit 291 has acquired sensing data from the sensor 110 for measuring the behavior in front of the shelf. Is determined (step S104). Specifically, the approach information acquisition unit 291 determines whether or not the communication unit 210 has received sensing data.
  • step S104 NO
  • the approach information acquisition unit 291 returns to step S104. That is, the behavior analysis apparatus 200 waits for sensing data from the shelf front behavior measurement sensor 110.
  • step S104 that sensing data has been acquired
  • step S105 the approach information acquisition unit 291 converts the sensing data received by the communication unit 210 into a two-dimensional coordinate value on the front surface of the shelf 910, and generates approach information based on the obtained two-dimensional coordinate value.
  • the associating unit 292 generates post-association information based on the two-dimensional coordinate value obtained in step S105 (step S106). Specifically, the associating unit 292 uses information obtained by combining the group number determined in step S102, the sensing time, and the product identification information obtained from the two-dimensional coordinate values in the example of the data structure in FIG. Thus, it is generated as post-correlation information for one line.
  • the associating unit 292 stores the post-associating information (information for one line) obtained in step S106 in the storage unit 280 (step S107). The associating unit 292 returns to step S103 after step S107.
  • FIG. 8 is a flowchart illustrating an example of a processing procedure in which the behavior analysis apparatus 200 generates the shortage period information.
  • the behavior analysis apparatus 200 starts the process of FIG. 5 when the power supply of the behavior analysis apparatus 200 is connected (ON) and becomes an operation state.
  • the detection unit 293 determines whether or not a customer leaving from the shelf has been detected (step S ⁇ b> 201). Specifically, the detection unit 293 compares the image most recently captured by the shelf situation photographing apparatus 120 with the image photographed by the shelf situation photographing apparatus 120 a predetermined time before (for example, 30 seconds before). When it is detected that the customer who has been shown for a predetermined time is not shown in the latest image, the detection unit 293 determines that the customer has left the front of the shelf.
  • a predetermined time before for example, 30 seconds before
  • the detection unit 293 When it is determined that the customer's leaving from the shelf is not detected (step S201: NO), the detection unit 293 returns to step S201.
  • the detection unit 293 acquires a difference image between the customer before the shelf and the customer leaving from the shelf. (Step S202). In this case, the detection unit 293 acquires the image after the customer has left from the shelf in the latest image in step S201.
  • the detecting unit 293 refers to the captured images of the shelf situation imaging device 120 stored in the storage unit 280 in time series (that is, from the present to the past), and the image before the customer stops in front of the shelf. get.
  • the detection unit 293 calculates a difference image between an image before the customer stops before the shelf and an image after the customer leaves from the shelf.
  • the detection unit 293 analyzes the difference image obtained in step S202 and determines whether or not the start of the shortage of any product 920 is detected (step S203). Specifically, when the detection unit 293 detects that the product shown in the past image is not shown in the latest image for the difference area indicated by the difference image, the detection unit 293 starts the shortage. It is determined that it has been detected.
  • the detection unit 293 acquires product identification information indicating the product determined to be a shortage start (step S204). Specifically, as described above, the detection unit 293 identifies a missing product based on the position where the missing item is detected, and acquires product identification information indicating the corresponding product. Alternatively, as described above, the detection unit 293 may identify a product that is missing due to pattern matching based on the image of the product for which the missing item is detected, and acquire product identification information indicating the product. .
  • the detecting unit 293 registers the shortage start information (step S205).
  • the shortage start information here is a combination of the product identification information and the shortage start time in the shortage period information. Specifically, the detection unit 293 newly generates one line of the shortage period information, and identifies the product that has detected the shortage start and the shortage start time (for example, the shelf acquired in step S201). (Shooting time of latest image of situation photographing apparatus 120) is written. In step S205, the detection unit 293 leaves the missing item end time in one line of the newly generated missing item period information blank.
  • the detection unit 293 analyzes the difference image obtained in step S202 and determines whether or not the end of the shortage of any product 920 is detected (step S206). Specifically, when the detection unit 293 detects that the product that was not shown in the past image is shown in the latest image for the difference area indicated by the difference image, the detection unit 293 ends the shortage Is determined to have been detected.
  • the detection unit 293 acquires the product identification information indicating the product determined to be the end of the shortage (step S207). Specifically, the detection unit 293 specifies a product that is out of stock based on the position where the end of the stockout is detected, and acquires product identification information indicating the product. Alternatively, the detection unit 293 may identify a product that is out of stock by pattern matching based on the image of the product that has detected the end of the shortage, and acquire product identification information indicating the product.
  • the detection unit 293 registers the shortage end information (step S208).
  • the shortage end information here is a shortage end time in the shortage period information.
  • the detection unit 293 detects a line in which the product identification information corresponds to the product identification information acquired in step S207 and the missing item end time is blank in the shortage period information.
  • the detection unit 293 writes the shortage end time (for example, the photographing time of the latest image of the shelf situation photographing device 120 acquired in step S201) in the shortage end time column of the detected row.
  • step S203 determines in step S203 that the start of a shortage has not been detected. If the detection unit 293 determines in step S206 that the end of the shortage has not been detected (step S206: NO), the process returns to step S201.
  • the behavior analysis system 1 may include a distance sensor array in which distance sensors that measure a distance from the front of the shelf 910 toward the shelf 910 are arranged over the entire front surface of the shelf 910.
  • the detection unit 293 determines that the product 920 placed at the corresponding position is missing.
  • POS Point Of Sale
  • FIG. 9 is a flowchart illustrating an example of a processing procedure in which the behavior analysis apparatus 200 classifies approach information and calculates a customer behavior index value.
  • the behavior analysis apparatus 200 receives a user operation instructing to calculate a customer behavior index value
  • the behavior analysis apparatus 200 performs the processing illustrated in FIG.
  • the classification unit 295 acquires information indicating the classification condition for classifying the approach information (step S301).
  • the classification unit 295 reads out a classification condition included in a user operation that instructs to calculate a customer behavior index value.
  • the classification unit 295 acquires period information indicating a period for which a customer behavior index value is to be calculated (step S302). For example, the classification unit 295 reads period information included in a user operation that instructs to calculate a customer behavior index value. When there is no instruction for the period, the classification unit 295 may target all approach information stored in the storage unit 280.
  • the control unit 290 starts a loop L11 that performs processing for each piece of approach information corresponding to the period obtained in step S302 (step S303).
  • the approach information that is the processing target in the loop L11 is referred to as target approach information.
  • the classification unit 295 determines whether the target approach information meets the classification condition obtained in step S301 (step S304). For example, when the classification condition is to exclude a period in which a certain product is a missing item, the classification unit 295 reads the corresponding period from the missing item period information stored in the storage unit 280. In this case, since it is a condition that it does not correspond to the read period, the classification unit 295 determines that the time indicated by the approach information is outside the shortage period (the condition obtained in step S301). Classification condition).
  • the analysis unit 296 adds up the target approach information (step S305). In the case where it is instructed to count the number of customer's hand reaching for each product, the analysis unit 296 adds the number of hand reaching to the product indicated by the target approach information once.
  • the control unit 290 performs termination processing of the loop L11 (step S306). Specifically, the control unit 290 determines whether or not the processing has been completed for all the approach information to be processed in the loop L11. If it is determined that unprocessed approach information remains, the control unit 290 returns to step S303 and continues to perform the process of the loop L11 on the unprocessed approach information. When the control unit 290 determines that the processing has been completed for all the approach information to be processed in the loop L11, the control unit 290 ends the loop L11.
  • step S306 the analysis part 296 displays the total result of approach information on the display part 220 (step S307).
  • the control unit 290 ends the process of FIG. 9 after step S307. If the classification unit 295 determines in step S304 that the classification condition is not met (step S304: NO), the control unit 290 proceeds to step S306.
  • the approach information acquisition unit 291 acquires the approach information indicating whether or not a person approaches the shelf 910 on which the product 920 is displayed.
  • the detection unit 293 detects the position of the product displayed on the shelf 910 and the missing item as missing item information.
  • the analysis unit 296 analyzes a person's behavior based on the approach information and the missing part information. Thereby, in the behavior analysis system 1, the shortage status of the product can be reflected in the behavior analysis of the customer in front of the shelf. According to the behavior analysis system 1, more accurate behavior analysis can be performed in this respect.
  • the approach information includes information on an approach position indicating a position where a human hand approaches the shelf.
  • the analysis unit 296 analyzes the behavior of the person based on the missing item information of the product corresponding to the approach position. As a result, the behavior analysis system 1 can analyze the relationship between the product that the person has reached out of hand and the missing item, and can perform more detailed analysis in this respect.
  • the correction unit 294 corrects that the person's hand approaches the position adjacent to the approach position.
  • the analysis unit 296 performs a human behavior analysis based on the correction by the correction unit 294. As described above, the behavior analysis system 1 can perform behavior analysis with higher accuracy by the correction unit 294 correcting the position of the person (particularly, the position of the hand).
  • the analysis unit 296 ignores the approach information when it is determined that the product corresponding to the approach position is missing. Thereby, in the behavior analysis system 1, the data when the analysis object goods are missing can be removed as noise. According to the behavior analysis system 1, more accurate behavior analysis can be performed in this respect.
  • the analysis unit 296 analyzes the behavior of the person based on the approach information when the detection unit 293 detects that at least one of the products is missing. Thereby, in the behavior analysis system 1, it is possible to analyze the behavior of the customer when the product is missing. For example, the user can use the behavior analysis system 1 to grasp whether a customer approaches the shelf when a certain product is missing or a popular item is missing. Can do.
  • the behavior analysis system may perform processing in consideration of missing item information after analyzing the behavior of the person.
  • FIG. 10 is a schematic block diagram illustrating an example of a functional configuration of the behavior analysis system in the case of performing processing that takes into account missing item information after performing behavior analysis of a person.
  • the behavior analysis system 2 includes a pre-shelf behavior measurement sensor 110, a shelf situation photographing device 120, a behavior analysis device 310, and an output device 320.
  • the behavior analysis device 310 includes a first communication unit 311, a display unit 220, an operation input unit 230, a first storage unit 312, and a first control unit 313.
  • the first control unit 313 includes an approach information acquisition unit 291, an association unit 292, an analysis unit 314, and a detection unit 315.
  • the output device 320 includes a second communication unit 321, a second storage unit 322, and a second control unit 323.
  • the second control unit 323 includes an output generation unit 324.
  • the functions of the pre-shelf behavior measurement sensor 110, the shelf situation imaging device 120, the display unit 220, the operation input unit 230, the approach information acquisition unit 291 and the association unit 292 are illustrated in FIG. 1, the same reference numerals as those in FIG. 1 are attached, and the description thereof is omitted.
  • the behavior analysis device 310 is different from the behavior analysis device 200 of FIG. 1 in that the behavior analysis device 310 does not perform processing for reflecting the result of shortage detection (processing of the detection unit 293) in behavior analysis. This is because, in the configuration of FIG. 10, the output device 320 performs a process of reflecting the missing part detection result in the behavior analysis.
  • the behavior analysis apparatus 310 corrects the position of a person's hand (processing of the correction unit 294) and classifies approach information (of the classification unit 295). (Processing) is not performed. Otherwise, the behavior analysis apparatus 310 is the same as the behavior analysis apparatus 200 of FIG.
  • the first communication unit 311 communicates with other devices. In particular, the first communication unit 311 communicates with the pre-shelf behavior measurement sensor 110 and receives sensor data. The 1st communication part 311 communicates with the shelf condition imaging device 120, and receives imaging
  • the first storage unit 312 stores various data, similar to the storage unit 280 of FIG. Similar to the control unit 290 in FIG. 1, the first control unit 313 controls each unit of the behavior analysis apparatus 310 and executes various processes.
  • the analysis unit 314 analyzes a person's behavior based on the approach information. Using the post-association information generated by the association unit 292, the analysis unit 314 performs analysis such as detecting a product that a person who has picked up a certain product further picks up. Similar to the detection unit 293 in FIG. 1, the detection unit 315 detects the position of the product displayed on the shelf and the missing item as missing item information.
  • the output device 320 edits the analysis result by the behavior analysis device 310 based on the shortage status of the product. Specifically, the output device 320 deletes, as noise, information on a period during which a product to be analyzed is missing from the analysis result by the behavior analysis device 310.
  • the second communication unit 321 communicates with other devices. In particular, the second communication unit 321 communicates with the behavior analysis device 310 to receive the behavior analysis result and the shortage detection result by the behavior analysis device 310. The second communication unit 321 also transmits the output of the output device 320 (the behavior analysis result edited by the output device 320) to another device.
  • the second storage unit 322 stores various data.
  • the second control unit 323 controls each unit of the output device 320 and executes various processes.
  • the output generation unit 324 deletes, as noise, information on a period during which the analysis target product is missing from the analysis result by the behavior analysis device 310.
  • the output generation unit 324 generates output information obtained by deleting noise from the analysis result.
  • the behavior analysis system 2 deletes, as noise, information on a period in which a product to be analyzed is missing from the behavior analysis result of the person (customer) in front of the shelf. According to the behavior analysis system 2, more accurate behavior analysis can be performed in this respect.
  • FIG. 11 is an explanatory diagram showing the minimum configuration of the behavior analysis apparatus according to the present invention.
  • the behavior analysis apparatus 10 shown in the figure includes an approach information acquisition unit 11, a detection unit 12, and an analysis unit 13.
  • the approach information acquisition unit 11 acquires approach information indicating whether or not a person is approaching a shelf on which products are displayed.
  • the detection unit 12 detects the position of the product displayed on the shelf and the missing item as missing item information.
  • the analysis unit 13 performs an action analysis of the person based on the approach information and the missing part information.
  • the behavior analysis apparatus 10 can reflect the shortage status of the product in the behavior analysis of the customer in front of the shelf. According to the behavior analysis device 10, more accurate behavior analysis can be performed in this respect.
  • FIG. 12 is an explanatory diagram showing the minimum configuration of the behavior analysis system according to the present invention.
  • the behavior analysis system 20 shown in the figure includes a pre-shelf behavior measurement sensor 21, an approach information acquisition unit 22, a detection unit 23, and an analysis unit 24.
  • the pre-shelf behavior measurement sensor 21 detects the approach of a person to the shelf on which the product is displayed.
  • the approach information acquisition unit 22 acquires approach information indicating whether or not a person approaches the shelf on which the product is displayed based on the sensing data of the pre-shelf behavior measurement sensor.
  • the detection unit 23 detects the position of the product displayed on the shelf and the missing item as missing item information.
  • the analysis unit 24 analyzes a person's behavior based on the approach information and the missing part information. Thereby, in the behavior analysis system 20, the shortage status of the product can be reflected in the behavior analysis of the customer in front of the shelf. According to the behavior analysis system 20, more accurate behavior analysis can be performed in this respect.
  • Computer-readable programs for realizing all or part of the functions of the control unit 290, the approach information acquisition unit 11, the detection unit 12, the analysis unit 13, the approach information acquisition unit 22, the detection unit 23, and the analysis unit 24 The processing of each unit may be performed by recording on a recording medium, reading the program recorded on the recording medium into a computer system, and executing the program.
  • Computer-readable recording medium refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in a computer system.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • the present invention can be applied to uses where it is indispensable to reflect the shortage status of products in behavior analysis.

Abstract

行動分析装置が、複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析部と、を備える。

Description

行動分析装置、行動分析システム、行動分析方法及びプログラム
　本発明は、行動分析装置、行動分析システム、行動分析方法及びプログラムに関する。
　顧客の購買特性を把握する等の目的で店舗における顧客の行動分析を行う場合がある。例えば、特許文献１には、商品に対する顧客の接触の有無、接触した商品を購入したか否か等の情報を取得することが記載されている。
特開２０１１－２５３３４４号公報
　商品が欠品した場合、欠品が顧客の行動に影響を与える可能性がある。従って、行動分析の精度を高めるために、商品の欠品状況を行動分析に反映させることが好ましい。
　これに対し、特許文献１には、商品の陳列位置や特売札の有無等の情報を行動分析に用いることが記載されているものの、商品の欠品状況を行動分析に反映させることは示されていない。
　本発明は、上述の課題を解決することのできる行動分析装置、行動分析システム、行動分析方法及びプログラムを提供することを目的としている。
　本発明の第１の態様によれば、行動分析装置は、複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析部と、を備える。
　本発明の第２の態様によれば、行動分析システムは、複数の商品が陳列された棚への人物の接近を検出するセンサと、前記複数の商品が陳列された前記棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析部と、を備える。
　本発明の第３の態様によれば、行動分析システムは、行動分析装置と出力装置とを備え、前記行動分析装置は、複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、前記接近情報に基づいて、前記人物の行動分析を行う分析部と、前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、を備え、前記出力装置は、前記行動分析装置から取得した前記欠品情報と前記行動分析装置の分析結果とに基づいて出力情報を生成する出力生成部を備える。
　本発明の第４の態様によれば、行動分析方法は、複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得ステップと、前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する欠品検出ステップと、前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析ステップと、を含む。
　本発明の第５の態様によれば、プログラムは、コンピュータに、複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得ステップと、前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する欠品検出ステップと、前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析ステップと、を実行させるためのプログラムである。
　この発明によれば、商品の欠品状況を行動分析に反映させることができる。
本発明の一実施形態に係る行動分析システムの機能構成を示す概略ブロック図である。 同実施形態で、棚を横から見た場合の棚前行動計測用センサ及び棚状況撮影装置の配置例を示す説明図である。 同実施形態で、棚を前から見た場合の棚前行動計測用センサの配置例を示す説明図である。 同実施形態に係る表示部による顧客行動指標値の表示例を示す説明図である。 同実施形態に係る記憶部が記憶する対応付け後情報のデータ構造の例を示す説明図である。 同実施形態に係る記憶部が記憶する欠品期間情報のデータ構造の例を示す説明図である。 同実施形態に係る行動分析装置が対応付け後情報を生成する処理手順の例を示すフローチャートである。 同実施形態に係る行動分析装置が欠品期間情報を生成する処理手順の例を示すフローチャートである。 同実施形態に係る行動分析装置が接近情報を分類して顧客行動指標値を算出する処理手順の例を示すフローチャートである。 同実施形態に係る行動分析システムが、人物の行動分析を行った後に欠品情報を加味した処理を行う場合の機能構成の例を示す概略ブロック図である。 本発明に係る行動分析装置の最小構成を示す説明図である。 本発明に係る行動分析システムの最小構成を示す説明図である。
　以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、本発明の一実施形態に係る行動分析システムの機能構成を示す概略ブロック図である。同図に示すように、行動分析システム１は、棚前行動計測用センサ１１０と、棚状況撮影装置１２０と、行動分析装置２００とを備える。行動分析装置２００は、通信部２１０と、表示部２２０と、操作入力部２３０と、記憶部２８０と、制御部２９０とを備える。制御部２９０は、接近情報取得部２９１と、対応付け部２９２と、検出部２９３と、補正部２９４と、分類部２９５と、分析部２９６とを備える。
　行動分析システム１は、棚前における人物の行動を分析する。具体的には、行動分析システム１は、棚前における人物の行動を示す指標値を取得する。行動分析システム１のユーザは、この指標値を参照して人物の棚前行動を把握することができる。ここでいう棚前は、商品陳列棚の前（特に、前面付近）であり、ここでいう棚前行動は、人物が商品陳列棚の前で行う行動である。以下では商品陳列棚を単に棚と称する。行動分析システム１のユーザを単にユーザと称する。
　以下では、行動分析システム１が分析対象とする人物を顧客とも称する。すなわち、行動分析システムは、店舗を訪れた顧客の行動分析を行う。
　棚前行動計測用センサ１１０は、棚前行動を検出するために設けられたセンサである。棚前行動計測用センサ１１０として、例えば棚の前面の上方から下方に向けて設けられた距離センサを用いることができる。顧客が棚に手を伸ばした場合に、棚前行動計測用センサ１１０が棚前における顧客の手の水平方向の位置及び垂直方向の位置を検出する。行動分析装置２００は、棚前行動計測用センサ１１０により検出された位置に基づいて、顧客が手を伸ばした商品を推定することができる。
　棚状況撮影装置１２０は、棚の前方に設けられて動画像又は静止画像を撮影するカメラを備え、連続的に或いは所定時間間隔毎に、棚前の様子及び棚の様子を撮影する。
　棚状況撮影装置１２０が撮影する画像により、行動分析装置２００は、顧客が棚前に立ち寄ってから棚前を立ち去るまでのタイミングを検出することができる。これにより、行動分析装置２００は、顧客が棚前に立ち寄ってから立ち去るまでの期間に行われた棚への手伸ばしを、同一顧客による一連の手伸ばしとして検出することができる。
　また、行動分析装置２００は、顧客が棚へ手を伸ばした前後の画像を比較することで、顧客が商品を手に取ったこと、及び、顧客が手に取った商品を棚に戻したことを検出することができる。
　図２及び図３を参照して棚前行動計測用センサ１１０及び棚状況撮影装置１２０の配置の例について説明する。
　図２は、棚を横から見た場合の棚前行動計測用センサ１１０及び棚状況撮影装置１２０の配置例を示す説明図である。同図の例で棚前行動計測用センサ１１０は、棚９１０の全面の上方の天井９３０から下方に向けて設置されている。棚９１０は複数段の棚であり、それぞれの段に商品９２０が置かれている。顧客が棚９１０に手を伸ばした際、棚前行動計測用センサ１１０が棚前行動計測用センサ１１０自らと手との距離を測定する。測定された距離を用いることで、行動分析装置２００は、顧客が棚９１０の何段目に手を伸ばしたかを判定することができる。
　棚状況撮影装置１２０のカメラは、棚９１０の前方の天井９３０から棚９１０を撮影する位置及び向きに設置されている。例えば、棚状況撮影装置１２０が１台のカメラを備え、当該カメラを棚９１０の前面全体を撮影できる位置及び向きに設置する。あるいは、１台のカメラで棚９１０の前面全体を撮影できない場合は、棚状況撮影装置１２０が複数台のカメラを備えるようにしてもよい。
　図３は、棚を前から見た場合の棚前行動計測用センサ１１０の配置例を示す説明図である。同図の例で棚前行動計測用センサ１１０は、棚９１０の幅方向に沿って天井９３０に複数配置されている。顧客が棚９１０に手を伸ばした際、行動分析装置２００は、手を検出した棚前行動計測用センサ１１０を特定することで棚９１０の水平方向における手の位置を判定することができる。
　但し、棚前行動計測用センサ１１０は、顧客が棚９１０に手を伸ばした際に棚９１０の鉛直方向における手の位置、及び、棚９１０の水平方向における手の位置を検出可能であればよい。例えば、棚前行動計測用センサ１１０として１セットの３次元カメラが棚９１０の前面の上方に設置されて棚の前面を鉛直方向に撮像するようにしてもよい。
　棚前行動計測用センサ１１０の設置位置は、棚９１０の上方に限らない。例えば、棚前行動計測用センサ１１０が棚９１０の側方に設置されて棚９１０の前面を横向きにセンシングするようにしてもよい。
　行動分析装置２００は、棚前行動計測用センサ１１０からのセンシングデータに基づいて棚前行動を分析する。
　具体的には、図２及び図３を参照して説明したように、顧客が棚９１０に手を伸ばした際、行動分析装置２００は、棚前行動計測用センサ１１０からのセンシングデータに基づいて、棚９１０の鉛直方向における手の位置、及び、棚９１０の水平方向における手の位置を検出する。また、行動分析装置２００は、棚９１０における商品９２０の配置を予め記憶しており、顧客の手の位置基づいて顧客が手を伸ばした商品９２０を推定する。行動分析装置２００は、顧客が商品９２０に手を伸ばした回数を商品９２０毎に計数するなど、棚前行動の分析を行って分析結果を表示する。
　行動分析装置２００は、棚状況撮影装置１２０が撮影した画像に基づいて棚９１０における商品９２０の欠品を検出する。行動分析装置２００は、検出した商品９２０の欠品状況を棚前行動の分析に反映させる。例えば、行動分析装置２００は、顧客が所定の商品９２０を手に取らなかった回数（例えば、他の商品９２０を手に取った回数）を計数する際、当該商品９２０が欠品している期間を計数対象から除外する。これにより、行動分析装置２００は、当該商品９２０に魅力がないために顧客が当該商品９２０を手に取らかなったといった誤った印象をユーザに与える可能性を低減させた分析結果を得ることができる。
　行動分析装置２００は、例えばコンピュータを用いて構成される。
　通信部２１０は、他機器との通信を行う。通信部２１０は棚前行動計測用センサ１１０からセンシングデータを受信する。また、通信部２１０は、棚状況撮影装置１２０が撮影した画像を画像データにて受信する。
　表示部２２０は、例えば液晶パネル又はＬＥＤ（Light-Emitting Diode）パネル等の表示画面を有し、表示部２２０の制御に従って各種画像を表示する。表示部２２０は、商品に顧客が手を伸ばした回数の計数結果などの顧客行動指標値を表示する。ここでいう顧客行動指標値は、顧客の行動に関して分析部２９６が算出した指標値である。
　例えば、表示部２２０は、顧客行動指標値を棚９１０の画像に重ねて表示する。
　図４は、表示部２２０による顧客行動指標値の表示例を示す説明図である。同図の例で、表示部２２０は、商品９２０が並べられた棚９１０の像を領域Ａ１１に表示している。表示部２２０は、商品の像に顧客が当該商品に手を伸ばした回数に応じた色を付して表示している。表示部２２０は、顧客が商品に手を伸ばした回数と色との対応付けを示す凡例を領域Ａ１２に表示している。これにより、表示部２２０は、顧客が商品に手を伸ばした回数をヒートマップ風に示している。ここでいうヒートマップとは、行列の各要素の値を色で示す表示方法である。
　図４の例では、領域Ａ２１に示されている商品が一時的に欠品しており、表示部２２０は、当該商品が欠品している期間中における顧客の各商品への手伸ばし回数を表示している。
　顧客が商品に手を伸ばした回数は顧客行動指標値の例に該当する。表示部２２０は、棚９１０の画像における商品９２０の像の位置に、当該商品の像に付した色にて顧客行動指標値を表示している。
　但し、表示部２２０が顧客行動指標値を表示する方法は、商品の像に色を付す方法に限らず、顧客行動指標値をユーザに提示できる方法であればよい。例えば、表示部２２０が、顧客行動指標値をグラフに表示するようにしてもよい。
　操作入力部２３０は、例えばキーボード及びマウスなどの入力デバイスを備え、ユーザ操作を受ける。例えば操作入力部２３０は、表示部２２０が表示している商品９２０をマウスクリックするユーザ操作にて、当該商品の指定を受ける。また、操作入力部２３０は、例えば指定された商品が欠品している期間中における顧客の各商品への手伸ばし回数など、顧客行動指標値を算出する条件を指示するユーザ操作を受ける。
　記憶部２８０は、各種情報を記憶する。記憶部２８０は、棚前行動計測用センサ１１０により得られるセンシングデータ、又は、制御部２９０が当該センシングデータを加工したデータを記憶する。例えば、記憶部２８０は、顧客が手を伸ばした商品９２０を示す商品識別情報と、棚前行動計測用センサ１１０が当該顧客の手を検出した時刻とを対応付けた情報を記憶する。以下では、商品識別情報とセンシング時刻を示す時刻情報とを対応付けた情報を対応付け後情報と称する。対応付け後情報は、対応付け部２９２が生成して記憶部２８０に記憶させる。
　記憶部２８０は、対応付け後情報にて、顧客が手を伸ばした商品９２０を示す商品識別情報と、棚前行動計測用センサ１１０が当該顧客の手を検出した時刻とを対応付けた情報を、顧客が棚前に立ち寄ってから棚前を立ち去るまでの期間について同一顧客による一連の手伸ばしの情報として記憶する。
　ここでいう商品識別情報は、棚９１０に置かれた商品９２０を商品毎に識別する情報である。なお、本実施形態では、同一の仕様の商品（例えば、同一の名前の商品）を同一の商品とみなす。商品識別情報として商品名など予め定められた情報を用いるようにしてもよいし、行動分析システム１専用の識別情報を定めておくようにしてもよい。
　図５は、記憶部２８０が記憶する対応付け後情報のデータ構造の例を示す説明図である。同図に示すように、記憶部２８０は、グループ番号と、センシング時刻と、商品識別情報とを対応付けて記憶する。
　なお、グループ番号と、センシング時刻と、商品識別情報とを対応付けた情報の１組分と全体とを区別する場合、これらを対応付けた情報の１組分を、対応付け後情報の１行分と称する。一方、これらを対応付けた情報の全体を、対応付け後情報全体と称する。
　図５の例で、商品識別情報は、棚前行動計測用センサ１１０によるセンシングデータに基づいて特定された、顧客が手を伸ばした商品９２０を示す。
　センシング時刻は、棚前行動計測用センサ１１０が当該センシングデータに示される物体の検出を行った時刻を示す。例えば、センシング時刻として通信部２１０がセンシングデータを受信した時刻を用いるようにしてもよい。
　グループ番号は、顧客が棚前に立ち寄ってから棚前を立ち去るまでに検出された一連の手伸ばしを１つのグループに纏めるための情報として用いられる。行動分析装置２００は、棚状況撮影装置の撮影画像に基づいて、顧客が棚前に立ち寄ってから棚前を立ち去るまでのタイミングを検出し、この期間に棚前行動計測用センサ１１０が送信したセンシングデータに基づく情報（センシング時刻と商品識別情報との組み合わせ）に同一のグループ番号を付す。これにより、同一の顧客が棚９１０に複数回手を伸ばしたことを検出することができる。
　但し、記憶部２８０が記憶する情報は、図５の例に示すセンシング時刻と商品識別情報とを対応付けた情報に限らない。例えば、記憶部２８０が、棚前行動計測用センサ１１０によるセンシングデータとセンシング時刻を示す時刻情報とを対応付けて記憶するようにしてもよい。あるいは、記憶部２８０が、棚前行動計測用センサ１１０によるセンシングデータを棚９１０における垂直方向の位置及び水平方向の位置に変換した情報を座標値の形式で記憶するようにしてもよい。
　記憶部２８０は、商品９２０のいずれかが欠品した場合の欠品開始時刻及び欠品終了時刻を示す欠品期間情報を記憶する。
　図６は、記憶部２８０が記憶する欠品期間情報のデータ構造の例を示す説明図である。同図に示すように、記憶部２８０は、商品識別情報と、欠品開始時刻と、欠品終了時刻とを対応付けて記憶する。
　欠品期間情報における商品識別情報は、欠品した商品を示す。
　欠品開始時刻は、商品識別情報が示す商品が欠品となった時刻を示す。例えば、顧客が同一商品の最後の１個を手に取った後、棚前から立ち去った時刻を欠品開始時刻とすることができる。
　欠品終了時刻は、商品識別情報が示す商品の欠品が終了した時刻を示す。例えば、店員が該当商品を棚９１０に補充した時刻を欠品終了時刻とすることができる。
　欠品期間情報は、検出部２９３によって生成される。具体的には、検出部２９３は、欠品を検出した際に商品識別情報と欠品開始時刻とを欠品期間情報に書き込む。検出部２９３は、欠品の終了を検出した際に、欠品終了時刻を欠品期間情報の該当欄に書き込む。
　なお、商品識別情報と、欠品開始時刻と、欠品終了時刻とを対応付けた情報の１組分と全体とを区別する場合、これらを対応付けた情報の１組分を、欠品期間情報の１行分と称する。一方、これらを対応付けた情報の全体を、欠品期間情報全体と称する。
　記憶部２８０は、棚状況撮影装置１２０が撮影した画像を、撮影時刻と対応付けて時系列に記憶する。
　記憶部２８０は、行動分析装置２００が備える記憶デバイスを用いて実現される。行動分析装置２００が備える記憶デバイスは、行動分析装置２００が内蔵する記憶デバイスであってもよいし、行動分析装置２００に外付けされた記憶デバイスであってもよい。
　制御部２９０は、行動分析装置２００の各部を制御して各種機能を実行する。制御部２９０は、例えば行動分析装置２００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、記憶部２８０からプログラムを読み出して実行することで実現される。
　接近情報取得部２９１は、接近情報を取得する。ここでいう接近情報は、棚９１０への人物の接近の有無及び接近があった場合の棚９１０における位置を時刻毎に示す情報である。
　具体的には、棚前行動計測用センサ１１０が物体（特に、顧客の手）を検出すると、接近情報取得部２９１は、センシングデータを棚９１０の前面における座標値に変換する。
　例えば、棚９１０の水平方向について、棚前行動計測用センサ１１０毎に、当該棚前行動計測用センサ１１０が物体を検出する位置を示す情報を、記憶部２８０が予め記憶しておく。接近情報取得部２９１は、物体を検出した棚前行動計測用センサ１１０に応じて、当該棚前行動計測用センサ１１０が物体を検出する位置の情報を記憶部２８０から読み出す。
　また、接近情報取得部２９１は、棚前行動計測用センサ１１０が検出した物体と棚前行動計測用センサ１１０自らとの距離をセンシングデータから読み取る。接近情報取得部２９１は読み取った距離を棚９１０の鉛直方向の位置に換算する。
　接近情報取得部２９１は、センシング時刻を示す時刻情報としてセンシングデータの受信時刻情報を当該座標値と対応付けることで、接近情報を生成する。この接近情報の存在は、棚前行動計測用センサ１１０が物体を検出したことを示す。
　棚前行動計測用センサ１１０が物体を検出した場合、を顧客の体の少なくとも一部（特に顧客の手）が棚９１０に接近したものとみなす。この点で、接近情報は、当該情報の有無にて棚９１０への顧客の体の少なくとも一部の接近の有無を示す。接近情報は、顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚９１０における位置を座標値にて示す。座標が示す位置は、顧客の体の少なくとも一部が接近した棚９１０における位置である。
　対応付け部２９２は、接近情報取得部２９１が生成した接近情報を、当該接近情報が示す位置に応じていずれかの商品９２０と対応付ける。例えば、記憶部２８０が、接近情報取得部２９１がセンシングデータから検出する位置情報を、商品９２０のいずれかに対応付ける情報を予め記憶しておく。さらに、記憶部２８０は、棚９１０に置かれた商品９２０毎に、当該商品９２０の棚９１０における位置を棚９１０の水平方向及び鉛直方向の二次元座標値にて予め記憶しておく。対応付け部２９２は、接近情報取得部２９１が生成した接近情報が示す座標値に対応付けられている商品９２０を記憶部２８０から読み出すことで、接近情報を商品９２０に対応付ける。
　対応付け部２９２は、対応付けた商品９２０を識別する商品識別情報とセンシング時刻を示す時刻情報とを対応付けた情報を生成して記憶部２８０に記憶させる。上記のように、対応付け部２９２が生成する、商品識別情報とセンシング時刻を示す時刻情報とを対応付けた情報を対応付け後情報と称する。対応付け後情報は、接近情報に対応付けられた商品を示す情報の例に該当する。
　検出部２９３は、棚９１０に陳列されている商品の位置および欠品を欠品情報として検出する。具体的には、検出部２９３は、顧客が棚前に立ち寄る前に棚状況撮影装置１２０が撮影した画像と、顧客が棚前から立ち去った後に棚状況撮影装置１２０が撮影した画像との差分画像を算出する。差分画像にて、商品が無くなった領域が新たに生じたことを検出した場合、検出部２９３は、欠品と判定する。
　欠品と判定した場合、検出部２９３は、棚９１０の画像における欠品を検出した位置を、棚９１０の位置に換算する。そして、検出部２９３は、記憶部２８０が予め記憶している棚９１０における商品９２０の配置情報を参照して、該当位置に置かれていた商品を特定する。
　あるいは、検出部２９３が、欠品前の画像を解析することで、欠品した商品を特定するようにしてもよい。例えば、検出部２９３は、欠品を検出した領域に映っている商品の像を、記憶部２８０が記憶している各商品の像とパタンマッチングすることで、欠品した商品を特定する。
　すなわち、検出部２９３は、棚９１０において欠品している商品９２０の有無を判定し、欠品している商品９２０を特定し、商品９２０の欠品と欠品している商品９２０の位置とを示す欠品情報を生成する。
　補正部２９４は、接近位置に対応する商品が欠品していると判断される場合に、接近位置に隣接した位置に人物の手が接近したものと補正する。
　具体的には、補正部２９４は、棚９１０に人物が接近した位置を接近情報から読み出す。補正部２９４は、検出部２９３が欠品と判定した商品の位置情報を取得する。例えば、検出部２９３が、欠品を検出した商品の棚９１０の画像中における位置を検出し、検出した位置を棚９１０における位置に換算して補正部２９４に通知するようにしてもよい。あるいは、記憶部２８０が、棚９１０における各商品９２０の配置を予め記憶しておき、検出部２９３が欠品と判定した商品の位置を、補正部２９４が記憶部２８０から読み出すようにしてもよい。
　補正部２９４は、棚９１０に人物が接近した位置と、棚９１０における欠品の位置とが一致するか否かを判定する。両者が一致すると判定した場合、補正部２９４は、棚９１０に人物が接近した位置を補正する。
　顧客は一般的には商品９２０を手に取るため、あるいは、商品９２０に触れるために棚９１０に手を伸ばすと考えられる。そうすると、顧客は通常、商品が欠品している位置には手を伸ばさないと考えられる。これに反して、商品が欠品している位置への手伸ばしを接近情報取得部２９１が検出した場合、その原因として、棚前行動計測用センサ１１０の測定精度により、顧客が欠品している商品の隣の商品に手を伸ばしたのを欠品している商品の位置への手伸ばしとして検出したことが考えられる。そこで、補正部２９４は、欠品している商品の位置への手伸ばしを、欠品している商品の隣の商品の位置への手伸ばしに補正する。これにより、行動分析装置２００は、顧客が手を伸ばした商品９２０をより高精度に検出できる。
　分類部２９５は、検出部２９３が検出した欠品の状況毎に接近情報を分類する。具体的には、検出部２９３がいずれかの商品９２０の欠品を検出した場合、分類部２９５は、接近情報をその時刻（センシング時刻）に応じて、当該商品９２０欠品中と、当該商品９２０ありのとき（欠品前、及び、補充後）とに分類する。
　分析部２９６は、接近情報および欠品情報に基づいて、人物の行動分析を行う。具体的には、分析部２９６は、分類部２９５が分類した接近情報を用いて顧客の行動に関する指標値を算出する。
　さらに、分析部２９６は、少なくとも特定の商品が欠品していないことを検出部２９３が検出したときの接近情報に基づいて、当該商品に対する顧客の行動に関する指標値を算出する。これにより、分析部２９６は、該当商品が欠品している場合に、顧客がその商品を手に取らなかったという情報をノイズとして無視する。行動分析システム１が、この指標値をユーザに提示することで、該当商品に魅力がなかったというふうにユーザが誤認識する可能性を低減させることができる。
　分析部２９６は、少なくともいずれかの商品が欠品していることを検出部２９３が検出したときの接近情報に基づいて、顧客の行動に関する指標値を算出する。
　行動分析システム１が、この指標値をユーザに提示することで、ユーザは、他の商品が欠品しているから顧客が仕方なくその商品を手に取ったといった状況を推測することができる。
　また、行動分析システム１が、この指標値をユーザに提示することで、ユーザは、人気商品が無くなった場合の顧客の棚前行動の情報を得ることができる。例えば、ユーザは、顧客が棚前で立ち止まらずに帰ってしまうといった行動を把握することができる。
　図７～図９を参照して、行動分析システム１の動作について説明する。
　図７は、行動分析装置２００が対応付け後情報を生成する処理手順の例を示すフローチャートである。行動分析装置２００は、行動分析装置２００自らの電源を接続（ＯＮ）されて動作状態になると、同図の処理を開始する。
　図７の処理で、接近情報取得部２９１は、棚前への顧客の立ち寄りを検出したか否かを判定する（ステップＳ１０１）。具体的には、接近情報取得部２９１は、棚状況撮影装置１２０が撮影した画像に、棚前に今までいなかった顧客がいることを検出した場合に、棚前への顧客の立ち寄りを検出したと判定する。棚状況撮影装置１２０が撮影した画像に複数の顧客が映っている場合、接近情報取得部２９１が複数の顧客のそれぞれについて当該顧客の立ち寄りを検出したか否かを判定するようにしてもよい。
　棚前への顧客の立ち寄りを検出していないと判定した場合（ステップＳ１０１：ＮＯ）、接近情報取得部２９１はステップＳ１０１へ戻る。すなわち、行動分析装置２００は、棚前への顧客の立ち寄りを待ち受ける。
　ステップＳ１０１で棚前への顧客の立ち寄りを検出したと判定した場合（ステップＳ１０１：ＹＥＳ）、接近情報取得部２９１は、当該顧客の立ち寄りに対するグループ番号を決定する（ステップＳ１０２）。例えば、グループ番号の初期値を０としておき、棚前への顧客の立ち寄りを検出する毎に、接近情報取得部２９１がグループ番号に１を加算するようにしてもよい。
　接近情報取得部２９１は、棚前からの顧客の立ち去りを検出したか否かを判定する（ステップＳ１０３）。具体的には、接近情報取得部２９１は、棚状況撮影装置１２０が撮影した画像で、棚前に今までいた顧客がいなくなっていることを検出した場合に、棚前からの顧客の立ち去りを検出したと判定する。棚状況撮影装置１２０が撮影した画像に複数の顧客が映っていた場合、接近情報取得部２９１が複数の顧客のそれぞれについて当該顧客の立ち去りを検出したか否かを判定するようにしてもよい。
　棚前からの顧客の立ち寄りを検出したと判定した場合（ステップＳ１０３：ＹＥＳ）、接近情報取得部２９１はステップＳ１０１へ戻る。
　ステップＳ１０３で棚前からの顧客の立ち寄りを検出していないと判定した場合（ステップＳ１０３：ＮＯ）、接近情報取得部２９１は、棚前行動計測用センサ１１０からのセンシングデータを取得したか否かを判定する（ステップＳ１０４）。具体的には、接近情報取得部２９１は、通信部２１０がセンシングデータを受信したか否かを判定する。
　センシングデータを取得していないと判定した場合（ステップＳ１０４：ＮＯ）、接近情報取得部２９１はステップＳ１０４へ戻る。すなわち、行動分析装置２００は、棚前行動計測用センサ１１０からのセンシングデータを待ち受ける。
　ステップＳ１０４でセンシングデータを取得したと判定した場合（ステップＳ１０４：ＹＥＳ）、接近情報取得部２９１は、接近情報を生成する（ステップＳ１０５）。具体的には、接近情報取得部２９１は、通信部２１０が受信したセンシングデータを棚９１０の前面における二次元座標値に換算し、得られた二次元座標値に基づいて接近情報を生成する。
　対応付け部２９２は、ステップＳ１０５で得られた二次元座標値に基づいて対応付け後情報を生成する（ステップＳ１０６）。具体的には、対応付け部２９２は、ステップＳ１０２で決定したグループ番号と、センシング時刻と、二次元座標値から得られた商品識別情報とを結合した情報を、図６のデータ構造の例のように１行分の対応付け後情報として生成する。
　対応付け部２９２は、ステップＳ１０６で得られた対応付け後情報（１行分の情報）を記憶部２８０に記憶させる（ステップＳ１０７）。
　対応付け部２９２は、ステップＳ１０７の後、ステップＳ１０３へ戻る。
　図８は、行動分析装置２００が欠品期間情報を生成する処理手順の例を示すフローチャートである。行動分析装置２００は、行動分析装置２００自らの電源を接続（ＯＮ）されて動作状態になると、同図の処理を開始する。
　図８の処理で、検出部２９３は、棚前からの顧客の立ち去りを検出したか否かを判定する（ステップＳ２０１）。具体的には、検出部２９３は、棚状況撮影装置１２０が直近に撮影した画像と、棚状況撮影装置１２０が所定時間前（例えば３０秒前）に撮影した画像とを比較する。所定時間前に映っていた顧客が直近の画像に映っていないことを検出した場合、検出部２９３は、棚前からの顧客の立ち去りを検出したと判定する。
　棚前からの顧客の立ち去りを検出していないと判定した場合（ステップＳ２０１：ＮＯ）、検出部２９３はステップＳ２０１へ戻る。
　棚前からの顧客の立ち去りを検出したと判定した場合（ステップＳ２０１：ＹＥＳ）、検出部２９３は、棚前に顧客が立ち寄る前と、棚前から顧客が立ち去った後との差分画像を取得する（ステップＳ２０２）。この場合、検出部２９３は、棚前から顧客が立ち去った後の画像を、ステップＳ２０１の直近の画像にて取得している。検出部２９３は、記憶部２８０が記憶している棚状況撮影装置１２０の撮影画像を時系列に遡って（すなわち、現在から過去の順に）参照して、棚前に顧客が立ち寄る前の画像を取得する。検出部２９３は、棚前に顧客が立ち寄る前の画像と、棚前から顧客が立ち去った後の画像との差分画像を算出する。
　検出部２９３は、ステップＳ２０２で得られた差分画像を解析して、いずれかの商品９２０の欠品開始を検出したか否か判定する（ステップＳ２０３）。具体的には、検出部２９３は、差分画像が示す差分の領域について、過去の画像で映っていた商品が直近の画像で映っていないことを検出した場合、検出部２９３は、欠品開始を検出したと判定する。
　欠品開始を検出したと判定した場合（ステップＳ２０３：ＹＥＳ）、検出部２９３は、欠品開始と判定した商品を示す商品識別情報を取得する（ステップＳ２０４）。具体的には、検出部２９３は、上述したように欠品を検出した位置に基づいて欠品した商品を特定し、該当商品を示す商品識別情報を取得する。あるいは、検出部２９３は、上述したように、欠品を検出した商品の像に基づいてパタンマッチングにて欠品した商品を特定し、該当商品を示す商品識別情報を取得するようにしてもよい。
　検出部２９３は、欠品開始情報を登録する（ステップＳ２０５）。ここでいう欠品開始情報は、欠品期間情報における商品識別情報と欠品開始時刻との組み合わせである。具体的には、検出部２９３は、欠品期間情報の１行分を新たに生成して、欠品開始を検出した商品の識別情報と欠品開始時刻（例えば、ステップＳ２０１で取得した、棚状況撮影装置１２０の直近の画像の撮影時刻）とを書き込む。ステップＳ２０５では、検出部２９３は、新たに生成した欠品期間情報の１行分における欠品終了時刻を空欄としておく。
　検出部２９３は、ステップＳ２０２で得られた差分画像を解析して、いずれかの商品９２０の欠品終了を検出したか否か判定する（ステップＳ２０６）。具体的には、検出部２９３は、差分画像が示す差分の領域について、過去の画像で映っていなかった商品が直近の画像で映っていることを検出した場合、検出部２９３は、欠品終了を検出したと判定する。
　欠品終了を検出したと判定した場合（ステップＳ２０６：ＹＥＳ）、検出部２９３は、欠品終了と判定した商品を示す商品識別情報を取得する（ステップＳ２０７）。具体的には、検出部２９３は、欠品終了を検出した位置に基づいて欠品終了の商品を特定し、該当商品を示す商品識別情報を取得する。あるいは、検出部２９３が、欠品終了を検出した商品の像に基づいてパタンマッチングにて欠品終了の商品を特定し、該当商品を示す商品識別情報を取得するようにしてもよい。
　検出部２９３は、欠品終了情報を登録する（ステップＳ２０８）。ここでいう欠品終了情報は、欠品期間情報における欠品終了時刻である。具体的には、検出部２９３は、欠品期間情報で、商品識別情報がステップＳ２０７で取得された商品識別情報に該当し、欠品終了時刻が空欄になっている行を検出する。検出部２９３は、検出した行の欠品終了時刻の欄に、欠品終了時刻（例えば、ステップＳ２０１で取得した、棚状況撮影装置１２０の直近の画像の撮影時刻）を書き込む。
　検出部２９３は、ステップＳ２０８の後、ステップＳ２０１へ戻る。
　検出部２９３は、ステップＳ２０３で欠品開始を検出していないと判定した場合（ステップＳ２０３：ＮＯ）、ステップＳ２０５へ進む。
　検出部２９３は、ステップＳ２０６で欠品終了を検出していないと判定した場合（ステップＳ２０６：ＮＯ）、ステップＳ２０１へ戻る。
　但し、検出部２９３が欠品を検出する方法は、図８を参照して説明した方法に限らない。例えば、行動分析システム１が、棚９１０の前方から棚９１０に向かって距離を測定する距離センサが棚９１０の前面全体にわたって配置された距離センサアレイを備えるようにしてもよい。距離センサアレイに含まれる距離センサのいずれかが、棚９１０の奥まで物がないことを検出した場合、検出部２９３は、該当位置に置かれていた商品９２０が欠品したと判定する。
　あるいは、陳列数分の商品９２０が購入されたことをＰＯＳ（Point Of Sale）にて計数した場合、検出部２９３が、当該商品９２０が欠品したと判定するようにしてもよい。
　図９は、行動分析装置２００が接近情報を分類して顧客行動指標値を算出する処理手順の例を示すフローチャートである。行動分析装置２００は、顧客行動指標値を算出するよう指示するユーザ操作を受けると、同図の処理を行う。
　図９の処理にて、分類部２９５は、接近情報を分類する分類条件を示す情報を取得する（ステップＳ３０１）。例えば、分類部２９５は、顧客行動指標値を算出するよう指示するユーザ操作に含まれる分類条件を読み出す。
　分類部２９５は、顧客行動指標値算出の対象とする期間を示す期間情報を取得する（ステップＳ３０２）。例えば、分類部２９５は、顧客行動指標値を算出するよう指示するユーザ操作に含まれる期間情報を読み出す。期間の指示が無い場合、分類部２９５が、記憶部２８０が記憶している全ての接近情報を対象とするようにしてもよい。
　制御部２９０は、ステップＳ３０２で得られた期間に該当する接近情報の各々に対して処理を行うループＬ１１を開始する（ステップＳ３０３）。以下では、ループＬ１１で処理対象となっている接近情報を対象接近情報と称する。
　ループＬ１１の処理で、分類部２９５は、対象接近情報がステップＳ３０１で得られた分類条件に該当するか否かを判定する（ステップＳ３０４）。例えば、ある商品が欠品となっている期間を除外することが分類条件となっている場合、分類部２９５は、記憶部２８０が記憶している欠品期間情報から該当期間を読み出す。この場合、読み出した期間に該当しないことが条件なので、分類部２９５は、接近情報が示す時刻が欠品の期間外であると判定した場合に、ステップＳ３０４での条件（ステップＳ３０１で得られた分類条件）に該当すると判断する。
　分類部２９５が分類条件に該当すると判定した場合（ステップＳ３０４：ＹＥＳ）、分析部２９６が、対象接近情報の集計を行う（ステップＳ３０５）。顧客の手伸ばし回数を商品毎に計数するよう指示されている場合、分析部２９６は、対象接近情報が示す商品への手伸ばし回数を１回加算する。
　制御部２９０は、ループＬ１１の終端処理を行う（ステップＳ３０６）。具体的には、制御部２９０は、ループＬ１１で処理対象となる接近情報の全てに対して処理を完了したか否かを判定する。未処理の接近情報が残っていると判定した場合、制御部２９０は、ステップＳ３０３に戻り、未処理の接近情報に対して引き続きループＬ１１の処理を行う。制御部２９０は、ループＬ１１で処理対象となる接近情報の全てに対して処理を完了したと判定した場合、ループＬ１１を終了する。
　制御部２９０がステップＳ３０６でループＬ１１を終了した場合、分析部２９６は、接近情報の集計結果を表示部２２０に表示させる（ステップＳ３０７）。制御部２９０は、ステップＳ３０７の後、図９の処理を終了する。
　ステップＳ３０４で、分類部２９５が分類条件に該当しないと判定した場合（ステップＳ３０４：ＮＯ）、制御部２９０はステップＳ３０６へ進む。
　以上のように、接近情報取得部２９１は、商品９２０が陳列された棚９１０への人物の接近の有無を示す接近情報を取得する。検出部２９３は、棚９１０に陳列されている商品の位置及び欠品を欠品情報として検出する。分析部２９６は、接近情報および欠品情報に基づいて、人物の行動分析を行う。
　これにより、行動分析システム１では、商品の欠品状況を棚前における顧客の行動分析に反映させることができる。行動分析システム１によれば、この点で、より高精度な行動分析を行うことができる。
　接近情報は、棚における人物の手が接近した位置を示す接近位置の情報を含む。分析部２９６は、接近位置に対応する商品の欠品情報に基づいて、人物の行動分析を行う。
　これにより、行動分析システム１は、人物が手を伸ばした商品と欠品との関係を分析することができ、この点で、より詳細な分析を行うことができる。
　補正部２９４は、接近位置に対応する商品が欠品していると判断される場合に、接近位置に隣接した位置に人物の手が接近したものと補正する。分析部２９６は、補正部２９４による補正に基づいて人物の行動分析を行う。
　このように、補正部２９４が人物の位置（特に、手の位置）を補正することで、行動分析システム１では、より高精度な行動分析を行うことができる。
　分析部２９６は、接近位置に対応する商品が欠品していると判断される場合に、接近情報を無視する。
　これにより、行動分析システム１では、分析対象商品が欠品しているときのデータをノイズとして除去することができる。行動分析システム１によればこの点で、より高精度な行動分析を行うことができる。
　分析部２９６は、少なくともいずれかの商品が欠品していることを検出部２９３が検出したときの接近情報に基づいて、人物の行動分析を行う。
　これにより、行動分析システム１では、商品が欠品しているときの顧客の行動を分析することができる。例えば、ユーザは行動分析システム１を用いることで、ある商品が欠品しているときの代替品や、人気商品が欠品している場合に顧客がその棚に近づくか否かを把握することができる。
　行動分析システムが、人物の行動分析を行った後に欠品情報を加味した処理を行うようにしてもよい。
　図１０は、人物の行動分析を行った後に欠品情報を加味した処理を行う場合の行動分析システムの機能構成の例を示す概略ブロック図である。同図に示すように、行動分析システム２は、棚前行動計測用センサ１１０と、棚状況撮影装置１２０と、行動分析装置３１０と、出力装置３２０とを備える。行動分析装置３１０は、第一通信部３１１と、表示部２２０と、操作入力部２３０と、第一記憶部３１２と、第一制御部３１３とを備える。第一制御部３１３は、接近情報取得部２９１と、対応付け部２９２と、分析部３１４と、検出部３１５とを備える。
　出力装置３２０は、第二通信部３２１と、第二記憶部３２２と、第二制御部３２３とを備える。第二制御部３２３は、出力生成部３２４を備える。
　図１０の構成で、棚前行動計測用センサ１１０と、棚状況撮影装置１２０と、表示部２２０と、操作入力部２３０と、接近情報取得部２９１と、対応付け部２９２との機能は、図１の構成の場合と同様であり、図１の場合と同一の符号を付して説明を省略する。
　行動分析装置３１０は、欠品の検出（検出部２９３の処理）の結果を行動分析に反映させる処理を行わない点で、図１の行動分析装置２００と異なる。図１０の構成では、出力装置３２０が欠品の検出結果を行動分析に反映させる処理を行うためである。
　行動分析と、欠品の検出とを別々に行うことに伴って、行動分析装置３１０では、人物の手の位置の補正（補正部２９４の処理）、及び、接近情報の分類（分類部２９５の処理）も行わない。それ以外は、行動分析装置３１０は、図１の行動分析装置２００と同様である。
　第一通信部３１１は、他機器と通信を行う。特に、第一通信部３１１は、棚前行動計測用センサ１１０と通信を行って、センサデータを受信する。第一通信部３１１は、棚状況撮影装置１２０と通信を行って、撮影データを受信する。第一通信部３１１は、出力装置３２０と通信を行って、行動分析装置３１０での行動分析結果を送信する。
　第一記憶部３１２は、図１の記憶部２８０と同様、各種データを記憶する。
　第一制御部３１３は、図１の制御部２９０と同様、行動分析装置３１０の各部を制御して各種処理を実行する。
　分析部３１４は、接近情報に基づいて、人物の行動分析を行う。分析部３１４は、対応付け部２９２が生成した対応付け後情報を用いて、例えば、ある商品を手に取った人物が更に手に取った商品を検出するなどの分析を行う。
　検出部３１５は、図１の検出部２９３と同様、棚に陳列されている商品の位置および欠品を欠品情報として検出する。
　出力装置３２０は、行動分析装置３１０による分析結果を、商品の欠品状況に基づいて編集する。具体的には、出力装置３２０は、行動分析装置３１０による分析結果から、分析対象の商品が欠品していた期間の情報をノイズとして削除する。
　第二通信部３２１は、他機器と通信を行う。特に、第二通信部３２１は、行動分析装置３１０と通信を行って、行動分析装置３１０による行動分析結果、及び、欠品の検出結果を受信する。また、第二通信部３２１は、出力装置３２０の出力（出力装置３２０が編集済みの行動分析結果）を他機器へ送信する。
　第二記憶部３２２は、各種データを記憶する。
　第二制御部３２３は、出力装置３２０の各部を制御して各種処理を実行する。
　出力生成部３２４は、行動分析装置３１０による分析結果から、分析対象の商品が欠品していた期間の情報をノイズとして削除する。出力生成部３２４は、分析結果からノイズを削除して得られる出力情報を生成する。
　このように、行動分析システム２では、棚前における人物（顧客）の行動分析結果から、分析対象の商品が欠品していた期間の情報をノイズとして削除する。行動分析システム２によれば、この点で、より高精度な行動分析を行うことができる。
　次に、図１１及び図１２を参照して、本発明の最小構成について説明する。
　図１１は、本発明に係る行動分析装置の最小構成を示す説明図である。同図に示す行動分析装置１０は、接近情報取得部１１と、検出部１２と、分析部１３とを備える。
　かかる構成にて、接近情報取得部１１は、商品が陳列された棚への人物の接近の有無を示す接近情報を取得する。検出部１２は、棚に陳列されている商品の位置および欠品を欠品情報として検出する。分析部１３は、前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う。
　これにより、行動分析装置１０では、商品の欠品状況を棚前における顧客の行動分析に反映させることができる。行動分析装置１０によればこの点で、より高精度な行動分析を行うことができる。
　図１２は、本発明に係る行動分析システムの最小構成を示す説明図である。同図に示す行動分析システム２０は、棚前行動計測用センサ２１と、接近情報取得部２２と、検出部２３と、分析部２４とを備える。
　係る構成にて、棚前行動計測用センサ２１は、商品が陳列された棚への人物の接近を検出する。接近情報取得部２２は、商品が陳列された棚への人物の接近の有無を示す接近情報を棚前行動計測用センサのセンシングデータに基づいて取得する。検出部２３は、棚に陳列されている商品の位置および欠品を欠品情報として検出する。分析部２４は、接近情報および欠品情報に基づいて、人物の行動分析を行う。
　これにより、行動分析システム２０では、商品の欠品状況を棚前における顧客の行動分析に反映させることができる。行動分析システム２０によればこの点で、より高精度な行動分析を行うことができる。
　制御部２９０、接近情報取得部１１、検出部１２、分析部１３、接近情報取得部２２、検出部２３、及び、分析部２４の機能の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本願は、２０１６年３月２３日に、日本に出願された特願２０１６－０５９３００号に基づき優先権を主張し、その内容をここに援用する。
　本発明は、商品の欠品状況を行動分析に反映させることが不可欠な用途に適用できる。
　１、２、２０　行動分析システム
　１０、２００、３１０　行動分析装置
　１１、２２、２９１　接近情報取得部
　１２、２３、２９３、３１５　検出部
　１３、２４、２９６、３１４　分析部
　２１、１１０　棚前行動計測用センサ
　１２０　棚状況撮影装置
　２１０　通信部
　２２０　表示部
　２３０　操作入力部
　２８０　記憶部
　２９０　制御部
　２９２　対応付け部
　２９４　補正部
　２９５　分類部
　３１１　第一通信部
　３１２　第一記憶部
　３１３　第一制御部
　３２０　出力装置
　３２１　第二通信部
　３２２　第二記憶部
　３２３　第二制御部
　３２４　出力生成部

Claims (9)

  1. 　複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、
    　前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、
    　前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析部と、
    　を備える行動分析装置。
  2. 　前記接近情報は、前記棚における前記人物の手が接近した位置を示す接近位置の情報を含み、
    　前記分析部は、前記接近位置に対応する前記商品の前記欠品情報に基づいて、前記人物の行動分析を行う
    　請求項１に記載の行動分析装置。
  3. 　前記接近位置に対応する前記商品が欠品していると判断される場合に、前記接近位置に隣接した位置に前記人物の手が接近したものと前記接近情報を補正する補正部を備え、
    　前記分析部は、前記補正部により補正された前記接近情報に基づいて前記人物の行動分析を行う
    　請求項２に記載の行動分析装置。
  4. 　前記分析部は、前記接近位置に対応する前記商品が欠品していると判断される場合に、前記接近情報を無視する
    　請求項２に記載の行動分析装置。
  5. 　前記分析部は、少なくともいずれかの商品が欠品していることを前記検出部が検出したときの前記接近情報に基づいて、前記人物の行動分析を行う、請求項１から４のいずれか一項に記載の行動分析装置。
  6. 　複数の商品が陳列された棚への人物の接近を検出するセンサと、
    　前記複数の商品が陳列された前記棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、
    　前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、
    　前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析部と、
    　を備える行動分析システム。
  7. 　行動分析装置と出力装置とを備え、
    　前記行動分析装置は、
    　複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得部と、
    　前記接近情報に基づいて、前記人物の行動分析を行う分析部と、
    　前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する検出部と、
    　を備え、
    　前記出力装置は、
    　前記行動分析装置から取得した前記欠品情報と前記行動分析装置の分析結果とに基づいて出力情報を生成する出力生成部を備える
    　行動分析システム。
  8. 　複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得ステップと、
    　前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する欠品検出ステップと、
    　前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析ステップと、
    　を含む行動分析方法。
  9. 　コンピュータに、
    　複数の商品が陳列された棚への人物の接近の有無を示す接近情報を取得する接近情報取得ステップと、
    　前記棚に陳列されている前記複数の商品のうち欠品している商品の位置および欠品を欠品情報として検出する欠品検出ステップと、
    　前記接近情報および前記欠品情報に基づいて、前記人物の行動分析を行う分析ステップと、
    　を実行させるためのプログラム。
PCT/JP2017/009246 2016-03-23 2017-03-08 行動分析装置、行動分析システム、行動分析方法及びプログラム WO2017163879A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/074,658 US11461733B2 (en) 2016-03-23 2017-03-08 Behavior analysis device, behavior analysis system, behavior analysis method, and program
JP2018507198A JP6665927B2 (ja) 2016-03-23 2017-03-08 行動分析装置、行動分析システム、行動分析方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-059300 2016-03-23
JP2016059300 2016-03-23

Publications (1)

Publication Number Publication Date
WO2017163879A1 true WO2017163879A1 (ja) 2017-09-28

Family

ID=59900155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/009246 WO2017163879A1 (ja) 2016-03-23 2017-03-08 行動分析装置、行動分析システム、行動分析方法及びプログラム

Country Status (3)

Country Link
US (1) US11461733B2 (ja)
JP (1) JP6665927B2 (ja)
WO (1) WO2017163879A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019219853A (ja) * 2018-06-19 2019-12-26 東芝テック株式会社 画像処理装置
JP2020119000A (ja) * 2019-01-18 2020-08-06 株式会社パン・パシフィック・インターナショナルホールディングス 情報処理装置、棚管理システム、情報処理方法、及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10831431B2 (en) 2017-04-18 2020-11-10 Anthony, Inc. Shelving display
US11087273B1 (en) * 2017-12-14 2021-08-10 Amazon Technologies, Inc. Item recognition system using reference images
US10984282B2 (en) * 2018-10-20 2021-04-20 The Nordam Group Llc Neural vending machine
US11100745B2 (en) * 2019-04-09 2021-08-24 Rakuten Group, Inc. Settlement processing system, settlement processing device, and settlement processing method
CN110245580B (zh) * 2019-05-24 2022-09-23 北京百度网讯科技有限公司 一种检测图像的方法、装置、设备和计算机存储介质
US11896144B1 (en) * 2020-12-03 2024-02-13 Amazon Technologies, Inc. Determining inventory levels using rotatable counting devices and visual imagery

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020178085A1 (en) * 2001-05-15 2002-11-28 Herb Sorensen Purchase selection behavior analysis system and method
JP2004348681A (ja) * 2003-05-26 2004-12-09 Nec System Technologies Ltd 顧客購買行動分析システム
JP2006309280A (ja) * 2005-04-26 2006-11-09 Hitachi Software Eng Co Ltd 非接触ｉｃタグを利用した店舗内顧客購買行動分析システム
JP2009126660A (ja) * 2007-11-27 2009-06-11 Toshiba Tec Corp 物品管理システム及び情報処理装置
JP2011253344A (ja) * 2010-06-02 2011-12-15 Midee Co Ltd 購買行動分析装置、購買行動分析方法、およびプログラム
JP2015041194A (ja) * 2013-08-21 2015-03-02 株式会社Ｎｔｔドコモ ユーザ観察システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7658327B2 (en) * 2005-10-03 2010-02-09 Teletech Holdings, Inc. Virtual retail assistant
US20150066566A1 (en) * 2013-08-30 2015-03-05 International Business Machines Corporation Balancing supply and demand using demand-shaping actions
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
US20150206188A1 (en) * 2014-01-17 2015-07-23 Panasonic Intellectual Property Corporation Of America Item presentation method, and information display method
US9796093B2 (en) * 2014-10-24 2017-10-24 Fellow, Inc. Customer service robot and related systems and methods
US10984282B2 (en) * 2018-10-20 2021-04-20 The Nordam Group Llc Neural vending machine
US20220051179A1 (en) * 2020-08-12 2022-02-17 Carnegie Mellon University System and method for identifying products in a shelf management system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020178085A1 (en) * 2001-05-15 2002-11-28 Herb Sorensen Purchase selection behavior analysis system and method
JP2004348681A (ja) * 2003-05-26 2004-12-09 Nec System Technologies Ltd 顧客購買行動分析システム
JP2006309280A (ja) * 2005-04-26 2006-11-09 Hitachi Software Eng Co Ltd 非接触ｉｃタグを利用した店舗内顧客購買行動分析システム
JP2009126660A (ja) * 2007-11-27 2009-06-11 Toshiba Tec Corp 物品管理システム及び情報処理装置
JP2011253344A (ja) * 2010-06-02 2011-12-15 Midee Co Ltd 購買行動分析装置、購買行動分析方法、およびプログラム
JP2015041194A (ja) * 2013-08-21 2015-03-02 株式会社Ｎｔｔドコモ ユーザ観察システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019219853A (ja) * 2018-06-19 2019-12-26 東芝テック株式会社 画像処理装置
JP7250443B2 (ja) 2018-06-19 2023-04-03 東芝テック株式会社 画像処理装置
JP2020119000A (ja) * 2019-01-18 2020-08-06 株式会社パン・パシフィック・インターナショナルホールディングス 情報処理装置、棚管理システム、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20190050792A1 (en) 2019-02-14
JPWO2017163879A1 (ja) 2018-12-20
US11461733B2 (en) 2022-10-04
JP6665927B2 (ja) 2020-03-13

Similar Documents

Publication Publication Date Title
WO2017163879A1 (ja) 行動分析装置、行動分析システム、行動分析方法及びプログラム
JP6702464B2 (ja) 画像表示装置、画像表示方法及びプログラム
JP7294504B2 (ja) 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム
US9913578B2 (en) Eye gaze detecting device and eye gaze detection method
JP6194777B2 (ja) 動作判定方法、動作判定装置および動作判定プログラム
TWI778030B (zh) 店鋪裝置、店鋪管理方法及程式
TWI793719B (zh) 店鋪裝置、店鋪系統、店鋪管理方法及程式
CN110889317A (zh) 操作辅助装置
JP7081310B2 (ja) 行動分析装置、行動分析システム、行動分析方法、プログラムおよび記録媒体
JP4338147B2 (ja) 商品関心度計測装置
EP4160533A1 (en) Estimation program, estimation method, and estimation device
US20170278112A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20240053188A1 (en) Article identification system, article identification method, non-transitory computer-readable storage medium, and article acquisition determination system
KR20210155492A (ko) 3d 카메라를 이용한 한우 체중 측정 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018507198

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17769924

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17769924

Country of ref document: EP

Kind code of ref document: A1