WO2018168095A1 - 人物動向記録装置、人物動向記録方法、及びプログラム - Google Patents

人物動向記録装置、人物動向記録方法、及びプログラム Download PDF

Info

Publication number
WO2018168095A1
WO2018168095A1 PCT/JP2017/042505 JP2017042505W WO2018168095A1 WO 2018168095 A1 WO2018168095 A1 WO 2018168095A1 JP 2017042505 W JP2017042505 W JP 2017042505W WO 2018168095 A1 WO2018168095 A1 WO 2018168095A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
trend
index
psychological
physiological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/042505
Other languages
English (en)
French (fr)
Inventor
晴香 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to CN201780071316.1A priority Critical patent/CN109983505B/zh
Priority to DE112017007261.1T priority patent/DE112017007261T8/de
Priority to US16/461,912 priority patent/US11106900B2/en
Publication of WO2018168095A1 publication Critical patent/WO2018168095A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a technique for recording and analyzing a person's behavior and psychological movement.
  • Patent Document 1 proposes a system that automatically records various waiting times that occur in customer service for the purpose of improving customer satisfaction and efficient store operation.
  • the specific mechanism is to detect events such as customer entry / seating / ordering / distribution / accounting (exit) from the video of the camera installed in the store and the POS system information. From the difference, the guide waiting time, the order waiting time, and the serving waiting time are automatically calculated.
  • objective data can be collected without imposing a burden on the customer, but the research items are limited to the waiting time, and it is not possible to sufficiently evaluate customer satisfaction, the level of interest, and changes thereof.
  • the present invention has been made in view of the above circumstances, and is intended to automatically collect and record data useful for objectively evaluating customer satisfaction and high interest without burdening the customer.
  • the purpose is to provide the technology.
  • an event that has occurred in a certain person and a temporal change in the physiological psychological index of that person are detected by moving image analysis, and data that associates them is recorded.
  • the configuration is adopted.
  • an image acquisition unit that acquires moving image data obtained by photographing a target area and a person who acts in the target area are detected by analyzing the moving image data.
  • a physiological psychological index detection unit for detecting temporal changes in the physiological psychological index of the person during the period, at least one event occurring in the person, and the physiological psychological index of the person
  • a personal trend recording device comprising: a trend recording generation unit that generates, as the personal trend recording data, data that temporally associates a temporal change of
  • trend recording data in which an event occurring in a certain person is temporally associated with a temporal change in the physiological psychological index of the person is automatically generated.
  • customer satisfaction and high interest can be objectively evaluated from the tendency of physiological psychological indicators.
  • trend recording data is automatically collected and recorded without any physical or psychological burden on the customer. be able to.
  • a psychological state estimating unit that calculates a psychological state index obtained by estimating the psychological state of the person based on a temporal change in the physiological psychological index, and the trend record data is calculated by the psychological state estimating unit; It is preferable to further include a psychological state index. According to this configuration, since an index representing a person's psychological state and its temporal change are automatically recorded, very useful data can be obtained. At this time, it is preferable that the psychological state estimation unit calculates a psychological state index by combining a plurality of physiological psychological indices. This is because a combination of a plurality of physiological psychological indices can be expected to improve the estimation accuracy and reliability of the psychological state.
  • the plurality of physiological psychological indices may include a physiological psychological index that the person can consciously control and a physiological psychological index that the person cannot consciously control.
  • the psychological state of the person can be objectively and reliably calculated.
  • psychological state indicators for example, satisfaction (also referred to as satisfaction) indicating the level of satisfaction, interest (also referred to as interest or concentration) indicating the level of interest, and comfort indicating the degree of comfort / discomfort (Also called pleasant discomfort).
  • the apparatus further comprises a satisfaction estimation unit that estimates the satisfaction level of the person based on a temporal change of the physiological psychological index, and the trend recording data includes information on the satisfaction level estimated by the satisfaction level estimation unit. Furthermore, it is preferable to include.
  • the apparatus further includes an interest level estimation unit that estimates an interest level of the person with respect to a target in the target area based on a temporal change of a physiological psychological index, and the trend recording data includes the interest level estimation unit. It may further include information on the degree of interest estimated by. According to these configurations, since temporal changes in customer satisfaction and interest level are automatically recorded, very useful data can be obtained.
  • the physiological psychological index includes at least one of an expression, a smile degree, a pulse rate per unit time, a blink number per unit time, and a gaze degree. This is because these indices can be detected from a moving image or a still image with a certain degree of reliability.
  • the physiological psychological index may include items such as pupil diameter, eye movement, respiratory rate per unit time, body temperature, sweating, blood flow, blood pressure, and the like. It is more preferable to use a combination of multiple items of physiological psychological indicators.
  • an attribute estimation unit that estimates the attribute of the person by analyzing the moving image data is further provided, and the trend recording data further includes attribute information estimated by the attribute estimation unit.
  • the difference in the tendency for every attribute for example, age, sex, body type, etc.
  • a trend analysis result display unit for displaying a trend analysis result based on the trend record data, the trend analysis result including one or more events that occurred in the person during the person's tracking period; and the person It is preferable to include information for displaying on the time axis the temporal change of the psychophysiological index. According to such information display, it is possible to visualize the causal relationship between an action (event) of a person and a change in physiological psychological index.
  • the trend analysis result includes information for displaying the statistical value calculated for each subarea. This makes it possible to evaluate the popularity (customer satisfaction and high interest) for each sub-area.
  • the apparatus further comprises an attribute estimation unit that estimates the attribute of the person by analyzing the moving image data, the trend recording data further includes attribute information estimated by the attribute estimation unit, and the trend analysis result is It is preferable that information including the statistical value calculated for each attribute is included. Thereby, the tendency of satisfaction and interest level can be evaluated for each attribute.
  • the trend analysis result preferably includes information for displaying the statistical value calculated for each event type. Thereby, the causal relationship with satisfaction and interest level can be evaluated for each event type.
  • the present invention can be understood as a person trend recording device having at least a part of the above configuration or function.
  • the present invention also includes a person trend recording method or a control method for a person trend recording apparatus, a program for causing a computer to execute these methods, or such a program that includes at least a part of the above processing. It can also be understood as a computer-readable recording medium recorded on a computer.
  • FIG. 1 is a block diagram schematically showing a hardware configuration and a functional configuration of the person trend recording apparatus.
  • FIG. 2 is a diagram showing an installation example of the person trend recording device.
  • FIG. 3 is a flowchart of the trend recording process.
  • FIG. 4 is a flowchart of the trend analysis process.
  • 5A to 5C are diagrams illustrating an example of satisfaction estimation.
  • FIG. 6 is an example of trend recording data.
  • FIG. 7 is a display example of the trend analysis result.
  • FIG. 8 is a display example of a trend analysis result.
  • FIG. 9 is a display example of a trend analysis result.
  • FIG. 10 is a display example of the trend analysis result.
  • FIG. 11 shows an example of area division.
  • FIG. 12 is a display example of a trend analysis result.
  • the present invention relates to a technique for automatically recording a person's trend (behavior and psychological movement), and in particular, by analyzing a moving image, an event occurring in the person and a temporal change of the person's physiological psychological index are detected.
  • the present invention relates to a technique for detecting and recording them in association with each other in time. Such recorded data is useful for objectively evaluating customer satisfaction and interest and for analyzing factors that have influenced customer satisfaction and interest.
  • the technology according to the present invention can be preferably applied to a system that performs customer analysis, customer satisfaction survey, marketing research, problem detection, and the like, for example, in a store or place that provides services to customers.
  • FIG. 1 is a block diagram schematically illustrating a hardware configuration and a functional configuration of the person trend recording device 1
  • FIG. 2 is a diagram illustrating a store layout of a clothing store and an installation example of the imaging device 10.
  • the person trend recording device 1 has, as main hardware configurations, an imaging device 10 installed in a store, and an information processing device 11 that analyzes moving image data captured from the imaging device 10 and records customer trends. is doing.
  • the imaging device 10 and the information processing device 11 are connected by wire or wireless.
  • the imaging device 10 is a device for capturing the moving image data by capturing the target area 20 in the store.
  • the target area 20 is a range where the customer is monitored, and is set in advance based on a range where the customer can act.
  • a monochrome or color camera can be used.
  • a special camera such as a high sensitivity (night vision) camera, an infrared camera, or a thermography may be used as the imaging device 10.
  • the imaging device 10 is installed on a ceiling, a pillar, or the like so as to overlook a target area in a store. 1 and 2 show two imaging devices 10, the number of the imaging devices 10 is arbitrary. It is preferable to design the required number and installation positions of the imaging devices 10 so that the target area 20 can be photographed without blind spots.
  • the information processing apparatus 11 is an apparatus having a function of analyzing moving image data captured from the imaging apparatus 10 and automatically detecting and recording a customer trend (behavior and psychological movement) existing in the target area 20. .
  • the information processing apparatus 11 includes, as specific functions, an image acquisition unit 110, a person detection unit 111, an event detection unit 112, a psychophysiological index detection unit 113, a satisfaction level estimation unit 114, an interest level estimation unit 115, and an attribute estimation.
  • the information processing apparatus 11 includes a CPU (processor), memory, storage (HDD, SSD, etc.), input device (keyboard, mouse, touch panel, etc.), output device (display, speaker, etc.), communication interface, and the like.
  • a CPU processor
  • memory storage
  • HDD hard disk drive
  • storage HDD, SSD, etc.
  • input device keyboard, mouse, touch panel, etc.
  • output device display, speaker, etc.
  • communication interface and the like.
  • Each function of the information processing apparatus 11 described above is realized by the CPU executing a program stored in the storage or memory.
  • the configuration of the information processing apparatus 11 is not limited to this example. For example, distributed computing by a plurality of computers may be performed, a part of the above functions may be executed by a cloud server, or a part of the above functions may be executed by a circuit such as an ASIC or FPGA. Also good.
  • the image acquisition unit 110 has a function of acquiring moving image data obtained by capturing the target area 20 from the imaging device 10.
  • the moving image data input from the image acquisition unit 110 is temporarily stored in a memory or storage and is used for subsequent processes such as person detection, trend recording, and trend analysis.
  • the person detection unit 111 has a function of detecting and tracking a person acting in the target area 20 by analyzing moving image data.
  • the person detection unit 111 assigns a unique identifier (referred to as a person ID) to the person, and associates the person with the person ID. Store location and features. Then, the person detection unit 111 performs tracking (tracking) of the person by searching for a person whose position and feature are similar after the next frame.
  • the adjacent relationship between the imaging areas of each imaging device 10 is defined in advance, and the search range of the tracking target is expanded to the adjacent imaging areas, so that the inside of the target area 20 The person who moves can be tracked without omission.
  • an algorithm for detecting a face or a human body using a discriminator using Haar-like feature values or HoG feature values, or a discriminator using Deep Learning such as Faster R-CNN can be preferably used.
  • the event detection unit 112 has a function of detecting an event (phenomenon) that has occurred in a person during the tracking period of the person by analyzing moving image data.
  • event refers to a factor that can affect a person's psychological state. Any event may be detected as long as it can be detected by image analysis.
  • Examples of clothing stores are “entered the store”, “saw the product”, “spoken by the store clerk”, “takes the product”, “tryed on”, “sale item” ⁇ I came '', ⁇ I saw a display of new products '', ⁇ I was crowded '', ⁇ I bumped into another person '', ⁇ I was queued for payment '', ⁇ I made a payment '', ⁇ I left the store Is assumed. It is assumed that the event detection target is set in the event detection unit 112 in advance.
  • events such as “entering the store”, “trying on”, “visiting the special sale corner”, “performing accounting”, and “leaving the store” show where the customer is in the store. It can be detected by recognition. Also, events such as “I saw a product” and “I saw a display of a new product” can be detected by recognizing the customer's face direction and line of sight from the image. In addition, events such as “Talked by a store clerk”, “I picked up a product”, “lined up in a queue for accounting”, etc. are identified by learning with Deep Learning using the teacher data of these events Can be detected by the instrument. In addition, events such as “I collided with others” and “Crowded” can be detected by recognizing the number, density, distance between customers, and the like from the image.
  • the physiological / psychological index detection unit 113 has a function of detecting temporal changes in the physiological / psychological index of the person during the tracking period of the person by analyzing the moving image data.
  • expressing a person's psychological state or its change as a physiological phenomenon is called a physiological psychological reaction, and the physiological psychological reaction is measured and quantified as a physiological psychological index. Call. Since the physiological psychological reaction is unconsciously expressed, it is possible to objectively grasp the person's true psychological state and its change by observing the physiological psychological index.
  • physiological psychological indicators include facial expression, smile level, pulse rate per unit time (hereinafter simply referred to as “pulse rate”), blink rate per unit time (hereinafter simply referred to as “blink number”). , Gaze degree (an index representing the rate at which the line of sight is directed to a specific object), pupil diameter, eye movement, respiratory rate per unit time, body temperature, sweating, blood flow, blood pressure, and the like.
  • voice rate pulse rate per unit time
  • blink rate per unit time hereinafter simply referred to as “blink number”.
  • Gaze degree an index representing the rate at which the line of sight is directed to a specific object
  • pupil diameter an index representing the rate at which the line of sight is directed to a specific object
  • eye movement eye movement
  • respiratory rate per unit time body temperature
  • sweating blood flow
  • blood pressure blood pressure
  • One or more items may be used.
  • facial expressions (5 categories of joy / true face / disgust / sadness / surprise), smile degree [%], pulse rate [beats / minute], instantane
  • a method of estimating the facial expression and the smile level based on the shape of the facial organ, the degree of opening / closing the eyes / mouth, wrinkles, and the like can be used.
  • the pulse can be detected by capturing minute fluctuations in the Green value of the face (skin) portion.
  • Blink can be detected by performing eyelid determination based on the shape of the eyes, the presence or absence of black eyes, and the like.
  • the gaze degree can be calculated based on the probability that the gaze direction is estimated for each frame and the gaze is within a predetermined angle range centered on a certain target.
  • a method for detecting pupil diameter and eye movement from an infrared image a method for detecting body temperature and sweating from a thermographic image, and a method for detecting respiratory rate, blood flow, and blood pressure from a moving image are known. Therefore, it is possible to obtain a physiological psychological index using these methods.
  • the person trend recording device 1 calculates a psychological state index in which the psychological state of the person is estimated based on temporal changes in the physiological psychological index, in addition to the collection and recording of the physiological psychological index as described above. It has a function (this function is called a psychological state estimation unit).
  • this function is called a psychological state estimation unit.
  • two satisfaction estimation units 114 and an interest level estimation unit 115 are provided as psychological state estimation units.
  • the satisfaction level estimation unit 114 is a function that estimates “satisfaction level”, which is one of the psychological state indexes, based on temporal changes in the physiological psychological index.
  • the satisfaction level S (t) at time t is defined as in equation (1), and the satisfaction level S (t) is calculated based on changes in the smile level Sm (t) and the pulse rate PR (t). To do.
  • the definition of satisfaction is not limited to this, and it may be calculated in any way.
  • Sm (t) is the smile level at time t
  • PR (t) is the pulse rate at time t
  • PRmin is set to a predetermined period including time t (for example, about 5 to 10 minutes). Is the minimum value of the pulse rate in (good), and PRmax is the maximum value of the pulse rate during the same period.
  • the satisfaction value can be objectively obtained by obtaining from two types of indicators: a human-controllable index (smile level) and an index that is difficult to control consciously (pulse rate). And it can be calculated with high reliability.
  • the degree-of-interest estimation unit 115 is a function that estimates the “degree of interest” for a certain target in the target area 20 based on the temporal change of the physiological psychological index.
  • the degree of interest is also a psychological condition index.
  • the interest level I (t) at time t is defined as in Expression (2), and the interest level I (t) is calculated based on changes in the gaze degree At (t) and the blink number BF (t). calculate.
  • the definition of the interest level is not limited to this and may be calculated in any way.
  • At (t) is a gaze degree at time t
  • BF (t) is the number of blinks at time t
  • BFmin is set to a predetermined period including time t (for example, about 5 to 10 minutes).
  • BFmax is the maximum value of the number of blinks during synchronization.
  • the value of the degree of interest can be objectively determined by obtaining from two types of indicators: the index that can be controlled by humans (gaze degree) and the index that is difficult to control consciously (number of blinks). And can be calculated with high reliability.
  • the attribute estimation unit 116 is a function for estimating the attributes of a person by analyzing moving image data.
  • attributes age (up to 10/10 to 20/20 to 30/30 to 40/40), gender (male / female), body type (lean / normal / fat) Three items are estimated.
  • Various algorithms have been proposed for specific methods of attribute estimation, and any algorithm may be used.
  • the personal identification unit 117 is a function of performing personal identification of a person detected from an image and acquiring unique information regarding the person.
  • a method of personal identification there are a method by so-called image recognition (face recognition) and a method of specifying an individual from an ID card possessed by the person, and any method may be used.
  • the ID card include a credit card, an electronic money card, and a point card.
  • the personal identification unit 117 can identify the person by reading the ID card presented at the time of payment.
  • “Individual information about a person” includes name, address, telephone number, e-mail address, age, occupation, place of work, family composition, purchase history, and the like.
  • the trend record generation unit 118 is a function that generates trend record data for each person based on the information obtained by the function units 111 to 117.
  • the generated trend recording data is stored in the storage unit 120 or a cloud server (not shown). Details of the trend record data will be described later.
  • the trend analysis result display unit 119 is a function for displaying the trend analysis result on the display based on the trend record data. A display example of the trend analysis result will be described later.
  • the person detection unit 111 refers to the latest frame in the moving image data and detects a person existing in the image (step S30).
  • step S31 one of the detected persons is selected (the selected person is referred to as “recording person”).
  • the person detection unit 111 identifies a person to be recorded and a known person (a person already detected in a past frame and being tracked), and assigns the same person ID when the person to be recorded is a person being tracked If it is an unknown person (a person detected for the first time), a new person ID is assigned (step S32).
  • the trend record generation unit 118 records the shooting time of the latest frame and the position information of the recording target person in the trend recording data of the recording target person (step S33).
  • the event detection unit 112 refers to one or more recent frames in the moving image data, and detects an event that has occurred in the person to be recorded (step S34).
  • the trend record generation unit 118 records information on the detected event in the trend record data of the person to be recorded (step S36).
  • the physiological psychological index detection unit 113 refers to the latest one or a plurality of frames in the moving image data, and displays indices of four items such as the facial expression, smile level, pulse rate, blink rate, and gaze level of the person to be recorded. Detection is performed (step S37).
  • the expression and smile level can be detected from an image of one frame, and the pulse rate, blink rate, and gaze degree can be detected from a moving image of a plurality of frames.
  • the trend record generation unit 118 records the value of each index in the trend record data of the recording target person (step S38).
  • step S40 the attribute estimation unit 116 estimates the age, sex, and body type of the analysis target person by analyzing the moving image data. Further, the personal identification unit 117 performs personal identification of the analysis target person, and when the personal identification is successful, acquires information unique to the analysis target person (for example, purchase history) (step S41). Next, the satisfaction level estimation unit 114 calculates the value of satisfaction level at each time from the trend record data of the analysis subject (step S42).
  • FIGS. 5A to 5C An example of satisfaction estimation is shown in FIGS. 5A to 5C.
  • FIG. 5A is a graph of the smile level of the analysis subject, with the horizontal axis indicating time [sec] and the vertical axis indicating smile level [%].
  • FIG. 5B shows an observed waveform of the pulse wave of the analysis subject, with the horizontal axis representing time [sec] and the vertical axis representing the green value of the face portion.
  • FIG. 5C is a graph of the pulse rate calculated from FIG. 5B, where the horizontal axis indicates time [sec] and the vertical axis indicates the pulse rate [beats / minute].
  • the interest level estimation unit 115 calculates the value of the interest level at each time from the trend record data of the analysis subject (step S43). Then, the trend record generation unit 118 records the information obtained in steps S40 to S43 in the trend record data of the analysis subject (step S44).
  • FIG. 6 is an example of trend recording data related to the person X.
  • An event occurring in the person X and a temporal change in physiological psychological indices (expression, smile level, pulse rate, blink rate, gaze degree) detected from the person X are correlated in time. It is data.
  • the position information of the person X and temporal changes in satisfaction and interest are also associated.
  • FIG. 7 is a graph in which events occurring during the tracking period of the person X and temporal changes in the physiological psychological index of the person X are plotted on the same time axis.
  • FIG. 8 is a graph in which events that occur during the tracking period of the person X and temporal changes in the satisfaction level and interest level of the person X are plotted on the same time axis. According to these graphs, it is possible to visualize the causal relationship between the behavior (event) of the person X from entering the store to leaving the store and changes in physiological psychological indicators, satisfaction, and interest. Since it is thought that the true psychological state of the person X appears in the physiological psychological indicators, satisfaction, and interest, using the trend analysis results in FIGS. 7 and 8, the product display is good and bad, Can be evaluated with certain reliability.
  • FIG. 9 shows a moving route (broken line) of the person X, an event (white triangle) that occurred in the person X, and points indicating a high degree of satisfaction and interest (double circles, black stars) on the store floor plan. ) Is displayed. According to such a floor plan display, it is possible to obtain information about where the person X has taken what kind of action and where the satisfaction and the degree of interest have increased.
  • FIG. 10 is a display example showing the trend of the trend record data of the person X.
  • the trend analysis result display unit 119 displays the physiological psychological index, satisfaction, and interest level from the trend record data of a plurality of persons.
  • Statistical values average value, minimum value, maximum value, intermediate value, etc.
  • the target area in the store may be divided into four sub-areas A to D as shown in FIG. 11, and the statistical value for each sub-area may be calculated and displayed as shown in FIG.
  • the popularity customer satisfaction and interest level
  • the evaluation is performed by age group and body type, and the event is satisfied for each event.
  • the causal relationship with degree and interest level can be evaluated.
  • trend record data that automatically associates an event that has occurred in a person with a temporal change in the physiological psychological index of the person is automatically generated. Is done.
  • customer satisfaction and high interest can be objectively evaluated from the tendency of physiological psychological indicators.
  • trend recording data is automatically collected and recorded without any physical or psychological burden on the customer. be able to.
  • the physiological psychological index described above is an example, and an index different from the above-described index may be collected. From the viewpoint of simplification of the apparatus and cost reduction, it is desirable that all information can be detected from the moving image data, but some information other than the moving image data may be extracted depending on the index. For example, the body temperature of a person may be measured from an image obtained from thermography.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

人物動向記録装置が、対象エリアを撮影した動画像データを取得する画像取得部と、前記動画像データを解析することにより、前記対象エリア内で行動する人物を検出し追跡する人物検出部と、前記動画像データを解析することにより、前記人物の追跡期間中に前記人物に生じたイベントを検出するイベント検出部と、前記動画像データを解析することにより、前記追跡期間中における前記人物の生理心理学的指標の時間的な変化を検出する生理心理学的指標検出部と、少なくとも、前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化とを、時間的に対応付けたデータを、前記人物の動向記録データとして生成する動向記録生成部と、を備える。

Description

人物動向記録装置、人物動向記録方法、及びプログラム
　本発明は、人物の行動と心理的な動きを記録・分析するための技術に関する。
　飲食や商品販売などのサービスを提供する店舗では、顧客の満足度や関心の高さを常にリサーチし、顧客のニーズ及び店舗の問題点を正確に把握することが、健全な店舗運営にあたり極めて重要である。顧客満足や関心に影響を与える因子には様々なものがあり、例えば、店内の装飾やレイアウト、接客のタイミング、待ち時間、接客内容、商品のディスプレイ、店内の混み具合、特売情報などが挙げられる。しかも、個々人の嗜好や属性（性別、年代など）によって、影響の強い因子の種類や影響の大きさが異なり得る。従来、このような顧客ごとの満足や関心をリサーチする手法としては、アンケートが一般的であった。しかしながら、アンケートは回答者に負担を強いるため、回答率が低く、効率的なリサーチが難しいという課題がある。また、アンケートの回答は回答者が意図的にコントロールできてしまうため、客観的なリサーチ結果が得られている保証がない。
　また特許文献１には、顧客満足度の向上や店舗の効率的な運営を図ることを目的として、接客において発生する各種の待ち時間を自動で記録するシステムが提案されている。具体的な仕組みは、店内に設置したカメラの映像とＰＯＳシステムの情報とから、顧客の入店・着席・注文・配膳・会計（退店）などのイベントを検知し、各イベントの発生時刻の差から、案内待ち時間・注文待ち時間・配膳待ち時間を自動で計算するというものである。このシステムによれば、顧客に負担を強いることなく客観的なデータが収集できるものの、リサーチ項目は待ち時間に限られ、顧客の満足や関心の高さやその変化を十分に評価することはできない。
特開２０１４－１４９６８５号公報
　本発明は上記実情に鑑みなされたものであって、顧客の満足や関心の高さを客観的に評価するために有用なデータを、顧客に負担をかけることなく自動的に収集し記録するための技術を提供することを目的とする。
　上記目的を達成するために、本発明では、動画像解析により、ある人物に生じたイベントとその人物の生理心理学的指標の時間的な変化を検出し、それらを対応付けたデータを記録する、という構成を採用する。
　具体的には、本発明の第一態様は、対象エリアを撮影した動画像データを取得する画像取得部と、前記動画像データを解析することにより、前記対象エリア内で行動する人物を検出し追跡する人物検出部と、前記動画像データを解析することにより、前記人物の追跡期間中に前記人物に生じたイベントを検出するイベント検出部と、前記動画像データを解析することにより、前記追跡期間中における前記人物の生理心理学的指標の時間的な変化を検出する生理心理学的指標検出部と、少なくとも、前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化とを、時間的に対応付けたデータを、前記人物の動向記録データとして生成する動向記録生成部と、を備えることを特徴とする人物動向記録装置を提供する。
　この構成によれば、ある人物に生じたイベントとその人物の生理心理学的指標の時間的な変化とを時間的に対応付けた動向記録データが自動で生成される。このような動向記録データを用いると、生理心理学的指標の傾向から顧客満足や関心の高さを客観的に評価することができる。また、生理心理学的指標の時間的な変化とイベントの発生時刻との関係から、顧客満足や関心度に良い／悪い影響を与えたイベントを推定することが容易となる。さらに、人物検出、イベント検出、生理心理学的指標検出のいずれの処理も動画像解析により行うので、顧客に身体的負担や心理的負担をかけることなく自動的に動向記録データを収集し記録することができる。
　生理心理学的指標の時間的な変化に基づいて、前記人物の心理状態を推定した心理状態指標を算出する心理状態推定部をさらに備え、前記動向記録データは、前記心理状態推定部により算出された心理状態指標をさらに含むことが好ましい。この構成によれば、人物の心理状態を表す指標やその時間的な変化も自動で記録されるので、非常に有用なデータが得られる。このとき、前記心理状態推定部は、複数の生理心理学的指標を組み合わせて心理状態指標を算出することが好ましい。複数の生理心理学的指標を組み合わせることにより、心理状態の推定精度や信頼性の向上を期待できるからである。さらにこのとき、前記複数の生理心理学的指標は、前記人物が意識的にコントロール可能な生理心理学的指標と、前記人物が意識的にコントロール可能でない生理心理学的指標を含むとよい。意識的にコントロール可能でない生理心理学的指標を組み合わせることで、当該人物の心理状態を客観的かつ高信頼に算出することができる。心理状態指標としては、例えば、満足の大きさを表す満足度（充足度ともいう）、関心の高さを表す関心度（興味度、集中度ともいう）、快・不快の程度を表す快適度（快不快度ともいう）などがある。
　生理心理学的指標の時間的な変化に基づいて、前記人物の満足度を推定する満足度推定部をさらに備え、前記動向記録データは、前記満足度推定部により推定された満足度の情報をさらに含むことが好ましい。また、生理心理学的指標の時間的な変化に基づいて、前記対象エリア内の対象に対する前記人物の関心度を推定する関心度推定部をさらに備え、前記動向記録データは、前記関心度推定部により推定された関心度の情報をさらに含んでもよい。これらの構成によれば、顧客満足や関心の高さの時間的な変化も自動で記録されるので、非常に有用なデータが得られる。
　前記生理心理学的指標は、表情、笑顔度、単位時間あたりの脈拍数、単位時間あたりの瞬目数、及び、注視度のうち少なくとも１つの項目を含むことが好ましい。これらの指標は動画像ないし静止画像からある程度の信頼性をもって検出することができるからである。さらに、前記生理心理学的指標は、瞳孔径、眼球運動、単位時間あたりの呼吸数、体温、発汗、血流、血圧などの項目を含んでもよい。複数項目の生理心理学的指標を組み合わせて用いるとより好ましい。
　前記動画像データを解析することにより、前記人物の属性を推定する属性推定部をさらに備え、前記動向記録データは、前記属性推定部により推定された属性の情報をさらに含むことが好ましい。これにより、人物の属性（例えば、年代、性別、体型など）ごとの傾向の違いを評価することができる。
　前記動向記録データに基づいて、動向分析結果を表示する動向分析結果表示部をさらに備え、前記動向分析結果は、前記人物の追跡期間中に前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化とを、時間軸上に表示する情報を含むことが好ましい。このような情報表示によれば、ある人物の行動（イベント）と生理心理学的指標の変化との因果関係を可視化することができる。
　前記動向記録データに基づいて、動向分析結果を表示する動向分析結果表示部をさらに備え、前記動向分析結果は、複数の人物の前記動向記録データから計算された、前記生理心理学的指標及び／又は前記満足度の統計値を表示する情報を含むことが好ましい。また、前記動向記録データに基づいて、動向分析結果を表示する動向分析結果表示部をさらに備え、前記動向分析結果は、複数の人物の前記動向記録データから計算された、前記生理心理学的指標及び／又は前記関心度の統計値を表示する情報を含むことが好ましい。
　前記対象エリア内に複数のサブエリアが設定されており、前記動向分析結果は、前記サブエリアごとに計算された前記統計値を表示する情報を含むことが好ましい。これにより、サブエリアごとの人気（顧客満足や関心の高さ）を評価することができる。
　前記動画像データを解析することにより、前記人物の属性を推定する属性推定部をさらに備え、前記動向記録データは、前記属性推定部により推定された属性の情報をさらに含み、前記動向分析結果は、前記属性ごとに計算された前記統計値を表示する情報を含むことが好ましい。これにより、属性ごとに満足度や関心度の傾向を評価することができる。
　前記動向分析結果は、イベントの種類ごとに計算された前記統計値を表示する情報を含むことが好ましい。これにより、イベントの種類ごとに満足度や関心度との因果関係を評価することができる。
　なお、本発明は、上記構成ないし機能の少なくとも一部を有する人物動向記録装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、人物動向記録方法もしくは人物動向記録装置の制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、顧客の満足や関心の高さを客観的に評価するために有用なデータを、顧客に負担をかけることなく自動的に収集し記録することができる。
図１は人物動向記録装置のハードウェア構成および機能構成を模式的に示すブロック図である。 図２は人物動向記録装置の設置例を示す図である。 図３は動向記録処理のフローチャートである。 図４は動向分析処理のフローチャートである。 図５Ａ～図５Ｃは満足度推定の一例を示す図である。 図６は動向記録データの一例である。 図７は動向分析結果の表示例である。 図８は動向分析結果の表示例である。 図９は動向分析結果の表示例である。 図１０は動向分析結果の表示例である。 図１１はエリア分割の例である。 図１２は動向分析結果の表示例である。
　本発明は、人物の動向（行動と心理的な動き）を自動で記録する技術に関し、特に、動画像解析によって、人物に生じたイベントとその人物の生理心理学的指標の時間的な変化を検出し、それらを時間的に対応付けて記録する技術に関する。このような記録データは、顧客の満足や関心の高さを客観的に評価したり、顧客の満足や関心に影響を与えた因子を分析したりするのに有用である。本発明に係る技術は、例えば、顧客にサービスを提供する店舗や場において、顧客分析、顧客満足度調査、マーケティングリサーチ、問題点検出などを行うシステムに好ましく適用できる。
　以下、ショッピングモール内の衣料品店において顧客の動向を記録するためのシステムに本発明を適用した場合の好ましい実施形態について説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
　（システム構成）
　図１と図２を参照して、本発明の実施形態に係る人物動向記録装置の構成を説明する。図１は、人物動向記録装置１のハードウェア構成および機能構成を模式的に示すブロック図であり、図２は、衣料品店の店舗レイアウトと撮像装置１０の設置例を示す図である。
　人物動向記録装置１は、主なハードウェア構成として、店舗内に設置される撮像装置１０と、撮像装置１０から取り込まれる動画像データを解析し顧客動向を記録する情報処理装置１１と、を有している。撮像装置１０と情報処理装置１１の間は有線又は無線により接続されている。
　撮像装置１０は、店舗内の対象エリア２０を撮影して動画像データを取り込むためのデバイスである。対象エリア２０とは、顧客のモニタリングを行う範囲であり、例えば顧客が行動し得る範囲に基づいてあらかじめ設定される。撮像装置１０としては、モノクロ又はカラーのカメラを用いることができる。また撮像装置１０として、通常の可視光カメラに加えて、高感度（暗視）カメラ、赤外線カメラ、サーモグラフィなどの特殊なカメラを用いてもよい。撮像装置１０は、図２に示すように、店舗内の対象エリアを俯瞰するように天井や柱などに設置される。なお、図１及び図２では２台の撮像装置１０を示しているが、撮像装置１０の数は任意である。対象エリア２０を死角無く撮影できるように、撮像装置１０の必要台数や設置位置を設計することが好ましい。
　情報処理装置１１は、撮像装置１０から取り込まれる動画像データを解析し、対象エリア２０内に存在する顧客の動向（行動と心理的な動き）を自動で検出・記録する機能を備える装置である。情報処理装置１１は、具体的な機能として、画像取得部１１０、人物検出部１１１、イベント検出部１１２、生理心理学的指標検出部１１３、満足度推定部１１４、関心度推定部１１５、属性推定部１１６、個人識別部１１７、動向記録生成部１１８、動向分析結果表示部１１９、記憶部１２０を有している。本実施形態の情報処理装置１１は、ＣＰＵ（プロセッサ）、メモリ、ストレージ（ＨＤＤ、ＳＳＤなど）、入力デバイス（キーボード、マウス、タッチパネルなど）、出力デバイス（ディスプレイ、スピーカなど）、通信インタフェースなどを具備する汎用のコンピュータにより構成され、上述した情報処理装置１１の各機能は、ストレージ又はメモリに格納されたプログラムをＣＰＵが実行することにより実現される。ただし、情報処理装置１１の構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記機能の一部をクラウドサーバにより実行してもよいし、上記機能の一部をＡＳＩＣやＦＰＧＡのような回路で実行してもよい。
　画像取得部１１０は、対象エリア２０を撮影した動画像データを撮像装置１０から取得する機能である。画像取得部１１０より入力された動画像データは一時的にメモリ又はストレージに記憶され、以後の人物検出、動向記録、動向分析などの処理に供される。
　人物検出部１１１は、動画像データを解析することにより、対象エリア２０内で行動する人物を検出し追跡する機能である。人物検出部１１１は、動画像データのあるフレームの画像において未知の人物を検出した場合に、当該人物に対し一意の識別子（人物ＩＤと呼ぶ）を付与し、人物ＩＤに対応付けて当該人物の位置及び特徴を記憶する。そして、人物検出部１１１は、次フレーム以降、位置及び特徴が類似する人物を探索することにより、当該人物の追跡（トラッキング）を行う。本実施形態のように複数の撮像装置１０を用いる場合は、各撮像装置１０の撮像エリアの隣接関係をあらかじめ定義し、追跡ターゲットの探索範囲を隣接する撮像エリアまで拡げることで、対象エリア２０内を移動する人物を漏れなく追跡することができる。
　人物検出及び人物追跡の具体的方法については従来から様々なアルゴリズムが提案されており、いずれのアルゴリズムを用いてもよい。例えば、Ｈａａｒ－ｌｉｋｅ特徴量やＨｏＧ特徴量を用いた識別器、Ｆａｓｔｅｒ　Ｒ－ＣＮＮなどのＤｅｅｐ　Ｌｅａｒｎｉｎｇを用いた識別器などを用いて、顔ないし人体を検出するアルゴリズムを好ましく利用できる。
　イベント検出部１１２は、動画像データを解析することにより、人物の追跡期間中に当該人物に生じたイベント（事象）を検出する機能である。本明細書において「イベント」とは、人物の心理状態に影響を与え得る因子をいう。画像解析により検出可能であれば、どのようなイベントを検出対象としてもよい。衣料品店の例であれば、「店内に入った」、「商品を見た」、「店員から話しかけられた」、「商品を手に取った」、「試着した」、「特売品コーナーに来た」、「新着品のディスプレイを見た」、「混雑していた」、「他人とぶつかった」、「会計待ちの列に並んだ」、「会計を行った」、「店を出た」などが想定される。なお、どのようなイベントを検出対象とするかは、イベント検出部１１２にあらかじめ設定されているものとする。
　イベント検出の具体的方法についても従来から様々なアルゴリズムが提案されており、いずれのアルゴリズムを用いてもよい。例えば、「店内に入った」、「試着した」、「特売品コーナーに来た」、「会計を行った」、「店を出た」などのイベントは、顧客が店内のどこにいるかを画像から認識することで、検出可能である。また、「商品を見た」、「新着品のディスプレイを見た」などのイベントは、顧客の顔向きや視線を画像から認識することで、検出可能である。また、「店員から話しかけられた」、「商品を手に取った」、「会計待ちの列に並んだ」などのイベントは、これらのイベントの教師データを用いてＤｅｅｐ　Ｌｅａｒｎｉｎｇによる学習を行った識別器により検出可能である。また、「他人とぶつかった」、「混雑していた」などのイベントは、客の数、密度、客同士の距離などを画像から認識することで、検出可能である。
　生理心理学的指標検出部１１３は、動画像データを解析することにより、人物の追跡期間中における当該人物の生理心理学的指標の時間的な変化を検出する機能である。本実施形態において、人の心理状態やその変化が生理的現象として表出することを生理心理学的反応と呼び、その生理心理学的反応を測定し定量化したものを生理心理学的指標と呼ぶ。生理心理学的反応は無意識に表出するものであるため、生理心理学的指標を観察することによりその人物の真の心理状態やその変化を客観的に捉えることが可能である。
　生理心理学的指標には、例えば、表情、笑顔度、単位時間あたりの脈拍数（以下単に「脈拍数」と記す）、単位時間あたりの瞬目数（以下単に「瞬目数」と記す）、注視度（視線を特定の対象に向けている割合を表す指標）、瞳孔径、眼球運動、単位時間あたりの呼吸数、体温、発汗、血流、血圧などがある。これらのうち１つ以上の項目を用いればよい。本実施形態では、動画像ないし静止画像からの検出が比較的容易な、表情（喜び／真顔／嫌悪／悲しみ／驚きの５分類）、笑顔度［％］、脈拍数［ビート／分］、瞬目数［回／分］、注視度［％］の５つの項目を用いることとする。これらの指標の検出方法についても従来から様々なアルゴリズムが提案されており、いずれのアルゴリズムを用いてもよい。例えば、表情及び笑顔度については、顔器官の形状、目・口の開閉度合、しわなどに基づいて推定する方法を用いることができる。脈拍については、顔（肌）の部分のＧｒｅｅｎ値の微小な変動を捉えることで検出することができる。瞬目（まばたき）は、目の形状や黒目の有無などに基づいて目つむり判定を行うことで検出することができる。注視度は、フレームごとに視線方向を推定し、ある対象を中心とする所定角度範囲内に視線が収まっている確率に基づいて計算することができる。なお、瞳孔径及び眼球運動については赤外線画像から検出する方法が、体温及び発汗についてはサーモグラフィ画像から検出する方法が、呼吸数、血流、及び血圧は動画像から検出する方法がそれぞれ知られており、これらの方法を用いて生理心理学的指標を取得することが可能である。
　人物動向記録装置１は、上記のような生理心理学的指標の収集・記録に加え、生理心理学的指標の時間的な変化に基づいて当該人物の心理状態を推定した心理状態指標を算出する機能（この機能を心理状態推定部とよぶ）を有している。本実施形態では、心理状態推定部として、満足度推定部１１４と関心度推定部１１５の２つを設けている。
　満足度推定部１１４は、生理心理学的指標の時間的な変化に基づいて、心理状態指標の一つである「満足度」を推定する機能である。本実施形態では時刻ｔにおける満足度Ｓ（ｔ）を式（１）のように定義し、笑顔度Ｓｍ（ｔ）と脈拍数ＰＲ（ｔ）の変化を基に満足度Ｓ（ｔ）を計算する。ただし、満足度の定義はこれに限られず、どのように算出しても構わない。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｓｍ（ｔ）は時刻ｔにおける笑顔度であり、ＰＲ（ｔ）は時刻ｔにおける脈拍数であり、ＰＲｍｉｎは時刻ｔを含む所定の期間（例えば５分～１０分程度に設定すればよい）における脈拍数の最小値であり、ＰＲｍａｘは同期間における脈拍数の最大値である。式（１）のように、人がコントロール可能な指標（笑顔度）と意識的にコントロールすることが困難な指標（脈拍数）の２種類の指標から求めることで、満足度の値を客観的かつ高信頼に算出することができる。
　関心度推定部１１５は、生理心理学的指標の時間的な変化に基づいて、対象エリア２０内のある対象に対する「関心度」を推定する機能である。関心度も心理状態指標の一つである。本実施形態では時刻ｔにおける関心度Ｉ（ｔ）を式（２）のように定義し、注視度Ａｔ（ｔ）と瞬目数ＢＦ（ｔ）の変化を基に関心度Ｉ（ｔ）を計算する。ただし、関心度の定義はこれに限られず、どのように算出しても構わない。
Figure JPOXMLDOC01-appb-M000002
　ここで、Ａｔ（ｔ）は時刻ｔにおける注視度であり、ＢＦ（ｔ）は時刻ｔにおける瞬目数であり、ＢＦｍｉｎは時刻ｔを含む所定の期間（例えば５分～１０分程度に設定すればよい）における瞬目数の最小値であり、ＢＦｍａｘは同期間における瞬目数の最大値である。式（２）のように、人がコントロール可能な指標（注視度）と意識的にコントロールすることが困難な指標（瞬目数）の２種類の指標から求めることで、関心度の値を客観的かつ高信頼に算出することができる。
　属性推定部１１６は、動画像データを解析することにより、人物の属性を推定する機能である。本実施形態では、属性として、年代（～１０歳／１０～２０歳／２０～３０歳／３０～４０歳／４０歳～）、性別（男性／女性）、体型（痩せ／普通／太り）の３項目を推定する。属性推定の具体的方法についても従来から様々なアルゴリズムが提案されており、いずれのアルゴリズムを用いてもよい。
　個人識別部１１７は、画像から検出された人物の個人識別を行うと共に、その人物に関する固有の情報を取得する機能である。個人識別の方法としては、いわゆる画像認識（顔認識）による方法と、その人が所持するＩＤカードなどから個人を特定する方法などがあり、いずれの方法を用いてもよい。ＩＤカードとしては、クレジットカード、電子マネーカード、ポイントカードなどがあり、例えば、個人識別部１１７は会計時に提示されたＩＤカードを読み取ることで、その人物を特定することができる。また、「人物に関する固有の情報」は、名前、住所、電話番号、メールアドレス、年齢、職業、勤務先、家族構成、購入履歴などである。
　動向記録生成部１１８は、各機能部１１１～１１７により得られた情報に基づき、人物ごとの動向記録データを生成する機能である。生成した動向記録データは、記憶部１２０又はクラウドサーバ（不図示）に保存される。動向記録データの詳細は後述する。
　動向分析結果表示部１１９は、動向記録データに基づいて動向分析結果をディスプレイに表示する機能である。動向分析結果の表示例については後述する。
　（動向記録処理）
　次に、図３のフローチャートに沿って人物動向記録装置１による動向記録処理の具体例を説明する。図３に示す処理フローは、オンライン（リアルタイム）で、フレームごと又は所定時間おきに繰り返し実行されるものである。
　まず、人物検出部１１１が、動画像データにおける直近のフレームを参照し、画像内に存在する人物を検出する（ステップＳ３０）。ステップＳ３１では、検出された人物のうちの一人が選択される（ここで選択された人物を「記録対象者」と呼ぶ）。人物検出部１１１は、記録対象者と既知の人物（過去のフレームで既に検出され、追跡中の人物）との同定を行い、記録対象者が追跡中の人物である場合は同じ人物ＩＤを付与し、未知の人物（初めて検出された人物）である場合は新しい人物ＩＤを付与する（ステップＳ３２）。そして、動向記録生成部１１８が、記録対象者の動向記録データに、直近のフレームの撮影時刻と記録対象者の位置情報を記録する（ステップＳ３３）。
　次に、イベント検出部１１２は、動画像データにおける直近の１又は複数フレームを参照し、記録対象者に生じたイベントを検出する（ステップＳ３４）。イベント発生有りの場合（ステップＳ３５；ＹＥＳ）、動向記録生成部１１８は、記録対象者の動向記録データに、検出したイベントの情報を記録する（ステップＳ３６）。
　また、生理心理学的指標検出部１１３は、動画像データにおける直近の１又は複数フレームを参照し、記録対象者の表情、笑顔度、脈拍数、瞬目数、注視度の４項目の指標を検出する（ステップＳ３７）。表情及び笑顔度は１フレームの画像から検出可能であり、脈拍数、瞬目数、注視度は複数フレームの動画像から検出可能である。そして、動向記録生成部１１８は、記録対象者の動向記録データに、各指標の値を記録する（ステップＳ３８）。
　画像から検出された人物すべてに対しステップＳ３１～Ｓ３８の処理を行ったら（ステップＳ３９；ＮＯ）、動向記録処理を終了する。
　（動向分析処理）
　次に、図４のフローチャートに沿って人物動向記録装置１による動向分析処理の具体例を説明する。図４に示す処理フローは、ある人物の動向記録データが一定量蓄積された後、又は、ある人物の追跡が完了した後に、オフラインで、人物ごとに実行されるものである。以下、図４の処理の対象となる人物を分析対象者と呼ぶ。
　ステップＳ４０では、属性推定部１１６が、動画像データを解析することによって、分析対象者の年代、性別、体型を推定する。また、個人識別部１１７が、分析対象者の個人識別を行い、個人識別に成功した場合にその分析対象者に固有の情報（例えば購入履歴など）を取得する（ステップＳ４１）。次に、満足度推定部１１４が、分析対象者の動向記録データから各時刻における満足度の値を算出する（ステップＳ４２）。
　図５Ａ～図５Ｃに満足度推定の一例を示す。図５Ａは分析対象者の笑顔度のグラフであり、横軸が時間［ｓｅｃ］、縦軸が笑顔度［％］を示す。図５Ｂは分析対象者の脈波の観測波形であり、横軸が時間［ｓｅｃ］、縦軸が顔部分のＧｒｅｅｎ値を示す。図５Ｃは図５Ｂから計算した脈拍数のグラフであり、横軸が時間［ｓｅｃ］、縦軸が脈拍数［ビート／分］を示す。この場合に、時刻ａにおける満足度Ｓ（ａ）は式（１）から、
　Ｓ（ａ）＝８０×（９０－６０）／（９０－６０）＝８０［％］
と求まり、時刻ｂにおける満足度Ｓ（ｂ）は式（１）から、
　Ｓ（ｂ）＝４０×（７０－６０）／（９０－６０）＝１３［％］
と求まる。
　同様に、関心度推定部１１５が、分析対象者の動向記録データから各時刻における関心度の値を算出する（ステップＳ４３）。そして、動向記録生成部１１８が、ステップＳ４０～Ｓ４３で得られた情報を、分析対象者の動向記録データに記録する（ステップＳ４４）。
　図６は、人物Ｘに関する動向記録データの一例である。人物Ｘに生じたイベントと、人物Ｘから検出された生理心理学的指標（表情、笑顔度、脈拍数、瞬目数、注視度）の時間的な変化とが、時間的に対応付けられたデータとなっている。図６の動向記録データではさらに、人物Ｘの位置情報、及び、満足度と関心度の時間的な変化も対応付けられている。このような動向記録データが得られると、生理心理学的指標、満足度、注目度などの傾向から、顧客満足や関心の高さを把握することができる。また、それらの時間的な変化と、イベントの発生時刻との関係から、顧客満足や関心度に良い／悪い影響を与えたイベントを推定することが容易となる。
　（分析結果表示例）
　次に、動向分析結果表示部１１９による動向分析結果の好ましい表示例を説明する。
　図７は、人物Ｘの追跡期間中に生じたイベントと、人物Ｘの生理心理学的指標の時間的な変化を同一時間軸上にプロットしたグラフである。また、図８は、人物Ｘの追跡期間中に生じたイベントと、人物Ｘの満足度及び関心度の時間的な変化を同一時間軸上にプロットしたグラフである。これらのグラフによれば、人物Ｘの入店から退店までの行動（イベント）と生理心理学的指標・満足度・関心度の変化との因果関係を可視化することができる。生理心理学的指標・満足度・関心度には人物Ｘの真の心理状態が表れていると考えられるため、図７や図８の動向分析結果を用いることで、商品陳列の良し悪し、接客の適切さなどを一定の信頼性をもって評価することができる。
　図９は、店舗の見取り図上に、人物Ｘの移動ルート（破線）と、人物Ｘに生じたイベント（白三角）と、満足度及び関心度が高い値を示したポイント（二重丸、黒星）とを表示した例である。このような見取り図表示によれば、人物Ｘが店内のどこでどのような行動をとったときに、満足度や関心度が高まったか、という情報を得ることができる。
　図１０は、人物Ｘの動向記録データの傾向を示す表示例である。図１０の例では、人物Ｘの属性（年代、性別、体型）、入店時刻と退店時刻と在店時間、在店中における５表情の割合、在店中における笑顔度の平均・最大値、在店中における脈拍数の平均・最大値・最小値・変動幅、在店中における瞬目数の平均・最大値・最小値・変動幅、在店中における注視度の平均・最大値、満足度の平均・最大値、関心度の平均・最大値などが示されている。このような統計データを確認することで、人物Ｘの動向やその傾向を総合的に把握することができる。
　図７～図１０においては、一人の人物の動向記録データのみを表示したが、動向分析結果表示部１１９は、複数の人物の動向記録データから、生理心理学的指標・満足度・関心度の統計値（平均値、最小値、最大値、中間値など）を計算し表示してもよい。例えば、図１１のように店舗内の対象エリアを４つのサブエリアＡ～Ｄに分け、図１２のようにサブエリアごとの統計値を計算し表示してもよい。図１１のような統計的分析表示を用いることで、例えば、サブエリアごとに人気（顧客満足や関心の高さ）を評価したり、年代別、体型別の評価を行ったり、イベントごとに満足度や関心度との因果関係を評価したりすることができる。
　（本実施形態の利点）
　以上述べた本実施形態の人物動向記録装置によれば、ある人物に生じたイベントとその人物の生理心理学的指標の時間的な変化とを時間的に対応付けた動向記録データが自動で生成される。このような動向記録データを用いると、生理心理学的指標の傾向から顧客満足や関心の高さを客観的に評価することができる。また、生理心理学的指標の時間的な変化とイベントの発生時刻との関係から、顧客満足や関心度に良い／悪い影響を与えたイベントを推定することが容易となる。さらに、人物検出、イベント検出、生理心理学的指標検出のいずれの処理も動画像解析により行うので、顧客に身体的負担や心理的負担をかけることなく自動的に動向記録データを収集し記録することができる。
　（その他）
　上記実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上述した生理心理学的指標は一例であり、上述した指標とは異なる指標を収集してもよい。装置の簡単化・コスト低減の観点からは、動画像データからすべての情報を検出できることが望ましいが、指標によっては動画像データ以外の情報から抽出してもよい。例えば、サーモグラフィから得られる画像から人物の体温を測定してもよい。
１：人物動向記録装置、１０：撮像装置、１１：情報処理装置
１１０：画像取得部、１１１：人物検出部、１１２：イベント検出部、１１３：生理心理学的指標検出部、１１４：満足度推定部、１１５：関心度推定部、１１６：属性推定部、１１７：個人識別部、１１８：動向記録生成部、１１９：動向分析結果表示部、１２０：記憶部
２０：対象エリア

Claims (16)

  1. 　対象エリアを撮影した動画像データを取得する画像取得部と、
    　前記動画像データを解析することにより、前記対象エリア内で行動する人物を検出し追跡する人物検出部と、
    　前記動画像データを解析することにより、前記人物の追跡期間中に前記人物に生じたイベントを検出するイベント検出部と、
    　前記動画像データを解析することにより、前記追跡期間中における前記人物の生理心理学的指標の時間的な変化を検出する生理心理学的指標検出部と、
    　少なくとも、前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化とを、時間的に対応付けたデータを、前記人物の動向記録データとして生成する動向記録生成部と、
    を備えることを特徴とする人物動向記録装置。
  2. 　生理心理学的指標の時間的な変化に基づいて、前記人物の心理状態を推定した心理状態指標を算出する心理状態推定部をさらに備え、
    　前記動向記録データは、前記心理状態推定部により算出された心理状態指標をさらに含む
    ことを特徴とする請求項１に記載の人物動向記録装置。
  3. 　前記心理状態推定部は、複数の生理心理学的指標を組み合わせて心理状態指標を算出する
    ことを特徴とする請求項２に記載の人物動向記録装置。
  4. 　前記複数の生理心理学的指標は、前記人物が意識的にコントロール可能な生理心理学的指標と、前記人物が意識的にコントロール可能でない生理心理学的指標を含む
    ことを特徴とする請求項３に記載の人物動向記録装置。
  5. 　生理心理学的指標の時間的な変化に基づいて、前記人物の満足度を推定する満足度推定部をさらに備え、
    　前記動向記録データは、前記満足度推定部により推定された満足度の情報をさらに含むことを特徴とする請求項１～４のうちいずれか１項に記載の人物動向記録装置。
  6. 　生理心理学的指標の時間的な変化に基づいて、前記対象エリア内の対象に対する前記人物の関心度を推定する関心度推定部をさらに備え、
    　前記動向記録データは、前記関心度推定部により推定された関心度の情報をさらに含むことを特徴とする請求項１～５のうちいずれか１項に記載の人物動向記録装置。
  7. 　前記生理心理学的指標は、表情、笑顔度、単位時間あたりの脈拍数、単位時間あたりの瞬目数、注視度、瞳孔径、眼球運動、単位時間あたりの呼吸数、体温、発汗、血流、及び、血圧のうち少なくとも１つの項目を含む
    ことを特徴とする請求項１～６のうちいずれか１項に記載の人物動向記録装置。
  8. 　前記動画像データを解析することにより、前記人物の属性を推定する属性推定部をさらに備え、
    　前記動向記録データは、前記属性推定部により推定された属性の情報をさらに含む
    ことを特徴とする請求項１～７のうちいずれか１項に記載の人物動向記録装置。
  9. 　前記動向記録データに基づいて、動向分析結果を表示する動向分析結果表示部をさらに備え、
    　前記動向分析結果は、前記人物の追跡期間中に前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化とを、時間軸上に表示する情報を含む
    ことを特徴とする請求項１～８のうちいずれか１項に記載の人物動向記録装置。
  10. 　前記動向記録データに基づいて、動向分析結果を表示する動向分析結果表示部をさらに備え、
    　前記動向分析結果は、複数の人物の前記動向記録データから計算された、前記生理心理学的指標及び／又は前記満足度の統計値を表示する情報を含む
    ことを特徴とする請求項５に記載の人物動向記録装置。
  11. 　前記動向記録データに基づいて、動向分析結果を表示する動向分析結果表示部をさらに備え、
    　前記動向分析結果は、複数の人物の前記動向記録データから計算された、前記生理心理学的指標及び／又は前記関心度の統計値を表示する情報を含む
    ことを特徴とする請求項６に記載の人物動向記録装置。
  12. 　前記対象エリア内に複数のサブエリアが設定されており、
    　前記動向分析結果は、前記サブエリアごとに計算された前記統計値を表示する情報を含む
    ことを特徴とする請求項１０又は１１に記載の人物動向記録装置。
  13. 　前記動画像データを解析することにより、前記人物の属性を推定する属性推定部をさらに備え、
    　前記動向記録データは、前記属性推定部により推定された属性の情報をさらに含み、
    　前記動向分析結果は、前記属性ごとに計算された前記統計値を表示する情報を含む
    ことを特徴とする請求項１０～１２のうちいずれか１項に記載の人物動向記録装置。
  14. 　前記動向分析結果は、イベントの種類ごとに計算された前記統計値を表示する情報を含む
    ことを特徴とする請求項１０～１３のうちいずれか１項に記載の人物動向記録装置。
  15. 　コンピュータにより、対象エリアを撮影した動画像データを取得するステップと、
    　コンピュータにより前記動画像データを解析することにより、前記対象エリア内で行動する人物を検出し追跡するステップと、
    　コンピュータにより前記動画像データを解析することにより、前記人物の追跡期間中に前記人物に生じたイベントを検出するステップと、
    　コンピュータにより前記動画像データを解析することにより、前記追跡期間中における前記人物の生理心理学的指標の時間的な変化を検出するステップと、
    　コンピュータにより、少なくとも、前記人物に生じた１つ以上のイベントと、前記人物の生理心理学的指標の時間的な変化とを、時間的に対応付けたデータを、前記人物の動向記録データとして生成し記憶装置に格納するステップと、
    を有することを特徴とする人物動向記録方法。
  16. 　請求項１５に記載の人物動向記録方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2017/042505 2017-03-14 2017-11-28 人物動向記録装置、人物動向記録方法、及びプログラム Ceased WO2018168095A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780071316.1A CN109983505B (zh) 2017-03-14 2017-11-28 人物动向记录装置、人物动向记录方法及存储介质
DE112017007261.1T DE112017007261T8 (de) 2017-03-14 2017-11-28 Personentrendaufzeichnungsvorrichtung, personentrendaufzeichnungsverfahren, und programm
US16/461,912 US11106900B2 (en) 2017-03-14 2017-11-28 Person trend recording device, person trend recording method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017048828A JP6724827B2 (ja) 2017-03-14 2017-03-14 人物動向記録装置
JP2017-048828 2017-03-14

Publications (1)

Publication Number Publication Date
WO2018168095A1 true WO2018168095A1 (ja) 2018-09-20

Family

ID=63523766

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042505 Ceased WO2018168095A1 (ja) 2017-03-14 2017-11-28 人物動向記録装置、人物動向記録方法、及びプログラム

Country Status (5)

Country Link
US (1) US11106900B2 (ja)
JP (1) JP6724827B2 (ja)
CN (1) CN109983505B (ja)
DE (1) DE112017007261T8 (ja)
WO (1) WO2018168095A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7521175B2 (ja) * 2019-03-19 2024-07-24 日本電気株式会社 顧客情報処理装置、顧客情報処理方法、及びプログラム
JP7251392B2 (ja) * 2019-08-01 2023-04-04 株式会社デンソー 感情推定装置
JP7227884B2 (ja) * 2019-10-10 2023-02-22 株式会社日立製作所 購買促進システムおよび購買促進方法
CN110942055A (zh) * 2019-12-31 2020-03-31 北京市商汤科技开发有限公司 展示区域的状态识别方法、装置、设备及存储介质
JP7526955B2 (ja) * 2020-02-05 2024-08-02 パナソニックＩｐマネジメント株式会社 観客分析装置、観客分析方法、及び、コンピュータプログラム
CN111983210B (zh) * 2020-06-29 2022-04-15 北京津发科技股份有限公司 基于时间同步的空间位置和多通道人机环境数据采集、时空行为分析方法和装置
CN112487888B (zh) * 2020-11-16 2023-04-07 支付宝(杭州)信息技术有限公司 一种基于目标对象的图像采集方法及装置
WO2022153496A1 (ja) * 2021-01-15 2022-07-21 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JP2024075796A (ja) * 2021-02-17 2024-06-05 株式会社Preferred Networks 解析装置、解析システム、解析方法及びプログラム
JP7654429B2 (ja) * 2021-03-16 2025-04-01 サトーホールディングス株式会社 表示システム、制御装置、及び制御プログラム
WO2022201842A1 (ja) * 2021-03-24 2022-09-29 富士フイルム株式会社 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
JP7453181B2 (ja) * 2021-05-20 2024-03-19 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US11887405B2 (en) * 2021-08-10 2024-01-30 Capital One Services, Llc Determining features based on gestures and scale
JP7276419B1 (ja) 2021-12-24 2023-05-18 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
JP7828184B2 (ja) * 2022-01-24 2026-03-11 株式会社東芝 監視システム、及び監視方法
EP4560559A4 (en) * 2022-07-19 2025-06-18 Fujitsu Limited GENERATION PROGRAM, GENERATION METHOD AND INFORMATION PROCESSING DEVICE
JP2024068574A (ja) * 2022-11-08 2024-05-20 日清オイリオグループ株式会社 商品評価装置及び商品評価方法
JP7333570B1 (ja) 2022-12-21 2023-08-25 株式会社Shift プログラム、方法、情報処理装置、システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127057A (ja) * 2004-10-27 2006-05-18 Canon Inc 推定装置、及びその制御方法
JP2009037459A (ja) * 2007-08-02 2009-02-19 Giken Torasutemu Kk 商品関心度計測装置
JP2013537435A (ja) * 2010-06-07 2013-10-03 アフェクティヴァ，インコーポレイテッド ウェブサービスを用いた心理状態分析
JP2016103786A (ja) * 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101108125B (zh) * 2007-08-02 2010-06-16 无锡微感科技有限公司 一种身体体征动态监测系统
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
JP5822651B2 (ja) * 2011-10-26 2015-11-24 株式会社ソニー・コンピュータエンタテインメント 個体判別装置および個体判別方法
JP5899472B2 (ja) * 2012-05-23 2016-04-06 パナソニックＩｐマネジメント株式会社 人物属性推定システム、及び学習用データ生成装置
JP5314200B1 (ja) 2013-02-01 2013-10-16 パナソニック株式会社 接客状況分析装置、接客状況分析システムおよび接客状況分析方法
JP6071141B2 (ja) * 2013-08-22 2017-02-01 Kddi株式会社 多数のユーザの通信履歴からイベントの発生位置を推定する装置、プログラム及び方法
US11494390B2 (en) * 2014-08-21 2022-11-08 Affectomatics Ltd. Crowd-based scores for hotels from measurements of affective response
KR101648827B1 (ko) * 2015-03-11 2016-08-17 (주)중외정보기술 실시간 위치 기반 이벤트 발생 시스템 및 이를 이용한 단말 제어 방법
JP6728863B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 情報処理システム
CN106264568B (zh) * 2016-07-28 2019-10-18 深圳科思创动实业有限公司 非接触式情绪检测方法和装置
CN106407935A (zh) * 2016-09-21 2017-02-15 俞大海 基于人脸图像和眼动注视信息的心理测试方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127057A (ja) * 2004-10-27 2006-05-18 Canon Inc 推定装置、及びその制御方法
JP2009037459A (ja) * 2007-08-02 2009-02-19 Giken Torasutemu Kk 商品関心度計測装置
JP2013537435A (ja) * 2010-06-07 2013-10-03 アフェクティヴァ，インコーポレイテッド ウェブサービスを用いた心理状態分析
JP2016103786A (ja) * 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム

Also Published As

Publication number Publication date
CN109983505A (zh) 2019-07-05
DE112017007261T5 (de) 2019-11-28
JP6724827B2 (ja) 2020-07-15
US20190332855A1 (en) 2019-10-31
CN109983505B (zh) 2023-10-17
DE112017007261T8 (de) 2020-01-16
US11106900B2 (en) 2021-08-31
JP2018151963A (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
JP6724827B2 (ja) 人物動向記録装置
US10380603B2 (en) Assessing personality and mood characteristics of a customer to enhance customer satisfaction and improve chances of a sale
Generosi et al. A deep learning-based system to track and analyze customer behavior in retail store
JP4622702B2 (ja) 映像監視装置
JP7083809B2 (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
US11320902B2 (en) System and method for detecting invisible human emotion in a retail environment
US10559102B2 (en) Makeup simulation assistance apparatus, makeup simulation assistance method, and non-transitory computer-readable recording medium storing makeup simulation assistance program
US20120083675A1 (en) Measuring affective data for web-enabled applications
US20130151333A1 (en) Affect based evaluation of advertisement effectiveness
KR102799123B1 (ko) 인간의 사회적 행동 분류를 결정하기 위한 방법 및 시스템
US20130102854A1 (en) Mental state evaluation learning for advertising
JP7306152B2 (ja) 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム
US20230043838A1 (en) Method for determining preference, and device for determining preference using same
CN107210830A (zh) 一种基于生物特征的对象呈现、推荐方法和装置
US20130238394A1 (en) Sales projections based on mental states
JP2020067720A (ja) 人属性推定システム、それを利用する情報処理装置及び情報処理方法
US20240382125A1 (en) Information processing system, information processing method and computer program product
KR20230137529A (ko) 사용자 관심 분석 기반 구매 유도 시스템 및 방법
JP2025068442A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2025149652A1 (en) Methods and systems for determining a physiological response of the eye of a user
JP2025021811A (ja) 評価プログラム、評価方法および情報処理装置
JP2026046780A (ja) 感情推定システム、感情推定方法、及び感情推定プログラム
US20170236151A1 (en) Systems, devices, and methods of providing targeted advertising

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17900588

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17900588

Country of ref document: EP

Kind code of ref document: A1