WO2019130435A1 - サイネージ評価システム、サイネージの効果の評価方法、及びプログラム - Google Patents

サイネージ評価システム、サイネージの効果の評価方法、及びプログラム Download PDF

Info

Publication number
WO2019130435A1
WO2019130435A1 PCT/JP2017/046714 JP2017046714W WO2019130435A1 WO 2019130435 A1 WO2019130435 A1 WO 2019130435A1 JP 2017046714 W JP2017046714 W JP 2017046714W WO 2019130435 A1 WO2019130435 A1 WO 2019130435A1
Authority
WO
WIPO (PCT)
Prior art keywords
signage
unit
image
evaluation
viewer
Prior art date
Application number
PCT/JP2017/046714
Other languages
English (en)
French (fr)
Inventor
尚也 坂本
将仁 谷口
Original Assignee
株式会社ウフル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ウフル filed Critical 株式会社ウフル
Priority to PCT/JP2017/046714 priority Critical patent/WO2019130435A1/ja
Publication of WO2019130435A1 publication Critical patent/WO2019130435A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Definitions

  • the present invention relates to a technique for evaluating signage, and can be used in the field of Internet of Things (IoT).
  • IoT Internet of Things
  • Patent Document 1 discloses a system that recognizes the face of a customer who has entered a store, collates the face photograph of a member registered in advance, displays an advertisement when they match, and provides a benefit etc. ing.
  • Patent Document 1 can not evaluate the effect of signage.
  • An object of the present invention is to evaluate the effect of signage according to whether or not visual recognition of the signage has led to the use of a service.
  • a signage evaluation system comprising: a first recognition unit that recognizes an image of a viewer who has visually identified signage from the first image captured by the first imaging unit; Second recognition means for image recognition of a user using a service associated with the signage from the second image taken by the second imaging means after imaging the image, and collation for collating the viewer and the user It is a signage evaluation system which has a means, the evaluation means which evaluates the effect of the said signage according to the result of the said collation, and the alerting
  • a signage evaluation system executes, in the aspect according to the first aspect, any one of the functions of the first recognition means, the second recognition means, the collation means, and the evaluation means. And a monitoring unit for monitoring the cost of executing the function by the plurality of processing units, the monitoring unit including the plurality of processing units according to the cost.
  • the signage evaluation system is characterized in that each of the computing means is instructed to execute the function, and each of the plurality of computing means executes the function instructed by the monitoring means.
  • a signage evaluation system in the aspect according to the first or second aspect, further includes a specifying means for image recognition and specifying an attribute of the viewer or the user, and the notification
  • the means is a signage evaluation system characterized by notifying the specified attribute.
  • the signage evaluation system is the aspect according to any one of the first to third aspects, wherein the evaluation means is based on the result of the collation performed by the collation means plural times. It is a signage evaluation system characterized by evaluating the above-mentioned effect.
  • the evaluation means may be arranged for each position of the first imaging means or the second imaging means. It is a signage evaluation system characterized by evaluating an effect.
  • a signage evaluation system is the aspect according to any one of the first to fifth aspects, wherein the evaluation means corresponds to the type or amount of the service used by the user. It is a signage evaluation system characterized by evaluating an effect.
  • a signage evaluation system is the aspect according to any one of the first to sixth aspects, wherein the evaluation means determines the time during which the viewer visually recognizes the signage, or It is a signage evaluation system characterized by evaluating the above-mentioned effect according to time from the above-mentioned user judged to be the same person as a viewer and seeing the above-mentioned signage to using the above-mentioned service.
  • a second recognition step of image recognition of a user using a service associated with the signage from a second image picked up by the second image pickup means after the image pickup, and a collation step of collating the viewer and the user And an evaluation step of evaluating the effect of the signage according to the result of the matching, and a notification step of notifying the evaluation.
  • the program according to claim 9 of the present invention comprises the steps of: image recognition of a viewer who has visually recognized signage from the first image captured by the first imaging device, and the first imaging device performs the first image on the computer From the second image captured by the second imaging means after imaging, the steps of image recognition of the user using the service associated with the signage, collating the viewer and the user, and the collation It is a program for performing the step of evaluating the effect of the said signage according to a result, and the step of alerting
  • the effect of signage can be evaluated by whether it led to utilization of a service.
  • FIG. 2 is a diagram showing an example of the configuration of an information processing device 4;
  • FIG. 6 is a view showing a database etc. stored in a storage unit 42.
  • FIG. 2 is a diagram showing an example of the configuration of a monitoring device 6;
  • FIG. 6 is a view showing a database stored in a storage unit 62.
  • FIG. 2 is a diagram showing a configuration of an arithmetic unit 5.
  • the figure which shows the database which storage part 52 memorizes.
  • FIG. 2 shows a functional configuration of the information processing device 4;
  • FIG. 2 shows a functional configuration of the information processing device 4;
  • FIG. 2 shows a functional configuration of the information processing device 4;
  • FIG. 2 is a diagram showing a functional configuration of a monitoring device 6;
  • FIG. 2 is a diagram showing a functional configuration of an arithmetic unit 5.
  • FIG. 10 is a sequence diagram showing a flow of operation of signage evaluation system 9; The figure which shows the structure of the signage evaluation system 9 which concerns on a modification.
  • FIG. 1 is a diagram showing the configuration of a signage evaluation system 9 according to the present embodiment.
  • the signage evaluation system 9 has an information processing device 4, a plurality of arithmetic devices 5, a monitoring device 6, and a communication line 3 for communicably connecting these. Further, the signage evaluation system 9 includes a first imaging device 1 and a second imaging device 2.
  • the signage evaluation system 9 shown in FIG. 1 further includes a signage reproduction device 7.
  • the first imaging device 1, the second imaging device 2, and the signage reproduction device 7 are connected to the information processing device 4.
  • the signage evaluation system 9 shown in FIG. 1 has one information processing device 4, but may have a plurality of information processing devices 4.
  • the signage evaluation system 9 shown in FIG. 1 has one information processing apparatus 4 provided in one shop S, it has the information processing apparatus 4 provided in each of a plurality of shops S. May be One information processing device 4 may be provided in one store S, but a plurality of information processing devices 4 may be provided. Further, although the first imaging device 1, the second imaging device 2, and the signage reproduction device 7 are each connected to one information processing device 4 in FIG. 1, even if they are connected to different information processing devices 4 Good.
  • the communication line 3 is a line that communicably connects the information processing device 4 to the arithmetic device 5 and the monitoring device 6, and is, for example, the Internet.
  • the plurality of computing devices 5 cooperate with each other to configure a cloud C that provides the signage evaluation system 9 with a function.
  • the monitoring device 6 monitors the cost when each of the plurality of computing devices 5 configuring the cloud C executes a function, and assigns the function to each of the plurality of computing devices 5 according to the cost.
  • the signage evaluation system 9 may have a plurality of communication lines 3, a cloud C, and a plurality of monitoring devices 6. Moreover, the signage evaluation system 9 may have one computing device 5 instead of a plurality. In this case, the computing device 5 may not configure the cloud C, and the information processing device 4 may directly instruct the computing device 5 to execute a function. And the signage evaluation system 9 may not have the monitoring device 6.
  • FIG. 2 is a view for explaining the use situation of signage evaluation system 9 according to the present embodiment.
  • FIG. 2 in the store S facing the aisle, a state in which the signage reproduction device 7 is installed next to the door D for entering the store S is depicted.
  • the signage reproduction device 7 reproduces, for example, “signage” such as an image, a moving image, or a voice, which is controlled by the information processing device 4 and promotes the use of the service provided in the store S.
  • the signage reproduction device 7 has a display screen for displaying an image, a moving image, and the like included in the signage associated with the above-described service.
  • the signage reproduction device 7 shown in FIG. 2 is installed with the display screen facing the passage.
  • Each of the first imaging device 1 and the second imaging device 2 includes an optical system such as a lens, a reflecting mirror, or a prism, and a solid-state imaging device such as a CCD (charge coupled device) image sensor or a CMOS (complementary) image sensor.
  • the imaging unit such as a camera captures an image of a space around which the optical system is directed, and generates image data indicating an image in which an object present in the space is captured.
  • the first imaging device 1 is, for example, an imaging means (first imaging means) attached to a bezel or the like of the signage reproduction device 7, and the optical system is directed to the front of the display screen of the signage reproduction device 7. As a result, the first imaging device 1 captures an image of the passerby P who passes through the aisle who views the display screen of the signage reproduction device 7 (referred to as a viewer).
  • the second imaging device 2 is, for example, an imaging unit (second imaging unit) attached to the upper part of the door D, and the optical system is directed to the space on the passage D side of the door D. Thereby, the second imaging device 2 enters the store S through the door D among the passersby P who passes through the aisle, and captures an image of a person (referred to as a user) who has used the service provided in the store S.
  • second imaging unit an imaging unit
  • the image data generated by each of the first imaging device 1 and the second imaging device 2 is the time and position at which each of the first imaging device 1 and the second imaging device 2 performed imaging.
  • the information processing apparatus 4 is supplied with the information of
  • the first imaging device 1 and the second imaging device 2 shown in FIG. 2 are both fixed.
  • the information of the position which the first imaging device 1 and the second imaging device 2 supply to the information processing device 4 together with the image data is the position ID which is the respective identification information.
  • the position information may be, for example, information measured by a Global Navigation Satellite System (GNSS) provided in each of the first imaging device 1 and the second imaging device 2.
  • GNSS Global Navigation Satellite System
  • the first imaging device 1 and the second imaging device 2 may be provided so as to be movable.
  • the signage reproduction device 7 is provided in a transportation facility such as a taxi, a bus, a railway, etc.
  • the first imaging device 1 may move along with the signage reproduction device 7.
  • the service associated with the signage reproduced by the signage reproduction device 7 is a service involving movement
  • the second imaging device 2 moves along with the movement of the place where the service is provided. It is also good.
  • Examples of the service that involves movement include transportation of the user by the above-described transportation, provision of food and drink provided within the transportation, and sale of articles.
  • FIG. 3 is a diagram showing an example of the configuration of the information processing device 4.
  • the information processing device 4 includes a control unit 41, a storage unit 42, a communication unit 43, a display unit 44, an operation unit 45, and a connection unit 46.
  • the control unit 41 includes a central processing unit (CPU), a read only memory (ROM), and a random access memory (RAM), and a computer program (hereinafter, simply referred to as a program) stored in the ROM and the storage unit 42 by the CPU. Is read and executed to control each part of the information processing apparatus 4.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • a computer program hereinafter, simply referred to as a program stored in the ROM and the storage unit 42 by the CPU. Is read and executed to control each part of the information processing apparatus 4.
  • the communication unit 43 is a communication circuit connected to the communication line 3 by wire or wirelessly.
  • the information processing device 4 exchanges information with the arithmetic device 5 or the monitoring device 6 connected to the communication line 3 by the communication unit 43.
  • the operation unit 45 includes operation buttons for giving various instructions, and operation elements such as a keyboard and a touch panel, accepts an operation by the user, and sends a signal corresponding to the content of the operation to the control unit 41. Note that the information processing device 4 may not have the operation unit 45.
  • the display unit 44 has a display screen such as a liquid crystal display, and displays an image under the control of the control unit 41.
  • the transparent touch panel of the operation unit 45 may be overlapped and disposed on the display screen.
  • the display unit 44 may have a sound emitting device such as a speaker that emits sound under control of the control unit 41 in addition to or in place of the display screen.
  • the display unit 44 may have a configuration (notification means) for notifying information under the control of the control unit 41.
  • the connection unit 46 is an interface connected to an apparatus that supplies various types of information.
  • the connection unit 46 illustrated in FIG. 3 is connected to the first imaging device 1, the second imaging device 2, and the signage reproduction device 7.
  • the connection unit 46 supplies the image data generated by the first imaging device 1 and the second imaging device 2 to the control unit 41, and supplies the control signal generated from the control unit 41 to the signage reproduction device 7.
  • the storage unit 42 is a large-capacity storage unit such as a solid state drive or a hard disk drive, and stores various programs, data, and the like read by the CPU of the control unit 41.
  • the storage unit 42 also includes an image DB 421 and a signage list 422.
  • the image DB 421 is a database that stores image data supplied from the first imaging device 1 and the second imaging device 2 respectively.
  • the signage list 422 is information for advertising the service provided at the store S, and is a list for storing signage data such as images, moving images, sounds, etc. to be reproduced by the signage reproducing apparatus 7.
  • FIG. 4 is a diagram showing a database etc. stored in the storage unit 42.
  • Image data indicating an image captured by the first imaging device 1 or the second imaging device 2 is stored in the image DB 421 illustrated in FIG. 4A in association with the time and position at which the imaging was performed.
  • the control unit 41 of the information processing device 4 stores the image data supplied from the first imaging device 1 and the second imaging device 2 together with the information indicating the time and the position in the image DB 421 in association with the information.
  • the information indicating the position is a position ID such as “P11” indicating the position of the first imaging device 1 or “P12” indicating the position of the second imaging device 2.
  • the signage data is stored in association with the signage ID which is the identification information thereof and the information indicating the reproduction period.
  • the control unit 41 of the information processing device 4 reads the signage list 422 and supplies the signage data to the signage reproduction device 7 in a period associated with each of the signage data.
  • the signage reproduction device 7 reproduces the supplied signage data.
  • FIG. 5 is a diagram showing an example of the configuration of the monitoring device 6.
  • the monitoring device 6 includes a control unit 61, a storage unit 62, and a communication unit 63.
  • the control unit 61 includes a CPU, a ROM, and a RAM, and controls the units of the monitoring device 6 by the CPU reading and executing programs stored in the ROM and the storage unit 62.
  • the communication unit 63 is a communication circuit connected to the communication line 3 by wire or wirelessly.
  • the monitoring device 6 exchanges information with the arithmetic device 5 and the information processing device 4 connected to the communication line 3 by the communication unit 63.
  • the storage unit 62 is a large-capacity storage unit such as a solid state drive or a hard disk drive, and stores various programs, data, and the like read by the CPU of the control unit 61.
  • the storage unit 62 also stores a load DB 621, a charge DB 622, and a responsible DB 623.
  • FIG. 6 is a diagram showing a database stored in the storage unit 62.
  • the load DB 621 shown in FIG. 6A is a database that stores the load factor of each of the plurality of computing devices 5 that configure the cloud C in association with the device ID that is the identification information of the computing device 5.
  • the load factor is an index indicating the degree of the load of the computing device 5 and is, for example, a ratio of the number of processes waiting for execution at the present time to the number of acceptable processes set in advance. The higher the load factor, the more the processing unit 5 requests processing to be delayed.
  • the charge DB 622 illustrated in FIG. 6B is a database that stores the usage charges of the plurality of computing devices 5 that configure the cloud C in association with the device ID of the computing device 5.
  • the usage fee is, for example, a fee to be paid per unit time as a compensation for processing to be executed by the computing device 5.
  • the assigned DB 623 shown in FIG. 6C associates a function (referred to as a assigned function) with which the control unit 61 causes each of the plurality of computing devices 5 forming the cloud C to be assigned, and the device ID of the computing device 5. It is a database to memorize.
  • the control unit 61 divides the processing to be executed by the cloud C into a plurality of functions. Then, the control unit 61 refers to the load DB 621 and the charge DB 622 and determines, for example, a responsible function to be made to be in charge of each arithmetic device 5 such that costs such as waiting time and fee become the lowest.
  • the set of the responsible function and the arithmetic device 5 is written in the responsible DB 623.
  • the control unit 61 instructs each arithmetic device 5 to execute each assigned function according to the set written in the assigned DB 623.
  • FIG. 7 is a diagram showing the configuration of the arithmetic unit 5.
  • the arithmetic device 5 includes a control unit 51, a storage unit 52, and a communication unit 53.
  • the control unit 51 includes a CPU, a ROM, and a RAM, and controls the units of the arithmetic device 5 by the CPU reading and executing programs stored in the ROM and the storage unit 52.
  • the communication unit 53 is a communication circuit connected to the communication line 3 by wire or wirelessly.
  • the computing device 5 exchanges information with the monitoring device 6 and the information processing device 4 connected to the communication line 3 by the communication unit 53.
  • the storage unit 52 is a large-capacity storage unit such as a hard disk drive, and stores various programs read by the CPU of the control unit 51.
  • the storage unit 52 stores a viewer DB 521, a user DB 522, a position DB 523, a condition DB 524, an evaluation DB 525, and an attribute DB 526.
  • the storage unit 52 may also store signage DB 527 as shown in FIG.
  • FIG. 8 is a diagram showing a database stored in the storage unit 52.
  • the viewer DB 521 shown in FIG. 8A is assigned to the feature amount indicating the viewer and the feature amount extracted from the image (also referred to as a first image) captured by the first imaging device 1 at the store S. It is a database which stores the viewer ID which is identification information of the viewer and the information of the time and the position at which the first image was captured.
  • the user DB 522 shown in FIG. 8B is assigned to the feature amount indicating the user and the feature amount extracted from the image (also referred to as a second image) captured by the second imaging device 2 at the store S. It is a database which stores the user ID which is the identification information of the user together with the information on the time and the position at which the second image was captured.
  • the position DB 523 is a database that stores information indicating the position of each of the first imaging device 1 and the second imaging device 2 in association with a target type that each is targeted for imaging.
  • the position DB 523 shown in FIG. 8C corresponds to the position ID for identifying the position of the first imaging device 1 or the second imaging device 2 and is fixed to the position indicated by the position ID.
  • An object type indicating an object of imaging is stored.
  • the object type is a “viewer” who visually recognizes signage reproduced by the signage reproducing apparatus 7 when the imaging apparatus described above is the first imaging apparatus 1, and is a second imaging apparatus 2 when the imaging apparatus is the second imaging apparatus 2. It is a "user" who enters the store S through the door D.
  • the image data indicating the first image acquired from the information processing device 4 may include information indicating that the first image is captured by the first imaging device 1.
  • the image data indicating the second image acquired from the information processing device 4 may include information indicating that the second image is captured by the second imaging device 2.
  • the information indicating which of the first imaging device 1 and the second imaging device 2 is imaged by, for example, the metadata of the image data by either the information processing device 4, the first imaging device 1 or the second imaging device 2 It may be written.
  • the condition DB 524 is a database that stores the condition of the user collating with the viewer.
  • the first imaging device 1 captures an image of a viewer who is viewing signage, and thereafter, evaluates the effect of signage by determining whether the viewer has used the store S or not. It is a system. Therefore, for example, the user before the viewer views the signage does not need to check the viewer, and the user after the time determined after the viewer views the signage has also passed. There is no need to match with this viewer.
  • the condition DB 524 illustrated in FIG. 8D stores the item of the condition and the condition of the item in association with each other.
  • the item “distance” means the distance between the first imaging device 1 and the second imaging device 2, and the condition is "within 15 meters”. That is, the viewer who is imaged by the first imaging device 1 should be compared with the user who is imaged by the second imaging device 2 installed within 15 meters from the first imaging device 1, This condition DB 524 is stored.
  • the item “time” means the time until the second imaging device 2 captures the second image after the first imaging device 1 captures the first image, and the condition thereof Is “more than 30 seconds and less than 5 minutes”. That is, in this case, it takes 30 seconds or more for the viewer imaged by the first imaging device 1 to be imaged by the corresponding second imaging device 2 in any hurry, so after being imaged by the first imaging device 1 It is stored in the condition DB 524 that it is not necessary to collate with the user imaged by the second imaging device 2 in less than 30 seconds.
  • the viewer who is imaged by the first imaging device 1 hardly uses the store S after 5 minutes have passed since the imaging, and even if it is used, there is no effect due to visualizing the signage. It is stored in the condition DB 524 that there is no need to match because of the nature.
  • the evaluation DB 525 is a database for storing an evaluation of the effect of signage, which is determined by the control unit 51 according to the result of the collation between the recognized viewer and the user.
  • the evaluation DB 525 shown in FIG. 8E stores a signage ID, which is identification information for identifying signage, in association with an index indicating the effect of the signage.
  • a signage ID which is identification information for identifying signage, in association with an index indicating the effect of the signage.
  • an index which shows the effect of signage as shown in FIG. 8 (e)
  • it is a utilization rate, and is a class of evaluation to which the signage which is determined according to the utilization rate belongs.
  • the utilization rate shown in FIG. 8E is the ratio of the viewer who visually recognizes the signage reproduced by the signage reproducing apparatus 7 to the user who has used the service associated with the signage.
  • the fact that the utilization rate is high means that the rate of using the corresponding service is high by visual recognition of the signage, which means that the effect of the signage is high.
  • the class is divided into, for example, four stages from A to D, and is determined such that A is the highest rating and D is the lowest rating, and the higher the utilization factor, the higher the rating.
  • A is the highest rating
  • D is the lowest rating
  • the signage of the signage ID “A01” has a usage rate of “33%” and a rank of “C”.
  • the signage of the signage ID “A02” has a utilization rate of "79%” and a rank of "A”. From this, it can be seen that the signage of the signage ID “A02” is evaluated to be more effective than the signage of the signage ID “A01”.
  • the attribute DB 526 is a database that stores attributes such as gender and age of a person recognized by a feature extracted from an image in association with the feature.
  • the attribute DB 526 shown in FIG. 8F associates and stores the attribute and the feature amount.
  • This attribute indicates, for example, classification by a combination of gender and age, such as "male in thirties” and "female in forties”.
  • the feature amount associated with the attribute is a feature amount common to the image captured by the viewer or the user having the common attribute.
  • the attribute DB 526 may be generated, for example, by performing machine learning using, as teacher data, a plurality of images classified in advance for each attribute of the captured person.
  • FIG. 9 is a diagram showing an example of a signage DB 527 stored in the storage unit 52.
  • the signage DB 527 illustrated in FIG. 9 stores the position list 5270 and the signage list 5271 in association with each other.
  • the position list 5270 is a list showing information on the position of each first imaging device 1.
  • the signage list 5271 is a list associated with each position of the first imaging device 1 described in the position list 5270, and it is directed to a space imaged by the first imaging device 1 provided at that position. It is a list showing information of signage to be reproduced.
  • the signage list 5271 stores signage data, which is identification information of the signage data, in association with information indicating a reproduction period.
  • FIG. 10 is a diagram showing a functional configuration of the information processing device 4.
  • the control unit 41 of the information processing device 4 functions as an acquisition unit 411, a request unit 412, a notification unit 413, and a reproduction control unit 414 by reading and executing a program stored in the storage unit 42.
  • the communication line 3, the communication unit 43, the operation unit 45, and the connection unit 46 are omitted.
  • the acquisition unit 411 acquires image data representing images (first and second images) captured from the first imaging device 1 and the second imaging device 2, respectively, and acquires the acquired image data at the time of imaging. And the position information are stored in the image DB 421.
  • the request unit 412 transmits the acquired image data to the monitoring device 6, extracts the feature amount from the image data, recognizes the viewer or the user, and checks the recognized viewer and the user.
  • the monitoring device 6 is requested to evaluate the signage visually recognized by the person.
  • the monitoring device 6 monitors a plurality of computing devices 5 constituting the cloud C, and causes one of the computing devices 5 to evaluate the signage described above.
  • the notification unit 413 notifies the result of the evaluation by obtaining the result of the requested evaluation from the monitoring device 6 and displaying the result on the display unit 44. That is, the notification unit 413 is requested to be executed by the arithmetic device 5 via the monitoring device 6, and functions as an example of notification means for notifying the evaluation of the evaluation unit performed by the arithmetic device 5. Note that, when the attribute of the recognized viewer or user is included in the result of the evaluation, the notification unit 413 also notifies the attribute included in the result of the evaluation.
  • the notification unit 413 may receive the requested evaluation result not directly from the monitoring device 6 but from the computing device 5 instructed to perform the evaluation on the monitoring device 6.
  • the reproduction control unit 414 reads one of the signages from the signage list 422, supplies it to the signage reproduction device 7, and reproduces it over the period associated with the signage.
  • FIG. 11 is a diagram showing a functional configuration of the monitoring device 6.
  • the control unit 61 of the monitoring device 6 functions as a monitoring unit 611, a receiving unit 612, a determination unit 613, an instruction unit 614, and a transfer unit 615 by reading and executing the program stored in the storage unit 62.
  • the communication line 3 and the communication unit 63 are omitted in FIG.
  • the monitoring unit 611 monitors the load of processing executed by the plurality of computing devices 5 configuring the cloud C, and stores an index indicating the degree of the load such as load factor in the load DB 621 for each computing device 5 Do.
  • the index indicating the degree of the load is an example of the time required for the arithmetic device 5 to execute the function, and the cost such as the fee to be paid.
  • the monitoring unit 611 may monitor the cost when the computing device 5 executes a function, instead of or in addition to the index indicating the degree of load. That is, the monitoring device 6 in which the control unit 61 functions as the monitoring unit 611 is an example of a monitoring device that monitors the costs when executing functions by a plurality of arithmetic devices.
  • the accepting unit 612 accepts the image data acquired by the information processing apparatus 4 and extracts a feature amount from the image data to accept a request for recognizing the viewer or the user.
  • the determining unit 613 divides the process requested by the information processing apparatus 4 accepted by the accepting unit 612 into a plurality of functions. Then, with reference to the load DB 621 and the charge DB 622, the determination unit 613 determines in advance, for example, the time required for the processing described above and the cost such as the cost for each of the plurality of arithmetic devices 5 configuring the cloud C. In order to satisfy the condition, the combination of the arithmetic device 5 and the function of instructing the arithmetic device 5 to execute is determined.
  • the instructing unit 614 instructs each arithmetic device 5 to execute the associated function based on the combination determined by the determining unit 613. That is, the monitoring device 6 in which the control unit 61 functions as the instruction unit 614 is an example of a monitoring unit that instructs each of the plurality of arithmetic units to execute the function according to the cost when the arithmetic unit executes the function. Each of the arithmetic devices 5 that has received an instruction from the monitoring device 6 executes the instructed function.
  • the transfer unit 615 obtains the result of executing the instructed function from the arithmetic device 5 that has received the instruction, and transfers the result to the information processing device 4.
  • the arithmetic device 5 instructed to evaluate the effect of signage may directly send the result of the evaluation to the information processing device 4. In this case, the control unit 61 may not function as the transfer unit 615.
  • FIG. 12 is a diagram showing a functional configuration of the arithmetic unit 5.
  • the control unit 51 of the arithmetic device 5 reads and executes the program stored in the storage unit 52 to receive the reception unit 510, the first recognition unit 511, the second recognition unit 512, the collation unit 513, the identification unit 514, It functions as an evaluation unit 515 and a notification unit 516.
  • the communication line 3 and the communication unit 53 are omitted.
  • the receiving unit 510 receives an instruction from the monitoring device 6. Then, according to the content of the instruction received by the reception unit 510 from the monitoring device 6, the control unit 51 selects one of the first recognition unit 511, the second recognition unit 512, the collation unit 513, the identification unit 514, and the evaluation unit 515. Execute some functions.
  • the computing device 5 is an example of computing means capable of executing any of the functions among the first recognition means, the second recognition means, the collation means, and the evaluation means. Further, the arithmetic device 5 shown in FIG. 12 is an example of arithmetic means capable of executing the function as the specifying means.
  • the first recognition unit 511 visually recognizes from the image indicated by the image data in accordance with the instruction. Recognize a person (also called image recognition).
  • the first recognition unit 511 may recognize the viewer using an algorithm such as a histogram of oriented gradient (HOG) for calculating the feature amount of the image.
  • BRIEF Binary Robust Independent Elementary Features
  • FAST Features from Accelerated Segment Test
  • ORB Oriented FAST and Rotated BRIEF
  • SIFT Scale-in variant feature transform
  • SURF SURF
  • An algorithm such as Speed-Upped Robust Feature
  • the first recognition unit 511 may recognize the viewer using an algorithm such as a histogram of oriented gradient (HOG) for calculating the feature amount of the image.
  • HOG histogram of oriented gradient
  • the first recognition unit 511 associates the feature amount extracted from the image and the viewer ID assigned to the feature amount, together with information on the time and position at which the image indicated by the image data was captured. It stores in the viewer DB 521.
  • the first recognition unit 511 functions as an example of a first recognition unit that recognizes a viewer from the first image captured by the first imaging unit.
  • the second recognition unit 512 uses the image indicated by the image data in accordance with the instruction. Recognize the The second recognition unit 512 may recognize the user using the above-described algorithm used by the first recognition unit 511.
  • the second recognition unit 512 associates the feature amount extracted from the image with the user ID assigned to the feature amount, as well as information on the time and position at which the image indicated by the image data was captured. It memorizes in user DB522.
  • the second recognition unit 512 functions as an example of the second recognition unit that recognizes the user from the second image captured by the second imaging unit after the first imaging unit captures the first image.
  • the instruction from the monitoring device 6 accepted by the accepting unit 510 is an instruction to recognize the imaging target from the image represented by the image data, and it is unknown whether the target type is a viewer or a user
  • the receiving unit 510 may specify the imaging target type in the image indicated by the image data based on the information on the position acquired with the image data with reference to the position DB 523. If the target type is “viewer”, the first recognition unit 511 may execute recognition processing, and if the target type is “user”, the second recognition unit 512 may execute recognition processing.
  • the collating unit 513 When instructed by the monitoring apparatus 6 to collate the recognized viewer and the user, the collating unit 513 refers to the viewer DB 521, the user DB 522, and the condition DB 524 to perform the instructed collation. .
  • the collation unit 513 functions as an example of collation means for collating the recognized viewer and the user.
  • the control unit 51 of the arithmetic device 5 The information of these viewers or users may be requested and acquired from another computing device 5 constituting the cloud C.
  • the identifying unit 514 refers to the attribute DB 526 to identify the attribute of the viewer or user collated by the collating unit 513.
  • the control unit 51 may not function as the specifying unit 514.
  • the evaluation unit 515 specifies the signage visually recognized by the viewer collated by the collating unit 513 with reference to the signage DB 527, and according to the collation result by the collating unit 513 between the viewer and the user, Evaluate the effect.
  • the evaluation unit 515 functions as an example of an evaluation unit that evaluates the effect of signage according to the result of the collation by the collation unit.
  • the evaluation unit 515 may evaluate the effect of signage according to the result of the matching performed by the matching unit 513 a plurality of times. For example, the ratio of the user who has visually recognized signage to the total number of users recognized from the second image captured by the second imaging device 2 in a determined period, such as one week, is calculated. This ratio evaluates the effect of signage.
  • the evaluation unit 515 is a user using a service associated with the signage viewed by the viewer.
  • the ratio of the viewer who became it may be calculated, and the effect of signage may be evaluated by this ratio.
  • the evaluation unit 515 may evaluate the effect of signage for each position of the first imaging device 1 or the second imaging device 2. For example, if the collating unit 513 collates a viewer or a user who is recognized from the first image or the second image captured at the position for each piece of information on the position of the first imaging device 1 or the second imaging device 2 The evaluation unit 515 evaluates the effect of signage according to the result of the above-described matching for each position.
  • the evaluation unit 515 may evaluate the effect of signage according to the type or amount of service used by the user.
  • the second imaging device 2 is provided at a position where the counter, table, cash register, etc. of the store S is imaged in addition to the upper part of the door D, and identifies the type and amount of service used by the user Capture possible images.
  • the second recognition unit 512 recognizes the type or amount of service used by the user, and stores it in the user DB 522. .
  • the evaluation unit 515 may highly evaluate the effect of the signage visually recognized by the user.
  • the amount of service also includes the amount of consideration paid by the user for the service.
  • the evaluation unit 515 may highly evaluate the effect of the signage visually recognized by the user.
  • the evaluation unit 515 stores the result of the evaluation in the evaluation DB 525.
  • the evaluation unit 515 stores the attribute in the evaluation DB 525 in association with the result of the evaluation.
  • the notification unit 516 reads the result of the evaluation by the evaluation unit 515 from the evaluation DB 525 and notifies the monitoring device 6 of the result.
  • the notification unit 516 is notified of the attribute of the viewer or the user together with the result of the evaluation.
  • the monitoring device 6 transfers the result of the evaluation notified as described above to the information processing device 4.
  • the notification unit 516 may directly notify the information processing apparatus 4 of the result of the evaluation by the evaluation unit 515.
  • FIG. 13 is a sequence diagram showing the flow of the operation of signage evaluation system 9.
  • the information processing device 4 acquires, from the first imaging device 1 and the second imaging device 2, image data indicating images (first image, second image) captured by each of the first and second imaging devices 1 and 2 (step S101).
  • the information processing device 4 sends, to the monitoring device 6, image data indicating the first image captured by the first imaging device 1 and image data indicating the second image captured by the second imaging device 2,
  • the viewer is requested to evaluate the effect of the signage visually recognized by the viewer by recognizing the viewer from one image and the user from the second image and collating the viewer with the user (step S102) .
  • the monitoring device 6 monitors the cost when each of the plurality of arithmetic devices 5 executes the instructed function (step S103), and determines the function to instruct each of the plurality of arithmetic devices 5 according to those costs. (Step S104). The monitoring device 6 instructs each of the computing devices 5 to execute the function determined in step S104 (step S105).
  • the arithmetic device 5 that has received an instruction to execute the function from the monitoring device 6 executes the function according to the instruction (step S106), and notifies the result (step S107).
  • the monitoring device 6 transfers, to the information processing device 4, an evaluation of the effect of the signage that has been requested among the notified results (step S108).
  • the information processing apparatus 4 notifies this evaluation by displaying the transferred character string indicating the evaluation, the image, and the like by the display unit 44 (step S109).
  • the effect of the signage can be evaluated by judging whether the visual recognition of the signage has led to the use of the service.
  • the control unit 51 reads and executes the program stored in the storage unit 52 to receive the reception unit 510, the first recognition unit 511, the second recognition unit 512, the collation unit 513, and the specification unit. Although it functions as 514, the evaluation part 515, and the notification part 516, any of these functions may be performed by the information processing apparatus 4 or the monitoring apparatus 6.
  • the control unit 51 may perform any or all of the functions of the control unit 41 of the information processing device 4 or the functions of the control unit 61 of the monitoring device 6.
  • the content stored in the storage unit 42 of the information processing device 4 and the content stored in the storage unit 62 of the monitoring device 6 may be stored in the storage unit 52 of the arithmetic device 5, or the control unit 51 may be acquired.
  • the computing device 5 may double as part or all of at least one of the information processing device 4 and the monitoring device 6.
  • each of the arithmetic devices 5 may be connected to the first imaging device 1, the second imaging device 2, and the signage reproduction device 7.
  • FIG. 14 is a diagram showing a configuration of signage evaluation system 9 according to a modification.
  • signage evaluation system 9 shown in FIG. 14 a plurality of arithmetic devices 5 constituting cloud C are connected to first imaging device 1, second imaging device 2, or signage reproduction device 7, respectively.
  • the control unit 51 of these arithmetic devices 5 reads out and executes the program stored in the storage unit 52 to execute the function corresponding to the acquisition unit 411, the request unit 412, or the reproduction control unit 414 described above. You just have to show it.
  • the evaluation unit 515 realized by the control unit 51 of the arithmetic device 5 was evaluating the signage effect according to the result of the matching by the matching unit 513, but in addition to the result of the matching, the viewer The effect of the signage may be evaluated according to the time during which the signage has been viewed (referred to as the viewing time).
  • the evaluation unit 515 or the matching unit 513 may obtain the viewing time based on the viewer DB 521.
  • the matching unit 513 refers to the viewer DB 521, and the time from the first time to the last time associated with the same viewer ID is the viewer's viewing time identified by the viewer ID Calculated as
  • the evaluation unit 515 may evaluate the effect of signage according to the calculated viewing time. For example, the evaluation unit 515 may lower the evaluation of the signage effect when the viewer does not match the user even though the viewer's viewing time exceeds the threshold.
  • the evaluation unit 515 identifies a user who is determined to be the same person as the viewer as a result of the collation by the collation unit 513, and the time from when the user visually recognizes the signage to using the service (transition time May be calculated to evaluate the effect of signage described above according to this transition time. For example, the evaluation unit 515 may raise the evaluation of the signage effect as the transition time is shorter.
  • the transition time also includes a movement time for physically moving from the space imaged by the first imaging device 1 to the space imaged by the second imaging device 2, and the movement time includes an attribute such as a generation Since each time is different, the migration time may be subtracted from the movement time for each attribute to evaluate the signage effect.
  • the evaluation unit 515 may specify the attribute from the feature amount of the viewer or the user with reference to the attribute DB 526, and deduct the moving time preset for each attribute from the transition time.
  • the process performed by the control unit 51 of the arithmetic device 5 can be thought of as a method of evaluating the effect of signage. That is, according to the present invention, a first recognition step of recognizing a viewer who visually recognizes the signage from the first image captured by the first imaging device, and a second imaging after the first imaging device captures the first image A second recognition step of image recognition of a user who uses a service associated with the signage from a second image captured by the means, a collation step of collating the viewer and the user, and signage according to the collation result
  • the method may be provided as a method of evaluating the effect of signage, which includes an evaluation step of evaluating an effect and a notification step of notifying an evaluation.
  • Programs executed by the control unit 41 of the information processing device 4, the control unit 51 of the arithmetic device 5, and the control unit 61 of the monitoring device 6 are magnetic recording media such as magnetic tape and magnetic disk, and optical recording media such as optical disk
  • the present invention can be provided as stored in a computer-readable recording medium such as a magneto-optical recording medium or a semiconductor memory.
  • these programs may be downloaded via a communication line such as the Internet.
  • various apparatuses may be applied besides CPU, for example, a processor for exclusive use etc. are used.
  • the first imaging device 1 and the second imaging device 2 are separate devices, but one imaging device may function as the first imaging device 1 or the second imaging device 2.
  • the imaging device may have a positioning mechanism that performs positioning using the GNSS as described above.
  • the imaging apparatus includes position information indicating the measured position as metadata in image data indicating the imaged image.
  • the computing device 5 determines whether the image captured by the imaging device is the “first image obtained by capturing the viewer who has visually recognized the signage” or “the image capturing the user using the service associated with the signage”. Whether it is “2 images” may be determined based on position information included in the metadata.
  • the signage evaluation system 9 may have a plurality of sets of units configured as a combination of the arithmetic device 5 shown in the above-described modified example 1 and the imaging device in this modified example.
  • These units may be mounted, for example, on a mobile unit such as a self-propelled vehicle controlled to travel on a rail or a roadway or an aircraft (so-called drone) equipped with an autonomous control mechanism.
  • these units may be mounted in vehicles, such as a taxi, a bus, and a railway, and may be mounted in public facilities, such as a bench, a streetlight, a road, and a traffic light.
  • these units may be mounted on furniture or home electric appliances, or may be mounted on personal information devices such as mobile phones, personal computers, wearable terminals and the like.
  • These units have unique identification information defined in, for example, IPv6 (Internet Protocol Version 6) or the like, and communicate with each other via the communication line 3.
  • IPv6 Internet Protocol Version 6
  • the image captured in each unit is associated with the identification information of the unit and the position information indicating the position at which the image was captured, and any storage device included in the cloud C (any computing device 5 May be stored.
  • the computing device 5 may evaluate signage using the image stored in the storage device, identification information of units, position information, and various databases stored in the storage unit 52.
  • the arithmetic unit 5 determines whether the captured image is the first image or the second image by a combination of the time when the image was captured and the position information included in the metadata. Good. In this case, in the cloud C, it is only necessary to be able to specify the time and place where the viewer viewed the signage or the user used the service. According to this configuration, even if the signage reproducing apparatus, the store providing the service, or the service provider (providing apparatus) such as a transportation facility moves, the arithmetic apparatus 5 can obtain information on the history of the movement of those apparatuses. If it can be acquired, it is possible to determine which of the viewer and the user the captured image is captured.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本発明は、サイネージを評価する技術に関し、ＩｏＴ（Internet　of　Things）の分野で利用できる。受付部５１０は、監視装置６からの指示を受付ける。送られた画像データが示す画像から視認者を認識するように監視装置６から指示された場合、第１認識部５１１はこの指示に応じて画像データが示す画像から視認者を認識する。上記画像から利用者を認識するように監視装置６から指示された場合、第２認識部５１２は指示に応じて画像データが示す画像から利用者を認識する。認識した視認者と利用者とを照合するように監視装置６から指示された場合、照合部５１３は視認者ＤＢ５２１、利用者ＤＢ５２２、及び条件ＤＢ５２４を参照して指示された照合をする。評価部５１５は、サイネージＤＢ５２７を参照して照合部５１３が照合した視認者が視認したサイネージを特定し、視認者と利用者との照合の結果に応じて、サイネージの効果を評価する。

Description

サイネージ評価システム、サイネージの効果の評価方法、及びプログラム
　本発明は、サイネージを評価する技術に関し、ＩｏＴ（Internet　of　Things）の分野で利用できる。
　ＩｏＴ（Internet　of　Things）技術の進歩により、様々な分野に画像認識技術が応用されている。特許文献１には、入店した客の顔を認識して、予め登録しておいた会員の顔写真と照合し、一致する場合に広告を表示させ、特典を提供する等のシステムが開示されている。
特開２００７－２４１７８６号公報
　しかし、特許文献１に記載された技術では、サイネージの効果を評価することができない。
　本発明は、サイネージを視認したことがサービスの利用に繋がったか否かにより、そのサイネージの効果を評価することを目的とする。
　本発明の請求項１に係るサイネージ評価システムは、第１撮像手段が撮像した第１画像から、サイネージを視認した視認者を画像認識する第１認識手段と、前記第１撮像手段が前記第１画像を撮像した後に第２撮像手段が撮像した第２画像から、前記サイネージに関連付けられたサービスを利用する利用者を画像認識する第２認識手段と、前記視認者及び前記利用者を照合する照合手段と、前記照合の結果に応じて前記サイネージの効果を評価する評価手段と、前記評価を報知する報知手段と、を有するサイネージ評価システムである。
　本発明の請求項２に係るサイネージ評価システムは、請求項１に記載の態様において、前記第１認識手段、前記第２認識手段、前記照合手段及び前記評価手段のうち、いずれかの機能を実行することが可能な複数の演算手段と、前記複数の演算手段により前記機能を実行する際のコストをそれぞれ監視する監視手段と、を有し、前記監視手段は、前記コストに応じて前記複数の演算手段の各々に前記機能の実行を指示し、前記複数の演算手段の各々は、前記監視手段に指示された前記機能を実行することを特徴とするサイネージ評価システムである。
　本発明の請求項３に係るサイネージ評価システムは、請求項１又は２に記載の態様において、前記視認者又は前記利用者の属性を、画像認識して特定する特定手段、を有し、前記報知手段は、特定された前記属性を報知することを特徴とするサイネージ評価システムである。
　本発明の請求項４に係るサイネージ評価システムは、請求項１から３のいずれか１項に記載の態様において、前記評価手段は、前記照合手段が複数回にわたり行った前記照合の結果に応じて前記効果を評価することを特徴とするサイネージ評価システムである。
　本発明の請求項５に係るサイネージ評価システムは、請求項１から４のいずれか１項に記載の態様において、前記評価手段は、前記第１撮像手段又は前記第２撮像手段の位置ごとに前記効果を評価することを特徴とするサイネージ評価システムである。
　本発明の請求項６に係るサイネージ評価システムは、請求項１から５のいずれか１項に記載の態様において、前記評価手段は、前記利用者が利用した前記サービスの種類又は量に応じて前記効果を評価することを特徴とするサイネージ評価システムである。
　本発明の請求項７に係るサイネージ評価システムは、請求項１から６のいずれか１項に記載の態様において、前記評価手段は、前記視認者が前記サイネージを視認していた時間、又は、前記視認者と同一人物と判断される前記利用者が前記サイネージを視認してから前記サービスを利用するまでの時間、に応じて、前記効果を評価することを特徴とするサイネージ評価システムである。
　本発明の請求項８に係る評価方法は、第１撮像手段が撮像した第１画像から、サイネージを視認した視認者を画像認識する第１認識ステップと、前記第１撮像手段が前記第１画像を撮像した後に第２撮像手段が撮像した第２画像から、前記サイネージに関連付けられたサービスを利用する利用者を画像認識する第２認識ステップと、前記視認者及び前記利用者を照合する照合ステップと、前記照合の結果に応じて前記サイネージの効果を評価する評価ステップと、前記評価を報知する報知ステップと、を有するサイネージの効果の評価方法である。
　本発明の請求項９に係るプログラムは、コンピュータに、第１撮像手段が撮像した第１画像から、サイネージを視認した視認者を画像認識するステップと、前記第１撮像手段が前記第１画像を撮像した後に第２撮像手段が撮像した第２画像から、前記サイネージに関連付けられたサービスを利用する利用者を画像認識するステップと、前記視認者及び前記利用者を照合するステップと、前記照合の結果に応じて前記サイネージの効果を評価するステップと、前記評価を報知するステップと、を実行させるためのプログラムである。
　本願に係る発明によれば、サービスの利用に繋がったか否かによりサイネージの効果を評価することができる。
本実施形態に係るサイネージ評価システム９の構成を示す図。 本実施形態に係るサイネージ評価システム９の利用状況を説明するための図。 情報処理装置４の構成の一例を示す図。 記憶部４２に記憶されているデータベース等を示す図。 監視装置６の構成の一例を示す図。 記憶部６２に記憶されているデータベースを示す図。 演算装置５の構成を示す図。 記憶部５２が記憶するデータベースを示す図。 記憶部５２に記憶されるサイネージＤＢ５２７の一例を示す図。 情報処理装置４の機能的構成を示す図。 監視装置６の機能的構成を示す図。 演算装置５の機能的構成を示す図。 サイネージ評価システム９の動作の流れを示すシーケンス図。 変形例に係るサイネージ評価システム９の構成を示す図。
１…第１撮像装置、２…第２撮像装置、３…通信回線、４…情報処理装置、４１…制御部、４１１…取得部、４１２…要求部、４１３…報知部、４１４…再生制御部、４２…記憶部、４２１…画像ＤＢ、４２２…サイネージリスト、４３…通信部、４４…表示部、４５…操作部、４６…接続部、５…演算装置、５１…制御部、５１０…受付部、５１１…第１認識部、５１２…第２認識部、５１３…照合部、５１４…特定部、５１５…評価部、５１６…通知部、５２…記憶部、５２１…視認者ＤＢ、５２２…利用者ＤＢ、５２３…位置ＤＢ、５２４…条件ＤＢ、５２５…評価ＤＢ、５２６…属性ＤＢ、５２７…サイネージＤＢ、５２７０…位置リスト、５２７１…サイネージリスト、５３…通信部、６…監視装置、６１…制御部、６１１…監視部、６１２…受付部、６１３…決定部、６１４…指示部、６１５…転送部、６２…記憶部、６２１…負荷ＤＢ、６２２…料金ＤＢ、６２３…担当ＤＢ、６３…通信部、７…サイネージ再生装置、９…サイネージ評価システム。
＜実施形態＞
＜サイネージ評価システムの全体構成＞
　図１は、本実施形態に係るサイネージ評価システム９の構成を示す図である。サイネージ評価システム９は、情報処理装置４と、複数の演算装置５と、監視装置６と、これらを通信可能に接続する通信回線３と、を有する。また、サイネージ評価システム９は、第１撮像装置１と、第２撮像装置２と、を有する。図１に示すサイネージ評価システム９は、さらにサイネージ再生装置７を有する。
　図１に示すサイネージ評価システム９において、第１撮像装置１、第２撮像装置２、及びサイネージ再生装置７は、情報処理装置４に接続される。図１に示すサイネージ評価システム９は、１つの情報処理装置４を有しているが、複数の情報処理装置４を有していてもよい。
　また、図１に示すサイネージ評価システム９は、１つの店舗Ｓに設けられた１つの情報処理装置４を有しているが、複数の店舗Ｓにそれぞれ設けられた情報処理装置４を有していてもよい。この情報処理装置４は、１つの店舗Ｓに１つずつ設けられていてもよいが、複数が設けられていてもよい。また、図１において第１撮像装置１、第２撮像装置２、及びサイネージ再生装置７は、それぞれ１つの情報処理装置４に接続されているが、別々の情報処理装置４に接続されていてもよい。
　通信回線３は、情報処理装置４と演算装置５及び監視装置６を通信可能に接続する回線であり、例えばインターネット等である。複数の演算装置５は、相互に協働してサイネージ評価システム９に機能を提供するクラウドＣを構成する。監視装置６は、クラウドＣを構成する複数の演算装置５がそれぞれ機能を実行する際のコストを監視し、そのコストに応じて複数の演算装置５のそれぞれに機能を割当てる。
　なお、サイネージ評価システム９は、通信回線３、クラウドＣ、監視装置６のそれぞれを複数有してもよい。また、サイネージ評価システム９は、複数ではなく１つの演算装置５を有してもよい。この場合、この演算装置５はクラウドＣを構成しなくてもよく、また、情報処理装置４は、演算装置５に対して直接に指示をして機能を実行させてもよい。そして、サイネージ評価システム９は、監視装置６を有しなくてもよい。
　図２は、本実施形態に係るサイネージ評価システム９の利用状況を説明するための図である。図２では、通路に面した店舗Ｓにおいて、店舗Ｓに入るための扉Ｄの隣に、サイネージ再生装置７が設置されている様子が描かれている。
　サイネージ再生装置７は、例えば、情報処理装置４によって制御され、店舗Ｓにおいて提供されるサービスの利用を促す画像や動画、音声等の「サイネージ」を再生する。サイネージ再生装置７は、上述したサービスに関連付けられたサイネージに含まれる画像や動画等を表示するための表示画面を有する。図２に示すサイネージ再生装置７は、表示画面を通路に向けた状態で設置されている。
　第１撮像装置１及び第２撮像装置２はいずれも、レンズ、反射鏡、プリズム等の光学系と、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary ）イメージセンサ等の固体撮像素子とを備えたカメラ等の撮像手段であり、光学系が向けられている周囲の空間を撮像して、その空間に存在した物体が写っている画像を示す画像データを生成する。
　第１撮像装置１は、例えばサイネージ再生装置７のベゼル等に取付けられた撮像手段（第１撮像手段）であり、光学系がサイネージ再生装置７の表示画面の正面に向けられている。これにより、この第１撮像装置１は、通路を通行する通行人Ｐのうちサイネージ再生装置７の表示画面を見た人（視認者という）を撮像する。
　第２撮像装置２は、例えば扉Ｄの上部に取付けられた撮像手段（第２撮像手段）であり、光学系が扉Ｄの通路側の空間に向けられている。これにより、この第２撮像装置２は、通路を通行する通行人Ｐのうち扉Ｄを通って店舗Ｓに入り、店舗Ｓにおいて提供されるサービスを利用した人（利用者という）を撮像する。
　図１に示すサイネージ評価システム９において、第１撮像装置１及び第２撮像装置２でそれぞれ生成された画像データは、第１撮像装置１及び第２撮像装置２のそれぞれが撮像をした時刻及び位置の情報とともに、情報処理装置４に供給される。
　図２に示す第１撮像装置１及び第２撮像装置２は、いずれも固定されている。この場合、第１撮像装置１及び第２撮像装置２がそれぞれ画像データとともに情報処理装置４に供給する位置の情報は、それぞれの識別情報である位置ＩＤである。
　なお、位置の情報は、例えば、第１撮像装置１及び第２撮像装置２のそれぞれに備えられた全球測位衛星システム（ＧＮＳＳ：Global Navigation Satellite System）によって測位された情報であってもよい。また、第１撮像装置１及び第２撮像装置２は、それぞれ移動可能に設けられていてもよい。例えば、サイネージ再生装置７がタクシー、バス、鉄道等の交通機関に設けられている場合に、第１撮像装置１は、サイネージ再生装置７に伴って移動してもよい。そして、例えば、サイネージ再生装置７で再生されるサイネージに関連付けられたサービスが、移動を伴うサービスである場合に、第２撮像装置２は、サービスが提供される場所の移動に伴って移動してもよい。移動を伴うサービスとは、例えば上述した交通機関による利用者の運搬や、交通機関内で提供される飲食物の提供、物品の販売等が挙げられる。
＜情報処理装置の構成＞
　図３は、情報処理装置４の構成の一例を示す図である。情報処理装置４は、制御部４１、記憶部４２、通信部４３、表示部４４、操作部４５、及び接続部４６を有する。
　制御部４１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有し、ＣＰＵがＲＯＭ及び記憶部４２に記憶されているコンピュータプログラム（以下、単にプログラムという）を読み出して実行することにより情報処理装置４の各部を制御する。
　通信部４３は、有線又は無線により通信回線３に接続する通信回路である。情報処理装置４は、通信部４３により通信回線３に接続された演算装置５、又は監視装置６と情報をやり取りする。
　操作部４５は、各種の指示をするための操作ボタン、キーボード、タッチパネル等の操作子を備えており、利用者による操作を受付けてその操作内容に応じた信号を制御部４１に送る。なお、情報処理装置４は、操作部４５を有していなくてもよい。
　表示部４４は、液晶ディスプレイ等の表示画面を有しており、制御部４１の制御の下、画像を表示する。表示画面の上には、操作部４５の透明のタッチパネルが重ねて配置されてもよい。表示部４４は、表示画面に加えて又は変えて制御部４１の制御下で音声を放出するスピーカ等の放音装置を有していてもよい。要するに表示部４４は制御部４１の制御下で情報を報知する構成（報知手段）を有していればよい。
　接続部４６は、各種の情報を供給する装置と接続するインタフェースである。図３に示す接続部４６は、第１撮像装置１、第２撮像装置２及びサイネージ再生装置７と接続する。接続部４６は、第１撮像装置１、第２撮像装置２により生成される画像データを制御部４１に供給し、制御部４１から発せられた制御信号をサイネージ再生装置７に供給する。
　記憶部４２は、ソリッドステートドライブ、ハードディスクドライブ等の大容量の記憶手段であり、制御部４１のＣＰＵに読み込まれる各種のプログラム、データ等を記憶する。
　また、記憶部４２は、画像ＤＢ４２１と、サイネージリスト４２２とを有する。画像ＤＢ４２１は、第１撮像装置１及び第２撮像装置２からそれぞれ供給された画像データを記憶するデータベースである。サイネージリスト４２２は、店舗Ｓで提供されるサービスを広告する情報であって、サイネージ再生装置７に再生させるための画像や動画、音声等のサイネージデータを記憶するリストである。
　図４は、記憶部４２に記憶されているデータベース等を示す図である。図４（ａ）に示す画像ＤＢ４２１には、第１撮像装置１又は第２撮像装置２によって撮像された画像を示す画像データが、その撮像をした時刻及び位置に対応付けられて記憶されている。情報処理装置４の制御部４１は、第１撮像装置１及び第２撮像装置２からそれぞれ時刻及び位置を示す情報とともに供給される画像データを、これらの情報と対応付けて画像ＤＢ４２１に記憶する。図４（ａ）に示す画像ＤＢ４２１において、位置を示す情報とは、第１撮像装置１の位置を示す「Ｐ１１」や第２撮像装置２の位置を示す「Ｐ１２」等の位置ＩＤである。
　図４（ｂ）に示すサイネージリスト４２２には、サイネージデータがその識別情報であるサイネージＩＤと、再生される期間を示す情報とに対応付けられて記憶されている。情報処理装置４の制御部４１は、サイネージリスト４２２を読み出して、それぞれのサイネージデータに対応付けられている期間に、そのサイネージデータをサイネージ再生装置７に供給する。サイネージ再生装置７は、供給されたサイネージデータを再生する。
＜監視装置の構成＞
　図５は、監視装置６の構成の一例を示す図である。監視装置６は、制御部６１、記憶部６２、及び通信部６３を有する。
　制御部６１は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭ及び記憶部６２に記憶されているプログラムを読み出して実行することにより監視装置６の各部を制御する。
　通信部６３は、有線又は無線により通信回線３に接続する通信回路である。監視装置６は、通信部６３により通信回線３に接続された演算装置５及び情報処理装置４と情報をやり取りする。
　記憶部６２は、ソリッドステートドライブ、ハードディスクドライブ等の大容量の記憶手段であり、制御部６１のＣＰＵに読み込まれる各種のプログラム、データ等を記憶する。また、記憶部６２は、負荷ＤＢ６２１、料金ＤＢ６２２、及び担当ＤＢ６２３を記憶する。
　図６は、記憶部６２に記憶されているデータベースを示す図である。図６（ａ）に示す負荷ＤＢ６２１は、クラウドＣを構成する複数の演算装置５のそれぞれの負荷率と、その演算装置５の識別情報である装置ＩＤとを対応付けて記憶するデータベースである。負荷率とは、演算装置５の負荷の程度を示す指標であり、例えば、予め設定された、受け入れ可能な処理の数に対する、現時点での実行待ちの処理の数の比率等である。演算装置５は、負荷率が高いほど、要求する処理が遅延する。
　図６（ｂ）に示す料金ＤＢ６２２は、クラウドＣを構成する複数の演算装置５のそれぞれの使用料金と、その演算装置５の装置ＩＤとを対応付けて記憶するデータベースである。使用料金とは、例えば、演算装置５に実行させる処理の対価として、単位時間当たりに支払われる料金である。
　図６（ｃ）に示す担当ＤＢ６２３は、クラウドＣを構成する複数の演算装置５のそれぞれに制御部６１が担当させる機能（担当機能という）と、その演算装置５の装置ＩＤとを対応付けて記憶するデータベースである。制御部６１は、クラウドＣに実行させるべき処理を複数の機能に分割する。そして、制御部６１は、負荷ＤＢ６２１及び料金ＤＢ６２２を参照し、例えば、待ち時間や料金等のコストが最も低くなるように、それぞれの演算装置５に担当させるべき担当機能を決定し、決定したこの担当機能と演算装置５との組を担当ＤＢ６２３に書き込む。制御部６１は、担当ＤＢ６２３に書き込んだ組にしたがって、それぞれの担当機能の実行を各演算装置５に指示する。
＜演算装置の構成＞
　図７は、演算装置５の構成を示す図である。演算装置５は、制御部５１、記憶部５２、及び通信部５３を有する。
　制御部５１は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭ及び記憶部５２に記憶されているプログラムを読み出して実行することにより演算装置５の各部を制御する。
　通信部５３は、有線又は無線により通信回線３に接続する通信回路である。演算装置５は、通信部５３により通信回線３に接続された監視装置６及び情報処理装置４と情報をやり取りする。
　記憶部５２は、ハードディスクドライブ等の大容量の記憶手段であり、制御部５１のＣＰＵに読み込まれる各種のプログラムを記憶する。
　また、記憶部５２は、視認者ＤＢ５２１、利用者ＤＢ５２２、位置ＤＢ５２３、条件ＤＢ５２４、評価ＤＢ５２５、及び属性ＤＢ５２６を記憶する。また、記憶部５２は、図７に示す通りサイネージＤＢ５２７を記憶してもよい。
　図８は、記憶部５２が記憶するデータベースを示す図である。図８（ａ）に示す視認者ＤＢ５２１は、店舗Ｓにおいて第１撮像装置１が撮像した画像（第１画像ともいう）から抽出される、視認者を示す特徴量と、その特徴量に割当てられたその視認者の識別情報である視認者ＩＤとを、第１画像が撮像された時刻及び位置の情報とともに記憶するデータベースである。
　図８（ｂ）に示す利用者ＤＢ５２２は、店舗Ｓにおいて第２撮像装置２が撮像した画像（第２画像ともいう）から抽出される、利用者を示す特徴量と、その特徴量に割当てられたその利用者の識別情報である利用者ＩＤとを、第２画像が撮像された時刻及び位置の情報とともに記憶するデータベースである。
　位置ＤＢ５２３は、第１撮像装置１及び第２撮像装置２のそれぞれの位置を示す情報と、それぞれが撮像の対象としている対象種別とを対応付けて記憶するデータベースである。図８（ｃ）に示す位置ＤＢ５２３は、第１撮像装置１又は第２撮像装置２の位置を識別するための位置ＩＤに対応付けて、その位置ＩＤに示される位置に固定された撮像装置の撮像の対象を示す対象種別が記憶されている。対象種別は、上述した撮像装置が第１撮像装置１である場合には、サイネージ再生装置７で再生されるサイネージを視認する「視認者」であり、第２撮像装置２である場合には、扉Ｄを通って店舗Ｓに入る「利用者」である。
　なお、情報処理装置４から取得する第１画像を示す画像データには、この第１画像が、第１撮像装置１で撮像したものであることを示す情報が含まれていてもよい。そして、情報処理装置４から取得する第２画像を示す画像データには、この第２画像が、第２撮像装置２で撮像したものであることを示す情報が含まれていてもよい。この場合、画像データに含まれる情報に基づいて、その画像データが示す画像に写った対象種別が「視認者」であるか「利用者」であるか特定されるため、記憶部５２は、位置ＤＢ５２３を記憶しなくてもよい。第１撮像装置１、第２撮像装置２のどちらによって撮像されたかを示す情報は、例えば、情報処理装置４、第１撮像装置１又は第２撮像装置２のいずれかによって画像データのメタデータに書き込まれてもよい。
　条件ＤＢ５２４は、視認者と照合する利用者の条件を記憶するデータベースである。サイネージ評価システム９では、サイネージを視認している視認者を第１撮像装置１で撮像し、その後、その視認者が店舗Ｓを利用したか否かを判断することによって、サイネージの効果を評価するシステムである。したがって、例えば、視認者がサイネージを視認する前の利用者は、この視認者と照合する必要がなく、また、視認者がサイネージを視認してから決められた期間が経過した後の利用者も、この視認者と照合する必要がない。
　図８（ｄ）に示す条件ＤＢ５２４は、条件の項目と、その項目における条件とを対応付けて記憶する。例えば、項目「距離」は、第１撮像装置１と第２撮像装置２との距離を意味しており、その条件は「１５メートル以内」である。つまり、第１撮像装置１で撮像された視認者は、この第１撮像装置１から１５メートル以内に設置された第２撮像装置２で撮像された利用者と照合されるべきであることが、この条件ＤＢ５２４には記憶されている。
　また条件ＤＢ５２４において、例えば、項目「時間」は、第１撮像装置１が第１画像を撮像した後に、第２撮像装置２が第２画像を撮像するまでの時間を意味しており、その条件は、「３０秒以上、５分未満」である。つまり、この場合、第１撮像装置１で撮像された視認者は、どれほど急いでも対応する第２撮像装置２で撮像されるまでに３０秒以上かかるため、第１撮像装置１で撮像されてから３０秒未満に第２撮像装置２で撮像された利用者と照合する必要がないことが、この条件ＤＢ５２４には記憶されている。
　また、第１撮像装置１で撮像された視認者は、撮像されてから５分が経過した後では、店舗Ｓを利用することがほとんどなく、利用したとしてもサイネージを視認したことによる効果でない可能性があるため、照合する必要がないことが、この条件ＤＢ５２４には記憶されている。
　評価ＤＢ５２５は、認識された視認者及び利用者の照合の結果に応じて制御部５１が定める、サイネージの効果に対する評価を記憶するデータベースである。図８（ｅ）に示す評価ＤＢ５２５は、サイネージを識別する識別情報であるサイネージＩＤと、そのサイネージの効果を示す指標とを対応付けて記憶する。サイネージの効果を示す指標としては、図８（ｅ）に示す通り、例えば、利用率であり、また、利用率に応じて定まるそのサイネージが属する評価の階級である。
　図８（ｅ）に示す利用率とは、サイネージ再生装置７で再生されているサイネージを視認した視認者のうち、そのサイネージに関連付けられたサービスを利用した利用者となった割合である。この利用率が高いということは、サイネージを視認したことによってこれに対応するサービスを利用する割合が高いことを意味しており、サイネージの効果が高いことを意味している。
　そして、階級は、例えばＡからＤまでの４段階等に区画され、Ａを最高評価、Ｄを最低評価として、利用率が高いほど高評価となるように定められている。例えば、図８（ｅ）に示す評価ＤＢ５２５で、サイネージＩＤ「Ａ０１」のサイネージは、利用率が「３３％」であり、階級は「Ｃ」である。一方、サイネージＩＤ「Ａ０２」のサイネージは、利用率が「７９％」であり、階級は「Ａ」である。このことからサイネージＩＤ「Ａ０２」のサイネージは、サイネージＩＤ「Ａ０１」のサイネージよりも効果が高いと評価されていることがわかる。
　属性ＤＢ５２６は、画像から抽出される特徴量によって認識される人物の性別や年齢等の属性を、その特徴量に対応付けて記憶するデータベースである。図８（ｆ）に示す属性ＤＢ５２６は、属性と特徴量とを対応付けて記憶する。この属性は、例えば「３０代男性」や「４０代女性」といった性別・年齢等の組合せによる分類を示す。図８（ｆ）に示す属性ＤＢ５２６において、この属性に対応付けられている特徴量は、共通の属性を有する視認者又は利用者が撮像されている画像に共通する特徴量である。この属性ＤＢ５２６は、例えば、撮像された人物の属性ごとに予め分類された複数の画像を教師データとして機械学習を行うことにより生成されてもよい。
　図９は、記憶部５２に記憶されるサイネージＤＢ５２７の一例を示す図である。図９に示すサイネージＤＢ５２７は、位置リスト５２７０と、サイネージリスト５２７１とを対応付けて記憶する。位置リスト５２７０は、各第１撮像装置１の位置の情報を示すリストである。サイネージリスト５２７１は、位置リスト５２７０に記述されている第１撮像装置１の位置ごとに対応付けられているリストであり、その位置に設けられた第１撮像装置１によって撮像される空間に向けて再生されるサイネージの情報を示すリストである。サイネージリスト５２７１には、サイネージデータがその識別情報であるサイネージＩＤと、再生される期間を示す情報とに対応付けられて記憶されている。
＜情報処理装置の機能的構成＞
　図１０は、情報処理装置４の機能的構成を示す図である。情報処理装置４の制御部４１は、記憶部４２に記憶されているプログラムを読み出して実行することにより、取得部４１１、要求部４１２、報知部４１３、及び再生制御部４１４として機能する。なお、図１０において、通信回線３、通信部４３、操作部４５、及び接続部４６を省く。
　取得部４１１は、第１撮像装置１及び第２撮像装置２からそれぞれ撮像された画像（第１画像、第２画像）を示す画像データを取得し、取得したその画像データを、その撮像の時刻及び位置の情報とともに画像ＤＢ４２１に記憶する。
　要求部４１２は、取得した画像データを監視装置６に送信し、その画像データから特徴量を抽出して視認者又は利用者を認識し、認識した視認者及び利用者を照合することにより、視認者が視認したサイネージを評価するように監視装置６に要求する。監視装置６は、クラウドＣを構成する複数の演算装置５を監視し、そのいずれかの演算装置５に上述したサイネージの評価を行わせる。
　報知部４１３は、要求した評価の結果を監視装置６から得て表示部４４に表示することにより、この評価の結果を報知する。すなわち、報知部４１３は、監視装置６を介して演算装置５に実行を要求され、演算装置５により実行された評価手段の評価を報知する報知手段の一例として機能する。なお、評価の結果に、認識された視認者又は利用者の属性が含まれる場合に、報知部４１３は、この評価の結果に含まれる属性も報知する。
　なお、報知部４１３は、要求した評価の結果を監視装置６からではなく、監視装置６にその評価をするように指示された演算装置５から直接、受取ってもよい。
　再生制御部４１４は、サイネージリスト４２２からいずれかのサイネージを読み出してサイネージ再生装置７に供給し、そのサイネージに対応付けられている期間にわたって再生させる。
＜監視装置の機能的構成＞
　図１１は、監視装置６の機能的構成を示す図である。監視装置６の制御部６１は、記憶部６２に記憶されているプログラムを読み出して実行することにより、監視部６１１、受付部６１２、決定部６１３、指示部６１４、及び転送部６１５として機能する。なお、図１１において、通信回線３及び通信部６３を省く。
　監視部６１１は、クラウドＣを構成する複数の演算装置５に実行させている処理の負荷をそれぞれ監視して、負荷率等、その負荷の程度を示す指標を演算装置５ごとに負荷ＤＢ６２１に記憶する。
　この負荷の程度を示す指標とは、演算装置５が機能を実行する際にかかる時間や、支払われる料金等のコストの一例である。監視部６１１は、負荷の程度を示す指標に代えて、又は加えて、演算装置５が機能を実行する際のコストを監視してもよい。すなわち、制御部６１が監視部６１１として機能する監視装置６は、複数の演算装置により機能を実行する際のコストをそれぞれ監視する監視装置の一例である。
　受付部６１２は、情報処理装置４で取得された画像データを受付けるとともに、その画像データから特徴量を抽出して視認者又は利用者を認識する旨の要求を受付ける。
　決定部６１３は、受付部６１２が受付けた情報処理装置４の要求する処理を複数の機能に分割する。そして、決定部６１３は、負荷ＤＢ６２１と料金ＤＢ６２２とを参照して、クラウドＣを構成する複数の演算装置５のそれぞれに、例えば、上述した処理にかかる時間、費用等のコストが予め決められた条件を満たすように、演算装置５とその演算装置５に実行を指示する機能との組合せを決定する。
　指示部６１４は、決定部６１３が決定した組合せに基づいて、各演算装置５に対し、対応付けられた機能の実行を指示する。すなわち、制御部６１が指示部６１４として機能する監視装置６は、演算手段が機能を実行する際のコストに応じて複数の演算手段の各々に機能の実行を指示する監視手段の一例である。監視装置６から指示を受けた演算装置５は、それぞれその指示された機能を実行する。
　転送部６１５は、指示を受けた演算装置５からその指示された機能を実行した結果を取得し、これを情報処理装置４に転送する。なお、サイネージの効果を評価するように指示した演算装置５は、その評価の結果を直接、情報処理装置４に送ってもよい。この場合、制御部６１は、転送部６１５として機能しなくてもよい。
＜演算装置の機能的構成＞
　図１２は、演算装置５の機能的構成を示す図である。演算装置５の制御部５１は、記憶部５２に記憶されているプログラムを読み出して実行することにより、受付部５１０、第１認識部５１１、第２認識部５１２、照合部５１３、特定部５１４、評価部５１５、及び通知部５１６として機能する。なお、図１２において、通信回線３及び通信部５３を省く。
　受付部５１０は、監視装置６からの指示を受付ける。そして、制御部５１は、受付部５１０が監視装置６から受付けた指示の内容に応じて、第１認識部５１１、第２認識部５１２、照合部５１３、特定部５１４、及び評価部５１５のいずれかの機能を実行する。
　すなわち、演算装置５は、第１認識手段、第２認識手段、照合手段及び評価手段のうち、いずれかの機能を実行することが可能な演算手段の一例である。また、図１２に示す演算装置５は、特定手段としての機能を実行することが可能な演算手段の一例である。
　送られた画像データが示す画像に撮像されている視認者を認識するように、監視装置６から指示された場合、第１認識部５１１は、この指示に応じてその画像データが示す画像から視認者を認識（画像認識ともいう）する。
　画像から視認者を認識するには、例えば、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）、ＦＡＳＴ（Features from Accelerated Segment Test）、ＯＲＢ（Oriented FAST and rotated BRIEF）、ＳＩＦＴ（Scale-invariant feature transform）、ＳＵＲＦ（Speed-Upped Robust Feature）等のアルゴリズムが用いられる。また、第１認識部５１１は、画像の特徴量を算出するＨＯＧ（Histogram of Oriented Gradient）等のアルゴリズムを用いて視認者を認識してもよい。
　そして、第１認識部５１１は、その画像データが示す画像が撮像された時刻及び位置の情報とともに、その画像から抽出された特徴量と、その特徴量に割当てた視認者ＩＤとを対応付けて視認者ＤＢ５２１に記憶する。
　すなわち、第１認識部５１１は、第１撮像手段が撮像した第１画像から視認者を認識する第１認識手段の一例として機能する。
　送られた画像データが示す画像に撮像されている利用者を認識するように、監視装置６から指示された場合、第２認識部５１２は、この指示に応じてその画像データが示す画像から利用者を認識する。第２認識部５１２は、第１認識部５１１が用いる上述したアルゴリズムを用いて利用者を認識してもよい。
　そして、第２認識部５１２は、その画像データが示す画像が撮像された時刻及び位置の情報とともに、その画像から抽出された特徴量と、その特徴量に割当てた利用者ＩＤとを対応付けて利用者ＤＢ５２２に記憶する。
　すなわち、第２認識部５１２は、第１撮像手段が第１画像を撮像した後に、第２撮像手段が撮像した第２画像から利用者を認識する第２認識手段の一例として機能する。
　なお、受付部５１０が受付けた監視装置６からの指示が、画像データが示す画像から撮像の対象を認識する旨の指示であり、対象種別が視認者であるか利用者であるか不明な指示である場合、受付部５１０は、位置ＤＢ５２３を参照し、画像データとともに取得した位置の情報に基づいて、その画像データが示す画像における撮像の対象種別を特定してもよい。対象種別が「視認者」である場合、第１認識部５１１が認識の処理を実行し、対象種別が「利用者」である場合、第２認識部５１２が認識の処理を実行すればよい。
　認識した視認者と利用者とを照合するように、監視装置６から指示された場合、照合部５１３は、視認者ＤＢ５２１、利用者ＤＢ５２２、及び条件ＤＢ５２４を参照して、指示された照合をする。
　すなわち、照合部５１３は、認識された視認者及び利用者を照合する照合手段の一例として機能する。なお、指示された照合の対象である視認者、又は利用者が、自装置の記憶部５２に記憶されている視認者ＤＢ５２１、利用者ＤＢ５２２に記憶されていない場合、演算装置５の制御部５１は、クラウドＣを構成する他の演算装置５に、これら視認者、又は利用者の情報を要求して取得すればよい。
　特定部５１４は、属性ＤＢ５２６を参照して、照合部５１３が照合した視認者又は利用者の属性を特定する。なお、制御部５１は、特定部５１４として機能しなくてもよい。
　評価部５１５は、サイネージＤＢ５２７を参照して照合部５１３が照合した視認者が視認したサイネージを特定し、この視認者と利用者との、照合部５１３による照合の結果に応じて、このサイネージの効果を評価する。
　すなわち、評価部５１５は、照合手段による照合の結果に応じてサイネージの効果を評価する評価手段の一例として機能する。
　評価部５１５は、照合部５１３が複数回にわたり行った照合の結果に応じてサイネージの効果を評価してもよい。例えば、一週間等、決められた期間において第２撮像装置２により撮像された第２画像から認識された利用者の総数に対し、その利用者がサイネージを視認した視認者である割合が算出され、この割合によってサイネージの効果が評価される。
　また、評価部５１５は、決められた期間において第１撮像装置１により撮像された第１画像から認識された視認者のうち、その視認者が視認したサイネージに関連付けられたサービスを利用した利用者となった視認者の割合を算出し、この割合によってサイネージの効果を評価してもよい。
　また、評価部５１５は、第１撮像装置１又は第２撮像装置２の位置ごとに、サイネージの効果を評価してもよい。例えば、照合部５１３が、第１撮像装置１又は第２撮像装置２の位置の情報ごとに、その位置で撮像された第１画像又は第２画像から認識される視認者又は利用者を照合すると、評価部５１５は、上述した位置ごとの照合の結果に応じて、サイネージの効果を評価する。
　また、評価部５１５は、利用者が利用したサービスの種類又は量に応じてサイネージの効果を評価してもよい。
　例えば、第２撮像装置２は、扉Ｄの上部のほかにも、店舗Ｓのカウンターやテーブル、キャッシュレジスタ等を撮像する位置に設けられており、利用者が利用するサービスの種類や量を特定可能な画像を撮像する。第２認識部５１２は、第２撮像装置２が撮像した第２画像から利用者を認識することに加えて、その利用者が利用したサービスの種類又は量を認識し、利用者ＤＢ５２２に記憶する。
　評価部５１５は、例えば、利用者が利用したサービスの量が多いほど、その利用者が視認したサイネージの効果を高く評価してもよい。ここでサービスの量には、利用者がそのサービスに対して支払った対価の量も含まれる。また、評価部５１５は、例えば、利用者が利用したサービスの種類が決められたものである場合に、その利用者が視認したサイネージの効果を高く評価してもよい。
　評価部５１５は、評価の結果を評価ＤＢ５２５に記憶する。上述した特定部５１４により視認者又は利用者の属性が特定されている場合、評価部５１５は、評価の結果と対応付けて、この属性を評価ＤＢ５２５に記憶する。
　通知部５１６は、評価部５１５による評価の結果を評価ＤＢ５２５から読み出して監視装置６に通知する。上述した特定部５１４により視認者又は利用者の属性が特定されている場合、通知部５１６は、評価の結果とともに、視認者又は利用者の属性が通知される。監視装置６は、上述した通り通知された評価の結果を、情報処理装置４に転送する。なお、通知部５１６は、評価部５１５による評価の結果を直接、情報処理装置４に通知してもよい。
＜サイネージ評価システムの動作＞
　図１３は、サイネージ評価システム９の動作の流れを示すシーケンス図である。情報処理装置４は、第１撮像装置１及び第２撮像装置２から、それぞれが撮像した画像（第１画像、第２画像）を示す画像データを取得する（ステップＳ１０１）。
　情報処理装置４は、第１撮像装置１により撮像された第１画像を示す画像データと、第２撮像装置２により撮像された第２画像を示す画像データとを、監視装置６に送り、第１画像から視認者を、第２画像から利用者をそれぞれ認識して、視認者と利用者とを照合することにより、視認者が視認したサイネージの効果を評価するように要求する（ステップＳ１０２）。
　監視装置６は、複数の演算装置５が指示された機能をそれぞれ実行する際のコストをそれぞれ監視し（ステップＳ１０３）、それらのコストに応じて複数の演算装置５の各々に指示する機能を決定する（ステップＳ１０４）。監視装置６は、ステップＳ１０４で決定した機能を、演算装置５の各々に実行するように指示する（ステップＳ１０５）。
　監視装置６から機能を実行するように指示を受けた演算装置５は、その指示にそれぞれ従って、機能を実行し（ステップＳ１０６）、その結果を通知する（ステップＳ１０７）。
　監視装置６は、通知された結果のうち、要求されていたサイネージの効果の評価を情報処理装置４に転送する（ステップＳ１０８）。
　情報処理装置４は、転送された評価を示す文字列や画像等を表示部４４により表示することにより、この評価を報知する（ステップＳ１０９）。
　以上の動作により、サイネージを視認したことがサービスの利用に繋がったか否かを判断することによって、そのサイネージの効果が評価される。
＜変形例＞
　以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組合せてもよい。
＜変形例１＞
　上述した実施形態において、制御部５１は、記憶部５２に記憶されているプログラムを読み出して実行することにより、受付部５１０、第１認識部５１１、第２認識部５１２、照合部５１３、特定部５１４、評価部５１５、及び通知部５１６として機能していたが、これらの機能のうちいずれかは情報処理装置４又は監視装置６で行われてもよい。
　また、制御部５１が、情報処理装置４の制御部４１の機能、又は監視装置６の制御部６１の機能のいずれか又は全部を行ってもよい。この場合、情報処理装置４の記憶部４２に記憶された内容、及び監視装置６の記憶部６２に記憶された内容は、演算装置５の記憶部５２に記憶されていてもよいし、制御部５１によって取得されてもよい。すなわち、演算装置５は、情報処理装置４及び監視装置６の少なくともいずれかの一部又は全部を兼ねてもよい。
　また、演算装置５のそれぞれが第１撮像装置１、第２撮像装置２、及びサイネージ再生装置７と接続してもよい。図１４は、変形例に係るサイネージ評価システム９の構成を示す図である。図１４に示すサイネージ評価システム９では、クラウドＣを構成する複数の演算装置５が、それぞれ第１撮像装置１、第２撮像装置２、又はサイネージ再生装置７と接続している。この場合、これらの演算装置５の制御部５１が記憶部５２に記憶されているプログラムを読み出して実行することにより、上述した取得部４１１、要求部４１２、又は再生制御部４１４に相当する機能を発揮すればよい。
＜変形例２＞
　上述した実施形態において、演算装置５の制御部５１によって実現する評価部５１５は、照合部５１３による照合の結果に応じてサイネージの効果を評価していたが、照合の結果に加えて、視認者がサイネージを視認していた時間（視認時間という）に応じてサイネージの効果を評価してもよい。この場合、評価部５１５又は照合部５１３が、視認者ＤＢ５２１を基に視認時間を求めればよい。例えば、照合部５１３は、視認者ＤＢ５２１を参照して同一の視認者ＩＤに対応付けられている最初の時刻から最後の時刻までの時間を、その視認者ＩＤで識別される視認者の視認時間として算出する。評価部５１５は、算出された視認時間に応じて、サイネージの効果を評価すればよい。例えば、評価部５１５は、視認者の視認時間が閾値を超えているにも関わらず、その視認者が利用者と一致しない場合には、サイネージの効果の評価を下げてもよい。
　また、評価部５１５は、照合部５１３による照合の結果、視認者と同一人物と判断される利用者を特定し、この利用者がサイネージを視認してからサービスを利用するまでの時間（移行時間という）を算出して、この移行時間に応じて上述したサイネージの効果を評価してもよい。例えば、評価部５１５は、移行時間が短いほど、サイネージの効果の評価を上げてもよい。
　また、移行時間には、第１撮像装置１に撮像される空間から、第２撮像装置２に撮像される空間までを物理的に移動する移動時間も含まれ、移動時間には世代等の属性ごとに異なるから、移行時間から属性ごとの移動時間を差し引いて、サイネージの効果を評価してもよい。この場合、評価部５１５は、属性ＤＢ５２６を参照して、視認者又は利用者の特徴量から属性を特定し、属性ごとに予め設定された移動時間を移行時間から差し引けばよい。
＜変形例３＞
　演算装置５の制御部５１が実行する処理は、サイネージの効果の評価方法として観念され得る。すなわち、本発明は、第１撮像手段が撮像した第１画像から、サイネージを視認した視認者を、画像認識する第１認識ステップと、第１撮像手段が第１画像を撮像した後に第２撮像手段が撮像した第２画像から、サイネージに関連付けられたサービスを利用する利用者を画像認識する第２認識ステップと、視認者及び利用者を照合する照合ステップと、照合の結果に応じてサイネージの効果を評価する評価ステップと、評価を報知する報知ステップと、を有するサイネージの効果の評価方法として提供されてもよい。
＜変形例４＞
　情報処理装置４の制御部４１、演算装置５の制御部５１、及び監視装置６の制御部６１によってそれぞれ実行されるプログラムは、磁気テープ及び磁気ディスク等の磁気記録媒体、光ディスク等の光記録媒体、光磁気記録媒体、半導体メモリ等の、コンピュータ装置が読取り可能な記録媒体に記憶された状態で提供し得る。また、これらのプログラムを、インターネット等の通信回線経由でダウンロードさせてもよい。なお、上述した制御部４１、制御部５１、及び制御部６１によって例示した制御手段としてはＣＰＵ以外にも種々の装置が適用される場合があり、例えば、専用のプロセッサ等が用いられる。
＜変形例５＞
　上述した実施形態において、第１撮像装置１と第２撮像装置２とは別の装置であったが、１つの撮像装置が第１撮像装置１又は第２撮像装置２として機能してもよい。この場合、例えば、撮像装置は、上述した通りＧＮＳＳを用いた測位を行う測位機構を有していてもよい。この撮像装置は、測位した位置を示す位置情報を、撮像した画像を示す画像データにメタデータとして含める。そして、演算装置５は、撮像装置で撮像された画像が、「サイネージを視認した視認者を撮像した第１画像」であるか、「サイネージに関連付けられたサービスを利用する利用者を撮像した第２画像」であるかを、メタデータに含まれる位置情報によって判断すればよい。
　そして、サイネージ評価システム９は、上述した変形例１に示す演算装置５と、この変形例における撮像装置との組で構成されたユニットを複数組、有してもよい。これらのユニットは、例えば、レールや車道等を巡回するように制御された自走式車両や自律制御機構を備えた航空機（いわゆるドローン）等の移動体に搭載されてもよい。また、これらのユニットは、タクシー、バス、鉄道等の車両に搭載されてもよいし、ベンチ、街灯、道路、信号機等の公共施設に搭載されてもよい。また、これらのユニットは、家具や家庭用電気製品に搭載されてもよいし、携帯電話やパーソナルコンピュータ、ウェアラブル端末等の個人用情報機器に搭載されてもよい。
　これらのユニットは、例えばＩＰｖ６（Internet Protocol Version 6）等に規定される固有の識別情報を有し、互いに通信回線３を経由して通信する。それぞれのユニットにおいて撮像された画像は、ユニットの識別情報と、画像が撮像された位置を示す位置情報とが対応付けられて、クラウドＣに含まれるいずれかの記憶装置（いずれかの演算装置５が兼ねてもよい）に記憶されてもよい。演算装置５は、この記憶装置に記憶された画像、ユニットの識別情報、位置情報、及び記憶部５２に記憶された各種のデータベースを用いて、サイネージを評価すればよい。
　なお、演算装置５は撮像された画像が第１画像であるか第２画像であるかを、その画像が撮像された時刻と、メタデータに含まれる位置情報と、の組で判断してもよい。この場合、クラウドＣにおいて、視認者がサイネージを視認した、又は、利用者がサービスを利用した時刻と場所が特定できればよい。この構成によれば、サイネージ再生装置やサービスを提供する店舗、交通機関等のサービス提供体（提供装置）が移動する場合であっても、それらの装置が移動した履歴の情報を演算装置５が取得できれば、撮像された画像が視認者・利用者のいずれを撮像したものであるかを判断することが可能である。

Claims (9)

  1. 　第１撮像手段が撮像した第１画像から、サイネージを視認した視認者を画像認識する第１認識手段と、
    　前記第１撮像手段が前記第１画像を撮像した後に第２撮像手段が撮像した第２画像から、前記サイネージに関連付けられたサービスを利用する利用者を画像認識する第２認識手段と、
    　前記視認者及び前記利用者を照合する照合手段と、
    　前記照合の結果に応じて前記サイネージの効果を評価する評価手段と、
    　前記評価を報知する報知手段と、
    　を有するサイネージ評価システム。
  2. 　前記第１認識手段、前記第２認識手段、前記照合手段及び前記評価手段のうち、いずれかの機能を実行することが可能な複数の演算手段と、
    　前記複数の演算手段により前記機能を実行する際のコストをそれぞれ監視する監視手段と、
    　を有し、
    　前記監視手段は、前記コストに応じて前記複数の演算手段の各々に前記機能の実行を指示し、
    　前記複数の演算手段の各々は、前記監視手段に指示された前記機能を実行する
    　ことを特徴とする請求項１に記載のサイネージ評価システム。
  3. 　前記視認者又は前記利用者の属性を、画像認識して特定する特定手段、を有し、
    　前記報知手段は、特定された前記属性を報知する
    　ことを特徴とする請求項１又は２に記載のサイネージ評価システム。
  4. 　前記評価手段は、前記照合手段が複数回にわたり行った前記照合の結果に応じて前記効果を評価する
    　ことを特徴とする請求項１から３のいずれか１項に記載のサイネージ評価システム。
  5. 　前記評価手段は、前記第１撮像手段又は前記第２撮像手段の位置ごとに前記効果を評価する
    　ことを特徴とする請求項１から４のいずれか１項に記載のサイネージ評価システム。
  6. 　前記評価手段は、前記利用者が利用した前記サービスの種類又は量に応じて前記効果を評価する
    　ことを特徴とする請求項１から５のいずれか１項に記載のサイネージ評価システム。
  7. 　前記評価手段は、前記視認者が前記サイネージを視認していた時間、又は、前記視認者と同一人物と判断される前記利用者が前記サイネージを視認してから前記サービスを利用するまでの時間、に応じて、前記効果を評価する
    　ことを特徴とする請求項１から６のいずれか１項に記載のサイネージ評価システム。
  8. 　第１撮像手段が撮像した第１画像から、サイネージを視認した視認者を画像認識する第１認識ステップと、
    　前記第１撮像手段が前記第１画像を撮像した後に第２撮像手段が撮像した第２画像から、前記サイネージに関連付けられたサービスを利用する利用者を画像認識する第２認識ステップと、
    　前記視認者及び前記利用者を照合する照合ステップと、
    　前記照合の結果に応じて前記サイネージの効果を評価する評価ステップと、
    　前記評価を報知する報知ステップと、
    　を有するサイネージの効果の評価方法。
  9. 　コンピュータに、
    　第１撮像手段が撮像した第１画像から、サイネージを視認した視認者を画像認識するステップと、
    　前記第１撮像手段が前記第１画像を撮像した後に第２撮像手段が撮像した第２画像から、前記サイネージに関連付けられたサービスを利用する利用者を画像認識するステップと、
    　前記視認者及び前記利用者を照合するステップと、
    　前記照合の結果に応じて前記サイネージの効果を評価するステップと、
    前記評価を報知するステップと、
    　を実行させるためのプログラム。
PCT/JP2017/046714 2017-12-26 2017-12-26 サイネージ評価システム、サイネージの効果の評価方法、及びプログラム WO2019130435A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/046714 WO2019130435A1 (ja) 2017-12-26 2017-12-26 サイネージ評価システム、サイネージの効果の評価方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/046714 WO2019130435A1 (ja) 2017-12-26 2017-12-26 サイネージ評価システム、サイネージの効果の評価方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2019130435A1 true WO2019130435A1 (ja) 2019-07-04

Family

ID=67063341

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/046714 WO2019130435A1 (ja) 2017-12-26 2017-12-26 サイネージ評価システム、サイネージの効果の評価方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2019130435A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249470A (ja) * 2006-03-15 2007-09-27 Nec Biglobe Ltd クラスタサーバシステム、課金装置、課金方法
JP2011145803A (ja) * 2010-01-13 2011-07-28 National Institute Of Information & Communication Technology 地域ネットワークを利用した定量的な広告効果診断分析が可能な広告配信システム
JP2012037935A (ja) * 2010-08-03 2012-02-23 Fujitsu Ltd 情報処理装置
JP2012079171A (ja) * 2010-10-04 2012-04-19 Fuji Xerox Co Ltd ジョブ実行システム、ジョブ実行装置及びプログラム
JP2015162241A (ja) * 2014-02-28 2015-09-07 キヤノン株式会社 情報提供効果を測定する測定システム及び情報提供効果測定方法
JP2017033142A (ja) * 2015-07-30 2017-02-09 キヤノン株式会社 データ管理システム、および、その制御方法
JP2017162374A (ja) * 2016-03-11 2017-09-14 パナソニックＩｐマネジメント株式会社 情報表示効果測定システムおよび情報表示効果測定方法
JP2017224335A (ja) * 2017-08-09 2017-12-21 カシオ計算機株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249470A (ja) * 2006-03-15 2007-09-27 Nec Biglobe Ltd クラスタサーバシステム、課金装置、課金方法
JP2011145803A (ja) * 2010-01-13 2011-07-28 National Institute Of Information & Communication Technology 地域ネットワークを利用した定量的な広告効果診断分析が可能な広告配信システム
JP2012037935A (ja) * 2010-08-03 2012-02-23 Fujitsu Ltd 情報処理装置
JP2012079171A (ja) * 2010-10-04 2012-04-19 Fuji Xerox Co Ltd ジョブ実行システム、ジョブ実行装置及びプログラム
JP2015162241A (ja) * 2014-02-28 2015-09-07 キヤノン株式会社 情報提供効果を測定する測定システム及び情報提供効果測定方法
JP2017033142A (ja) * 2015-07-30 2017-02-09 キヤノン株式会社 データ管理システム、および、その制御方法
JP2017162374A (ja) * 2016-03-11 2017-09-14 パナソニックＩｐマネジメント株式会社 情報表示効果測定システムおよび情報表示効果測定方法
JP2017224335A (ja) * 2017-08-09 2017-12-21 カシオ計算機株式会社 情報処理装置、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US20230259977A1 (en) Systems and Methods for Switching Modes of Providing Content on a Charging Station Display
US8295542B2 (en) Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US20190108551A1 (en) Method and apparatus for customer identification and tracking system
KR102054443B1 (ko) 인터랙티브 광고를 위한 사용 측정 기술 및 시스템
JP5224360B2 (ja) 電子広告装置、電子広告方法及びプログラム
EP3349142B1 (en) Information processing device and method
JP2011039959A (ja) 監視システム
JP2013196043A (ja) 特定人物監視システム
CN105874471A (zh) 卡ocr图像的客户端侧过滤
JP2016130915A (ja) ドライブスルーシステム
WO2020018349A4 (en) Systems and methods for generating targeted media content
CN111882354A (zh) 一种信息推送方法、装置、存储介质及智能终端
WO2015003287A1 (zh) 一种行为辨识及追踪系统及其运作方法
JP6418270B2 (ja) 情報処理装置及び情報処理プログラム
TW201502999A (zh) 一種行為辨識及追蹤系統
WO2021104388A1 (en) System and method for interactive perception and content presentation
JP7294663B2 (ja) 接客支援装置、接客支援方法、及びプログラム
CN110677448A (zh) 关联信息推送方法、装置和系统
KR20220021689A (ko) 인공지능 디지털 사이니지 시스템 및 이의 운용방법
JP6428062B2 (ja) 情報処理装置及び情報処理プログラム
WO2019130435A1 (ja) サイネージ評価システム、サイネージの効果の評価方法、及びプログラム
JP6605822B2 (ja) 顧客情報システム及びプログラム
WO2021176535A1 (ja) 提示制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
CN114742561A (zh) 人脸识别方法、装置、设备及存储介质
KR20220039872A (ko) 스마트 양방향 광고 제공 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17936384

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17936384

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP