WO2021038800A1 - 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 - Google Patents

広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 Download PDF

Info

Publication number
WO2021038800A1
WO2021038800A1 PCT/JP2019/033945 JP2019033945W WO2021038800A1 WO 2021038800 A1 WO2021038800 A1 WO 2021038800A1 JP 2019033945 W JP2019033945 W JP 2019033945W WO 2021038800 A1 WO2021038800 A1 WO 2021038800A1
Authority
WO
WIPO (PCT)
Prior art keywords
advertisement
person
viewing
frames
time
Prior art date
Application number
PCT/JP2019/033945
Other languages
English (en)
French (fr)
Inventor
山中良祐
堀之内省吾
増田拓哉
半谷敏規
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2021541905A priority Critical patent/JP7265202B2/ja
Priority to EP19943279.0A priority patent/EP4024313A4/en
Priority to PCT/JP2019/033945 priority patent/WO2021038800A1/ja
Publication of WO2021038800A1 publication Critical patent/WO2021038800A1/ja
Priority to JP2022183505A priority patent/JP7421149B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0246—Traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to an advertisement browsing information output method, an advertisement browsing information output program, and an information processing device.
  • Non-Patent Document 1 a technique for outputting the orientation of a face from a head image using a learning model
  • Patent Document 2 a technique for tracking a person between frames of a moving image is also known (see, for example, Non-Patent Document 2, Patent Document 1, etc.).
  • the person in the frame is the direction of the advertisement. It is thought that it can be estimated whether or not it is facing.
  • the estimation results in a plurality of frames obtained within a predetermined time the number of people who were facing the direction of the advertisement within the predetermined time and the time when the person was facing the direction of the advertisement can be obtained. Is thought to be possible.
  • the present invention provides an advertisement browsing information output method, an advertisement browsing information output program, and an information processing device capable of outputting accurate information that contributes to measuring the effectiveness of an advertisement from video information obtained from a camera.
  • the purpose is to provide.
  • the advertisement viewing information output method acquires video information taken by a camera that shoots an area near the place where the advertisement is installed, and in each frame of the video information, the head area of each photographed person is obtained.
  • Each of the persons is extracted, the line-of-sight direction of each of the persons is estimated based on the extracted head area, and each of the persons is based on the relationship between the position of each person and the place where the advertisement is installed and the line-of-sight direction of each of the persons. It is specified whether or not the advertisement is included in the field of view, and for each person who is determined to be the same person in a plurality of frames, whether or not the advertisement is viewed is determined based on the specified result in the plurality of frames, and the determination is made.
  • This is an advertisement browsing information output method in which a computer executes a process of generating advertisement browsing information regarding the number of people viewing the advertisement and outputting the advertisement browsing information based on the determination result of the processing.
  • FIG. 3A is a diagram showing the hardware configuration of the server
  • FIG. 3B is a diagram showing the hardware configuration of the user terminal.
  • FIG. 5 (a) to 5 (d) are diagrams for explaining the visual determination of each person in the frame.
  • 6 (a) to 6 (d) are diagrams for explaining person tracking.
  • FIG. 20A is a diagram showing an example of a visual recognition judgment result table in a modified example in which the attribute of a person is considered
  • FIG. 20B is an example of a browsing judgment result table in a modified example in which the attribute of a person is considered.
  • 21 (a) and 21 (b) are diagrams showing an example of an output screen in a modified example in which the attributes of a person are taken into consideration.
  • FIG. 28A is a diagram showing a browsing determination result table in a modified example in which the attributes of a person are taken into consideration
  • FIG. 29B is a diagram showing an example of an output screen. It is a figure which shows the modification of the advertisement effect measurement system.
  • FIG. 1 schematically shows the configuration of the advertising effectiveness measurement system 100 according to the first embodiment.
  • the advertisement effectiveness measurement system 100 of the first embodiment automatically detects how much a passerby is viewing an advertisement (regardless of format such as paper media or digital signage) installed in the city or in a station yard. It is a system that judges and outputs.
  • the advertising effectiveness measurement system 100 includes a camera 50, a server 10 as an information processing device, and a user terminal 70.
  • the camera 50, the server 10, and the user terminal 70 are connected to a network 80 such as the Internet.
  • the camera 50 is, for example, a camera (surveillance camera) installed at a station, and as shown in FIG. 2, it is assumed that the camera 50 is installed in the vicinity of the advertisement 110 provided on a pillar in the station yard.
  • the location of the camera may be any place where the area where the advertisement can be viewed can be photographed. For example, it may be installed facing the advertisement 110.
  • the shooting range (angle of view) of the camera 50 is assumed to include, for example, a region near the advertisement 110 as shown by a broken line frame in FIG.
  • the server 10 acquires the video information (moving image) taken by the camera 50, identifies the person who is facing the advertisement, and identifies the person who is viewing the advertisement 110. Further, the server 10 generates information about the number of people viewing the advertisement 110 and outputs the information to the user terminal 70.
  • the case where the person is facing the advertisement (the head is facing the advertisement) is expressed as "visualizing".
  • the direction of the head is represented by the deviation of the angle with respect to the reference direction.
  • the reference direction is the direction in which the face is directed straight toward the lens of the camera without twisting or moving the neck up and down.
  • the three-dimensional angles (Pitch, Roll, Yaw) indicating the direction of the head are all zero.
  • the face orientation and the line-of-sight direction can be estimated from the face orientation
  • the head orientation and the advertisement From the installation position, it can be determined whether or not the person is visually recognizing the advertisement. Therefore, in the first embodiment, the fact that the direction of the head at a certain point in time is toward the place where the advertisement is installed is regarded as the person "visualizing" the advertisement. Estimating the direction of the head in this way corresponds to estimating the direction of the line of sight.
  • a person is “visualizing” an ad, it means that the ad is likely to be in the person's field of view. Further, in the first embodiment, when the state in which the person "visualizes” the advertisement continues for a certain period of time or more (more than the minimum viewing time described later), it is assumed that the person "views” the advertisement. When a person "views” an advertisement, it is highly likely that the content of the advertisement can be confirmed, that is, it means that the person has viewed the advertisement.
  • the user terminal 70 is, for example, a terminal such as a business operator that provides a posting space (advertising space) for the advertisement 110 or a PC (Personal Computer) used by the advertiser of the advertisement 110.
  • the user terminal 70 requests the server 10 to output information in response to an input from the user, and receives and displays the information output from the server 10.
  • FIG. 3B schematically shows the hardware configuration of the user terminal 70.
  • the user terminal 70 includes a CPU (Central Processing Unit) 190, a ROM (Read Only Memory) 192, a RAM (Random Access Memory) 194, and a storage unit (here, an HDD (Hard Disk Drive)). )) 196, network interface 197, display unit 193, input unit 195, portable storage medium drive 199 and the like capable of reading programs, data and the like from the portable storage medium 191.
  • the display unit 193 includes a liquid crystal display and the like
  • the input unit 195 includes a keyboard, a mouse, a touch panel and the like.
  • Each component of the user terminal 70 is connected to the bus 198.
  • FIG. 3A schematically shows the hardware configuration of the server 10.
  • the server 10 includes a CPU 90, a ROM 92, a RAM 94, a storage unit (HDD) 96, a network interface 97, a portable storage medium drive 99, and the like.
  • Each component of the server 10 is connected to the bus 98.
  • a program stored in the ROM 92 or HDD 96 (including an advertisement viewing information output program) or a program read from the portable storage medium 91 by the portable storage medium drive 99 (including an advertisement viewing information output program).
  • the CPU 90 executing the above, the functions of the respective parts shown in FIG. 4 are realized. Note that FIG.
  • FIG. 4 also shows a visual recognition determination result table 40 and a browsing determination result table 42 stored in the HDD 96 or the like of the server 10.
  • the functions of each part in FIG. 4 may be realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • FIG. 4 shows a functional block diagram of the server 10.
  • the server 10 when the CPU 90 executes the program, the video acquisition unit 20 as the acquisition unit, the advertisement visual recognition determination unit 22, the advertisement viewing determination unit 24 as the determination unit, and the output as the generation unit.
  • the functions as the information generation unit 26 and the output unit 28 as the output processing unit are realized.
  • the CPU 90 functions as a moving image acquisition unit 20, an advertisement visual recognition determination unit 22, an advertisement viewing determination unit 24, and an output information generation unit 26.
  • the network interface 197 or the display unit 193 functions as an output unit 28.
  • the moving image acquisition unit 20 acquires the moving image taken by the camera 50 at predetermined time intervals and stores it in the moving image DB 38.
  • the advertisement visual recognition determination unit 22 acquires a necessary video from the video stored in the video DB 38 based on the instruction from the user terminal 70, and whether or not each person in the acquired video visually recognizes the advertisement. The process of determining whether or not is executed. For example, a video in a time zone specified by the user or a video in a predetermined time width is acquired. The advertisement visual recognition determination unit 22 stores the determination result in the visual recognition determination result table 40.
  • FIG. 5 and 6 show an outline of processing by the advertisement visual recognition determination unit 22.
  • the advertisement visual recognition determination unit 22 detects a person in each frame cut out from the moving image, and extracts the head region of each person as shown by the broken line frame in FIG. 5A. Then, the rotation angle (pitch, roll, yaw) in three dimensions is estimated as the direction of the head with respect to the reference direction from the image of the head region of each person. In the following, this rotation angle will be referred to as a "three-dimensional angle". As described above, the line-of-sight direction can be estimated based on the three-dimensional angle indicating the direction of the head. In FIG. 5B, the three-dimensional angle is indicated by an arrow.
  • This three-dimensional angle estimation is called three-dimensional head pose estimation, head pose estimation, or the like, and the technique disclosed in Non-Patent Document 1 described above can be adopted.
  • a learning model that inputs an image of the head region and outputs the direction of the head with respect to the reference direction is prepared in advance. Then, at the time of head pose estimation, a three-dimensional angle indicating the direction of the head is obtained by inputting an image of the head region of the person to be estimated into the learning model.
  • the administrator of the system according to the present embodiment sets a plurality of (for example, three) areas A, B, and C for the shooting area of the camera 50, for example, as shown in FIG. 5 (c). .. Then, the administrator sets the angle ranges ⁇ , ⁇ , and ⁇ in which there is a high possibility that the person existing in each of the areas A to C is visually recognizing the advertisement.
  • the advertisement visual recognition determination unit 22 determines that the advertisement is visually recognized if the direction (three-dimensional angle) in which the person is facing is within the angle range ⁇ . Specifically, for each of the pitch, roll, and yaw, the angle range conditions ⁇ 1 (pitch), ⁇ 2 (roll), and ⁇ 3 (yaw) are set as the angle range ⁇ . The advertisement visibility determination unit 22 determines that a person is visually recognizing an advertisement if all of the pitch angle, roll angle, and yaw angle constituting the head direction (three-dimensional angle) are within the designated angle ranges. To do.
  • the advertisement visual recognition determination unit 22 may determine whether or not it is within the angle range ⁇ specified in advance by using only the yaw angle among the pitch angle, the roll angle, and the yaw angle. Further, when the person is present in the area B, the advertisement visual recognition determination unit 22 determines that the advertisement is visually recognized if the direction (three-dimensional angle) in which the person is facing is within the angle range ⁇ . In this case as well, as in the case of area A, it may be determined whether the person is visually recognizing the advertisement by using all the three-dimensional angles (pitch, roll, yaw), or the person may use only the yaw angle. You may determine if you are viewing the advertisement.
  • the advertisement visual recognition determination unit 22 determines that the advertisement is visually recognized when the person is present in the area C and the direction (three-dimensional angle) in which the person is facing is within the angle range ⁇ . In this case as well, as in the case of areas A and B, it may be determined whether the person is visually recognizing the advertisement by using all three-dimensional angles (pitch, roll, yaw), or only the yaw angle is used. You may determine if the person is viewing the advertisement. In FIG. 5D, as a result of the above determination, a person who is determined to have a high possibility of visually recognizing the advertisement is shown with "true", and a person who is not is shown with "false". The number of areas set within the shooting range may be other than three.
  • each area does not have to be the same area, and the shooting range may be divided into the vertical direction and the horizontal direction. Further, the area and the angle range may be set manually by the system administrator, or the server 10 automatically sets the area and the angle range based on the relationship between the position of the advertisement and the shooting range input by the system administrator. May be good.
  • the advertisement visual recognition determination unit 22 performs person tracking using the appearance similarity of each person in each frame, and identifies the same person in each frame.
  • tracking will be described with reference to FIGS. 6 (a) to 6 (d).
  • FIG. 6A it is assumed that frames n-2, n-1, and n are obtained in chronological order in chronological order.
  • the advertisement visual recognition determination unit 22 detects a person by using an existing object detection model (for example, Faster R-CNN or SSD (Single Shot MultiBox Detector)) (see the broken line frame in FIG. 6B). ..
  • the advertisement visual recognition determination unit 22 obtains an N-dimensional vector from the whole body image of the person using the similarity learning model (see FIG. 6C), and groups in the time series direction based on the obtained N-dimensional vector. Is executed to identify the same person between frames (see FIG. 6D). It should be noted that such a tracking technique is described in Non-Patent Document 2 and Patent Document 1.
  • the advertisement visual recognition determination unit 22 obtains the "true” and "false” information of each person obtained in FIG. 5D and the information of the same person between the frames obtained by tracking as the visual recognition determination result. Summarize in table 40.
  • the visual recognition determination result table 40 has a structure as shown in FIG. 7. Specifically, the "personal ID”, “time stamp”, and “visual recognition determination” are stored in association with each other in the visual recognition determination result table 40.
  • the "personal ID” is identification information assigned to each person. The same personal ID is assigned to a person identified as the same person among a plurality of frames.
  • the "time stamp” is a time stamp attached to the frame cut out from the moving image, and stores the time stamp attached to the frame used when visually determining each person.
  • the "visual determination” stores the "true” and "false” information obtained by the visual determination in FIG. 5D.
  • the advertisement viewing determination unit 24 refers to the visual recognition determination result table 40 and determines whether or not each person has viewed the advertisement. For example, assume that the user is an advertiser who displays an advertisement for 30 seconds using digital signage. In this case, the user may want to know how many people were viewing the advertisement while displaying his / her advertisement. In such a case, the user specifies the 30 seconds from the user terminal 70 and requests the server 10 to output information on the number of viewers.
  • the advertisement visibility determination unit 22 receives the request, the advertisement visibility determination unit 22 refers to the data corresponding to the specified time in the visibility determination result table 40 and executes the browsing determination process of each person.
  • the server 10 stores the time schedule for displaying a plurality of advertisements
  • the user sends information for identifying the advertisement to be analyzed to the server 10, so that the advertisement is displayed on the server 10. Identify the time zone. Then, the server 10 generates the advertisement browsing information in the specified time zone.
  • the advertisement viewing determination unit 24 extracts the visual recognition determination result (having a common personal ID) of the same person within the specified time from the visual recognition determination result table 40, and the extracted visual recognition determination result is a specific condition. If the above conditions are satisfied, it is determined that the person is viewing the advertisement.
  • the "specific condition" is a case where the total value of the time when the person is viewing the advertisement is equal to or longer than the predetermined time (minimum viewing time).
  • the advertisement browsing determination unit 24 stores the result of the browsing determination executed as described above in the browsing determination result table 42.
  • the browsing determination result table 42 has a structure as shown in FIG. Specifically, the browsing determination result (true / false) is stored in the browsing determination result table 42 in association with the personal ID.
  • the output information generation unit 26 refers to the browsing determination result table 42, generates advertisement browsing information corresponding to the instruction from the user terminal 70, and passes it to the output unit 28. For example, as advertisement viewing information, information regarding the number of people viewing the advertisement is generated. Advertisement browsing information is information that contributes to measuring the effectiveness of advertisements.
  • the output unit 28 transmits (outputs) the advertisement viewing information received from the output information generation unit 26 to the user terminal 70.
  • the processing of the advertisement visual recognition determination unit 22 will be described with reference to the flowchart of FIG.
  • the moving image acquisition unit 20 acquires the moving image taken by the camera 50 at any time and stores it in the moving image DB 38. Further, it is assumed that the process of FIG. 9 is started at the timing when a new moving image is stored in the moving image DB 38.
  • step S10 the advertisement visual recognition determination unit 22 cuts out one frame from the moving image newly stored in the moving image DB 38 while holding the time stamp.
  • step S12 the advertisement visual recognition determination unit 22 extracts the head region in the cut out frame. After that, the advertisement visual recognition determination unit 22 executes steps S14 and S16 and step S18 in parallel at the same time.
  • step S14 the advertisement visual recognition determination unit 22 estimates the three-dimensional angle by the three-dimensional head pose estimation. That is, as described above, since the line-of-sight direction (the direction of the arrow shown in FIG. 5B) can be estimated from the three-dimensional angle of the head direction, the three-dimensional angle of the head direction is estimated in step S14. To do.
  • step S16 the advertisement visual recognition determination unit 22 makes a visual determination from a three-dimensional angle. In this case, the advertisement visual recognition determination unit 22 confirms in which area of FIG. 5A the position of each person is, and the three-dimensional angle of each person is included in the angle range set in the area. If so, it is determined that the advertisement is visually recognized.
  • the three-dimensional angle indicating the direction of the head is the three-dimensional equivalent to the line-of-sight direction.
  • the process of converting to an angle is performed between steps S14 and S16.
  • step S18 the advertisement visual recognition determination unit 22 assigns a personal ID by tracking.
  • step S18 is executed for the first time after starting the process of FIG. 9, a new personal ID is assigned to each person in the frame.
  • step S18 is executed for the second time or later, the same personal ID is given to the same person as the person included in the frames before that. Numbers are assigned, and new personal IDs are assigned to new persons.
  • step S20 the advertisement visual recognition determination unit 22 stores the visual recognition determination result in the visual recognition determination result table 40 in association with the personal ID. ..
  • the advertisement visibility determination unit 22 has the time stamp "2019/7" of the visibility determination result table 40 of FIG.
  • the personal ID (result of S18) and the result of visual recognition determination (result of S16) are stored in association with "/ 24 14:30:30".
  • step S22 the advertisement visual recognition determination unit 22 determines whether or not all the frames have been cut out from the moving image stored in the moving image DB 38. If the determination in step S22 is denied, the process returns to step S10. On the other hand, if the determination in step S22 is affirmed as a result of repeating steps S10 to S22, the entire process of FIG. 9 is terminated. At the stage when the processing of FIG. 9 is completed, the viewing determination for all the frames of the moving image newly stored in the moving image DB 38 is completed, and the visual recognition determination result is stored in the visual recognition determination result table 40 of FIG.
  • the process of FIG. 10 is the timing at which the user terminal 70 receives the output request of the advertisement viewing information at a specified time.
  • the user specifies, for example, from 14:30:30 on July 24, 2019 to 14:31:00 on the same day, via the user terminal 70, and the number of people viewing the advertisement. It is assumed that a request to output information has been made.
  • step S30 the advertisement viewing determination unit 24 uses the time zone (July 24, 2019, 14:30:30 to 14:31:00) specified from the visual determination result table 40. Extract data (up to seconds).
  • step S32 the advertisement viewing determination unit 24 selects one personal ID.
  • the advertisement viewing determination unit 24 selects the smallest number (for example, "001") among the personal IDs included in the extracted data.
  • the advertisement viewing determination unit 24 identifies the "false" or missing time from the data associated with the selected personal ID in chronological order.
  • the missing time means a time during which the line-of-sight direction of the person with the selected personal ID cannot be specified.
  • the line-of-sight direction cannot be specified, for example, when a person is not photographed or when the head area cannot be extracted.
  • step S36 the advertisement viewing determination unit 24 determines whether or not the specified time is less than the correction maximum time.
  • the advertisement is only for that short time. It is not realistic to say that you did not see.
  • the advertisement is visually recognized during that short period of time. It is considered reasonable to assume that it was.
  • the visual determination of that time is changed to "true".
  • the maximum correction time can be set by the system administrator or the like, and can be, for example, 0.5 sec or the like.
  • step S36 determines whether the advertisement viewing determination unit 24 is affirmed. If the determination in step S36 is affirmed, the process proceeds to step S38, and the advertisement viewing determination unit 24 corrects the visual recognition determination to "true". That is, the advertisement viewing determination unit 24 considers the "false” or missing time to be “true”. After that, the process proceeds to step S40. On the other hand, if the determination in step S36 is denied, the advertisement viewing determination unit 24 shifts to step S40 without correcting the visual determination result at the specified time.
  • the determination in step S36 is whether or not the number of frames determined to be "false” existing between the frames determined to be “true” among the visual determination results of the selected personal ID is less than a predetermined number. It can be said that it is judging. Further, it can be said that the determination in step S36 determines whether or not the number of missing frames among the frames determined to be "true” is less than a predetermined number.
  • step S40 the advertisement viewing determination unit 24 determines whether or not all the "false” or missing times have been specified. If the determination in step S40 is denied, the process returns to step S34, the next old "false” or missing time is specified, and the subsequent processes and determinations in steps S36 to S40 are executed. Then, when the determination in step S40 is affirmed, the process proceeds to step S42.
  • the advertisement browsing determination unit 24 executes the subroutine of the browsing determination process. Specifically, the advertisement viewing determination unit 24 executes the process according to the flowchart of FIG.
  • the advertisement viewing determination unit 24 first confirms the visual determination results in chronological order in step S50, and calculates the time during which "true" is continuous.
  • step S52 the advertisement viewing determination unit 24 accumulates the calculated time.
  • step S54 the advertisement viewing determination unit 24 determines whether or not all the data have been confirmed. If the determination in step S54 is denied, the process returns to step S50, the processing in steps S50 and S52, and the determination in step S54 are repeated. Then, when the determination in step S54 is affirmed, the process proceeds to step S56. When the determination in step S54 is affirmed, the cumulative value (integrated value) of the time during which the person with the selected personal ID is visually recognizing the advertisement is obtained.
  • step S56 the advertisement viewing determination unit 24 determines whether or not the accumulated time is equal to or longer than the minimum viewing time.
  • the minimum browsing time is a threshold value for determining the presence or absence of browsing from the accumulated time, and if the accumulated time is equal to or longer than the minimum browsing time, it is determined that the user has browsed.
  • the minimum browsing time can be set in advance by the system administrator, and can be set to, for example, 0.6 sec. If the determination in step S56 is affirmed, the process proceeds to step S58, and the advertisement viewing determination unit 24 determines that the person with the selected personal ID has viewed the advertisement, and the browsing determination result table 42 indicates that fact. To store.
  • step S56 determines whether the determination in step S56 is denied. If the determination in step S56 is denied, the process proceeds to step S60, and the advertisement browsing determination unit 24 determines that the person with the selected personal ID is not viewing the advertisement, and the browsing determination result table. That fact is stored in 42. After that, all the processing of FIG. 11 is completed, and the process proceeds to step S44 of FIG.
  • step S44 the advertisement viewing determination unit 24 determines whether or not all the personal IDs have been selected. If the determination in step S44 is denied, the process returns to step S22. Then, when the processing related to all the personal IDs included in the extracted data is completed, all the processing of FIG. 10 is completed.
  • step S70 the output information generation unit 26 refers to the browsing determination result table 42 and totals the number of personal IDs whose browsing determination result is “true”.
  • step S72 the output information generation unit 26 refers to the browsing determination result table 42 and totals the number of personal IDs whose browsing determination result is “false”.
  • step S74 the output information generation unit 26 generates an output screen as shown in FIG. 13 using the number aggregated in step S70 and the aggregated number in step S72, and delivers the output screen to the output unit 28. ..
  • the output unit 28 When the output unit 28 receives the output screen of FIG. 13 from the output information generation unit 26, the output unit 28 transmits it to the user terminal 70.
  • the output screen of FIG. 13 is displayed on the display unit 93 of the user terminal 70, the user can grasp the number of people who have viewed his / her own advertisement and the viewing ratio of the advertisement. (The percentage of people who were browsing the advertisement among the people who were passing near the advertisement) can be grasped. Therefore, the user can determine from the output screen of FIG. 13 whether or not to continue posting the advertisement, whether or not the cost-effectiveness of the advertisement is appropriate, and the like.
  • the output screen of FIG. 13 is an example. For example, only one of the number of people viewing the advertisement and the viewing ratio may be displayed. In addition, information other than the number of people viewing the advertisement and the viewing ratio may be displayed.
  • the advertisement visual field determination unit 22 extracts the head area of each photographed person in each frame of the moving image, and the extracted head.
  • the advertisement visual recognition determination unit 22 extracts the head area of each person photographed in each frame of the moving image (S12), and the person is extracted from the extracted head area. Each line-of-sight direction (three-dimensional angle) is estimated (S14). Further, the advertisement visual recognition determination unit 22 determines whether or not each person is visually recognizing the advertisement based on the relationship between the position of each person and the place where the advertisement is installed and the line-of-sight direction (three-dimensional angle) of each person (3D angle). S16). In addition, the advertisement viewing determination unit 24 determines the viewing of the advertisement for each person determined to be the same person in the plurality of frames (for each person with the same personal ID numbered) based on the visual recognition determination results in the plurality of frames.
  • the output information generation unit 26 totals the number of people who have viewed the advertisement (S70), and outputs information regarding the number of people viewing the advertisement to the user terminal 70 via the output unit 28 (S74). ..
  • the case cannot be regarded as the viewing of the advertisement (for example, the person). It is possible to prevent it from being judged as browsing (for example, when the direction of the advertisement is turned for a moment).
  • the value of the advertising space can be expressed as a numerical value, so that the company that manages the advertising space determines the price when providing the advertising space to the advertiser, and appeals the effect when the advertising space is used. It can be used.
  • the advertisement viewing determination unit 24 browses the advertisement when the cumulative value of the time determined to be visually recognizing the advertisement is equal to or more than the minimum viewing time (S56: affirmative). It is determined that it was (S58). As a result, when a person turns to the direction of the advertisement for a moment, it is possible not to determine that the advertisement is viewed.
  • the advertisement viewing determination unit 24 identifies the “false” or missing time (S34), and visually recognizes the specified time when it is less than the correction maximum time (S36: affirmative).
  • the determination result is corrected to "true” (S38).
  • the advertisement visual recognition determination unit 22 specifies an area in the frame in which the person is located, and the line-of-sight direction (three-dimensional angle) of the person is predetermined for the specified area. It is determined that the advertisement is visually recognized when the person is facing the direction in which the advertisement is displayed. As a result, even when the camera 50 and the advertisement 110 are separated from each other, it can be easily determined whether or not the person is visually recognizing the advertisement.
  • the camera 50 may be provided on the opposite side of the advertisement 110.
  • the advertisement visual recognition determination unit 22 extracts the head region from each frame and estimates the three-dimensional angle of the head direction in which the line-of-sight direction can be estimated.
  • the advertisement visual recognition determination unit 22 uses only the head region, and thus can be said to be a technique that takes more privacy into consideration.
  • the first embodiment uses only the head region, and thus can be said to be a technique that takes more privacy into consideration.
  • the image of a camera provided independently of the place where the advertisement is installed such as a surveillance camera, there are many passers-by whose face is not reflected in the surveillance camera. Even in such a case, the first embodiment can estimate the line-of-sight direction, and is highly versatile as compared with the technique that requires that the face is reflected.
  • step S156 the advertisement viewing determination unit 24 determines whether or not the time extracted in step S155 is equal to or longer than the minimum viewing time. If the determination in step S156 is affirmed, the process proceeds to step S58, and the advertisement viewing determination unit 24 determines that the person with the selected personal ID has viewed the advertisement, and displays the advertisement viewing determination result table 42. Store that effect. On the other hand, if the determination in step S156 is denied, the process proceeds to step S60, and the advertisement browsing determination unit 24 determines that the person with the selected personal ID is not viewing the advertisement, and the browsing determination result table. That fact is stored in 42. After that, all the processing of FIG. 14 is completed.
  • the browsing judgment is performed using the longest time among the times in which "true” is continuous in the visual recognition judgment result of the selected personal ID. Even in this way, as in the first embodiment, the person who viewed the advertisement can be identified with high accuracy.
  • step S250 the advertisement viewing determination unit 24 confirms the visual recognition determination results in chronological order, and identifies the time when it is first determined to be “true”.
  • step S252 the advertisement viewing determination unit 24 confirms the visual recognition determination results in chronological order, and finally identifies the time when it is determined to be “true”.
  • step S254 the advertisement viewing determination unit 24 calculates the time between the specified times. That is, the advertisement viewing determination unit 24 calculates the time from the determination that the advertisement is first viewed to the final determination that the advertisement is visually recognized.
  • step S256 the advertisement viewing determination unit 24 determines whether or not the time calculated in step S254 is equal to or longer than the minimum viewing time. If the determination in step S256 is affirmed, the process proceeds to step S58, and the advertisement viewing determination unit 24 determines that the person with the selected personal ID has viewed the advertisement, and displays the advertisement viewing determination result table 42. Store that effect. On the other hand, if the determination in step S256 is denied, the process proceeds to step S60, and the advertisement browsing determination unit 24 determines that the person with the selected personal ID is not viewing the advertisement, and the browsing determination result table. That fact is stored in 42. After that, all the processing of FIG. 15 is completed.
  • the browsing determination is performed using the time from the determination that the advertisement is first visually recognized to the final determination that the advertisement is visually recognized. Even in this way, it is possible to accurately identify the person who has viewed the advertisement, as in the case of the first embodiment and the modification 1 of the browsing determination process.
  • steps S34, S36, S38, and S40 of FIG. 10 may be omitted.
  • Output modification 1 In the first embodiment, the case where the server 10 executes the process of FIG. 10 by designating the time zone while displaying one advertisement on the user terminal 70 has been described, but the present invention is limited to this. It is not something that can be done. For example, it is possible to specify on the user terminal 70 to specify a certain day and total the number of people viewing the advertisement for each hour in that day.
  • the specified one-day data is extracted from the visual recognition judgment result table 40, and the processing of FIG. 10 is executed using the one-hour data, so that the one-hour browsing judgment result table 42 To get. Then, by repeatedly executing the process of FIG. 10 using the data for the next hour, the process of FIG. 10 using the data for the next hour, and so on, 1
  • the browsing determination result table 42 for each hour can be obtained.
  • the output information generation unit 26 can generate an output screen as shown in FIG. 16 by totaling, for example, the number of personal IDs whose browsing determination result is "true" at each time and graphing them. it can.
  • the screen as shown in FIG. 16 is displayed on the user terminal 70, the advertiser or the like can grasp at what time zone the advertisement is being viewed.
  • the provider of the advertising space can appropriately adjust the price (rental fee) of the advertising space according to the number of viewers per hour. For example, in FIG. 16, the rental fee for a time zone with 150 or more viewers can be increased, and the rental fee for a time zone with less than 150 viewers can be reduced.
  • the average value of the number of viewers in each time zone in a predetermined period may be displayed.
  • the number of viewers in each time zone of a plurality of days may be displayed separately.
  • the average value of the number of viewers in each time zone on weekdays, the average value of the number of viewers in each time zone on Saturday, and the average value of the number of viewers in each time zone on Sunday are displayed separately. And so on.
  • the output information generation unit 26 may generate a log listing the personal IDs of persons who are determined to be viewing the advertisement at each time.
  • the log of FIG. 18 is output from the server 10 to the user terminal 70, the log is analyzed by the user terminal 70, and the same screens as those in FIGS. 13, 16 and 17 are displayed on the display unit 193 as the analysis result. It may be displayed.
  • the attributes (gender and age) of each person are estimated at the time of visual recognition determination, and the advertisement viewing information is organized based on the attributes of each person when generating the advertisement viewing information. It may be that.
  • the advertisement visual recognition determination unit 22 executes the process of FIG. 19 instead of the process of FIG.
  • the advertisement visual recognition determination unit 22 executes the process of step S19 in parallel with the processes of steps S14 and S16 and step S18.
  • step S19 the advertisement visual recognition determination unit 22 estimates the attributes (gender, age) of the person from the head region.
  • AI Artificial Intelligence
  • the browsing determination result table 42 obtained as a result of the processing of FIG. 10 by the advertisement browsing determination unit 24 is a table as shown in FIG. 20 (b).
  • gender and age are associated with the personal ID.
  • the output information generation unit 26 aggregates the browsing determination results “true” and “false” by gender and age from the browsing determination result table 42 in FIG. 20 (b), as shown in FIG. 21 (a). You can generate a screen. By displaying the screen as shown in FIG. 21A on the user terminal 70, the advertiser or the like can accurately grasp the age group and gender of viewing the advertisement.
  • the output information generation unit 26 aggregates the browsing determination results for each time for both men and women and for both men and women. It is possible to generate an output screen as shown in FIG. 21 (b). By displaying the screen as shown in FIG. 21B on the user terminal 70, the advertiser or the like can grasp which of the men and women is viewing the advertisement more in which time zone. As a result, the advertiser or the like can determine what kind of advertisement should be placed at what time zone. In addition, the provider of the advertising space can adjust the price (rental fee) of the advertising space according to the number of viewers and the attributes of the person who is browsing.
  • Second Embodiment will be described in detail with reference to FIGS. 22 to 26.
  • the configuration of the advertisement effectiveness measurement system 100 of the second embodiment is the same as that of the first embodiment, but the point that the advertisement viewing determination unit 24 determines the viewing time length of the advertisement by each person and the output information generation.
  • the difference from the first embodiment is that the unit 26 generates an output screen regarding the viewing time of the advertisement.
  • the points different from the first embodiment will be described in detail, and the same or equivalent points as those of the first embodiment will be omitted or simplified.
  • FIG. 22 shows the processing of the advertisement viewing determination unit 24 according to the second embodiment. As a premise that the processing of FIG. 22 is performed, it is assumed that the processing of FIG. 9 is executed by the advertisement visual recognition determination unit 22, and the data is stored in the visual recognition determination result table 40 as shown in FIG.
  • the browsing time calculation process (S342) is executed instead of the step S42 (browsing determination process) of FIG. 10, and the other processes are the same as those of FIG.
  • step S342 the process according to the flowchart of FIG. 23 is executed.
  • steps S50, S52, S54 point at which the advertisement viewing determination unit 24 accumulates the time during which the visual recognition determination result "true” is continuous
  • step S56 cumulative time is the minimum viewing time.
  • the point of determining whether the time is longer than the time) is the same as that of the first embodiment (FIG. 11).
  • the advertisement browsing determination unit 24 stores the accumulated time as the browsing time length in the browsing determination result table 42.
  • each person can browse in the time zone (for example, the time zone in which the advertisement is displayed) designated by the user terminal 70.
  • the time length is stored in the browsing determination result table 42 (FIG. 24).
  • step S370 the output information generation unit 26 sets the viewing time length range of the aggregation target. For example, it is assumed that "0.6 sec or more and less than 2 sec", “2 sec or more and less than 7 sec", “7 sec or more and less than 15 sec", and the like can be selected as the browsing time length range. In this case, the output information generation unit 26 sets, for example, "0.6 sec or more and less than 2 sec" as the browsing time length range of the aggregation target.
  • step S372 the output information generation unit 26 associates the browsing time length included in the browsing time length range (0.6 sec or more and less than 2 sec) of the aggregation target from the browsing determination result table 42 (FIG. 24). Aggregate the number of personal IDs.
  • step S374 the output information generation unit 26 determines whether or not all the viewing time length ranges have been set as aggregation targets. If the determination in step S374 is denied, the process returns to step S370. After that, the output information generation unit 26 repeats step S372 while changing the viewing time length range of the aggregation target, and proceeds to step S376 when the determination in step S374 is affirmed.
  • the output information generation unit 26 When the process proceeds to step S376, the output information generation unit 26 generates an output screen using the total number of personal IDs and delivers it to the output unit 28.
  • the output information generation unit 26 generates, for example, an output screen as shown in FIG. 26. Since the output unit 28 outputs the output screen of FIG. 26 to the user terminal 70, by checking the output screen displayed on the user terminal 70, how long the person who was viewing the advertisement browses. You can see if you continued to do so.
  • the advertisement visual recognition determination unit 22 extracts the head region of each photographed person in each frame of the moving image (S12), and extracts the head region from the extracted head region.
  • the line-of-sight direction (three-dimensional angle) of each person is estimated (S14). Further, the advertisement visual recognition determination unit 22 determines whether or not each person is visually recognizing the advertisement based on the relationship between the position of each person and the place where the advertisement is installed and the line-of-sight direction (three-dimensional angle) of each person (3D angle). S16).
  • the advertisement viewing determination unit 24 determines the advertisement viewing time length for each person determined to be the same person in the plurality of frames (for each person with the same personal ID numbered) based on the visual recognition determination results in the plurality of frames. Identify (S358, S360). Further, the output information generation unit 26 aggregates the viewing time length of the advertisement of each person, and outputs the information regarding the viewing time length of the advertisement to the user terminal 70 via the output unit 28 (FIG. 25). As a result, in the second embodiment, since the viewing time length is specified from the visual recognition determination results in a plurality of frames for the same person, it cannot be regarded as the viewing of the advertisement (for example, the person is in the advertisement for a moment).
  • the value of the advertising space can be expressed as a numerical value, so that the company that manages the advertising space determines the price when providing the advertising space to the advertiser, and appeals the effect when the advertising space is used. It can be used.
  • the advertisement browsing determination unit 24 browses the cumulative value when the cumulative value of the time determined to be visually recognizing the advertisement is equal to or longer than the minimum browsing time (S56: affirmative).
  • the time length is set to (S358), and in other cases, the browsing time length is set to 0 (S360).
  • the time from the determination that the advertisement is first viewed to the final determination that the advertisement is visually recognized When it is equal to or longer than the minimum viewing time, the time may be set as the viewing time of the advertisement.
  • Output modification 1 In the second embodiment described above, an example of outputting a table (see FIG. 26) that aggregates the browsing time lengths of the time zones while displaying one advertisement has been described, but the present invention is not limited to this.
  • a graph may be generated by aggregating the browsing time length for each hour in a certain day. In this case, for example, a graph as shown in FIG. 27 can be generated.
  • the screen as shown in FIG. 27 is displayed on the user terminal 70, so that the advertiser and the like are viewing the advertisement by how many people are viewing the advertisement in each time zone. It is possible to understand how long a person is watching an advertisement.
  • the provider of the advertising space can appropriately adjust the price (rental fee) of the advertising space according to the tendency of the viewing time length for each time zone.
  • FIG. 27 shows a graph in which the browsing determination result table 42 for one day of the week is aggregated.
  • the browsing determination result table 42 for a plurality of days may be aggregated for each time zone to create a graph.
  • a graph may be created by aggregating the data of each time zone for each day of the week.
  • the output information generation unit 26 may generate a log listing the viewing time lengths of each person.
  • the log When the log is output from the server 10 to the user terminal 70, the log may be analyzed by the user terminal 70, and the same screen as in FIGS. 26 and 27 may be displayed on the display unit 193 as the analysis result. ..
  • the attributes (gender and age) of each person are estimated at the time of visual recognition determination, and the advertisement viewing information is organized based on the attributes of each person when generating the advertisement viewing information. You may do it.
  • the advertisement visual recognition determination unit 22 may execute the same process as in FIG. As a result, as the browsing determination result table 42, a table as shown in FIG. 28A can be obtained.
  • the output information generation unit 26 aggregates the browsing time lengths from the browsing determination result table 42 of FIG. 28 (a) in consideration of gender and age, as shown in FIG. 28 (b), for example.
  • Output screen can be generated.
  • the output screen of FIG. 28B shows the result of totaling the number of people for each viewing time length range for each gender and age.
  • the advertising effect measurement system 100 of the first and second embodiments has described the case where the server 10 that has acquired the moving image captured by the camera 50 performs various processes, but the present invention is not limited to this.
  • the advertising effectiveness measurement system 100'as shown in FIG. 29 may be adopted.
  • the camera 50 is connected to an information processing device 60 such as an edge gateway (for example, a wired connection).
  • the information processing device 60 is provided in the vicinity of the camera 50, and has the functions of the server 10 (each function shown in FIG. 4) described in the first embodiment. That is, the information processing device 60 receives the moving image from the camera 50 and executes the same processing as the server 10 of the first and second embodiments.
  • the information (output screen) generated by the information processing device 60 is transmitted to the server 10 and appropriately transmitted to the user terminal 70.
  • the information processing device 60 does not have to have all the functions shown in FIG.
  • the output information generation unit 26 may be included in the server 10.
  • the information processing device 60 may output the information of the browsing determination result table 42 to the server 10, and the server 10 may generate an output screen based on the browsing determination result table 42. ..
  • the above processing function can be realized by a computer.
  • a program that describes the processing content of the function that the processing device should have is provided.
  • the above processing function is realized on the computer.
  • the program describing the processing content can be recorded on a computer-readable storage medium (excluding the carrier wave).
  • a program When a program is distributed, it is sold in the form of a portable storage medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in the storage device of the server computer and transfer the program from the server computer to another computer via the network.
  • a portable storage medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in the storage device of the server computer and transfer the program from the server computer to another computer via the network.
  • the computer that executes the program stores, for example, the program recorded on the portable storage medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes the processing according to the program. The computer can also read the program directly from the portable storage medium and execute the process according to the program. In addition, the computer can sequentially execute processing according to the received program each time the program is transferred from the server computer.
  • Server information processing device
  • Video acquisition department acquisition department
  • Advertisement visibility judgment unit extraction unit, estimation unit, specific unit
  • Advertisement viewing judgment unit judgment unit
  • Output information generation unit generation unit
  • Output processing unit 50 cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

広告の効果測定に資する正確な情報を出力するため、サーバは、広告の設置場所近傍の領域を撮影するカメラが撮影した動画を取得し、動画の各フレームにおいて、撮影された人物それぞれの頭部領域を抽出するとともに、抽出した頭部領域から人物それぞれの視線方向（３次元角度）を推定する。また、サーバは、人物それぞれの位置と広告の設置場所との関係、及び人物それぞれの視線方向に基づいて、人物それぞれが広告を視認しているかを判定する。そして、サーバは、複数フレームにおいて同一人物と判定される人物ごとに、複数フレームにおける視認判定結果に基づいて広告の閲覧判定を行い、広告を閲覧していた人物の数を集計して利用者端末に対して出力する。

Description

広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置
　本発明は、広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置に関する。
　従来、学習モデルを用いて、頭部画像から顔の向きを出力する技術が知られている（例えば非特許文献１等参照）。また、監視カメラ等を用いた人物の追跡を実現するため、動画のフレーム間で人物をトラッキングする技術についても知られている（例えば、非特許文献２、特許文献１等参照）。
特開２０１７－１５１５８２号公報
Nataniel Ruiz, Eunji Chong, James M. Rehg、" Fine-Grained Head Pose Estimation Without Keypoints "、[online]、2018年4月13日、arXiv.org、［令和1年8月20日検索］、インターネット(URL：https://arxiv.org/pdf/1710.00925.pdf) Michael Thoreau, Navinda Kottege、" Improving Online Multiple Object tracking with Deep Metric Learning "、[online]、2018年6月20日、arXiv.org、［令和1年8月20日検索］、インターネット(URL：https://arxiv.org/pdf/1806.07592.pdf)
　例えば、監視カメラから取得した１フレームから人物の頭部を抽出し、頭部から推定される顔の向きと広告が設置された位置との関係を用いることで、フレーム内の人物が広告の方向を向いているかどうかを推定できると考えられる。また、所定時間内に得られた複数のフレームにおける推定結果を合算することで、所定時間内において広告の方向を向いていた人物の数や、人物が広告の方向を向いていた時間を得ることができると考えられる。
　しかしながら、単に複数フレームにおける推定結果を合算しただけでは、広告の閲覧とは見做せないような場合（例えば人物が一瞬だけ広告の方向を向いた場合など）まで人数や時間としてカウントしてしまうおそれがある。
　１つの側面では、本発明は、カメラから得られる映像情報から、広告の効果測定に資する正確な情報を出力することが可能な広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置を提供することを目的とする。
　一つの態様では、広告閲覧情報出力方法は、広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得し、前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し、抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定し、前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定し、複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定した結果に基づいて前記広告の閲覧有無を判定し、前記判定する処理の判定結果に基づいて、前記広告の閲覧人数に関する広告閲覧情報を生成し、前記広告閲覧情報を出力する、処理をコンピュータが実行する広告閲覧情報出力方法である。
　カメラから得られる映像情報から、広告の効果測定に資する正確な情報を出力することができる。
第１の実施形態に係る広告効果測定システムの構成を概略的に示す図である。 広告とカメラの配置及びカメラの撮影範囲を概略的に示す図である。 図３（ａ）は、サーバのハードウェア構成を示す図であり、図３（ｂ）は、利用者端末のハードウェア構成を示す図である。 サーバの機能ブロック図を示す図である。 図５（ａ）～図５（ｄ）は、フレームにおける各人物の視認判定について説明するための図である。 図６（ａ）～図６（ｄ）は、人物追跡（トラッキング）について説明するための図である。 視認判定結果テーブルの一例を示す図である。 閲覧判定結果テーブルの一例を示す図である。 第１の実施形態に係る広告視認判定部の処理を示すフローチャートである。 第１の実施形態に係る広告閲覧判定部の処理を示すフローチャートである。 図１０の閲覧判定処理の詳細処理を示すフローチャートである。 出力情報生成部の処理を示すフローチャートである。 第１の実施形態における出力画面の例を示す図である。 第１の実施形態における閲覧判定処理の変形例１を示すフローチャートである。 第１の実施形態における閲覧判定処理の変形例２を示すフローチャートである。 第１の実施形態における出力の変形例１を示す図である。 第１の実施形態における出力の変形例１の別例を示す図である。 第１の実施形態における出力の変形例２を示す図である。 人物の属性を考慮する変形例における広告視認判定部の処理を示すフローチャートである。 図２０（ａ）は、人物の属性を考慮する変形例における視認判定結果テーブルの一例を示す図であり、図２０（ｂ）は、人物の属性を考慮する変形例における閲覧判定結果テーブルの一例を示す図である。 図２１（ａ）、図２１（ｂ）は、人物の属性を考慮する変形例における出力画面の例を示す図である。 第２の実施形態の広告閲覧判定部の処理を示すフローチャートである。 第２の実施形態の閲覧判定処理（図２２のステップＳ３４２）の詳細処理を示すフローチャートである。 第２の実施形態における閲覧判定結果テーブルを示す図である。 第２の実施形態における出力情報生成部の処理を示すフローチャートである。 第２の実施形態における出力画面の例を示す図である。 第２の実施形態における出力の変形例１を示す図である。 図２８（ａ）は、人物の属性を考慮する変形例における閲覧判定結果テーブルを示す図であり、図２９（ｂ）は、出力画面の例を示す図である。 広告効果測定システムの変形例を示す図である。
《第１の実施形態》
　以下、第１の実施形態について、図１～図１３に基づいて詳細に説明する。
　図１には、第１の実施形態に係る広告効果測定システム１００の構成が概略的に示されている。本第１の実施形態の広告効果測定システム１００は、街中や駅構内などに設置される広告（紙媒体、デジタルサイネージなど形式は問わない）を通行人がどの程度閲覧しているかを自動的に判定して、出力するシステムである。
　図１に示すように、広告効果測定システム１００は、カメラ５０と、情報処理装置としてのサーバ１０と、利用者端末７０と、を備える。カメラ５０、サーバ１０、利用者端末７０は、インターネットなどのネットワーク８０に接続されている。
　ここで、カメラ５０は、例えば駅に設置されるカメラ（監視カメラ）であり、図２に示すように、駅構内の柱に設けられた広告１１０の近傍に設置されているものとする。なお、カメラの設置場所は、広告を閲覧可能な領域を撮影可能な場所であればよい。例えば、広告１１０に対向して、設置されていてもよい。カメラ５０の撮影範囲（画角）は、例えば、図２において破線枠で示すような広告１１０近傍の領域を含む範囲であるものとする。
　サーバ１０は、カメラ５０において撮影された映像情報（動画）を取得して、広告の方を向いている人物を特定するとともに、広告１１０を閲覧している人物を特定する。また、サーバ１０は、広告１１０を閲覧している人数に関する情報を生成して、利用者端末７０に対して出力する。なお、本第１の実施形態においては、人物が広告の方を向いている（頭の向きが広告の方を向いている）場合を、「視認」していると表現する。なお、頭の向きは、基準方向に対する角度のずれであらわされる。例えば、本第１の実施形態においては、基準方向は、首をひねったり上下に動かさずに、まっすぐカメラのレンズに顔を向けているときの方向である。この場合、首を動かさずに、カメラに対して顔が正対しているとき、頭の向きを示す３次元角度（Pitch（ピッチ）、Roll（ロール）、Yaw（ヨー））はいずれもゼロとなる。
　このように、頭の向きに基づき、顔の向きを推定可能であって、さらには、顔の向きから視線方向を推定可能であるため、本第１の実施形態では、頭の向きと広告の設置位置とから、人物が広告を視認しているかを判定することができる。よって、本第１の実施形態には、ある時点における頭の向きが、広告の設置場所に向いていることは、人物が広告を「視認」しているとみなす。このように、頭部の向きを推定することは、視線方向を推定することに相当する。人物が広告を「視認」している場合、人物の視野内に広告が入っている可能性が高いことを意味する。また、本第１の実施形態では、人物が広告を「視認」している状態が一定時間以上（後述する閲覧最小時間以上）継続された場合、人物が広告を「閲覧」したものとする。人物が広告を「閲覧」した場合、広告の内容を確認できた可能性が高いこと、すなわち人物が広告を視聴したことを意味するものとする。
　利用者端末７０は、例えば、広告１１０の掲示スペース（広告スペース）を提供する業者や、広告１１０の広告主が利用するＰＣ（Personal Computer）などの端末である。利用者端末７０は、利用者からの入力に応じて、サーバ１０に対して情報の出力を要求するとともに、サーバ１０から出力された情報を受信して、表示等する。
　図３（ｂ）には、利用者端末７０のハードウェア構成が概略的に示されている。図３（ｂ）に示すように、利用者端末７０は、ＣＰＵ（Central Processing Unit）１９０、ＲＯＭ（Read Only Memory）１９２、ＲＡＭ（Random Access Memory）１９４、記憶部（ここではＨＤＤ（Hard Disk Drive））１９６、ネットワークインタフェース１９７、表示部１９３、入力部１９５、及び可搬型記憶媒体１９１からプログラムやデータ等を読み取り可能な可搬型記憶媒体用ドライブ１９９等を備えている。表示部１９３は、液晶ディスプレイ等を含み、入力部１９５は、キーボードやマウス、タッチパネル等を含む。これら利用者端末７０の構成各部は、バス１９８に接続されている。
（サーバ１０について）
　以下、サーバ１０の詳細について説明する。
　図３（ａ）には、サーバ１０のハードウェア構成が概略的に示されている。図３（ａ）に示すように、サーバ１０は、ＣＰＵ９０、ＲＯＭ９２、ＲＡＭ９４、記憶部（ＨＤＤ）９６、ネットワークインタフェース９７、及び可搬型記憶媒体用ドライブ９９等を備えている。これらサーバ１０の構成各部は、バス９８に接続されている。サーバ１０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（広告閲覧情報出力プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（広告閲覧情報出力プログラムを含む）をＣＰＵ９０が実行することにより、図４に示す各部の機能が実現される。なお、図４には、サーバ１０のＨＤＤ９６等に格納されている視認判定結果テーブル４０及び閲覧判定結果テーブル４２も図示されている。なお、図４の各部の機能は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。
　図４には、サーバ１０の機能ブロック図が示されている。図４に示すように、サーバ１０では、ＣＰＵ９０がプログラムを実行することにより、取得部としての動画取得部２０、広告視認判定部２２、判定部としての広告閲覧判定部２４、生成部としての出力情報生成部２６、出力処理部としての出力部２８、としての機能が実現されている。なお、ＣＰＵ９０は、動画取得部２０、広告視認判定部２２、広告閲覧判定部２４、出力情報生成部２６として機能する。ネットワークインタフェース１９７または表示部１９３は、出力部２８として機能する。
　動画取得部２０は、カメラ５０が撮影した動画を所定時間ごとに取得し、動画ＤＢ３８に格納する。
　広告視認判定部２２は、利用者端末７０からの指示に基づいて、動画ＤＢ３８に格納された動画から、必要な動画を取得し、取得した動画に写っている人物それぞれが広告を視認したか否かを判定する処理を実行する。たとえば、利用者から指定された時間帯の動画や、所定時間幅の動画が取得される。広告視認判定部２２は、判定結果を視認判定結果テーブル４０に格納する。
　図５、図６には、広告視認判定部２２による処理の概要が示されている。広告視認判定部２２は、動画から切り出される各フレームにおいて、人物を検出し、図５（ａ）において破線枠にて示すように、各人物の頭部領域を抽出する。そして、各人物の頭部領域の画像から、基準方向に対する頭の向きとして、３次元での回転角（ピッチ、ロール、ヨー）を推定する。なお、以下においては、この回転角を「３次元角度」と呼ぶ。上述のとおり、頭の向きを示す３次元角度に基づき、視線方向を推定することができる。図５（ｂ）には、３次元角度が矢印にて示されている。この３次元角度の推定は、３次元ヘッドポーズ推定や、頭部姿勢推定（Head pose estimation）などと呼ばれ、上述した非特許文献１に開示されている技術を採用することができる。例えば、３次元ヘッドポーズ推定技術は、事前に、頭部領域の画像を入力として、基準方向に対する頭の向きを出力する学習モデルを準備する。そして、ヘッドポーズ推定時には、推定対象の人物の頭部領域の画像を学習モデルに入力することで、頭の向きを示す３次元角度を得る。
　次に、頭部の３次元角度から推定される視線方向が、広告を向いているかを判定するための処理ついて説明する。例えば、本実施例に係るシステムの管理者は、カメラ５０の撮影領域に対しては、例えば図５（ｃ）に示すように、複数（例えば３つ）のエリアＡ、Ｂ、Ｃを設定する。そして、管理者は、各エリアＡ～Ｃに存在する人物が広告を視認している可能性の高い角度範囲α、β、γを設定する。
　そして、広告視認判定部２２は、例えば、人物がエリアＡに存在する場合、人物の向いている方向（３次元角度）が角度範囲α内であれば、広告を視認していると判定する。具体的には、ピッチ、ロール、ヨー各々について、角度範囲の条件α１（ピッチ）、α２（ロール）、α３（ヨー）が、角度範囲αとして設定される。広告視認判定部２２は、頭部方向（３次元角度）を構成するピッチ角、ロール角、ヨー角すべてが、それぞれ指定された角度範囲内であれば、人物は広告を視認していると判断する。なお、広告視認判定部２２は、ピッチ角、ロール角、ヨー角のうち、ヨー角のみを使って、事前に指定された角度範囲α内であるかを判定してもよい。
　また、広告視認判定部２２は、人物がエリアＢに存在する場合、人物の向いている方向（３次元角度）が角度範囲β内であれば、広告を視認していると判定する。この場合にも、エリアＡの場合と同様、３次元角度（ピッチ、ロール、ヨー）全てを用いて人物が広告を視認しているかを判断してもよいし、ヨー角のみを用いて人物が広告を視認しているかを判断してもよい。
　更に、広告視認判定部２２は、人物がエリアＣに存在する場合、人物の向いている方向（３次元角度）が角度範囲γ内であれば、広告を視認していると判定する。この場合にも、エリアＡ、Ｂの場合と同様、３次元角度（ピッチ、ロール、ヨー）全てを用いて人物が広告を視認しているかを判断してもよいし、ヨー角のみを用いて人物が広告を視認しているかを判断してもよい。
　図５（ｄ）においては、上記判定の結果、広告を視認している可能性が高いと判定した人物に「真」、そうでない人物に「偽」を付して示している。なお、撮影範囲内に設定されるエリアの数は、３つ以外であってもよい。また、各エリアは同一面積でなくてもよいし、撮影範囲は縦方向及び横方向に分割されてもよい。また、エリアや角度範囲は、システム管理者が手動で設定してもよいし、システム管理者が入力した広告の位置と撮影範囲との関係に基づいて、サーバ１０が自動的に設定することとしてもよい。
　また、広告視認判定部２２は、各フレームの各人物の見た目の類似性を利用して人物追跡（トラッキング）を行い、各フレームにおいて同一人物を特定する。以下、トラッキングについて、図６（ａ）～図６（ｄ）に基づいて説明する。例えば、図６（ａ）に示すように時系列に沿って古い順にフレームｎ－２、ｎ－１，ｎが得られたとする。この場合、広告視認判定部２２は、既存の物体検出モデル（例えばFaster R-CNNやＳＳＤ（Single Shot MultiBox Detector））を利用して、人物を検出する（図６（ｂ）の破線枠参照）。また、広告視認判定部２２は、類似度学習モデルを利用して、人物の全身画像からＮ次元ベクトルを求め（図６（ｃ）参照）、求めたＮ次元ベクトルに基づいて時系列方向のグルーピングを実行することで、フレーム間における同一人物の特定を行う（図６（ｄ）参照）。なお、このようなトラッキング技術については、非特許文献２や特許文献１などに記載されている。
　そして、広告視認判定部２２は、図５（ｄ）で得られた各人物の「真」、「偽」の情報と、トラッキングにより得られたフレーム間の同一人物の情報と、を視認判定結果テーブル４０にまとめる。
　ここで、視認判定結果テーブル４０は、図７に示すような構造を有する。具体的には、視認判定結果テーブル４０には、「個人ＩＤ」、「タイムスタンプ」、「視認判定」が関連付けて格納される。「個人ＩＤ」は、各人物に対して割り当てられた識別情報である。複数フレーム間において同一人物と特定された人物には、同一の個人ＩＤが割り当てられる。「タイムスタンプ」は、動画から切り出したフレームに付帯するタイムスタンプであり、各人物の視認判定を行った際に用いたフレームに付帯するタイムスタンプが格納される。「視認判定」は、図５（ｄ）の視認判定によって得られた「真」、「偽」の情報が格納される。
　図４に戻り、広告閲覧判定部２４は、視認判定結果テーブル４０を参照して、各人物が広告を閲覧したか否かを判定する。例えば、利用者が、デジタルサイネージを用いた３０秒間の広告を表示した広告主であるとする。この場合、利用者は、自己の広告を表示していた間に、広告をどれだけの人物が閲覧していたかを知りたい場合がある。このような場合に、利用者は、利用者端末７０から、当該３０秒間を特定して、閲覧人数に関する情報の出力をサーバ１０に要求する。広告視認判定部２２は、当該要求を受け付けると、視認判定結果テーブル４０のうち、特定された時間に対応するデータを参照して、各人物の閲覧判定処理を実行する。なお、複数の広告の表示に関するタイムスケジュールを、サーバ１０が記憶している場合、利用者は分析対象の広告を識別する情報をサーバ１０へ送信することで、サーバ１０は広告が表示されていた時間帯を特定する。そして、サーバ１０は、特定した時間帯において、広告閲覧情報を生成する。
　具体的には、広告閲覧判定部２４は、視認判定結果テーブル４０から特定された時間内における同一人物の（個人ＩＤが共通する）視認判定結果を抽出し、抽出した視認判定結果が特定の条件を満たしていた場合に、当該人物が広告を閲覧していたと判定する。この場合の「特定の条件」とは、人物が広告を視認していた時間の合計値が所定時間（閲覧最小時間）以上であった場合であるものとする。
　広告閲覧判定部２４は、上記のようにして実行した閲覧判定の結果を閲覧判定結果テーブル４２に格納する。ここで、閲覧判定結果テーブル４２は、図８に示すような構造を有する。具体的には、閲覧判定結果テーブル４２には、個人ＩＤに対応付けて閲覧判定結果（真／偽）が格納される。
　出力情報生成部２６は、閲覧判定結果テーブル４２を参照して、利用者端末７０からの指示に対応する広告閲覧情報を生成し、出力部２８に受け渡す。例えば、広告閲覧情報として、広告の閲覧人数に関する情報が生成される。広告閲覧情報は、広告の効果測定に資する情報である。
　出力部２８は、出力情報生成部２６から受け取った広告閲覧情報を利用者端末７０に対して送信（出力）する。
（サーバ１０の処理について）
　以下、サーバ１０の処理について、フローチャートに沿って詳細に説明する。
（広告視認判定部２２の処理について）
　まず、広告視認判定部２２の処理について、図９のフローチャートに沿って説明する。なお、図９の処理の前提として、動画取得部２０は、カメラ５０で撮影された動画を随時取得して、動画ＤＢ３８に格納しているものとする。また、図９の処理が開始されるのは、動画ＤＢ３８に新たな動画が格納されたタイミングであるものとする。
　図９の処理が開始されると、まずステップＳ１０において、広告視認判定部２２が、動画ＤＢ３８に新たに格納された動画からタイムスタンプを保持しつつ１枚のフレームを切り出す。
　次いで、ステップＳ１２では、広告視認判定部２２が、切り出したフレームにおいて、頭部領域を抽出する。その後は、広告視認判定部２２は、ステップＳ１４、Ｓ１６と、ステップＳ１８を同時並行的に実行する。
　ステップＳ１４においては、広告視認判定部２２が、３次元ヘッドポーズ推定により３次元角度を推定する。すなわち、前述したように、頭の向きの３次元角度から、視線方向（図５（ｂ）において示す矢印の方向）を推定可能であるため、ステップＳ１４では、頭の向きの３次元角度を推定する。次いで、ステップＳ１６では、広告視認判定部２２が、３次元角度から視認判定を行う。この場合、広告視認判定部２２は、各人物の位置が、図５（ａ）のどのエリア内であるかを確認するとともに、各人物の３次元角度がエリアに設定された角度範囲に含まれていれば、広告を視認していると判定する。なお、基準方向を、「首をひねったり上下に動かさずに、まっすぐカメラのレンズを見ている場合の方向」としなかった場合、頭の向きを示す３次元角度を、視線方向相当の３次元角度に変換する処理を、ステップＳ１４とステップＳ１６の間で行う。
　一方、ステップＳ１８においては、広告視認判定部２２が、トラッキングにより個人ＩＤを採番する。図９の処理を開始してからステップＳ１８を初めて実行する場合には、フレーム内の人物それぞれに対して、新たな個人ＩＤを採番する。一方、図９の処理を開始してからステップＳ１８を実行するのが２回目以降である場合には、それ以前のフレームに含まれていた人物と同一人物に対しては、同一の個人ＩＤを採番し、新たな人物に対しては新たな個人ＩＤを採番する。
　ステップＳ１４、Ｓ１６の処理と、ステップＳ１８の処理の両方が終了すると、ステップＳ２０に移行し、広告視認判定部２２は、個人ＩＤに紐付けて、視認判定結果を視認判定結果テーブル４０に格納する。この場合、広告視認判定部２２は、切り出したフレームのタイムスタンプが「２０１９／７／２４　１４：３０：３０：００」であれば、図７の視認判定結果テーブル４０のタイムスタンプ「２０１９／７／２４　１４：３０：３０：００」に対応付けて、個人ＩＤ（Ｓ１８の結果）及び視認判定の結果（Ｓ１６の結果）を格納する。
　次いで、ステップＳ２２では、広告視認判定部２２が、動画ＤＢ３８に格納された動画から、全フレームの切り出しが終了したか否かを判断する。このステップＳ２２の判断が否定された場合には、ステップＳ１０に戻る。一方、ステップＳ１０～Ｓ２２の繰り返しの結果、ステップＳ２２の判断が肯定された場合には、図９の全処理を終了する。図９の処理が終了した段階では、動画ＤＢ３８に新たに格納された動画の全フレームについての視聴判定が終了し、視認判定結果が図７の視認判定結果テーブル４０に格納された状態となる。
（広告閲覧判定部２４の処理について）
　次に、広告閲覧判定部２４の処理について、図１０、図１１のフローチャートに沿って説明する。なお、図１０の処理は、利用者端末７０から、ある時間を指定した広告閲覧情報の出力要求を受け付けたタイミングである。ここでは、一例として、利用者が、利用者端末７０を介して、例えば２０１９年７月２４日１４時３０分３０秒から同日１４時３１分００秒までを特定して、広告の閲覧人数の情報を出力する要求を行ったものとする。
　図１０の処理では、まず、ステップＳ３０において、広告閲覧判定部２４が、視認判定結果テーブル４０から指定されている時間帯（２０１９年７月２４日１４時３０分３０秒から１４時３１分００秒まで）のデータを抽出する。
　次いで、ステップＳ３２では、広告閲覧判定部２４が、個人ＩＤを１つ選択する。例えば、広告閲覧判定部２４は、抽出したデータに含まれる個人ＩＤのうち最も小さい番号（例えば「００１」）を選択する。
　次いで、ステップＳ３４では、広告閲覧判定部２４が、選択した個人ＩＤに紐付くデータから、古い順に「偽」又は欠落の時間を特定する。ここで、欠落の時間とは、選択した個人ＩＤの人物の視線方向を特定不能な時間を意味する。視線方向が特定不能となる場合は、例えば、人物が撮影されていない場合や、頭部領域の抽出ができなかった場合である。
　次いで、ステップＳ３６では、広告閲覧判定部２４が、特定した時間が修正最大時間未満であるか否かを判断する。ここで、広告を視認していると判断された時間の間に少しだけ広告を視認していないと判断された時間がある場合（頭が一瞬ブレたような場合）、その少しの時間だけ広告を視認していなかったとするのは現実的でない。また、広告を視認していると判断された時間の間に少しだけ撮影されていなかった時間がある場合（撮影範囲外に出た場合）には、その少しの時間の間は広告を視認していたとみなすのが妥当と考えられる。このため、本第１の実施形態では、特定した時間がそのような少しの時間（修正最大時間未満）であった場合には、その時間の視認判定を「真」に変更することとしている。なお、修正最大時間は、システム管理者等が設定することができるものとし、例えば０．５ｓｅｃ等とすることができる。
　したがって、ステップＳ３６の判断が肯定された場合には、ステップＳ３８に移行して、広告閲覧判定部２４が視認判定を「真」に修正する。すなわち、広告閲覧判定部２４は、「偽」又は欠落の時間を「真」であるとみなす。その後はステップＳ４０に移行する。一方、ステップＳ３６の判断が否定された場合には、広告閲覧判定部２４は、特定した時間における視認判定結果の修正を行うことなく、ステップＳ４０に移行する。
　なお、ステップＳ３６の判断は、選択した個人ＩＤの視認判定結果のうち、「真」と判断されたフレーム間に存在する「偽」と判断されたフレームの数が所定数未満であるか否かを判断しているとも言える。また、ステップＳ３６の判断は、「真」と判断されたフレーム間において欠落しているフレームの数が所定数未満であるか否かを判断しているとも言える。
　ステップＳ４０に移行すると、広告閲覧判定部２４は、全ての「偽」又は欠落の時間を特定済みであるか否かを判断する。このステップＳ４０の判断が否定された場合には、ステップＳ３４に戻り、次に古い「偽」又は欠落の時間を特定し、以降のステップＳ３６～Ｓ４０の処理、判断を実行する。そして、ステップＳ４０の判断が肯定された段階で、ステップＳ４２に移行する。
　ステップＳ４２に移行すると、広告閲覧判定部２４は、閲覧判定処理のサブルーチンを実行する。具体的には、広告閲覧判定部２４は、図１１のフローチャートに沿った処理を実行する。
　図１１の処理では、広告閲覧判定部２４は、まず、ステップＳ５０において、古い順に視認判定結果を確認し、「真」が連続している時間を算出する。
　次いで、ステップＳ５２では、広告閲覧判定部２４が、算出した時間を累積する。
　次いで、ステップＳ５４では、広告閲覧判定部２４が、全てのデータを確認済みか否かを判断する。このステップＳ５４の判断が否定された場合には、ステップＳ５０に戻り、ステップＳ５０、Ｓ５２の処理及びステップＳ５４の判断を繰り返す。そして、ステップＳ５４の判断が肯定された段階で、ステップＳ５６に移行する。なお、ステップＳ５４の判断が肯定された段階では、選択されている個人ＩＤの人物が広告を視認していた時間の累積値（積算値）が得られている。
　次いで、ステップＳ５６では、広告閲覧判定部２４が、累積した時間が閲覧最小時間以上か否かを判断する。ここで、閲覧最小時間とは、累積した時間から閲覧有無を判定するための閾値であり、累積した時間が閲覧最小時間以上であれば、閲覧したと判定することとしている。なお、閲覧最小時間は、システム管理者が予め定めておくことができ、例えば０．６ｓｅｃなどとすることができる。ステップＳ５６の判断が肯定された場合には、ステップＳ５８に移行し、広告閲覧判定部２４は、選択している個人ＩＤの人物が広告を閲覧したと判定し、閲覧判定結果テーブル４２にその旨を格納する。
　一方、ステップＳ５６の判断が否定された場合には、ステップＳ６０に移行し、広告閲覧判定部２４は、選択している個人ＩＤの人物は広告を閲覧していないと判定し、閲覧判定結果テーブル４２にその旨を格納する。その後は、図１１の全処理を終了し、図１０のステップＳ４４に移行する。
　ステップＳ４４に移行すると、広告閲覧判定部２４は、全ての個人ＩＤを選択済みであるか否かを判断する。このステップＳ４４の判断が否定された場合には、ステップＳ２２に戻る。そして、抽出したデータに含まれる全ての個人ＩＤに関する処理が終了した段階で、図１０の全処理が終了する。
　以上のようにして、図１０の全処理が終了した段階では、指定されている時間帯において、どの人物が広告を閲覧していて、どの人物が広告を閲覧していなかったかが、閲覧判定結果テーブル４２（図８）に格納された状態となっている。
（出力情報生成部２６の処理について）
　次に、出力情報生成部２６の処理について、図１２のフローチャートに沿って説明する。
　図１２のフローチャートが開始されると、まずステップＳ７０において、出力情報生成部２６が、閲覧判定結果テーブル４２を参照し、閲覧判定結果が「真」である個人ＩＤの数を集計する。
　次いで、ステップＳ７２では、出力情報生成部２６が、閲覧判定結果テーブル４２を参照して、閲覧判定結果が「偽」である個人ＩＤの数を集計する。
　そして、ステップＳ７４では、出力情報生成部２６は、ステップＳ７０で集計した数と、ステップＳ７２で集計した数とを用いて、図１３に示すような出力画面を生成し、出力部２８に受け渡す。
　出力部２８は、図１３の出力画面を出力情報生成部２６から受信すると、利用者端末７０に対して送信する。これにより、利用者端末７０の表示部９３には、図１３の出力画面が表示されるため、利用者は、自己の広告を閲覧していた人数を把握することができるとともに、広告の閲覧割合（広告近傍を通行していた人物のうち広告を閲覧していた人物の割合）を把握することができる。したがって、利用者は、図１３の出力画面から、広告の掲示を継続するか否かや、広告の費用対効果が適切か否かなどを判断することができる。なお、図１３の出力画面は一例である。例えば、広告閲覧人数と閲覧割合のいずれか一方のみを表示してもよい。また、広告閲覧人数と閲覧割合以外の情報を表示してもよい。
　これまでの説明からわかるように、本第１の実施形態においては、広告視認判定部２２により、動画の各フレームにおいて、撮影された人物それぞれの頭部領域を抽出する抽出部、抽出した頭部領域から人物それぞれの視線方向（３次元角度）を推定する推定部、及び人物それぞれの視野内に広告が入っているかを特定する特定部としての機能が実現されている。
　以上説明したように、本第１の実施形態によると、広告視認判定部２２が、動画の各フレームにおいて撮影された人物それぞれの頭部領域を抽出し（Ｓ１２）、抽出した頭部領域から人物それぞれの視線方向（３次元角度）を推定する（Ｓ１４）。また、広告視認判定部２２は、人物それぞれの位置と広告の設置場所との関係、及び人物それぞれの視線方向（３次元角度）に基づいて、人物それぞれが広告を視認しているかを判定する（Ｓ１６）。また、広告閲覧判定部２４は、複数フレームにおいて同一人物と判定される人物ごと（同一の個人ＩＤが採番された人物ごと）に、複数フレームにおける視認判定結果に基づいて広告の閲覧判定を行う（Ｓ４２）。更に、出力情報生成部２６は、広告を閲覧していた人物の数を集計し（Ｓ７０）、出力部２８を介して広告の閲覧人数に関する情報を利用者端末７０に対して出力する（Ｓ７４）。これにより、本第１の実施形態では、同一人物ごとに、複数フレームにおける視認判定結果に基づいて広告の閲覧有無を判定するので、広告の閲覧とは見做せないような場合（例えば人物が一瞬だけ広告の方向を向いた場合など）を閲覧と判定しないようにすることができる。したがって、本第１の実施形態によれば、広告の効果測定に資する正確な情報（閲覧人数や閲覧割合などの広告閲覧情報）を出力することができる。この場合、広告スペースの価値を数値として表すことができるので、広告スペースを管理する業者が広告スペースを広告主に提供する際の値段の決定や、広告スペースを利用した場合の効果のアピール等に用いることが可能である。
　また、本第１の実施形態では、広告閲覧判定部２４は、広告を視認していると判定された時間の累積値が閲覧最小時間以上である場合（Ｓ５６：肯定）に、広告を閲覧していたと判定する（Ｓ５８）。これにより、人物が一瞬だけ広告の方向を向いたような場合に、広告の閲覧とは判定しないようにすることができる。
　また、本第１の実施形態では、広告閲覧判定部２４は、「偽」又は欠落の時間を特定し（Ｓ３４）、特定した時間が修正最大時間未満である場合（Ｓ３６：肯定）に、視認判定結果を「真」に修正する（Ｓ３８）。これにより、人物の動きの特性を考慮して、視認判定において「偽」と判定されたものの、実際には「真」と見做すべき場合を修正することとしているため、広告の閲覧人数や閲覧割合を精度よく集計することができる。
　また、本第１の実施形態では、広告視認判定部２２は、人物が位置しているフレーム内のエリアを特定し、人物の視線方向（３次元角度）が特定したエリアに対して予め定められている方向を向いている場合に、広告を視認していると判定する。これにより、カメラ５０と広告１１０とが離れているような場合であっても、人物が広告を視認しているか否かを簡易に判定することができる。なお、カメラ５０は、広告１１０の向かい側に設けられてもよい。
　また、本第１の実施形態では、広告視認判定部２２は、各フレームから頭部領域を抽出して、視線方向が推定可能な頭の向きの３次元角度を推定する。画像から抽出した顔領域から、顔の特徴量を抽出する技術もある。しかし、顔の特徴量はプライバシーにかかわる情報である。よって、顔の特徴量を用いる視線方向の推定技術と比較して、本第１の実施形態は、頭部領域のみを利用するため、よりプライバシーに配慮した技術といえる。また、監視カメラのように、広告の設置場所とは、独立して設けられているカメラの映像を利用する場合、監視カメラに顔が映らない通行人も多く存在する。このような場合でも、本第１の実施形態は、視線方向を推定することが可能であって、顔が映っていることを条件とする技術と比較して、汎用性が高い。
（閲覧判定処理の変形例１）
　上記第１の実施形態では、図１１の閲覧判定処理において、視認判定結果が「真」である時間の累積時間が閲覧最小時間以上である場合（Ｓ５６：肯定）に、広告を閲覧したと判定する（Ｓ５８）場合について説明したが、これに限られるものではない。例えば、図１１の閲覧判定処理に代えて、図１４に示すような処理を実行することができる。図１４の処理では、ステップＳ５０において、広告閲覧判定部２４が、「真」が連続している時間を算出すると、ステップＳ１５２において、算出した時間を保存する。そして、広告閲覧判定部２４は、ステップＳ５０、Ｓ１５２の処理を繰り返すことで、全てのデータの確認が終了すると（Ｓ５４：肯定）、ステップＳ１５５に移行して、保存した時間のうち、最長の時間（最大値）を抽出する。
　次いで、ステップＳ１５６では、広告閲覧判定部２４は、ステップＳ１５５において抽出した時間が閲覧最小時間以上か否かを判断する。このステップＳ１５６の判断が肯定された場合には、ステップＳ５８に移行し、広告閲覧判定部２４は、選択している個人ＩＤの人物が広告を閲覧したと判定し、閲覧判定結果テーブル４２にその旨を格納する。一方、ステップＳ１５６の判断が否定された場合には、ステップＳ６０に移行し、広告閲覧判定部２４は、選択している個人ＩＤの人物は広告を閲覧していないと判定し、閲覧判定結果テーブル４２にその旨を格納する。その後は、図１４の全処理を終了する。
　以上のように、図１４の処理では、選択している個人ＩＤの視認判定結果において「真」が連続している時間のうち最長の時間を用いて、閲覧判定を行うこととしている。このようにしても、上記第１の実施形態と同様、精度よく広告を閲覧した人物を特定することができる。
（閲覧判定処理の変形例２）
　また、例えば、図１１の閲覧判定処理に代えて、図１５に示すような処理を実行することもできる。図１５の処理では、ステップＳ２５０において、広告閲覧判定部２４が、古い順に視認判定結果を確認し、最初に「真」と判定された時刻を特定する。次いで、ステップＳ２５２では、広告閲覧判定部２４が、古い順に視認判定結果を確認し、最後に「真」と判定された時刻を特定する。次いで、ステップＳ２５４では、広告閲覧判定部２４が、特定された時刻間の時間を算出する。すなわち、広告閲覧判定部２４は、広告を最初に視認したと判定されてから、最後に視認したと判定されるまでの間の時間を算出する。
　次いで、ステップＳ２５６では、広告閲覧判定部２４は、ステップＳ２５４において算出した時間が閲覧最小時間以上か否かを判断する。このステップＳ２５６の判断が肯定された場合には、ステップＳ５８に移行し、広告閲覧判定部２４は、選択している個人ＩＤの人物が広告を閲覧したと判定し、閲覧判定結果テーブル４２にその旨を格納する。一方、ステップＳ２５６の判断が否定された場合には、ステップＳ６０に移行し、広告閲覧判定部２４は、選択している個人ＩＤの人物は広告を閲覧していないと判定し、閲覧判定結果テーブル４２にその旨を格納する。その後は、図１５の全処理を終了する。
　以上のように、図１５の処理では、広告を最初に視認したと判定されてから、最後に視認したと判定されるまでの間の時間を用いて、閲覧判定を行うこととしている。このようにしても、上記第１の実施形態や上記閲覧判定処理の変形例１と同様、精度よく広告を閲覧した人物を特定することができる。
　なお、図１５の処理を行う場合には、図１０のステップＳ３４、Ｓ３６、Ｓ３８、Ｓ４０の処理は省略してもよい。
（出力の変形例１）
　上記第１の実施形態では、利用者端末７０において、１つの広告を表示している間の時間帯を指定して、図１０の処理をサーバ１０に実行させる場合について説明したが、これに限られるものではない。例えば、ある１日を特定し、その１日における１時間ごとの広告閲覧人数を集計するように、利用者端末７０において指定することもできる。
　この場合、特定された１日分のデータを視認判定結果テーブル４０から抽出し、そのうちの１時間分のデータを用いて図１０の処理を実行することで、１時間分の閲覧判定結果テーブル４２を得る。そして、次の１時間分のデータを用いた図１０の処理、更に、次の１時間分のデータを用いた図１０の処理、…というように図１０の処理を繰り返し実行することで、１時間ごとの閲覧判定結果テーブル４２を得ることができる。
　この場合、出力情報生成部２６は、例えば、各時間において閲覧判定結果が「真」の個人ＩＤの数を集計し、グラフ化することで、図１６に示すような出力画面を生成することができる。これにより、利用者端末７０には、図１６に示すような画面が表示されるため、広告主等はどの時間帯において広告が閲覧されているかを把握することが可能となる。また、広告スペースを提供する業者は、時間ごとの閲覧人数に応じて広告スペースの価格（レンタル料）を適切に調整することができる。例えば、図１６において、閲覧人数が１５０人以上の時間帯のレンタル料を高くし、１５０人未満の時間帯のレンタル料を安くする、などすることができる。
　なお、図１６のグラフにおいては、例えば所定期間（１週間や１カ月など）における各時間帯の閲覧人数の平均値を表示してもよい。また、複数の日の各時間帯の閲覧人数を別々に表示してもよい。この場合、図１７に示すように、平日における各時間帯の閲覧人数の平均値、土曜日における各時間帯の閲覧人数の平均値、日曜日における各時間帯の閲覧人数の平均値を別々に表示するなどすることもできる。
（出力の変形例２）
　なお、出力情報生成部２６は、図１８に示すように、各時刻において広告を閲覧していると判定された人物の個人ＩＤを列挙したログを生成することとしてもよい。サーバ１０から利用者端末７０に対して図１８のログを出力した場合、利用者端末７０においてログを解析し、解析結果として図１３、図１６、図１７と同様の画面を表示部１９３上に表示することとしてもよい。
（人物の属性を考慮する変形例）
　なお、本第１の実施形態では、視認判定の際に各人物の属性（性別や年齢）を推定し、広告閲覧情報を生成する際に、各人物の属性に基づいて広告閲覧情報を整理することとしてもよい。
　具体的には、広告視認判定部２２は、図９の処理に代えて、図１９の処理を実行する。図１９の処理においては、広告視認判定部２２は、ステップＳ１４、Ｓ１６と、ステップＳ１８の処理と並行して、ステップＳ１９の処理を実行する。ステップＳ１９においては、広告視認判定部２２は、頭部領域から、人物の属性（性別、年齢）を推定する。ここで、人物の属性を推定する際には、機械学習等のＡＩ（Artificial Intelligence）技術を用いることができる。そして、ステップＳ１４、Ｓ１６と、ステップＳ１８と、ステップＳ１９の並行処理が終了すると、ステップＳ２０’において、広告視認判定部２２は、個人ＩＤに紐付けて、属性と、視認判定結果を視認判定結果テーブル４０に格納する。
　この場合の視認判定結果テーブル４０としては、図２０（ａ）に示すようなテーブルを用いることができる。また、広告閲覧判定部２４による図１０の処理の結果得られる閲覧判定結果テーブル４２は、図２０（ｂ）に示すようなテーブルとなる。図２０（ａ）、図２０（ｂ）の各テーブルにおいては、個人ＩＤに対して、性別と年齢が紐付けられている。
　出力情報生成部２６は、図２０（ｂ）の閲覧判定結果テーブル４２から、男女別、年代別に閲覧判定結果「真」、「偽」を集計することにより、図２１（ａ）に示すような画面を生成することができる。利用者端末７０に図２１（ａ）に示すような画面が表示されることにより、広告主等は、広告を閲覧している年齢層や性別を的確に把握することができる。
　また、図２０（ｂ）の閲覧判定結果テーブル４２が１時間ごとに作成された場合には、出力情報生成部２６は、男女別、及び男女両方についての各時間における閲覧判定結果を集計することで、図２１（ｂ）に示すような出力画面を生成することができる。利用者端末７０に図２１（ｂ）に示すような画面が表示されることで、広告主等はどの時間帯に男女のどちらが広告を多く閲覧しているかを把握することが可能となる。これにより、広告主等は、どの時間帯にどのような広告を出すべきかなどを判断することができる。また、広告スペースを提供する業者は、閲覧人数や閲覧している人物の属性に合わせて、広告スペースの価格（レンタル料）を調整することができる。
《第２の実施形態》
　次に、第２の実施形態について、図２２～図２６に基づいて詳細に説明する。本第２の実施形態の広告効果測定システム１００の構成は、第１の実施形態と同様であるが、広告閲覧判定部２４が各人物による広告の閲覧時間長を判定する点、及び出力情報生成部２６が広告の閲覧時間長に関する出力画面を生成する点が第１の実施形態と異なる。以下、第１の実施形態と異なる点について詳細に説明し、第１の実施形態と同一又は同等な点については、その説明を省略または簡略化するものとする。
（広告閲覧判定部２４の処理について）
　図２２には、第２の実施形態に係る広告閲覧判定部２４の処理が示されている。なお、図２２の処理が行われる前提として、広告視認判定部２２による図９の処理が実行されており、図７に示すように視認判定結果テーブル４０にデータが格納されているものとする。
　図２２の処理においては、図１０のステップＳ４２（閲覧判定処理）に代えて、閲覧時間算出処理（Ｓ３４２）が実行され、その他の処理については、図１０と同様となっている。
　ステップＳ３４２においては、図２３のフローチャートに沿った処理が実行される。ここで、ステップＳ３４２の処理のうち、ステップＳ５０、Ｓ５２、Ｓ５４（広告閲覧判定部２４が視認判定結果「真」が連続している時間を累積する点）とステップＳ５６（累積した時間が閲覧最小時間以上であるか判断する点）については、第１の実施形態（図１１）と同様である。その一方で、ステップＳ５６の判断が肯定された場合にステップＳ３５８に移行し、否定された場合にステップＳ３６０に移行する点が第１の実施形態と異なっている。
　ステップＳ３５８に移行した場合、広告閲覧判定部２４は、累積した時間を閲覧時間長として、閲覧判定結果テーブル４２に格納する。ここで、本第２の実施形態の閲覧判定結果テーブル４２には、図２４に示すように、「個人ＩＤ」に紐付けて各人物の「閲覧時間長」を格納できるようになっている。例えば、個人ＩＤ＝００１の人物の累積した時間が１０ｓｅｃであった場合には、図２４に示すように、閲覧判定結果テーブル４２の「閲覧時間長」の欄に「１０ｓｅｃ」と格納する。
　一方、ステップＳ３６０に移行した場合、広告閲覧判定部２４は、閲覧時間長を「０」として、閲覧判定結果テーブル４２に格納する。例えば、個人ＩＤ＝００２の人物の累積した時間が０．４ｓｅｃであった場合には、図２４に示すように、閲覧判定結果テーブル４２の「閲覧時間長」の欄に「０ｓｅｃ」と格納する。その後は、図２２のステップＳ４４に戻る。
　以上のように、広告閲覧判定部２４の処理（図２２、図２３）が行われることで、利用者端末７０において指定された時間帯（例えば広告を表示した時間帯）における、各人物の閲覧時間長が、閲覧判定結果テーブル４２（図２４）に格納されるようになっている。
（出力情報生成部２６の処理について）
　次に、本第２の実施形態における出力情報生成部２６の処理について、図２５のフローチャートに沿って説明する。
　図２５の処理では、まず、ステップＳ３７０において、出力情報生成部２６は、集計対象の閲覧時間長範囲を設定する。例えば、閲覧時間長範囲として、「０．６ｓｅｃ以上２ｓｅｃ未満」、「２ｓｅｃ以上７ｓｅｃ未満」、「７ｓｅｃ以上１５ｓｅｃ未満」…が選択可能であるとする。この場合、出力情報生成部２６は、例えば「０．６ｓｅｃ以上２ｓｅｃ未満」を集計対象の閲覧時間長範囲として設定する。
　次いで、ステップＳ３７２では、出力情報生成部２６は、閲覧判定結果テーブル４２（図２４）から、集計対象の閲覧時間長範囲（０．６ｓｅｃ以上２ｓｅｃ未満）に含まれる閲覧時間長が対応付けられた個人IＤの数を集計する。
　次いで、ステップＳ３７４では、出力情報生成部２６は、全ての閲覧時間長範囲を集計対象として設定済みか否かを判断する。このステップＳ３７４の判断が否定された場合には、ステップＳ３７０に戻る。その後は、出力情報生成部２６は、集計対象の閲覧時間長範囲を変更しつつ、ステップＳ３７２を繰り返し、ステップＳ３７４の判断が肯定された段階で、ステップＳ３７６に移行する。
　ステップＳ３７６に移行すると、出力情報生成部２６は、集計した個人ＩＤの数を用いて出力画面を生成し、出力部２８に受け渡す。出力情報生成部２６は、例えば、図２６に示すような出力画面を生成する。出力部２８は、図２６の出力画面を利用者端末７０に対して出力するため、利用者端末７０に表示された出力画面を確認することにより、広告を閲覧していた人物がどのくらいの時間閲覧し続けたかを把握することができる。
　以上説明したように、本第２の実施形態によると、広告視認判定部２２が、動画の各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し（Ｓ１２）、抽出した頭部領域から人物それぞれの視線方向（３次元角度）を推定する（Ｓ１４）。また、広告視認判定部２２は、人物それぞれの位置と広告の設置場所との関係、及び人物それぞれの視線方向（３次元角度）に基づいて、人物それぞれが広告を視認しているかを判定する（Ｓ１６）。そして、広告閲覧判定部２４は、複数フレームにおいて同一人物と判定される人物ごと（同の個人ＩＤが採番された人物ごと）に、複数フレームにおける視認判定結果に基づいて広告の閲覧時間長を特定する（Ｓ３５８、Ｓ３６０）。更に、出力情報生成部２６は、各人物の広告の閲覧時間長を集計し、出力部２８を介して広告の閲覧時間長に関する情報を利用者端末７０に対して出力する（図２５）。これにより、本第２の実施形態では、同一人物ごとに複数フレームにおける視認判定結果から閲覧時間長を特定するので、広告の閲覧とは見做せないような場合（例えば人物が一瞬だけ広告の方向を向いた場合など）を閲覧と判定しないようにすることができる。したがって、本第２の実施形態によれば、広告の効果測定に資する正確な情報（閲覧時間長に関する情報）を出力することができる。この場合、広告スペースの価値を数値として表すことができるので、広告スペースを管理する業者が広告スペースを広告主に提供する際の値段の決定や、広告スペースを利用した場合の効果のアピール等に用いることが可能である。
　また、本第２の実施形態では、広告閲覧判定部２４は、広告を視認していると判定された時間の累積値が閲覧最小時間以上である場合（Ｓ５６：肯定）に、累積値を閲覧時間長とし（Ｓ３５８）、それ以外の場合に、閲覧時間長を０とする（Ｓ３６０）。これにより、人物が一瞬だけ広告の方向を向いたような場合に、広告の閲覧とは判定しないようにすることができる。
（閲覧判定処理の変形例１）
　なお、上記第２の実施形態では、図２３の閲覧判定処理において、視認判定結果が「真」である時間の累積時間が閲覧最小時間以上である場合（Ｓ５６：肯定）に、累積時間を広告の閲覧時間長とする（Ｓ３５８）場合について説明した。しかしながら、これに限られるものではなく、上述した第１の実施形態の変形例（図１４）と同様、視認判定結果において「真」が連続している時間のうち最長の時間が閲覧最小時間以上である場合に、当該最長の時間を広告の閲覧時間長とすることとしてもよい。
（閲覧判定処理の変形例２）
　また、上述した第１の実施形態の閲覧判定処理の変形例２（図１５）と同様、広告を最初に視認したと判定されてから、最後に視認したと判定されるまでの間の時間が閲覧最小時間以上である場合に、当該時間を広告の閲覧時間長とすることとしてもよい。
（出力の変形例１）
　上記第２の実施形態では、１つの広告を表示している間の時間帯の閲覧時間長を集計した表を出力する例（図２６参照）について説明したが、これに限られるものではない。例えば、ある１日における１時間ごとの閲覧時間長を集計して、グラフを生成することとしてもよい。この場合、例えば、図２７に示すようなグラフを生成することができる。
　これにより、利用者端末７０には、図２７に示すような画面が表示されるため、広告主等は各時間帯において広告を閲覧している人がどのくらいの人数いて、広告を閲覧している人が広告をどのくらいの時間見ているのかを把握することが可能となる。また、広告スペースを提供する業者は、時間帯ごとの閲覧時間長の傾向に応じて広告スペースの価格（レンタル料）を適切に調整することができる。
　なお、図２７では、１日分の閲覧判定結果テーブル４２を集計したグラフを示しているが、例えば、複数日分の閲覧判定結果テーブル４２を時間帯ごとに集計してグラフを作成してもよいし、曜日ごとに各時間帯のデータを集計してグラフを作成してもよい。
（出力の変形例２）
　なお、出力情報生成部２６は、各人物の閲覧時間長を列挙したログを生成してもよい。サーバ１０から利用者端末７０に対してログを出力した場合、利用者端末７０においてログを解析し、解析結果として図２６、図２７と同様の画面を表示部１９３上に表示することとしてもよい。
（人物の属性を考慮する変形例）
　なお、本第２の実施形態においても、視認判定の際に各人物の属性（性別や年齢）を推定し、広告閲覧情報を生成する際に、各人物の属性に基づいて広告閲覧情報を整理することとしてもよい。この場合、広告視認判定部２２は、図１９と同様の処理を実行すればよい。これにより、閲覧判定結果テーブル４２としては、図２８（ａ）に示すようなテーブルを得ることができる。
　この場合、出力情報生成部２６は、図２８（ａ）の閲覧判定結果テーブル４２から、性別及び年齢を考慮して、閲覧時間長を集計することにより、例えば、図２８（ｂ）に示すような出力画面を生成することができる。図２８（ｂ）の出力画面には、性別ごと及び年代ごとに、閲覧時間長幅ごとの人数を集計した結果が示されている。利用者端末７０に図２８（ｂ）に示すような画面が表示されることにより、広告主等は、広告を閲覧している年齢層や性別を的確に把握することができるとともに、各年齢層の人物が、広告をどの程度の時間閲覧するかを把握することもできる。
　なお、上記第１、第２実施形態及び変形例で示した出力画面は、一例である。すなわち、閲覧判定結果テーブル４２から得られる種々の情報を、種々の態様で画面上に表示することができる。
　なお、上記第１、第２の実施形態の広告効果測定システム１００は、カメラ５０において撮影された動画を取得したサーバ１０が各種処理を行う場合について説明したが、これに限られるものではない。例えば、図２９に示すような広告効果測定システム１００’を採用してもよい。図２９の広告効果測定システム１００’においては、カメラ５０がエッジゲートウェイなどの情報処理装置６０に接続（例えば有線接続）されているものとする。情報処理装置６０は、カメラ５０近傍に設けられているものとし、第１の実施形態で説明したサーバ１０の機能（図４に示す各機能）を有しているものとする。すなわち、情報処理装置６０は、カメラ５０から動画を受信して、第１、第２の実施形態のサーバ１０と同様の処理を実行する。情報処理装置６０において生成された情報（出力画面）は、サーバ１０に送信され、適宜、利用者端末７０に送信されるものとする。なお、情報処理装置６０は、図４の全ての機能を有していなくてもよい。例えば、出力情報生成部２６は、サーバ１０が有していてもよい。この場合、情報処理装置６０は、サーバ１０に対して、閲覧判定結果テーブル４２の情報を出力することとし、サーバ１０が、閲覧判定結果テーブル４２に基づいて出力画面を生成するようにしてもよい。このように情報処理装置６０を設けることにより、カメラ５０からサーバ１０に対して動画を送信しなくてもよくなるので、ネットワーク負荷を低減することができる。
　なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記憶媒体（ただし、搬送波は除く）に記録しておくことができる。
　プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記憶媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
　プログラムを実行するコンピュータは、例えば、可搬型記憶媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記憶媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
　上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
　　１０　サーバ（情報処理装置）
　　２０　動画取得部（取得部）
　　２２　広告視認判定部（抽出部、推定部、特定部）
　　２４　広告閲覧判定部（判定部）
　　２６　出力情報生成部（生成部）
　　２８　出力部（出力処理部）
　　５０　カメラ

Claims (16)

  1. 　広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得し、
    　前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し、
    　抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定し、
    　前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定し、
    　複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定した結果に基づいて前記広告の閲覧有無を判定し、
    　前記判定する処理の判定結果に基づいて、前記広告の閲覧人数に関する広告閲覧情報を生成し、
    　前記広告閲覧情報を出力する、
    処理をコンピュータが実行することを特徴とする広告閲覧情報出力方法。
  2. 　広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得し、
    　前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し、
    　抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定し、
    　前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定し、
    　複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定した結果に基づいて前記広告の閲覧時間長を判定し、
    　前記判定する処理の判定結果に基づいて、前記広告の閲覧時間長に関する広告閲覧情報を生成し、
    　前記広告閲覧情報を出力する、
    処理をコンピュータが実行することを特徴とする広告閲覧情報出力方法。
  3. 　前記視線方向は、前記頭部領域から、基準方向に対する頭の向きを推定した結果に基づき、推定される、
    ことを特徴とする請求項１または２に記載の広告閲覧情報出力方法。
  4. 　前記判定する処理では、前記特定する処理の結果に基づいて、前記複数フレームが撮影された時間のうち、前記広告が前記人物の視野内に入っていた時間の累積値、前記広告が前記人物の視野内に入っていた時間の最大値、又は前記広告が前記人物の視野内に最初に入った時刻と最後に入った時刻の間の時間を特定し、特定した時間が閾値以上である場合に、前記人物が前記広告を閲覧していたと特定する、ことを特徴とする請求項１～３のいずれか一項に記載の広告閲覧情報出力方法。
  5. 　前記判定する処理では、前記複数フレームにおいて、前記人物の視野内に前記広告が入っていたと特定された２つのフレームの間に、前記視野内に前記広告が入っていなかったと特定されたフレームが所定数未満存在していた場合、前記所定数未満のフレームにおいては、前記視野内に前記広告が入っていたとみなす、
    ことを特徴とする請求項１～４のいずれか一項に記載の広告閲覧情報出力方法。
  6. 　前記特定する処理では、前記人物それぞれが位置している前記フレーム内のエリアを特定し、前記人物それぞれの視線方向が特定したエリアに対して予め定められている方向を向いている場合に、前記視野内に前記広告が入っていると特定する、ことを特徴とする請求項１～５のいずれか一項に記載の広告閲覧情報出力方法。
  7. 　前記各フレームにおいて撮影された人物それぞれの属性を推定する処理を更に実行し、
    　前記出力する処理では、前記人物それぞれの属性に基づいて前記広告閲覧情報を整理して出力する、ことを特徴とする請求項１～６のいずれか一項に記載の広告閲覧情報出力方法。
  8. 　広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得し、
    　前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し、
    　抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定し、
    　前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定し、
    　複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定した結果に基づいて前記広告の閲覧有無を判定し、
    　前記判定する処理の判定結果に基づいて、前記広告の閲覧人数に関する広告閲覧情報を生成し、
    　前記広告閲覧情報を出力する、
    処理をコンピュータに実行させるための広告閲覧情報出力プログラム。
  9. 　広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得し、
    　前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し、
    　抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定し、
    　前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定し、
    　複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定した結果に基づいて前記広告の閲覧時間長を判定し、
    　前記判定する処理の判定結果に基づいて、前記広告の閲覧時間長に関する広告閲覧情報を生成し、
    　前記広告閲覧情報を出力する、
    処理をコンピュータに実行させるための広告閲覧情報出力プログラム。
  10. 　広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得する取得部と、
    　前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出する抽出部と、
    　抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定する推定部と、
    　前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定する特定部と、
    　複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定部の特定結果に基づいて前記広告の閲覧有無を判定する判定部と、
    　前記判定部の判定結果に基づいて、前記広告の閲覧人数に関する広告閲覧情報を生成する生成部と、
    　前記広告閲覧情報を出力する出力処理部と、
    を備える情報処理装置。
  11. 　広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得する取得部と、
    　前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出する抽出部と、
    　抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定する推定部と、
    　前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定する特定部と、
    　複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定部の特定結果に基づいて前記広告の閲覧時間長を判定する判定部と、
    　前記判定部の判定結果に基づいて、前記広告の閲覧時間長に関する広告閲覧情報を生成する生成部と、
    　前記広告閲覧情報を出力する出力処理部と、
    を備える情報処理装置。
  12. 　前期推定部は、前記頭部領域から、基準方向に対する頭の向きを推定した結果に基づき前記視線方向を推定する、
    ことを特徴とする請求項１０または１１に記載の情報処理装置。
  13. 　前記判定部は、前記特定部の特定結果に基づいて、前記複数フレームが撮影された時間のうち、前記広告が前記人物の視野内に入っていた時間の累積値、前記広告が前記人物の視野内に入っていた時間の最大値、又は前記広告が前記人物の視野内に最初に入った時刻と最後に入った時刻の間の時間を特定し、特定した時間が閾値以上である場合に、前記人物が前記広告を閲覧していたと特定する、ことを特徴とする請求項１０～１２のいずれか一項に記載の情報処理装置。
  14. 　前記判定部は、前記複数フレームにおいて、前記人物の視野内に前記広告が入っていたと特定された２つのフレームの間に、前記視野内に前記広告が入っていなかったと特定されたフレームが所定数未満存在していた場合、前記所定数未満のフレームにおいては、前記視野内に前記広告が入っていたとみなす、ことを特徴とする請求項１０～１３のいずれか一項に記載の情報処理装置。
  15. 　前記特定部は、前記人物それぞれが位置している前記フレーム内のエリアを特定し、前記人物それぞれの視線方向が特定したエリアに対して予め定められている方向を向いている場合に、前記視野内に前記広告が入っていると特定する、ことを特徴とする請求項１０～１４のいずれか一項に記載の情報処理装置。
  16. 　前記推定部は、前記各フレームにおいて撮影された人物それぞれの属性を推定し、
    　前記出力処理部は、前記人物それぞれの属性に基づいて前記広告閲覧情報を整理して出力する、ことを特徴とする請求項１０～１５のいずれか一項に記載の情報処理装置。
PCT/JP2019/033945 2019-08-29 2019-08-29 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 WO2021038800A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021541905A JP7265202B2 (ja) 2019-08-29 2019-08-29 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置
EP19943279.0A EP4024313A4 (en) 2019-08-29 2019-08-29 ADVERTISING VIEWING INFORMATION OUTPUT METHOD, ADVERTISING VIEWING INFORMATION OUTPUT PROGRAM AND INFORMATION PROCESSING DEVICE
PCT/JP2019/033945 WO2021038800A1 (ja) 2019-08-29 2019-08-29 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置
JP2022183505A JP7421149B2 (ja) 2019-08-29 2022-11-16 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/033945 WO2021038800A1 (ja) 2019-08-29 2019-08-29 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置

Publications (1)

Publication Number Publication Date
WO2021038800A1 true WO2021038800A1 (ja) 2021-03-04

Family

ID=74683406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033945 WO2021038800A1 (ja) 2019-08-29 2019-08-29 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置

Country Status (3)

Country Link
EP (1) EP4024313A4 (ja)
JP (2) JP7265202B2 (ja)
WO (1) WO2021038800A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074802A1 (ja) * 2021-10-29 2023-05-04 パイオニア株式会社 情報処理装置、情報処理方法、および、情報処理装置用プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102665266B1 (ko) * 2023-12-04 2024-05-10 스페이스비전에이아이주식회사 옥외 광고용 컨텐츠를 송출하기 위한 사이니지 및 방법
CN117408757B (zh) * 2023-12-14 2024-04-09 江西时刻互动科技股份有限公司 一种用于广告投放效果监测的智能评估系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011233119A (ja) * 2010-04-30 2011-11-17 Nippon Telegr & Teleph Corp <Ntt> 広告効果測定装置、広告効果測定方法およびプログラム
JP2011232876A (ja) * 2010-04-26 2011-11-17 Nippon Telegr & Teleph Corp <Ntt> コンテンツ注目度算出装置、コンテンツ注目度算出方法、およびコンテンツ注目度算出プログラム
JP2017151582A (ja) 2016-02-23 2017-08-31 Kddi株式会社 カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4037130B2 (ja) * 2002-02-27 2008-01-23 沖電気工業株式会社 情報配信システムおよび情報配信方法
JP2008112401A (ja) * 2006-10-31 2008-05-15 Mitsubishi Electric Corp 広告効果測定装置
JP5103287B2 (ja) * 2008-06-10 2012-12-19 日本電信電話株式会社 広告効果測定装置、広告効果測定方法、広告効果測定プログラムおよびそのプログラムを記録した記録媒体
JP5245691B2 (ja) * 2008-09-29 2013-07-24 セイコーエプソン株式会社 情報処理装置、サーバ装置およびプログラム
JP2011070629A (ja) * 2009-08-25 2011-04-07 Dainippon Printing Co Ltd 広告効果測定システム及び広告効果測定装置
JP2012123727A (ja) * 2010-12-10 2012-06-28 Hitachi Solutions Ltd 広告効果測定サーバ、広告効果測定装置、プログラム、広告効果測定システム
US20130342689A1 (en) * 2012-06-25 2013-12-26 Intel Corporation Video analytics test system
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
JP2015228145A (ja) * 2014-06-02 2015-12-17 隆 平林 表示装置、デジタル表示システム及びデジタル表示プログラム
JP2015015031A (ja) * 2014-08-12 2015-01-22 株式会社日立ソリューションズ 広告効果測定サーバ、広告効果測定システム、プログラム
JP2017010524A (ja) * 2015-06-22 2017-01-12 株式会社東芝 情報処理装置、情報処理方法およびプログラム
JP2018055248A (ja) * 2016-09-27 2018-04-05 ソニー株式会社 情報収集システム、電子棚札、電子ｐｏｐ、文字情報表示装置
JP2018106229A (ja) * 2016-12-22 2018-07-05 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP6615800B2 (ja) * 2017-01-11 2019-12-04 株式会社東芝 情報処理装置、情報処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011232876A (ja) * 2010-04-26 2011-11-17 Nippon Telegr & Teleph Corp <Ntt> コンテンツ注目度算出装置、コンテンツ注目度算出方法、およびコンテンツ注目度算出プログラム
JP2011233119A (ja) * 2010-04-30 2011-11-17 Nippon Telegr & Teleph Corp <Ntt> 広告効果測定装置、広告効果測定方法およびプログラム
JP2017151582A (ja) 2016-02-23 2017-08-31 Kddi株式会社 カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KINEBUCHI, TETSUYA ET AL.: "Image Processing Techniques for Measuring Advertising Effectiveness of Digital Signage", NTT TECHNICAL REVIEW, 2009, pages 1 - 6, XP055893639 *
MICHAEL THOREAUNAVINDA KOTTEGE, ARXIV.ORG, 20 June 2018 (2018-06-20), Retrieved from the Internet <URL:https://arxiv.org/pdf/1806.07592.pdf>
NATANIEL RUIZEUNJI CHONGJAMES M. REHG: "Fine-Grained Head Pose Estimation Without", ARXIV.ORG, 13 April 2018 (2018-04-13), Retrieved from the Internet <URL:https://arxiv.org/pdf/1710.00925.pdf>

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074802A1 (ja) * 2021-10-29 2023-05-04 パイオニア株式会社 情報処理装置、情報処理方法、および、情報処理装置用プログラム

Also Published As

Publication number Publication date
JP2023016848A (ja) 2023-02-02
JP7421149B2 (ja) 2024-01-24
EP4024313A4 (en) 2022-08-17
JPWO2021038800A1 (ja) 2021-03-04
JP7265202B2 (ja) 2023-04-26
EP4024313A1 (en) 2022-07-06

Similar Documents

Publication Publication Date Title
US11556963B2 (en) Automated media analysis for sponsor valuation
JP7421149B2 (ja) 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置
JP4934861B2 (ja) 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。
KR101616652B1 (ko) 디지털 광고 시스템
JP5224360B2 (ja) 電子広告装置、電子広告方法及びプログラム
CN109597904B (zh) 用于提供社交网络的方法和系统
JP5511035B2 (ja) 広告配信対象者特定装置、および、広告配信装置
US9449231B2 (en) Computerized systems and methods for generating models for identifying thumbnail images to promote videos
JP5113721B2 (ja) メディア情報の注目度測定装置、メディア情報の注目度測定方法、メディア情報の注目度測定プログラムおよびそのプログラムを記録した記録媒体
JP2014532202A (ja) 仮想広告プラットフォーム
US20180150683A1 (en) Systems, methods, and devices for information sharing and matching
JPWO2019093293A1 (ja) 接客支援装置、接客支援方法、及びプログラム
JP2010211485A (ja) 注視度合測定装置、注視度合測定方法、注視度合測定プログラムおよびそのプログラムを記録した記録媒体
WO2013181465A2 (en) Biometric based demography tool
JP5272214B2 (ja) 広告効果指標測定装置、広告効果指標測定方法およびプログラム
JP5772942B2 (ja) 情報処理装置及び情報処理プログラム
US20200242659A1 (en) Media Content Tracking
US20210385426A1 (en) A calibration method for a recording device and a method for an automatic setup of a multi-camera system
KR20220019750A (ko) 인공지능을 이용한 성과 기반 콘텐츠 스타일 추천방법
KR20200092630A (ko) 체계화 및 정형화된 교육으로 인증된 청소 작업자를 배출하는 청소 교육 서비스 제공 방법
US11250271B1 (en) Cross-video object tracking
JP6944020B2 (ja) 情報処理装置
CN117651165B (zh) 基于客户数据的视频推荐方法及装置
JP6865537B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
JP2020086741A (ja) コンテンツ選択装置、コンテンツ選択方法、コンテンツ選択システム及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19943279

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021541905

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019943279

Country of ref document: EP

Effective date: 20220329