WO2019052536A1 - 一种客流统计方法、装置及设备 - Google Patents

一种客流统计方法、装置及设备 Download PDF

Info

Publication number
WO2019052536A1
WO2019052536A1 PCT/CN2018/105721 CN2018105721W WO2019052536A1 WO 2019052536 A1 WO2019052536 A1 WO 2019052536A1 CN 2018105721 W CN2018105721 W CN 2018105721W WO 2019052536 A1 WO2019052536 A1 WO 2019052536A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
video data
preset
person
face area
Prior art date
Application number
PCT/CN2018/105721
Other languages
English (en)
French (fr)
Inventor
冯仁光
Original Assignee
杭州海康威视数字技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州海康威视数字技术股份有限公司 filed Critical 杭州海康威视数字技术股份有限公司
Priority to US16/647,210 priority Critical patent/US11200406B2/en
Priority to EP18856017.1A priority patent/EP3683717A4/en
Publication of WO2019052536A1 publication Critical patent/WO2019052536A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Definitions

  • the present application relates to the field of image processing technologies, and in particular, to a passenger flow statistics method, apparatus, and device.
  • the passenger flow statistics program generally includes: setting an acquisition device in the scene, analyzing an image collected by the collection device, determining whether a person enters the store in the image, and how many people enter the store; and entering the preset time period, such as one day The number of people in the store is increased, and the traffic in the day is obtained.
  • the entry and exit of personnel not related to the passenger flow may interfere with the data of the passenger flow statistics, and reduce the accuracy of the passenger flow statistics.
  • the purpose of the embodiment of the present application is to provide a method, device and device for passenger flow statistics to improve the accuracy of passenger flow statistics.
  • the embodiment of the present application provides a method for calculating a passenger flow, which is applied to an electronic device, and the method includes:
  • the recognized face area is matched with the preset face information, and the number of face areas that are not successfully matched is determined as the traffic volume in the video data.
  • the method may further include:
  • the determining the number of face regions that are not successfully matched, as the traffic volume in the video data may include:
  • the matching the face area with the preset face information, and determining the number of the face areas that are not matched successfully, as the traffic volume in the video data may include:
  • the value recorded in the counter is read as the traffic volume in the video data.
  • the acquiring the to-be-stated video data includes: receiving the to-be-stated video data sent by the specified collection device;
  • the electronic device is an acquisition device
  • the acquiring the to-be-stated video data may include:
  • the electronic device is an acquisition device
  • the acquiring the to-be-stated video data may include:
  • the video After receiving the alarm information, the video is collected to obtain video data to be counted, and the alarm information is sent after the alarm device detects that a person enters the preset scene area.
  • the specified collection device is set in a passenger flow statistics scenario, where the height of the specified collection device is 2-4 meters above the ground of the scene, and the range of the depression angle of the designated collection device is: 20- 45 degree;
  • the electronic device is a collecting device
  • the electronic device is disposed in a passenger flow statistics scenario, wherein the height range of the electronic device is 2-4 meters above the ground of the scene, and the range of the depression angle of the electronic device is 20-45 degrees.
  • the identifying the face area in the video data may include:
  • the following steps are used to obtain the preset face information:
  • the matching the face area with the preset face information, and determining the number of the face areas that are not matched successfully, as the traffic volume in the video data may include:
  • the face area is determined to be a successful matching face area
  • the number of face regions that did not match successfully is counted as the traffic volume in the video data.
  • the embodiment of the present application further provides a passenger flow statistics device, which is applied to an electronic device, and the device includes:
  • a first acquiring module configured to acquire video data to be counted
  • An identification module configured to identify a face area in the video data
  • the matching module is configured to match the identified face area with the preset face information, and determine the number of face areas that are not successfully matched, as the traffic volume in the video data.
  • the device may further include:
  • a first determining module configured to determine the number of recognized face regions, as the first quantity
  • the matching module can be specifically used to:
  • the matching module is specifically configured to:
  • the value recorded in the counter is read as the traffic volume in the video data.
  • the first acquiring module may be specifically configured to: receive data to be collected sent by the specified collection device;
  • the electronic device is an acquiring device; the first acquiring module may be specifically configured to:
  • the electronic device is an acquiring device; the first acquiring module may be specifically configured to:
  • the video After receiving the alarm information, the video is collected to obtain video data to be counted, and the alarm information is sent after the alarm device detects that a person enters the preset scene area.
  • the specified collection device is set in a passenger flow statistics scenario, where the height of the specified collection device is 2-4 meters above the ground of the scene, and the range of the depression angle of the designated collection device is: 20- 45 degree;
  • the electronic device is a collecting device
  • the electronic device is disposed in a passenger flow statistics scenario, wherein the height range of the electronic device is 2-4 meters above the ground of the scene, and the range of the depression angle of the electronic device is 20-45 degrees.
  • the identifying module is specifically configured to:
  • the device may further include:
  • a second obtaining module configured to acquire, for each preset person, one or more facial images of the person
  • a building module configured to construct a face model of the person according to the one or more face images; wherein the face models of all preset persons constitute preset face information;
  • the matching module is specifically configured to:
  • the face area is determined to be a successful matching face area
  • the number of face regions that did not match successfully is counted as the traffic volume in the video data.
  • an embodiment of the present application further provides an electronic device, including a processor and a memory;
  • a memory for storing a computer program
  • the processor when used to execute a program stored on the memory, implements any of the above-described methods of passenger flow statistics.
  • an embodiment of the present application further provides a computer readable storage medium, where the computer readable storage medium stores a computer program, and the computer program is executed by a processor to implement any of the foregoing passenger flow statistics methods. .
  • the embodiment of the present application further provides a passenger flow statistics system, including: an acquisition device and a statistical device;
  • the collecting device is configured to collect video data to be collected, and send the to-be-stated video data to the statistical device;
  • the statistical device is configured to receive the to-be-stated video data, identify a face region in the video data, and match the identified face region with preset face information to determine a face region that is not successfully matched. Quantity as the traffic in the video data.
  • the collecting device is configured in a passenger flow statistics scenario, where the height of the collecting device is 2-4 meters above the ground of the scene, and the range of the lowering angle of the collecting device is 20-45 degrees.
  • the statistical device can perform any of the above-described passenger flow statistics methods.
  • an embodiment of the present application further discloses an executable program code for being executed to execute any of the above-described passenger flow statistical methods.
  • the preset face information may be related to the traffic (for example, working Face information of personnel, etc.; determining the number of face areas that have not been successfully matched, the result is to remove the traffic of unrelated persons; it can be seen that the application of this scheme removes the interference of unrelated persons and improves the accuracy of passenger flow statistics. .
  • FIG. 1 is a schematic diagram of a first flow chart of a passenger flow statistics method according to an embodiment of the present application
  • FIG. 2 is a schematic diagram of installation of a collection device according to an embodiment of the present application.
  • FIG. 3 is a schematic diagram of a second process of a passenger flow statistics method according to an embodiment of the present disclosure
  • FIG. 4 is a schematic structural diagram of a passenger flow statistics apparatus according to an embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of an electronic device according to an embodiment of the present disclosure.
  • FIG. 6 is a schematic structural diagram of a passenger flow statistics system according to an embodiment of the present application.
  • the embodiment of the present application provides a passenger flow statistics method, device, and device.
  • the method and device are applied to an electronic device, and the electronic device may be an acquisition device, for example, a camera with intelligent recognition function, etc.
  • the device may be connected to the collection device, such as a server, and the like.
  • a passenger flow statistics method provided by an embodiment of the present application is first described in detail below.
  • FIG. 1 is a schematic diagram of a first flow chart of a passenger flow statistics method according to an embodiment of the present disclosure, including:
  • S103 Match the identified face area with the preset face information, and determine the number of face areas that are not successfully matched, as the traffic volume in the video data.
  • the preset face information may be related to the traffic flow (for example, Face information of the staff, etc.; determining the number of face areas that have not been successfully matched, the result is to remove the traffic of the unrelated person; it can be seen that the application of the program removes the interference of unrelated persons and improves the passenger flow statistics. accuracy.
  • the S101 may include: receiving the to-be-stated video data sent by the specified collecting device.
  • the specified collection device is the collection device set in the scenario where passenger flow statistics are required.
  • the specified collection device can send the collected video data to the electronic device in real time, and the electronic device performs passenger flow statistics in real time.
  • the designated collection device may also send the collected video data to the electronic device in a non-real time.
  • the designated collection device may send the historical video data of the statistical time period to the electronic device after receiving the passenger flow statistics instruction.
  • the statistical time period is the time period for the passenger flow statistics.
  • the time period can be set according to the actual situation: for example, it can be one day, one week, one month, etc.; or, the preset time period of the day can also be used as the statistical time. Segments, for example, from 9:00 am to 9:00 pm in the day; alternatively, you can use the preset time period of one week and one month as the statistical time period; or you can use the weekly Monday to Friday, every morning. From 9:00 to 9:00 pm as the statistical time period...there is no limit.
  • the collecting device may determine whether there is a person in the video data, and if yes, send the video data as data to be counted to the electronic device.
  • the collection device may be connected to the alarm device, and the alarm device sends an alarm message to the collection device after detecting that a person enters the preset scene area, and the collection device performs video collection after receiving the alarm information, and the collected information is collected.
  • the video data is sent to the electronic device as video data to be counted.
  • the alarm device may be an infrared sensing device.
  • an acquisition device and an infrared sensing device are installed at the entrance of the shopping mall, and the infrared sensing device detects the presence of a person entering the entrance area of the mall (preset scene area) to the collecting device.
  • the alarm information is sent, and the collecting device collects video data in accordance with the entrance area of the mall.
  • the specified collection device is set in the guest flow statistics scenario.
  • the height range of the collection device is 2-4 meters above the scene ground, and the depression angle range of the collection device is 20-45 degrees. .
  • the “scene ground” referred to herein does not necessarily refer to the ground. For example, if the scene is located on the second floor, the “scene ground” is the second floor floor. If the scene is an underground parking lot, then the “Scene Ground” is the floor surface of the parking lot.
  • S101 may include: determining whether there is a person in the collected video data, and if yes, determining the collected video data as Statistical video data.
  • the electronic device may be connected to the alarm device, and the alarm device sends an alarm message to the electronic device after detecting that a person enters the preset scene area, and the electronic device performs video collection after receiving the alarm information, and The collected video data is used as video data to be counted.
  • the electronic device is set in a passenger flow statistics scenario.
  • the height range of the electronic device is 2-4 meters above the scene ground, and the depression angle range of the electronic device is 20-45 degrees.
  • the height of the electronic device may be 2 meters or 4 meters or 1.8 meters or 1.7 meters, etc., and the specific height may be changed according to the scene (installable position, indoor scene, etc.), and the depression angle ⁇ may be according to the scene and the position of the electronic device.
  • the factors such as the depression angle ⁇ may be 20 degrees, 25 degrees, 21.3 degrees, 45 degrees, 45.3 degrees, etc., which are not limited herein.
  • the “scene ground” referred to herein does not necessarily refer to the ground.
  • the “scene ground” is the second floor floor.
  • the “Scene Ground” is the floor surface of the parking lot.
  • the acquisition device can be, but is not limited to, a camera, such as a dome camera, a camera with a pan/tilt head, and the like.
  • face recognition may be performed for each image in the video data to identify a face region in each image.
  • the person in the video data may be determined to be tracked as a tracking target; a face area of each tracking target is identified.
  • the object tracking algorithm can be used to perform target tracking between adjacent frame images. If the same person exists in consecutive multi-frame images, the person in the continuous multi-frame image is a tracking target. For the same tracking target, only one face area of the tracking target is identified.
  • S103 Match the identified face area with the preset face information, and determine the number of face areas that are not successfully matched, as the traffic volume in the video data.
  • the method may include:
  • S103 may include:
  • S103 may include:
  • the value recorded in the counter is read as the traffic volume in the video data.
  • a counter can be set, the initial recorded value of the counter being zero.
  • Each face area identified is matched with the preset face information in turn, and each time the matching is unsuccessful, the value recorded in the counter is incremented by one, until all the face areas are matched, and the record recorded in the counter is read.
  • the value that is, the number of faces that did not match successfully, that is, the traffic in the video data.
  • the face information may be acquired in advance.
  • the preset face information may be acquired by using the following steps:
  • the preset person is a person unrelated to the traffic flow, such as a staff member; for each preset person, one or more face images of the person may be obtained, and the one or more face images are constructed based on the one or more face images The face model of the person.
  • the staff A it is possible to obtain images of different shooting angles, such as a front image, a left side image, a right side image, or a head-up image, a bird's-eye view image, a bottom view image, etc., and the specific shooting angle is not limited. .
  • the face model of the staff A is constructed.
  • S103 may include:
  • the face area is determined to be a successful matching face area
  • the number of face regions that did not match successfully is counted as the traffic volume in the video data.
  • a face image group of each preset person may be acquired, and each face image group includes one or more face images of a preset person, and the preset face information includes all
  • the face image group of the preset person in this embodiment, S103 may include:
  • the face region is determined to be a successful face region
  • the number of face regions that did not match successfully is counted as the traffic volume in the video data.
  • the face region matches any of the face images in the face image group, it can be determined that the face region matches the face image group.
  • the face region is matched with the face image, and the face model does not need to be established, which simplifies the operation.
  • FIG. 3 is a second schematic flowchart of a method for collecting passenger flow statistics according to an embodiment of the present disclosure, including:
  • S303 Determine the number of recognized face regions as the first number.
  • S305 Determine the number of face regions that match the success as the second number.
  • S306 Calculate a difference between the first quantity and the second quantity as a traffic volume in the video data.
  • face recognition can be performed for each image in the video data, and the total number of recognized face regions is taken as the first number.
  • the video data to be included contains 4 images
  • two face regions are identified in the first image
  • three face regions are identified in the second image
  • two people are identified in the third image.
  • one face area is identified in the fourth image
  • the person in the video data may be determined as a tracking target for tracking; a face area of each tracking target is identified, and the number of tracking targets in the video data is determined as the recognized face The number of regions, which is the first number.
  • the target tracking algorithm may be used to perform target tracking between adjacent frame images. If the same person exists in consecutive multiple frames of images, the person in the consecutive multiple frames of images is a tracking target.
  • the continuous multi-frame image of the video data to be collected collected by the collection device always includes the face area of the person, if the first method is used for statistics. The first quantity will be counted repeatedly for the person, causing interference to the passenger flow statistics.
  • the person in the video data is determined to track the tracking target, and the number of tracking targets is determined as the first quantity. Therefore, for the same tracking target, only one counting is performed, and the counting is more accurate.
  • the person exists in the discontinuous multi-frame image, and the second method is applied, and the person is counted multiple times.
  • the statistical time period is one day
  • the personnel A enters and exits the passenger flow statistics scene once in the morning and afternoon of the day, respectively.
  • the person is used as two tracking targets, that is, the person counts two. Times. It can be seen that the first quantity of the second method is more reasonable.
  • the number of tracking targets is taken as the first quantity, and for each tracking target, only one face area is identified, so that for each tracking target, only S304 will be A face area of the tracking target is matched with the preset face information, so that the obtained second quantity is also reasonable.
  • the first number is three.
  • a face area is identified for each tracking target, and three face areas are identified: X, Y, Z;
  • X is matched with four models A1, B1, C1, and D1, respectively, and
  • Y is respectively associated with A1, B1.
  • the face area in the video data is identified, and the number of recognized face areas is determined as the first quantity; the recognized face area is matched with the preset face information,
  • the preset face information may be face information of a person unrelated to the traffic (for example, a staff member, etc.); the number of face regions that are successfully matched is determined as the second quantity, that is, the number of unrelated persons in the image;
  • the difference between the first quantity and the second quantity is that the passenger flow of the unrelated person is removed; it can be seen that the application of the solution removes the interference of the unrelated person and improves the accuracy of the passenger flow statistics.
  • the embodiment of the present application further provides a passenger flow statistics device.
  • FIG. 4 is a schematic structural diagram of a passenger flow statistics device according to an embodiment of the present disclosure, which is applied to an electronic device, and the device includes:
  • the first obtaining module 401 is configured to acquire video data to be counted
  • the identification module 402 is configured to identify a face area in the video data
  • the matching module 403 is configured to match the identified face area with the preset face information, and determine the number of face areas that are not successfully matched, as the traffic volume in the video data.
  • the device may further include:
  • a first determining module (not shown) for determining the number of recognized face regions as the first number
  • the matching module 403 can be specifically used to:
  • the matching module 403 can be specifically used to:
  • the value recorded in the counter is read as the traffic volume in the video data.
  • the first acquiring module 401 may be specifically configured to: receive data to be collected sent by the specified collection device;
  • the electronic device is an acquisition device
  • the first obtaining module 401 is specifically configured to:
  • the electronic device is an acquisition device
  • the first obtaining module 401 is specifically configured to:
  • the video After receiving the alarm information, the video is collected to obtain video data to be counted, and the alarm information is sent after the alarm device detects that a person enters the preset scene area.
  • the specified collection device is set in a passenger flow statistical scenario, and the height of the specified collection device is 2-4 meters above the ground of the scene, and the range of the depression angle of the designated collection device is: 20-45 degrees;
  • the electronic device is a collecting device
  • the electronic device is disposed in a passenger flow statistics scenario, wherein the height range of the electronic device is 2-4 meters above the ground of the scene, and the range of the depression angle of the electronic device is 20-45 degrees.
  • the height of the electronic device may also be 1.8 meters, 2 meters, 2.2 meters, 4 meters, 4.5 meters, etc.
  • the height and the depression angle of the electronic device may be comprehensively determined according to factors such as a scene, an installable position, and the like, for example,
  • the depression angle ⁇ may be 20 degrees, 25 degrees, 21.3 degrees, 45 degrees, 45.3 degrees, etc., and is not limited herein.
  • the identification module 402 can be specifically configured to:
  • the device may further include: a second acquiring module and a building module (not shown), wherein
  • a second obtaining module configured to acquire, for each preset person, one or more facial images of the person
  • a building module configured to construct a face model of the person according to the one or more face images; wherein the face models of all preset persons constitute preset face information;
  • the matching module 403 can be specifically used to:
  • the face area is determined to be a successful matching face area
  • the number of face regions that did not match successfully is counted as the traffic volume in the video data.
  • the face area in the video data is identified, and the recognized face area is matched with the preset face information, and the preset face information may be related to the traffic flow (for example, Face information of the staff, etc.; determining the number of face areas that have not been successfully matched, the result is to remove the traffic of the unrelated person; it can be seen that the application of the program removes the interference of unrelated persons and improves the passenger flow statistics. accuracy.
  • the embodiment of the present application further provides an electronic device, as shown in FIG. 5, including a processor 501 and a memory 502.
  • a memory 502 configured to store a computer program
  • the processor 501 is configured to implement any of the foregoing method for calculating a passenger flow when executing a program stored on the memory 502.
  • the memory mentioned in the above electronic device may include a random access memory (RAM), and may also include a non-volatile memory (NVM), such as at least one disk storage.
  • the memory may also be at least one storage device located remotely from the aforementioned processor.
  • the above processor may be a general-purpose processor, including a central processing unit (CPU), a network processor (NP), etc.; or may be a digital signal processing (DSP), dedicated integration.
  • CPU central processing unit
  • NP network processor
  • DSP digital signal processing
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the embodiment of the present application further provides a computer readable storage medium, where the computer readable storage medium stores a computer program, and the computer program is executed by the processor to implement any of the foregoing passenger flow statistics methods.
  • the embodiment of the present application further provides a passenger flow statistics system, as shown in FIG. 6, comprising: an acquisition device and a statistical device;
  • the collecting device is configured to collect video data to be collected, and send the to-be-stated video data to the statistical device;
  • the statistical device is configured to receive the to-be-stated video data, identify a face region in the video data, and match the identified face region with preset face information to determine a face region that is not successfully matched. Quantity as the traffic in the video data.
  • the collection device is disposed in a passenger flow statistics scenario, and the height of the collection device ranges from 2-4 meters above the ground of the scene, and the range of the depression angle of the collection device is 20-45. degree.
  • the statistical device may perform any of the above-described passenger flow statistics methods.
  • the embodiment of the present application also provides an executable program code for being executed to execute any of the above-described passenger flow statistical methods.
  • the preset face information may be related to the traffic (for example, working Face information of personnel, etc.; determining the number of face areas that have not been successfully matched, the result is to remove the traffic of unrelated persons; it can be seen that the application of this scheme removes the interference of unrelated persons and improves the accuracy of passenger flow statistics. .
  • the various embodiments in the present specification are described in a related manner, and the same or similar parts between the various embodiments may be referred to each other, and each embodiment focuses on the differences from the other embodiments.
  • the embodiment of the passenger flow statistical device shown in FIG. 4 the electronic device embodiment shown in FIG. 5, the computer readable storage medium embodiment, the executable program code embodiment, and the passenger flow statistical system shown in FIG.
  • the description is relatively simple, and the relevant parts can be partially described in the embodiment of the passenger flow statistical method shown in FIG. 1-3.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

一种客流统计方法、装置及设备，方法包括：获取待统计视频数据（S101），识别视频数据中的人脸区域（S102），将识别出的人脸区域与预设人脸信息进行匹配，该预设人脸信息可以为与客流量无关人员（比如，工作人员等）的人脸信息；确定未匹配成功的人脸区域数量，得到的便是去除掉无关人员的客流量（S103）；可见，应用该方法去除了无关人员的干扰，提高了客流统计的准确性。

Description

一种客流统计方法、装置及设备
本申请要求于2017年9月15日提交中国专利局、申请号为201710833820.2、发明名称为“一种客流统计方法、装置及设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理技术领域，特别是涉及一种客流统计方法、装置及设备。
背景技术
在一些场景中，比如，商场入口、超市门前等位置处，通常需要对客流进行统计。客流统计方案一般包括：在场景中设置采集设备，对采集设备采集到的图像进行分析，判断该图像中是否有人进入门店、以及有多少人进入门店；将预设时间段内，比如一天中进入门店的人员数量加和，便得到了一天中的客流量。
但是在上述方案中，与客流量无关人员(比如，工作人员等)的进出会对客流统计的数据造成干扰，降低客流统计的准确性。
发明内容
本申请实施例的目的在于提供一种客流统计方法、装置及设备，以提高客流统计的准确性。
为达到上述目的，本申请实施例提供了一种客流统计方法，应用于电子设备，方法包括：
获取待统计视频数据；
识别所述视频数据中的人脸区域；
将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
可选的，在所述识别所述视频数据中的人脸区域之后，还可以包括：
确定识别出的人脸区域数量，作为第一数量；
所述确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量，可以包括：
确定匹配成功的人脸区域数量，作为第二数量；
计算所述第一数量与所述第二数量的差，作为所述视频数据中的客流量。
可选的，所述将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量，可以包括：
针对识别出的每张人脸区域，将该张人脸区域与预设人脸信息进行匹配，若未匹配成功，将计数器中记录的数值加1；
在将所述每张人脸区域均与所述预设人脸信息匹配完成后，读取所述计数器中记录的数值，作为所述视频数据中的客流量。
可选的，所述获取待统计视频数据，包括：接收指定采集设备发送的待统计视频数据；
或者，所述电子设备为采集设备；所述获取待统计视频数据，可以包括：
判断采集到的视频数据中是否存在人员，如果是，将采集到的视频数据确定为待统计视频数据；
或者，所述电子设备为采集设备；所述获取待统计视频数据，可以包括：
在接收到报警信息后，进行视频采集，得到待统计视频数据，所述报警信息为报警设备检测到有人员进入预设场景区域后发送的。
可选的，所述指定采集设备设置于一客流统计场景中，所述指定采集设备的高度范围为：高于所述场景地面2-4米，所述指定采集设备的俯角范围为：20-45度；
或者，在所述电子设备为采集设备的情况下：
所述电子设备设置于一客流统计场景中，所述电子设备的高度范围为：高于所述场景地面2-4米，所述电子设备的俯角范围为：20-45度。
可选的，所述识别所述视频数据中的人脸区域，可以包括：
将所述视频数据中的人员确定为追踪目标进行追踪；
识别每个追踪目标的一个人脸区域。
可选的，采用如下步骤获取所述预设人脸信息：
针对每个预设人员，获取该人员的一张或多张人脸图像；
根据所述一张或多张人脸图像，构建该人员的人脸模型；其中，所有预设人员的人脸模型组成预设人脸信息；
所述将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量，可以包括：
针对识别出的每个人脸区域，将该人脸区域与每个预设人员的人脸模型进行匹配；
当存在与该人脸区域相匹配的人脸模型时，将该人脸区域确定为匹配成功的人脸区域；
统计未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
为达到上述目的，本申请实施例还提供了一种客流统计装置，应用于电子设备，装置包括：
第一获取模块，用于获取待统计视频数据；
识别模块，用于识别所述视频数据中的人脸区域；
匹配模块，用于将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
可选的，所述装置还可以包括：
第一确定模块，用于确定识别出的人脸区域数量，作为第一数量；
所述匹配模块，具体可以用于：
将识别出的人脸区域与预设人脸信息进行匹配；
确定匹配成功的人脸区域数量，作为第二数量；
计算所述第一数量与所述第二数量的差，作为所述视频数据中的客流量。
可选的，所述匹配模块，具体用于：
针对识别出的每张人脸区域，将该张人脸区域与预设人脸信息进行匹配，若未匹配成功，将计数器中记录的数值加1；
在将所述每张人脸区域均与所述预设人脸信息匹配完成后，读取所述计数器中记录的数值，作为所述视频数据中的客流量。
可选的，所述第一获取模块，具体可以用于：接收指定采集设备发送的待统计视频数据；
或者，所述电子设备为采集设备；所述第一获取模块，具体可以用于：
判断采集到的视频数据中是否存在人员，如果是，将采集到的视频数据确定为待统计视频数据；
或者，所述电子设备为采集设备；所述第一获取模块，具体可以用于：
在接收到报警信息后，进行视频采集，得到待统计视频数据，所述报警信息为报警设备检测到有人员进入预设场景区域后发送的。
可选的，所述指定采集设备设置于一客流统计场景中，所述指定采集设备的高度范围为：高于所述场景地面2-4米，所述指定采集设备的俯角范围为：20-45度；
或者，在所述电子设备为采集设备的情况下：
所述电子设备设置于一客流统计场景中，所述电子设备的高度范围为：高于所述场景地面2-4米，所述电子设备的俯角范围为：20-45度。
可选的，所述识别模块，具体可以用于：
将所述视频数据中的人员确定为追踪目标进行追踪；
识别每个追踪目标的一个人脸区域。
可选的，所述装置还可以包括：
第二获取模块，用于针对每个预设人员，获取该人员的一张或多张人脸 图像；
构建模块，用于根据所述一张或多张人脸图像，构建该人员的人脸模型；其中，所有预设人员的人脸模型组成预设人脸信息；
所述匹配模块，具体用于：
针对识别出的每个人脸区域，将该人脸区域与每个预设人员的人脸模型进行匹配；
当存在与该人脸区域相匹配的人脸模型时，将该人脸区域确定为匹配成功的人脸区域；
统计未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
为达到上述目的，本申请实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一种客流统计方法。
为达到上述目的，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种客流统计方法。
为达到上述目的，本申请实施例还提供了一种客流统计系统，包括：采集设备及统计设备；
所述采集设备，用于采集待统计视频数据，并将所述待统计视频数据发送至所述统计设备；
所述统计设备，用于接收所述待统计视频数据；识别所述视频数据中的人脸区域；将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
可选的，所述采集设备设置于一客流统计场景中，所述采集设备的高度范围为：高于所述场景地面2-4米，所述采集设备的俯角范围为：20-45度。
该统计设备可以执行上述任一种客流统计方法。
为达到上述目的，本申请实施例还公开了一种可执行程序代码，所述可执行程序代码用于被运行以执行上述任一种客流统计方法。
应用本申请所示实施例，识别视频数据中的人脸区域，将识别出的人脸区域与预设人脸信息进行匹配，该预设人脸信息可以为与客流量无关人员(比如，工作人员等)的人脸信息；确定未匹配成功的人脸区域数量，得到的便是去除掉无关人员的客流量；可见，应用本方案，去除了无关人员的干扰，提高了客流统计的准确性。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例和现有技术的技术方案，下面对实施例和现有技术中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的客流统计方法的第一种流程示意图；
图2为本申请实施例提供的一种采集设备安装示意图；
图3为本申请实施例提供的客流统计方法的第二种流程示意图；
图4为本申请实施例提供的一种客流统计装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图；
图6为本申请实施例提供的一种客流统计系统的结构示意图。
具体实施方式
为使本申请的目的、技术方案、及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决上述技术问题，本申请实施例提供了一种客流统计方法、装置及设备，该方法及装置应用于电子设备，该电子设备可以为采集设备，例如，具有智能识别功能的摄像头等，也可以为与采集设备通信连接的各种设备，比如服务器等，具体不做限定。
下面首先对本申请实施例提供的一种客流统计方法进行详细说明。
图1为本申请实施例提供的客流统计方法的第一种流程示意图，包括：
S101：获取待统计视频数据。
S102：识别该视频数据中的人脸区域。
S103：将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为该视频数据中的客流量。
应用本申请图1所示实施例，识别视频数据中的人脸区域，将识别出的人脸区域与预设人脸信息进行匹配，该预设人脸信息可以为与客流量无关人员(比如，工作人员等)的人脸信息；确定未匹配成功的人脸区域数量，得到的便是去除掉无关人员的客流量；可见，应用本方案，去除了无关人员的干扰，提高了客流统计的准确性。
下面对图1所示实施进行详细说明：
S101：获取待统计视频数据。
如果执行本方案的电子设备(以下简称电子设备)与采集设备通信连接，S101可以包括：接收指定采集设备发送的待统计视频数据。
指定采集设备是指需要进行客流统计的场景中设置的采集设备。指定采集设备可以实时将采集到的视频数据发送给电子设备，电子设备实时进行客流统计。或者，指定采集设备也可以非实时地将采集到的视频数据发送给电子设备，比如，指定采集设备可以在接收到客流统计指令后，将统计时间段的历史视频数据发送给电子设备。
统计时间段为客流统计所针对的时间段，该时间段可以根据实际情况进行设定：比如，可以为一天，一周，一个月等；或者，也可以以一天中的预设时间段作为统计时间段，比如，一天中的早九点到晚九点；或者，也可以 以一周、一个月中每天的预设时间段作为统计时间段；或者，也可以以每周的周一至周五中，每天早九点到晚九点作为统计时间段……具体不做限定。
在本实施例中，采集设备在采集到视频数据后，可以判断该视频数据中是否存在人员，如果存在，将该视频数据作为待统计视频数据发送给电子设备。或者，采集设备也可以与报警设备相连接，报警设备在检测到有人员进入预设场景区域后向采集设备发送报警信息，采集设备在接收到该报警信息后进行视频采集，并将采集到的视频数据作为待统计视频数据发送给电子设备。
该报警设备可以为红外感应设备，举例来说，假设在商场入口处安装采集设备以及红外感应设备，该红外感应设备在检测到有人员进入商场入口区域(预设场景区域)时，向采集设备发送报警信息，该采集设备对准商场入口区域采集视频数据。
如上所述，该指定采集设备设置于客流统计场景中，作为一种实施方式，该采集设备的高度范围为：高于场景地面2-4米，该采集设备的俯角范围为：20-45度。具体可以如图2所示，较佳的，采集设备的高度可以为3米(h＝3米)，俯角α可以为30度。需要说明的是，这里所说的“场景地面”并不一定指地面，比如，如果该场景位于二楼，则该“场景地面”为二楼地板面，如果该场景为地下停车场，则该“场景地面”为该停车场地板面。
如果电子设备为采集设备，或者说，电子设备具有视频采集功能，作为一种实施方式，S101可以包括：判断采集到的视频数据中是否存在人员，如果是，将采集到的视频数据确定为待统计视频数据。
作为另一种实施方式，电子设备可以与报警设备相连接，报警设备在检测到有人员进入预设场景区域后向电子设备发送报警信息，电子设备在接收到该报警信息后进行视频采集，并将采集到的视频数据作为待统计视频数据。
如果电子设备为采集设备，电子设备设置于客流统计场景中，作为一种实施方式，电子设备的高度范围为：高于场景地面2-4米，电子设备的俯角范围为：20-45度。具体可以如图2所示，例如电子设备的高度可以为3米(h＝3 米)，俯角α可以为30度。又例如，电子设备的高度可以为2米或者4米或者1.8米或者1.7米等等，具体高度可以根据场景(可安装位置、室内场景等等)改变，俯角α可以根据场景以及电子设备的位置等因素综合确定，例如，俯角α可以为20度、25度、21.3度、45度、45.3度等等，在此不作限定。需要说明的是，这里所说的“场景地面”并不一定指地面，比如，如果该场景位于二楼，则该“场景地面”为二楼地板面，如果该场景为地下停车场，则该“场景地面”为该停车场地板面。采集设备可以但不限于是摄像头，例如，球机、带有云台的摄像头等等。
S102：识别该视频数据中的人脸区域。
作为一种实施方式，可以针对该视频数据中的每张图像进行人脸识别，识别每张图像中的人脸区域。
作为另一种实施方式，可以将该视频数据中的人员确定为追踪目标进行追踪；识别每个追踪目标的一个人脸区域。
在本实施方式中，可以利用目标追踪算法在相邻帧图像间进行目标追踪，如果同一人员存在于连续多帧图像中，则这连续多帧图像中的该人员为一个追踪目标。对于同一追踪目标来说，仅识别该追踪目标的一个人脸区域。
S103：将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为该视频数据中的客流量。
作为一种实施方式，在S102后，可以包括：
确定识别出的人脸区域数量，作为第一数量；
这种实施方式中，S103可以包括：
确定匹配成功的人脸区域数量，作为第二数量；
计算所述第一数量与所述第二数量的差，作为该视频数据中的客流量。
这种实施方式在图3所示实施例部分进行详细介绍。
作为另一种实施方式，S103可以包括：
针对识别出的每张人脸区域，将该张人脸区域与预设人脸信息进行匹配， 若未匹配成功，将计数器中记录的数值加1；
在将所述每张人脸区域均与所述预设人脸信息匹配完成后，读取所述计数器中记录的数值，作为所述视频数据中的客流量。
在这种实施方式中，可以设置一个计数器，该计数器的初始记录的数值为0。依次将识别出的每张人脸区域与预设人脸信息进行匹配，每当匹配不成功，将计数器中记录的数值加1，直至全部人脸区域都完成匹配后，读取计数器中记录的数值，也就是未匹配成功的人脸数量，也就是该视频数据中的客流量。
在本申请实施例中，可以预先获取人脸信息，作为一种实施方式，可以采用如下步骤获取所述预设人脸信息：
针对每个预设人员，获取该人员的一张或多张人脸图像；
根据所述一张或多张人脸图像，构建该人员的人脸模型；其中，所有预设人员的人脸模型组成预设人脸信息。
预设人员即为与客流量无关人员，比如工作人员等；针对每个预设人员，可以获取该人员的一张或多张人脸图像，基于这一张或多张人脸图像，构建该人员的人脸模型。
举例来说，针对工作人员A，可以获取其不同拍摄角度的图像，比如正面图像、左侧脸图像、右侧脸图像，或者，平视图像、俯视图像、仰视图像等，具体拍摄角度不做限定。根据所获取的图像，构建工作人员A的人脸模型。
或者，也可以仅获取工作人员A的一张图像，比如正面图像，根据这一张图像构建工作人员A的人脸模型。
这种实施方式中，S103可以包括：
针对识别出的每个人脸区域，将该人脸区域与每个预设人员的人脸模型进行匹配；
当存在与该人脸区域相匹配的人脸模型时，将该人脸区域确定为匹配成功的人脸区域；
统计未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
或者，作为另一种实施方式，可以获取每个预设人员的人脸图像组，每个人脸图像组中包含一个预设人员的一张或多张人脸图像，预设人脸信息包括所有预设人员的人脸图像组，这种实施方式中，S103可以包括：
针对识别出的每个人脸区域，将该人脸区域与每个预设人员的人脸图像组进行匹配；
当存在与该人脸区域相匹配的人脸图像组时，将该人脸区域确定为匹配成功的人脸区域；
统计未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
这种实施方式中，如果人脸区域与人脸图像组中任一张人脸图像相匹配，则可以判定该人脸区域与该人脸图像组相匹配。
应用这种实施方式，将人脸区域与人脸图像进行匹配，不需要建立人脸模型，简化了操作。
图3为本申请实施例提供的客流统计方法的第二种流程示意图，包括：
S301：获取待统计视频数据。
S302：识别该视频数据中的人脸区域。
S303：确定识别出的人脸区域数量，作为第一数量。
S304：将识别出的人脸区域与预设人脸信息进行匹配。
S305：确定匹配成功的人脸区域数量，作为第二数量。
S306：计算该第一数量与该第二数量的差，作为该视频数据中的客流量。
统计第一数量有多种方式，比如：
第一种方式，可以针对该视频数据中的每张图像进行人脸识别，将识别出的人脸区域的总数量作为第一数量。
举个简单的例子，假设待统计视频数据中包含4张图像，第一张图像中识 别出2个人脸区域，第二张图像中识别出3个人脸区域，第三张图像中识别出2个人脸区域，第四张图像中识别出1个人脸区域，则第一数量＝2+3+2+1＝8。
第二种方式，可以将该视频数据中的人员确定为追踪目标进行追踪；识别每个追踪目标的一个人脸区域，并将所述视频数据中的追踪目标的数量确定为识别出的人脸区域数量，也就是第一数量。
本实施方式中，可以利用目标追踪算法在相邻帧图像间进行目标追踪，如果同一人员存在于连续多帧图像中，则这连续多帧图像中的该人员为一个追踪目标。
举例来说，如果有非预设人员一直站在采集设备的采集范围中，采集设备采集的待统计视频数据的连续多帧图像中一直包含该人员的人脸区域，如果利用第一种方式统计第一数量，会反复对该人员进行计数，对客流量统计造成干扰。
而第二种方式中，对视频数据中的人员确定为追踪目标进行追踪，将追踪目标的数量确定为第一数量，因此，对于同一追踪目标，仅进行一次计数，计数更准确。
另一方面，如果有同一人员多次进出客流统计场景，该人员存在于不连续的多帧图像中，应用第二种方式，会对该人员多次计数。比如，统计时间段为一天，人员A分别在该天的上午和下午进出客流统计场景各一次，则在第二种方式中，该人员会被作为两个追踪目标，也就是对该人员计数两次。可见第二种方式统计的第一数量更合理。
在上述统计第一数量的第二种方式中，将追踪目标的数量作为第一数量，而且对于每个追踪目标，仅识别其一个人脸区域，这样，对于每个追踪目标，S304中仅将该追踪目标的一个人脸区域与预设人脸信息进行匹配，这样，得到的第二数量也是合理的。
举个简单的例子，假设存在A、B、C、D四个预设人员，构建人员A的人脸模型A1，构建人员B的人脸模型B1，构建人员C的人脸模型C1，构建人员D的人脸模型D1。
假设在待统计视频数据中确定出3个追踪目标，则第一数量为3。针对每 个追踪目标识别一个人脸区域，共识别出3个人脸区域：X、Y、Z；将X分别与A1、B1、C1、D1四个模型进行匹配，将Y分别与A1、B1、C1、D1四个模型进行匹配，将Z分别与A1、B1、C1、D1四个模型进行匹配；假设仅有Y与C1匹配成功，则匹配成功的人脸区域数量为1，第二数量为1；则该视频数据的客流量为3-1＝2。
应用本申请图3所示实施例，识别视频数据中的人脸区域，并确定识别出的人脸区域数量，作为第一数量；将识别出的人脸区域与预设人脸信息进行匹配，该预设人脸信息可以为与客流量无关人员(比如，工作人员等)的人脸信息；确定匹配成功的人脸区域数量，作为第二数量，也就是该图像中无关人员的数量；将第一数量与第二数量作差，得到的便是去除掉无关人员的客流量；可见，应用本方案，去除了无关人员的干扰，提高了客流统计的准确性。
与上述方法实施例相对应，本申请实施例还提供了一种客流统计装置。
图4为本申请实施例提供的一种客流统计装置的结构示意图，应用于电子设备，该装置包括：
第一获取模块401，用于获取待统计视频数据；
识别模块402，用于识别所述视频数据中的人脸区域；
匹配模块403，用于将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
作为一种实施方式，所述装置还可以包括：
第一确定模块(图中未示出)，用于确定识别出的人脸区域数量，作为第一数量；
匹配模块403，具体可以用于：
将识别出的人脸区域与预设人脸信息进行匹配；
确定匹配成功的人脸区域数量，作为第二数量；
计算所述第一数量与所述第二数量的差，作为所述视频数据中的客流量。
作为一种实施方式，匹配模块403，具体可以用于：
针对识别出的每张人脸区域，将该张人脸区域与预设人脸信息进行匹配，若未匹配成功，将计数器中记录的数值加1；
在将所述每张人脸区域均与所述预设人脸信息匹配完成后，读取所述计数器中记录的数值，作为所述视频数据中的客流量。
作为一种实施方式，第一获取模块401，具体可以用于：接收指定采集设备发送的待统计视频数据；
或者，所述电子设备为采集设备；第一获取模块401，具体可以用于：
判断采集到的视频数据中是否存在人员，如果是，将采集到的视频数据确定为待统计视频数据；
或者，所述电子设备为采集设备；第一获取模块401，具体可以用于：
在接收到报警信息后，进行视频采集，得到待统计视频数据，所述报警信息为报警设备检测到有人员进入预设场景区域后发送的。
作为一种实施方式，所述指定采集设备设置于一客流统计场景中，所述指定采集设备的高度范围为：高于所述场景地面2-4米，所述指定采集设备的俯角范围为：20-45度；
或者，在所述电子设备为采集设备的情况下：
所述电子设备设置于一客流统计场景中，所述电子设备的高度范围为：高于所述场景地面2-4米，所述电子设备的俯角范围为：20-45度。
可选地，该电子设备的高度也可以为1.8米、2米、2.2米、4米、4.5米等等，该电子设备的高度和俯角可以根据场景、可安装位置等因素综合确定，例如，俯角α可以为20度、25度、21.3度、45度、45.3度等等，在此不作限定。
作为一种实施方式，识别模块402，具体可以用于：
将所述视频数据中的人员确定为追踪目标进行追踪；
识别每个追踪目标的一个人脸区域。
作为一种实施方式，所述装置还可以包括：第二获取模块和构建模块(图中未示出)，其中，
第二获取模块，用于针对每个预设人员，获取该人员的一张或多张人脸图像；
构建模块，用于根据所述一张或多张人脸图像，构建该人员的人脸模型；其中，所有预设人员的人脸模型组成预设人脸信息；
匹配模块403，具体可以用于：
针对识别出的每个人脸区域，将该人脸区域与每个预设人员的人脸模型进行匹配；
当存在与该人脸区域相匹配的人脸模型时，将该人脸区域确定为匹配成功的人脸区域；
统计未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
应用本申请图4所示实施例，识别视频数据中的人脸区域，将识别出的人脸区域与预设人脸信息进行匹配，该预设人脸信息可以为与客流量无关人员(比如，工作人员等)的人脸信息；确定未匹配成功的人脸区域数量，得到的便是去除掉无关人员的客流量；可见，应用本方案，去除了无关人员的干扰，提高了客流统计的准确性。
本申请实施例还提供了一种电子设备，如图5所示，包括处理器501和存储器502，
存储器502，用于存放计算机程序；
处理器501，用于执行存储器502上所存放的程序时，实现上述任一种客流统计方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述 处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种客流统计方法。
本申请实施例还提供了一种客流统计系统，如图6所示，包括：采集设备及统计设备；
所述采集设备，用于采集待统计视频数据，并将所述待统计视频数据发送至所述统计设备；
所述统计设备，用于接收所述待统计视频数据；识别所述视频数据中的人脸区域；将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
作为一种实施方式，所述采集设备设置于一客流统计场景中，所述采集设备的高度范围为：高于所述场景地面2-4米，所述采集设备的俯角范围为：20-45度。
所述统计设备可以执行上述任一种客流统计方法。
本申请实施例还提供了一种可执行程序代码，所述可执行程序代码用于被运行以执行上述任一种客流统计方法。
应用本申请所示实施例，识别视频数据中的人脸区域，将识别出的人脸区域与预设人脸信息进行匹配，该预设人脸信息可以为与客流量无关人员(比如，工作人员等)的人脸信息；确定未匹配成功的人脸区域数量，得到的便是去除掉无关人员的客流量；可见，应用本方案，去除了无关人员的干扰， 提高了客流统计的准确性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图4所示的客流统计装置实施例、图5所示的电子设备实施例、上述计算机可读存储介质实施例、上述可执行程序代码实施例、图6所示的客流统计系统实施例而言，由于其基本相似于图1-3所示的客流统计方法实施例，所以描述的比较简单，相关之处参见图1-3所示的客流统计方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (19)

  1. 一种客流统计方法，其特征在于，应用于电子设备，包括：
    获取待统计视频数据；
    识别所述视频数据中的人脸区域；
    将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
  2. 根据权利要求1所述的方法，其特征在于，在所述识别所述视频数据中的人脸区域之后，还包括：
    确定识别出的人脸区域数量，作为第一数量；
    所述确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量，包括：
    确定匹配成功的人脸区域数量，作为第二数量；
    计算所述第一数量与所述第二数量的差，作为所述视频数据中的客流量。
  3. 根据权利要求1所述的方法，其特征在于，所述将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量，包括：
    针对识别出的每张人脸区域，将该张人脸区域与预设人脸信息进行匹配，若未匹配成功，将计数器中记录的数值加1；
    在将所述每张人脸区域均与所述预设人脸信息匹配完成后，读取所述计数器中记录的数值，作为所述视频数据中的客流量。
  4. 根据权利要求1所述的方法，其特征在于，所述获取待统计视频数据，包括：接收指定采集设备发送的待统计视频数据；
    或者，所述电子设备为采集设备；所述获取待统计视频数据，包括：
    判断采集到的视频数据中是否存在人员，如果是，将采集到的视频数据确定为待统计视频数据；
    或者，所述电子设备为采集设备；所述获取待统计视频数据，包括：
    在接收到报警信息后，进行视频采集，得到待统计视频数据，所述报警信息为报警设备检测到有人员进入预设场景区域后发送的。
  5. 根据权利要求4所述的方法，其特征在于，所述指定采集设备设置于一客流统计场景中，所述指定采集设备的高度范围为：高于所述场景地面2-4米，所述指定采集设备的俯角范围为：20-45度；
    或者，在所述电子设备为采集设备的情况下：
    所述电子设备设置于一客流统计场景中，所述电子设备的高度范围为：高于所述场景地面2-4米，所述电子设备的俯角范围为：20-45度。
  6. 根据权利要求1所述的方法，其特征在于，所述识别所述视频数据中的人脸区域，包括：
    将所述视频数据中的人员确定为追踪目标进行追踪；
    识别每个追踪目标的一个人脸区域。
  7. 根据权利要求1所述的方法，其特征在于，采用如下步骤获取所述预设人脸信息：
    针对每个预设人员，获取该人员的一张或多张人脸图像；
    根据所述一张或多张人脸图像，构建该人员的人脸模型；其中，所有预设人员的人脸模型组成预设人脸信息；
    所述将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量，包括：
    针对识别出的每个人脸区域，将该人脸区域与每个预设人员的人脸模型进行匹配；
    当存在与该人脸区域相匹配的人脸模型时，将该人脸区域确定为匹配成功的人脸区域；
    统计未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
  8. 一种客流统计装置，其特征在于，应用于电子设备，包括：
    第一获取模块，用于获取待统计视频数据；
    识别模块，用于识别所述视频数据中的人脸区域；
    匹配模块，用于将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
  9. 根据权利要求8所述的装置，其特征在于，所述装置还包括：
    第一确定模块，用于确定识别出的人脸区域数量，作为第一数量；
    所述匹配模块，具体用于：
    将识别出的人脸区域与预设人脸信息进行匹配；
    确定匹配成功的人脸区域数量，作为第二数量；
    计算所述第一数量与所述第二数量的差，作为所述视频数据中的客流量。
  10. 根据权利要求8所述的装置，其特征在于，所述匹配模块，具体用于：
    针对识别出的每张人脸区域，将该张人脸区域与预设人脸信息进行匹配，若未匹配成功，将计数器中记录的数值加1；
    在将所述每张人脸区域均与所述预设人脸信息匹配完成后，读取所述计数器中记录的数值，作为所述视频数据中的客流量。
  11. 根据权利要求8所述的装置，其特征在于，所述第一获取模块，具体用于：接收指定采集设备发送的待统计视频数据；
    或者，所述电子设备为采集设备；所述第一获取模块，具体用于：
    判断采集到的视频数据中是否存在人员，如果是，将采集到的视频数据确定为待统计视频数据；
    或者，所述电子设备为采集设备；所述第一获取模块，具体用于：
    在接收到报警信息后，进行视频采集，得到待统计视频数据，所述报警信息为报警设备检测到有人员进入预设场景区域后发送的。
  12. 根据权利要求11所述的装置，其特征在于，所述指定采集设备设置于一客流统计场景中，所述指定采集设备的高度范围为：高于所述场景地面2-4米，所述指定采集设备的俯角范围为：20-45度；
    或者，在所述电子设备为采集设备的情况下：
    所述电子设备设置于一客流统计场景中，所述电子设备的高度范围为：高于所述场景地面2-4米，所述电子设备的俯角范围为：20-45度。
  13. 根据权利要求8所述的装置，其特征在于，所述识别模块，具体用于：
    将所述视频数据中的人员确定为追踪目标进行追踪；
    识别每个追踪目标的一个人脸区域。
  14. 根据权利要求8所述的装置，其特征在于，所述装置还包括：
    第二获取模块，用于针对每个预设人员，获取该人员的一张或多张人脸图像；
    构建模块，用于根据所述一张或多张人脸图像，构建该人员的人脸模型；其中，所有预设人员的人脸模型组成预设人脸信息；
    所述匹配模块，具体用于：
    针对识别出的每个人脸区域，将该人脸区域与每个预设人员的人脸模型进行匹配；
    当存在与该人脸区域相匹配的人脸模型时，将该人脸区域确定为匹配成功的人脸区域；
    统计未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
  15. 一种电子设备，其特征在于，包括处理器和存储器；
    存储器，用于存放计算机程序；
    处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
  16. 一种客流统计系统，其特征在于，包括：采集设备及统计设备；
    所述采集设备，用于采集待统计视频数据，并将所述待统计视频数据发送至所述统计设备；
    所述统计设备，用于接收所述待统计视频数据；识别所述视频数据中的人脸区域；将识别出的人脸区域与预设人脸信息进行匹配，确定未匹配成功的人脸区域数量，作为所述视频数据中的客流量。
  17. 根据权利要求16所述的系统，其特征在于，所述采集设备设置于一客流统计场景中，所述采集设备的高度范围为：高于所述场景地面2-4米，所述采集设备的俯角范围为：20-45度。
  18. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
  19. 一种可执行程序代码，其特征在于，所述可执行程序代码用于被运行以执行权利要求1-7任一所述的方法步骤。
PCT/CN2018/105721 2017-09-15 2018-09-14 一种客流统计方法、装置及设备 WO2019052536A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/647,210 US11200406B2 (en) 2017-09-15 2018-09-14 Customer flow statistical method, apparatus and device
EP18856017.1A EP3683717A4 (en) 2017-09-15 2018-09-14 METHOD, APPARATUS AND DEVICE FOR COUNTING PASSENGER FLOWS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710833820.2 2017-09-15
CN201710833820.2A CN109508586B (zh) 2017-09-15 2017-09-15 一种客流统计方法、装置及设备

Publications (1)

Publication Number Publication Date
WO2019052536A1 true WO2019052536A1 (zh) 2019-03-21

Family

ID=65723210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/105721 WO2019052536A1 (zh) 2017-09-15 2018-09-14 一种客流统计方法、装置及设备

Country Status (4)

Country Link
US (1) US11200406B2 (zh)
EP (1) EP3683717A4 (zh)
CN (1) CN109508586B (zh)
WO (1) WO2019052536A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183380A (zh) * 2020-09-29 2021-01-05 新疆爱华盈通信息技术有限公司 基于人脸识别的客流量分析方法和系统、电子设备
CN114694088A (zh) * 2022-02-18 2022-07-01 北京市建筑设计研究院有限公司 一种人流量数据检测方法、装置及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659588A (zh) * 2019-09-02 2020-01-07 平安科技（深圳）有限公司 一种客流量统计方法、装置及计算机可读存储介质
CN110717885A (zh) * 2019-09-02 2020-01-21 平安科技（深圳）有限公司 顾客数量的统计方法及装置、电子设备及可读存储介质
CN112528818B (zh) * 2020-12-03 2024-02-27 杭州海康威视系统技术有限公司 数据统计方法、装置、电子设备及机器可读存储介质
CN114572784B (zh) * 2022-01-27 2024-04-05 北京声智科技有限公司 一种电梯乘客人数检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040247177A1 (en) * 2003-06-05 2004-12-09 Canon Kabushiki Kaisha Image processing
CN201699888U (zh) * 2010-06-24 2011-01-05 柯名会 人脸识别监控装置
CN103065379A (zh) * 2012-10-25 2013-04-24 北京腾逸科技发展有限公司 智能化视频客流分析方法及系统
CN103793682A (zh) * 2012-10-31 2014-05-14 中国科学院微电子研究所 基于人脸检测与识别技术的人员计数方法及系统和装置
CN106296879A (zh) * 2015-05-21 2017-01-04 杭州海康威视数字技术股份有限公司 基于无线探测的人流量获取的方法、装置和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881505B2 (en) * 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
JP2008262435A (ja) * 2007-04-13 2008-10-30 Hitachi Ltd 顔認証、及び顧客状況情報を利用した営業支援システム
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
JP4585580B2 (ja) * 2008-04-24 2010-11-24 東芝テック株式会社 人物動線追跡システム
CN101877058B (zh) * 2010-02-10 2012-07-25 杭州海康威视软件有限公司 人流量统计的方法及系统
CN103839308B (zh) * 2012-11-26 2016-12-21 北京百卓网络技术有限公司 人数获取方法、装置及系统
US9245276B2 (en) * 2012-12-12 2016-01-26 Verint Systems Ltd. Time-in-store estimation using facial recognition
CN106295788B (zh) * 2015-05-12 2019-01-08 杭州海康威视数字技术股份有限公司 客流量的统计方法及装置
CN105574497A (zh) * 2015-12-15 2016-05-11 重庆凯泽科技有限公司 基于人脸检测的商场人数统计系统及统计方法
SG11201805830TA (en) * 2016-01-12 2018-08-30 Hitachi Int Electric Inc Congestion-state-monitoring system
CN106778615B (zh) * 2016-12-16 2019-10-18 中新智擎科技有限公司 一种识别用户身份的方法、装置和物业服务机器人
JP6145210B1 (ja) 2016-12-26 2017-06-07 株式会社スバルカーベル 乗客管理装置、及び乗客管理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040247177A1 (en) * 2003-06-05 2004-12-09 Canon Kabushiki Kaisha Image processing
CN201699888U (zh) * 2010-06-24 2011-01-05 柯名会 人脸识别监控装置
CN103065379A (zh) * 2012-10-25 2013-04-24 北京腾逸科技发展有限公司 智能化视频客流分析方法及系统
CN103793682A (zh) * 2012-10-31 2014-05-14 中国科学院微电子研究所 基于人脸检测与识别技术的人员计数方法及系统和装置
CN106296879A (zh) * 2015-05-21 2017-01-04 杭州海康威视数字技术股份有限公司 基于无线探测的人流量获取的方法、装置和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3683717A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183380A (zh) * 2020-09-29 2021-01-05 新疆爱华盈通信息技术有限公司 基于人脸识别的客流量分析方法和系统、电子设备
CN114694088A (zh) * 2022-02-18 2022-07-01 北京市建筑设计研究院有限公司 一种人流量数据检测方法、装置及电子设备

Also Published As

Publication number Publication date
US11200406B2 (en) 2021-12-14
EP3683717A1 (en) 2020-07-22
CN109508586B (zh) 2021-10-29
US20210158024A1 (en) 2021-05-27
EP3683717A4 (en) 2020-11-11
CN109508586A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
WO2019052536A1 (zh) 一种客流统计方法、装置及设备
US10915131B2 (en) System and method for managing energy
US11210527B2 (en) Target object identifying device, target object identifying method and target object identifying program
US20190107394A1 (en) Tracking movement of physical objects through a confined space
US20110169917A1 (en) System And Process For Detecting, Tracking And Counting Human Objects of Interest
CN110222640A (zh) 监控场所中嫌疑人的识别方法、装置、方法和存储介质
EP3355282B1 (en) System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
EP3385880B1 (en) Passenger flow information collection method and apparatus, and passenger flow information processing method and apparatus
WO2022156234A1 (zh) 一种目标重识别方法、装置及计算机可读存储介质
CN110717358B (zh) 访客人数统计方法、装置、电子设备及存储介质
KR20190124114A (ko) 유동인구 데이터와 pos데이터를 활용한 상권분석 빅데이터 시스템
CN102200578B (zh) 数据关联设备和方法
US10049462B2 (en) System and method for tracking and annotating multiple objects in a 3D model
CN112383756B (zh) 一种视频监控报警处理方法和装置
EP2618288A1 (en) Monitoring system and method for video episode viewing and mining
JP6516702B2 (ja) 人数集計システム、人数集計方法、及び人数集計結果の閲覧方法
JP2020173775A (ja) 物体検出装置及び混雑状況管理装置
WO2021086884A1 (en) System, apparatus and method of provisioning allotments utilizing machine visioning
CN112800841A (zh) 一种行人计数方法、装置、系统及计算机可读存储介质
JP2016045654A (ja) 利用者識別装置、利用者識別方法及びコンピュータプログラム
CN110956644B (zh) 一种运动轨迹确定方法及系统
KR20130104018A (ko) 영상분석을 이용한 출입 계수시스템 및 그 방법
CN114220140B (zh) 基于图像识别的市场客流量统计方法及装置
CN111127096A (zh) 基于头肩和人脸识别的商品区域客流优化统计方法与系统
US10360445B2 (en) System and method for tracking persons using a volumetric representation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18856017

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018856017

Country of ref document: EP

Effective date: 20200415