WO2017135310A1 - 通過数カウント装置、通過数カウント方法、プログラムおよび記憶媒体 - Google Patents

通過数カウント装置、通過数カウント方法、プログラムおよび記憶媒体 Download PDF

Info

Publication number
WO2017135310A1
WO2017135310A1 PCT/JP2017/003622 JP2017003622W WO2017135310A1 WO 2017135310 A1 WO2017135310 A1 WO 2017135310A1 JP 2017003622 W JP2017003622 W JP 2017003622W WO 2017135310 A1 WO2017135310 A1 WO 2017135310A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
region
predetermined
image
person
Prior art date
Application number
PCT/JP2017/003622
Other languages
English (en)
French (fr)
Inventor
紫村 智哉
成樹 向井
直人 佐賀美
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2017135310A1 publication Critical patent/WO2017135310A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention is the number of times a subject such as a person is detected from a photographed video and the detected subject passes through a predetermined area on the photographed video, for example, a passage number counting device, a passage number counting method, a program, and a storage medium.
  • the present invention relates to a passing number counting system for measuring a passing number.
  • surveillance cameras may be installed for crime prevention and safety in facilities visited by an unspecified number of visitors.
  • Such facilities include, for example, stores, streets, parking lots, trains, and the like.
  • Video taken by surveillance cameras may be useful for investigating crimes such as robberies and violent acts and for subsequent verification.
  • the video is used for the purpose of finding a suspicious person or a suspicious vehicle.
  • surveillance cameras are spreading rapidly.
  • retail stores, etc. efforts are being made to analyze and grasp customer purchasing trends from images captured by surveillance cameras and to make use of them in store sales strategies. Information such as the number of customer visitors, trends in movement between sales floors, staying time at each sales floor, and the flow of people is collected from the captured video.
  • Patent Document 1 discloses a visitor management that uses the image data obtained from a monitoring camera installed in a store, a parking lot, or the like to measure the number of visitors to the store, which is important information on customer trends.
  • the system is described.
  • the attendee management system outputs the imaged time together with the image data at a predetermined interval, and the image data based on a result of comparison for each corresponding pixel with respect to a predetermined area portion of two image data continuous with respect to the time.
  • An object that moves within a predetermined area is detected as a visitor.
  • the attendee management system identifies each visitor based on the positional relationship between the two consecutive image data with respect to time, and measures the number of visitors.
  • Patent Document 2 describes a separation / counting device that enables individual separation and counting of a moving body according to the purpose of the moving body to be counted.
  • the separation counting apparatus includes an area setting unit that arranges an arbitrarily settable internal area on a captured image in a display screen and arbitrarily arranges two or more divided external areas around the internal area. Then, the separation counting device tracks the moving object appearing in the external area or the internal area, and the trajectory of the moving object passes through the internal area from any one of the external areas arranged by the area setting unit to the other external area. The number of moving bodies that have moved to the area is counted separately for each moving direction between different external areas.
  • the installation location of the surveillance camera is different in each store, in the vehicle, and outdoors.
  • the installation location is set at a position higher than a space where a person is active in order to ensure a sufficient field of view in photographing. Therefore, if a wide-angle camera (for example, an angle of view of 60 degrees or more) is used as a surveillance camera in order to capture a larger range with one camera, it is possible to cope with restrictions due to the installation environment. Therefore, a wide-angle camera may be used in a system that counts the number of people passing through a specific area.
  • an area for detecting (tracking) a person's movement with respect to the entire captured image or the central area of the image, and the passing person's An area for measuring the number is provided. If a wide-angle camera is used, these areas are set including a central area and a peripheral area of the image. Since the degree of distortion of the image by the lens and the shooting distance to the subject are different between the central area and the peripheral area, the size and moving speed of the person appearing on the image vary depending on the position on the image. This complicates the process of detecting a person and counting the number of passing persons, and there is a problem that it is difficult to set (adjust) the detection parameter.
  • the present invention has been made in view of the above points, and relaxes restrictions related to installation of the imaging unit, and counts the number of subjects passing through a predetermined area with high accuracy, and a passing number counting method.
  • a program and a storage medium are provided.
  • the present invention has been made to solve the above problems, and (1) one aspect of the present invention is that predetermined images of captured images captured at different times by image capturing units that capture images in a predetermined detection area are provided.
  • a motion detector that detects motion information related to the motion of the subject represented in the first region
  • a specific direction motion information detector that detects specific direction motion information related to motion in a predetermined specific direction from the motion information
  • a measurement unit that measures the number of passing subjects represented in a predetermined second area of the captured image using the specific direction motion information, and a part or all of the first area and the second area At least one of a part or all of the passage number is set in a peripheral region excluding a central region that is a region within a predetermined range from the center of the captured image.
  • the central region is a circular or polygonal region whose center is the center of the captured image, and one of the first region and the second region. At least a part of the area is included in the central area, and an area other than the at least a part of the first area and the second area is included in the peripheral area. It is.
  • the subject in the captured image corresponding to a displacement that occurs in accordance with a predetermined individual difference in a predetermined movement speed in the predetermined period in which the peripheral area detects the motion information.
  • (1) or (2) is a passing number counting device characterized in that the displacement of the image is an area within a predetermined displacement.
  • Another aspect of the present invention is the passage number counting device according to any one of (1) to (3), wherein an imaging direction of the imaging unit is a vertical direction.
  • the specific direction is an orthogonal direction of at least one side of the first region and one side of the second region, and a straight line in the specific direction is at least the first direction.
  • Any of (1) to (4) is characterized in that the first area and the second area are set so as to pass through one of the center of the area, the center of the second area, and the center of the captured image. Is a passing number counting device.
  • the imaging unit is installed at a position higher than the first space area represented in the first area and the second space area represented in the second area, (1) to (5), wherein the imaging direction of the imaging unit is installed in a direction inclined in the vertical direction with respect to the horizontal direction so that the region includes the first region and the second region.
  • the passing number counting device is installed at a position higher than the first space area represented in the first area and the second space area represented in the second area, (1) to (5), wherein the imaging direction of the imaging unit is installed in a direction inclined in the vertical direction with respect to the horizontal direction so that the region includes the first region and the second region.
  • Another aspect of the present invention is a passing number counting method in a passing number counting device, in which first imaging images captured at different times by imaging units that capture images in a predetermined detection area are provided.
  • a third step of measuring the number of passing objects represented in the predetermined second area of the captured image, and a part or all of the first area and the second area At least one of a part or all is a passing number counting method characterized in that it is set in a peripheral region excluding a central region that is a region within a predetermined range from the center of the captured image.
  • Another aspect of the present invention is represented in a predetermined first area of captured images captured at different times by imaging units that capture images in a predetermined detection area on the computer of the passage number counting device.
  • a program for executing a third procedure for measuring the number of passing objects represented in a predetermined second area of the first area, part of the first area and a part of the second area Or at least one of all is a program set to the peripheral area
  • the computer of the passage number counting device is represented by a predetermined first region of captured images captured at different times by imaging units that capture images in a predetermined detection region.
  • a first procedure for detecting motion information related to the motion of the subject a second procedure for detecting specific direction motion information related to motion in a predetermined direction from the motion information, and the captured image using the specific direction motion information.
  • a program for executing a third procedure for measuring the number of passing objects represented in a predetermined second area of the first area, part of the first area and a part of the second area Alternatively, at least one of all is set in a peripheral area excluding a central area which is an area within a predetermined range from the center of the captured image, and can be read by a computer storing a program.
  • a Do storage medium a
  • the present invention it is possible to relax the restrictions on the installation of the imaging unit and to count the number of subjects passing through a predetermined area with high accuracy.
  • surface which shows the example of the relationship between the distance from an imaging part to a room occupant, and the movement amount from the center on a captured image to a room occupant. It is a figure which shows the example of 1 arrangement
  • FIG. 1 is a perspective view illustrating an arrangement example of the people counting device 10 according to the present embodiment.
  • the number counting device 10 includes a camera as an imaging unit 101 (described later), a processor (for example, a CPU: Central Processing Unit) as a processing unit that performs image processing on video captured by the camera, and an output that is obtained as a result of image processing.
  • a transmission unit that transmits data to the outside is included.
  • the X direction, the Y direction, and the Z direction are represented as upper right, lower, and right, respectively.
  • the X direction, the Y direction, and the Z direction are directions orthogonal to each other in a three-dimensional orthogonal coordinate system that represents a position in the real space including the imaging region of the camera.
  • this coordinate system may be referred to as a spatial coordinate system.
  • the room 11 has a rectangular parallelepiped shape.
  • the direction of each side of the room 11 is a direction parallel to the X direction, the Y direction, and the Z direction, respectively.
  • the X direction is parallel to the horizontal plane and parallel to one side of the room 11.
  • the Y direction is the vertical direction.
  • the Z direction is parallel to the horizontal plane and parallel to the other side of the room 11.
  • the X direction is the depth or depth direction
  • the negative direction of the X axis is the front or near side
  • the Y direction is downward or downward
  • the negative direction of the Y axis is upward or upward
  • the Z direction is right or right
  • Z The negative direction of the axis is sometimes called left or left.
  • a door 13 is installed on the right side as an entrance of the room 11, and a door 16 is installed on the left side.
  • Two person counting devices 10 are provided on the ceiling 18 of the room 11.
  • the people counting device 10-1 the one installed in the center of the ceiling 18 is the people counting device 10-1, the one closer to the right side than the center (close to the doorway of the door 13, etc. (Representing the position) is called a people counting device 10-2.
  • the people counting device 10 the image pickup unit 101, etc. without a child number.
  • the orientation of the imaging unit 101 of each of the people counting devices 10-1 and 10-2 is set so that the imaging direction is vertically downward (Y direction).
  • the imaging directions of the people counting devices 10-1 and 10-2 correspond to the directions of the respective optical axes 1011-1 and 1011-2.
  • an image showing the inside of the room 11 is taken.
  • the imaging surfaces on which the people counting devices 10-1 and 10-2 capture images are parallel to a two-dimensional plane perpendicular to the optical axes 1011-1 and 1011-2.
  • An image formed by imaging image light incident through the optical system on the imaging surface is captured as a captured image.
  • the imaging surface is a plane (XZ plane) parallel to the horizontal plane.
  • the number counting devices 10-1 and 10-2 may be configured as a dedicated number counting device alone, or may be formed as a part of a device whose main function is a function other than counting the number of people.
  • the people counting devices 10-1 and 10-2 may be configured to be incorporated in an electric device that does not necessarily count the number of people, such as a lighting device, a fire alarm, and an air conditioner.
  • the camera, the processor, and the transmission apparatus do not necessarily have to be formed as a single integrated structure (integrated), and all or part of them are individually installed as different structures (separate). Also good.
  • the person counting device 10-1 Since the person counting device 10-1 images the room from the ceiling 18 to the floor 17 which is higher than the standard height (for example, average height) of the person, the door 13 installed on the right side surface of the room 11 is used. It is possible to take an image of the occupant 14 who has opened the room and entered the room.
  • the person counting device 10-1 detects the presence / absence of the room occupant 14 and the exit of the room occupant 15 by performing processing to be described later on the captured image.
  • the optical axis 1011-1 when the optical axis 1011-1 is installed vertically downward, one of the horizontal angle of view and the vertical angle of view is taken so that as many portions as possible of the person entering the room 14 and the person leaving the room 15 are photographed. Or a camera with both wide is used.
  • the portion where the person 14 or the person 15 leaving the room is photographed is the whole body including at least the head, preferably the head and the torso.
  • An angle of view is an angle that represents the range of a scene to be shot. The angle of view is sometimes called a viewing angle.
  • the horizontal angle of view is the angle of view in the horizontal direction of the imaging plane of the camera, ie, the imaging coordinate system.
  • the vertical angle is the angle of view in the vertical direction of the imaging surface of the camera.
  • the diagonal field angle is a diagonal field angle of the imaging surface of the camera.
  • a field angle including a horizontal field angle, a vertical field angle, or a diagonal field angle may be simply referred to as a field angle.
  • the image pickup unit 101 included in the person counting device 10-1 is, for example, a wide-angle camera having a horizontal field angle centered on the optical axis of 60 degrees or more. If the height of the ceiling 18 from the floor 17 is sufficiently high, even if a camera having a standard horizontal angle of view (for example, less than 60 degrees of horizontal angle) is used, the entrance person 14 or the exit person 15 There is a possibility that the head and torso can be photographed. However, when the person counting device 10-1 is installed in a space with a limited height, for example, a ceiling 18 such as a train, a bus, or a subway station, the angle of view is sufficiently wide as the imaging unit 101. Use the camera.
  • the head and trunk of the person who enters the room 14 or the person 15 who leaves the room can be photographed.
  • a fisheye camera having a wider angle of view than a normal wide-angle camera (for example, a horizontal angle of view of 180 degrees).
  • the imaging unit 101 can capture the entire body of the person who enters the room 14 or the person 15 who leaves the room.
  • the image capturing unit 101 of the number counting device 10-1 can be imaged so that the whole body of persons entering and leaving the doors 13 and 16 can be captured in one room 11 without using the number counting device 10-2. A camera with a wide corner is used (selected).
  • an angle of view of the camera an angle is set such that at least the doors 13 and 16 that are entrances to the room 11 from the position of the person counting device 10-1 are included in the imaging region.
  • a case where a fish-eye camera is used as the camera of the person counting device 10 is mainly taken as an example.
  • FIG. 2 is a block diagram illustrating a configuration example of the people counting system 1 according to the present embodiment.
  • the people counting system 1 includes people counting devices 10-1 to 10-3, result totaling display devices 21 and 22, and a result storage DB (Database) 221.
  • the people counting devices 10-1 to 10-3 and the result totaling display devices 21 and 22 are connected to a network, and can transmit / receive various data to / from each other.
  • the person counting devices 10-1 to 10-3 have a common configuration and are installed in different rooms or positions.
  • the number-of-people counting devices 10-1 to 10-3 transmit result data indicating the number of people counted based on the captured images to the result totaling display devices 21 and 22, respectively.
  • the number counting devices 10-1 to 10-3 may acquire environment data indicating the respective environments and transmit the acquired environment data to the result totaling display devices 21 and 22. Specific examples of environmental data will be described later.
  • the people counting devices 10-1 to 10-3 may transmit video signals indicating captured images to the result totaling display devices 21 and 22.
  • the result totaling display devices 21 and 22 may display the video indicated by the video signals from the people counting devices 10-1 to 10-3 on a display unit (not shown).
  • the result totaling display devices 21 and 22 total the number of people for each room indicated by the result data received from the number of people counting devices 10-1 to 10-3, respectively, and represent the total result (for example, time change of the number of people for each room). Generate display data. Further, the person counting devices 10-1 to 10-3 detect the age, sex, height, color of clothes, etc. of the detected person as will be described later, and an ID (hereinafter referred to as an individual) assigned to each detected person. ID) and the number of persons indicated by the result data may be transmitted to the result aggregation display devices 21 and 22 as detection information.
  • the result aggregation display devices 21 and 22 include a data display control unit (not shown) that causes the display unit to display information indicated by the generated display data.
  • the display data includes information included in the detection information, for example, the number of people who have passed through the doorway, the number of people in the building or vehicle, and information on these measured people (age, gender, height, color of clothes, personal ID, etc.) Is displayed for each date, time, and season, and data for displaying the number of people at each time in a visually recognizable manner such as numerical values, graphs, and figures.
  • the data received from the people counting devices 10-1 to 10-3 may include environment data indicating the environment in the people counting devices 10-1 to 10-3 in addition to the result data.
  • the information indicated by the environmental data may include, for example, any one of the time when the video data is acquired, the acquisition location, the camera ID (Identifier), the weather, the temperature, the humidity, and the like, or a predetermined combination thereof.
  • the data processing unit (not shown) of the result totaling display device 22 may store the result data received for each person counting device, the number of people indicating the environmental data, and the video data in the result storage DB 221 in association with each other.
  • the data processing units of the result totaling display devices 21 and 22 may total the number of people indicated by the result data using the environmental data, and display information obtained by the totalization on the display unit.
  • the data processing unit for example, counts the number of people who have passed through the entrance as result data acquired by the person counting device 10 provided in the store or the like, and changes in the number of visitors per floor and hour, congestion The degree may be calculated.
  • the data processing unit may generate display data for displaying or illustrating the information obtained by calculation, or generating display data representing the number of visitors acquired in real time every predetermined time as the number of visitors. May be. These display data may be used when sequentially changing the arrangement of the store clerk in the store. For example, the manager visually recognizes the display related to the display data, and determines whether or not to move the store clerk from a corner with a relatively small number of visitors to a corner with a relatively large number of visitors.
  • the result aggregation display devices 21 and 22 may be configured with dedicated devices, or may be configured with general-purpose electronic devices such as personal computers, workstations, server devices, and tablet terminal devices.
  • the result totaling display devices 21 and 22 realize their functions by performing processing instructed by a command instructed by a predetermined control program. May be.
  • the result totaling display device 22 and the result accumulation DB 221 may be installed in the same building or facility as the people counting devices 10-1 to 10-3.
  • the result totaling display device 21 may be installed in a remote place that is spatially separated from at least any of the people counting devices 10-1 to 10-3.
  • the user of the result totaling display device 21 can grasp the number of people counted by the number of people counting devices 10-1 to 10-3 in the remote place.
  • the result aggregation display devices 21 and 22 may generate a result data inquiry signal in accordance with an operation from the user.
  • the result data inquiry signal is a signal for inquiring result data representing the number of people at the time indicated by the operation and the number of people.
  • the result totaling display devices 21 and 22 transmit the generated result data inquiry signal to the result accumulation DB 221.
  • the result accumulation DB 221 When the result accumulation DB 221 receives a result data inquiry signal from at least one of the result aggregation display devices 21 and 22, the result counting reference device indicated by the result data inquiry signal, the result data relating to time are stored in the storage unit ( Read from (not shown). The result accumulation DB 221 transmits the read result data to the number counting device that is the transmission source of the result data inquiry signal. The result aggregation display devices 21 and 22 display information indicated by the result data received from the result accumulation DB 221 on the display unit.
  • the result accumulation DB 221 includes a storage unit that accumulates the result data received from the people counting devices 10-1 to 10-3 by storing the result data for each of the people counting devices 10-1 to 10-3 every predetermined time. Prepare.
  • the result accumulation DB 221 is, for example, a relational database management device.
  • the network 41 can be configured to include various communication networks, for example, one of a local area network (LAN), a wide area network (WAN), or both. It is not limited. For example, if the result totaling display device 22 and the result accumulation DB 221 are in the same building or facility as the number counting devices 10-1 to 10-3, the result totaling display device 22, the result accumulation DB 221 and the number counting device 10-1 to 10-3 may be connected using a LAN. Further, even when the result totaling display device 21 is within a predetermined distance (for example, 20 m) from the building or facility, the result totaling display device 22, the result storage DB 221 and the number counting devices 10-1 to 10-3 And may be connected using a LAN.
  • the LAN may be a system defined by any communication standard, such as IEEE (Institut of Electrical and Electronics Engineers) 802.3, IEEE 802.11, IEEE 802.15.1, or the like.
  • the result totaling display devices 21 and 22 and the result storage DB 221 may be connected to the people counting devices 10-1 to 10-3 using a WAN.
  • the WAN may be a public communication network, the Internet, or a combination thereof.
  • the public communication network may be an optical line, a fixed network such as ADSL (Asymmetric Digital Subscriber Line), IMT-2000 (International Mobile Telecommunication 2000), or LTE-Advanced (Long Advanced Mobile) network.
  • ADSL Asymmetric Digital Subscriber Line
  • IMT-2000 International Mobile Telecommunication 2000
  • LTE-Advanced Long Advanced Mobile
  • the result data and video data from the person counting devices 10-1 to 10-3 installed in a plurality of different places are transmitted to the result totaling display devices 21 and 22 or the result storage DB 221 via the network 41. Is done.
  • the result totaling display devices 21 and 22 can totalize the result of counting people in the number counting devices 10-1 to 10-3 and display information obtained by the totalization on the display unit. For example, the number of visitors to a store or the like is tabulated according to environmental attributes such as hourly, dated, seasonal, yearly, and weather. Information obtained by the aggregation is displayed on the display unit. Therefore, the user is prompted to take an appropriate action according to the totaled information.
  • the aggregated information can be used in planning strategies for promoting sales in the store, such as the planning and display of the number of products and goods purchased by the store clerk who is the user, the arrangement of the store clerk, and the number of employees. .
  • the display unit connected to the result aggregation display devices 21 and 22 may be a single display, or another electronic device in which the display is incorporated, for example, a television receiver, a mobile phone (including a smartphone), a tablet terminal device, A personal computer may be used.
  • the wide-angle camera generally means a camera with a wide angle of view that can capture a wide range.
  • the wide-angle camera is, for example, a camera in which any one of a horizontal field angle, a vertical field angle, and a diagonal field angle is 60 ° or more.
  • Wide-angle cameras also include fish-eye cameras and ultra-wide-angle cameras.
  • a fish-eye camera is a camera that can shoot an image of the entire periphery (angle of view: 180 °) of the device itself.
  • An ultra-wide-angle camera is a camera with an angle of view exceeding 180 ° (for example, an angle of view of 200 °).
  • a noticeable distortion is generally generated in a peripheral region rather than a region near the center.
  • the distortion is classified into the following two types depending on the factor. One is distortion due to a change in the positional relationship between the wide-angle camera and the subject to be photographed, and the other is distortion due to the lens projection method of the wide-angle camera.
  • the former distortion is placed at a position facing the wide-angle camera, and even if it is a planar subject facing the wide-angle camera, the position represented on the captured image, which is an image obtained by capturing the image of the subject, is This is distortion caused by moving away from the center point corresponding to the optical center. Due to this distortion, the resolution in the peripheral region is lower than the region near the center of the captured image. This distortion occurs regardless of the projection method of the lens of the wide-angle camera.
  • the latter distortion depends on the projection method.
  • Projection methods employed in camera optical systems include, for example, equidistant projection methods and equisolid angle projection methods.
  • the equidistant projection method is a projection method in which image light from a subject is projected onto an imaging surface so that the distance from the center of the screen to the subject is proportional to the angle of the video representing the subject.
  • the equisolid angle projection method is a projection method in which image light from a subject is projected onto an imaging surface so that the area of a video representing the subject is proportional to the solid angle.
  • FIG. 3 to 5 are diagrams for explaining the distortion of the captured image.
  • a situation is shown in which a room occupant 14 enters the room 11 from the door 13 in the traveling direction 301 to the left as the entrance.
  • a wide-angle camera having an angle of view of 180 degrees is installed as the imaging unit 101 of the people counting device 10-1.
  • the imaging direction of the wide-angle camera that is, the direction of the optical axis 1011 is a vertically downward direction from the ceiling 18 to the floor 17.
  • FIG. 4 is a side view of the room 11 shown in FIG.
  • the side surface direction 302 is a depth direction.
  • the occupant 14 enters the room 11 through the door 13 and walks at a constant speed.
  • the optical axis 1011 of the imaging unit 101 and the occupant 14 The head center points 303 intersect.
  • the person count processing unit 102 (described later) of the person counting device 10 determines, for example, that a state where the head center point 303 passes through a predetermined count area within a predetermined range with reference to the position of the entrance is entrance.
  • FIG. 5 is a diagram illustrating an example of a captured image obtained by capturing the situation of the room 11 illustrated in FIG.
  • the captured image is displayed in the visual field 309 centered on the video center point 311.
  • the shape of the visual field 309 is a circle, and the horizontal center line 307 and the horizontal direction of the imaging surface of the imaging unit 101 are parallel.
  • the vertical center line 308 and the vertical direction of the imaging surface of the imaging unit 101 are parallel.
  • the video center point 311 is a point where the horizontal center line 307 and the vertical center line 308 intersect.
  • An image center point 311 is a point through which the optical axis 1011 passes, and corresponds to an intersection of the optical axis 1011 and the imaging surface of the imaging unit 101.
  • an X direction and a Z direction are represented on the upper and right sides of the drawing, and indicate a vertical direction and a horizontal direction in a two-dimensional coordinate system representing positions in the captured image, respectively.
  • this two-dimensional coordinate system may be referred to as an image coordinate system.
  • the X direction and the Z direction shown in FIG. 5 correspond to the X direction and the Z direction in the spatial coordinate system.
  • the XZ plane is a plane parallel to the imaging surface of the camera.
  • the Y direction in the spatial coordinate system corresponds to the depth direction from the optical center of the imaging unit 101.
  • the X direction in the spatial coordinate system is vertical, upward or upward
  • the negative direction of the X axis is downward or downward
  • the Z direction is horizontal, right or right
  • the negative direction of the Z axis is left or left.
  • a symbol formed by combining ⁇ and ⁇ is a symbol indicating that the depth direction of the drawing is the Y direction.
  • the change in position on the captured image shown in FIG. 5 has a non-linear relationship with the change in position in the real space photographed by the imaging unit 101.
  • the distance from the imaging unit 101 to the head center point 303 of the occupant 14 increases as the distance from the imaging unit 101 increases.
  • the occupant area 310 is a rectangular area that circumscribes the area where the occupant 14 is represented. The area is quantified by the number of pixels included in the rectangular region. One side of the rectangle is parallel to the horizontal direction of the image, and the other side intersecting the one side is parallel to the vertical direction of the image.
  • T since the position of the room occupant 14 is closest to the imaging unit 101, the room occupant area 310 is the largest.
  • the captured images that make up the video imaged by the wide-angle camera can be roughly divided into two areas, a peripheral area and a central area.
  • pixel areas respectively indicated by the central area and the peripheral area of the captured image are set in advance.
  • image distortion is large in the peripheral area, and image distortion is small in the central area.
  • the central region and the peripheral region will be specifically described.
  • FIG. 7 is an example of a captured image obtained by imaging the interior of the room 11 with a wide-angle camera installed in the center of the ceiling 18 as the imaging unit 101 so that the imaging direction is vertically downward.
  • This captured image represents the situation when the occupant 14 shown in FIG. 3 passes through the door 13 before entering the room 11.
  • a vertically long rectangle shown in the vicinity of the left of the area where the occupant 14 is represented is a detection area 313.
  • the detection area 313 is an area set in advance so that the person counting apparatus 10 counts the number of persons using the captured image.
  • the detection region 313 has a rectangular shape, and the left side and the right side thereof are separated from the right side of the central region 315 by a predetermined distance and are in contact with the door 13 region. Is set to The length of the long side 314 of the detection region 313 is equal to the length corresponding to the width of the door 13, and the length of the short side is shorter than the length corresponding to the width of the door 13.
  • the detection area 313 is an area in which an image of a three-dimensional space area equal to the width of the door 13 and within a predetermined distance from the door 13 in the internal space of the room 11. This space region is a region through which a person 14 who enters the room 11 through the door 13 always passes.
  • the central area 315 is a square area whose center is arranged at the video center point 311.
  • the length of one side of the central region 315 is equal to the length of the long side 314.
  • the peripheral area 316 is an area excluding the central area 315 in the visual field 309. In the peripheral area 316, the moving speed on the image of the room occupant 14 traveling more slowly than the central area 315 is slower.
  • the image of the occupant 14 who has passed through the detection region 313 set in the peripheral region 316 has a small deformation amount and a small amount of change in area due to image distortion caused by the wide-angle camera, and the moving speed on the image is that of the central region 315. Slower than the case.
  • providing and detecting the detection area 313 on the peripheral area 316 reduces the probability of failing to capture the image of the person 14 in comparison with the case where the detection area 313 is provided and detected in the central area 315. 14 entrances can be detected stably. Furthermore, since the moving speed of the occupant 14 detected in the detection area 313 provided on the peripheral area 316 is slow, the frame rate of the video to be taken can be reduced. Therefore, it is possible to reduce the clock and memory amount of the processor that performs video processing. Thereby, the power consumption and the heat generation amount of the person counting device 10 can be reduced, and the cost (cost) can be reduced.
  • FIG. 8A corresponds to the distance D (mm) from the optical axis 1011 of the imaging unit 101 to the head center point 303 in the room 11 and the distance from the image center point 311 to the head center point 303 in the captured image.
  • FIG. 8A shows that the amount of movement P increases as the distance D from the imaging unit 101 to the head center point 303 increases.
  • the increase rate of the movement amount P with respect to the increase in the distance D decreases as the distance D increases and gradually approaches 0.
  • the distance D increases from 100 mm to 200 mm
  • the moving amount P increases from 17 pixels to 16 pixels to 33 pixels.
  • the movement amount P increases by 3 pixels from 121 pixels to 124 pixels. This indicates that, due to the influence of the distortion of the imaging unit 101, the change in the movement amount P with respect to the change becomes smaller as the distance D becomes larger.
  • the change rate of the predetermined movement amount P is, for example, a change in the movement amount P due to a movement of 100 mm is 3 pixels or less.
  • the area may be set as the peripheral area 316, and the area exceeding 3 pixels may be set as the central area 315.
  • the movement amount shown in FIG. 8B is the movement amount P (from the image center point 311 to the head center point 303 calculated for the image obtained by down-sampling the image captured by the imaging unit 101 under the situation shown in FIG. Number of pixels). Also in this example, the increasing rate of the movement amount P with respect to the increase in the distance D becomes smaller as the distance D increases and gradually approaches 0. Considering that a typical pedestrian speed is 1300 mm to 1500 mm per second, a difference in movement amount corresponding to the difference in distance D due to the speed difference of 200 mm in T (for example, 1.0) seconds is a predetermined movement amount.
  • An area that is equal to or smaller than the difference may be set as the peripheral area 316, and an area that exceeds one pixel may be set as the central area 315.
  • the central region 315 and the peripheral region 316 are not limited to those described above.
  • the peripheral region 316 may be any region that can suppress changes in display position due to individual differences in walking speed and differences in position.
  • the threshold value of the movement amount P that gives the boundary between the central region 315 and the peripheral region 316 may be 2 pixels or 4 pixels.
  • the shape of the central region 315 is not limited to a square, and may be a shape having symmetry with respect to the center of gravity or a straight line passing through the center of gravity, such as a circle or a polygon, that is, a regular triangle or a regular pentagon.
  • FIG. 9A is an isometric solid projection view of the inside of the room 11 shown in FIG. 1 viewed in the Y direction (vertically downward).
  • the person counting device 10-1 is omitted, and the occupant 14 who has entered the room through the door 13 passes through the vertically lower side of the person counting device 10-2.
  • the count area 321 ′ is a three-dimensional area in spatial coordinates virtually set vertically below the person counting device 10-2 in order to detect and count the room occupant 14 entering the room.
  • the count area 321 ′ is disposed within a predetermined range from the door 13 in the room 11, has a predetermined width on the left side, and is an XY plane formed by the width in the X direction and the width (height) in the Y direction.
  • the region is a region including an XY plane region formed by the width of the door 13 in the X direction and the width (height) in the Y direction.
  • the person counting device 10-2 detects that the room occupant 14 passes through the count area 321 ′ based on the captured image, and counts the number of persons in the room 11 by increasing the number of persons by one for each passage.
  • FIG. 9B shows an example of a captured image acquired by the person counting device 10-2.
  • FIG. 9B is a captured image that is captured when the person 14 enters the room through the door 13 and passes through the count area 321 ′, as shown in FIG. 9A.
  • the captured image is represented in the field of view 309. Since the count area 321 ′ is set vertically below the number counting device 10-2, the video of the occupant 14 and the video of the count area 321 ′ are displayed in the central area 315a of the captured image shown in FIG. 9B.
  • the count area 321 that is the area is included.
  • the central area 315a is a circular area in the captured image set by any of the methods described with reference to FIG.
  • a region excluding the region of the central region 315a is the peripheral region 316a.
  • the count area 321 is set in the central area 315a by projecting the count area 321 'shown in FIG. 9A onto the captured image.
  • FIG. 9B shows an example in which the image of the room occupant 14 entering the room 13 through the door 13 represented in the peripheral area 316a passes through the count area 321 ′ and then enters the peripheral area 316a again. Show. In this case, the area of the image representing the occupant 14 in the captured image passes through the central area 315a.
  • the moving speed on the video changes. Specifically, the moving speed on the video increases as the video approaches the central area 315a and decreases as the video moves away from the central area 315a. Furthermore, the size (area) of the image representing the body (for example, the head) of the occupant 14 also changes on the captured image due to the distortion of the lens. Specifically, the size of the video increases as it approaches the central region 315a and decreases as it moves away from the central region 315a.
  • the area of the region representing the body of the occupant 14 on the captured image and the amount of change in the area change depending on the height of the occupant 14, the area of the region representing the body of the occupant 14 on the captured image and the amount of change in the area change. Assuming a case where the number of people is counted based on the area of the count area 321 where the video of the occupant 14 moved (for example, the motion detection result) (described later), the time for detecting the passage of the count area 321, etc. The setting of various parameters becomes complicated, and it is difficult to determine the optimum value. This can cause a decrease in the counting accuracy of the number of people passing through the counting area 321.
  • the moving speed of the room occupant 14 is constant, the movement speed on the video of the room occupant 14 in the captured image changes, and the dependency due to the height of the room occupant 14 is to determine the passage of the count area 321.
  • Setting of the threshold value of the passage time becomes complicated, and it is difficult to determine the optimum value. This can also cause a decrease in the counting accuracy of the number of people passing through the count area 321.
  • the height of the occupant 14 is calculated by analyzing a captured image obtained by capturing the height with a depth camera, and control is performed to determine a passage time threshold according to the calculated height. It is also possible. In this case, the processing becomes complicated and the processing amount increases.
  • FIG. 10A is an isometric solid projection view obtained by viewing the inside of the room 11 shown in FIG. 1 in the vertical direction.
  • the example shown in FIG. 10A also shows a state in which the occupant 14 enters the room through the door 13 and passes through the count area 401 ′ set in the vicinity of the door 13.
  • the count area 401 ′ is a three-dimensional area that is arranged at the same position as the count area 321 ′ shown in FIG. 9A and has the same shape.
  • the count area 401 ′ is also an area for counting the number of people entering the room 14.
  • the number-of-people counting apparatus 10-1 measures the number of people who have passed by incrementing the number of people by one each time the occupant 14 detects passage of the count area 401 'based on the photographed image.
  • the number counting device 10-1 is installed in the center of the ceiling 18 and the position of the number counting device 10-1 in the three-dimensional space is outside the range of the space that occupies the upper portion of the counting area 401 ′. This is different from the example shown in FIG.
  • FIG. 10B is an example of a captured image captured by the imaging unit 101 of the people counting device 10-1.
  • the captured image shows a situation in which a person 14 who has entered the room 11 through the door 13 has entered the room 11 and the person 14 has passed through the count area 401.
  • the central region 315a and the peripheral region 316a are set similarly to the example shown in FIG. 9B.
  • a count area 401 in FIG. 10B is a two-dimensional area in which the count area 401 ′ illustrated in FIG. 10A is represented in the captured image.
  • the count area 401 ′ is set in the vicinity of the door 13 away from the person counting device 10-1 in the XZ plane, the area of the image of the occupant 14 and the count area 401 are included in the peripheral area 316a of the captured image.
  • the occupant 14 entering the room from the doorway represented by the peripheral area 316a passes through the count area 401, then passes through the area represented by the central area 315a, and proceeds to the area represented by the peripheral area 316a. Assume a case.
  • the imaging unit 101 in the people counting device 10-1 When a camera equipped with a fisheye lens is used as the imaging unit 101 in the people counting device 10-1, even if the moving speed of the occupant 14 changes slightly, the occupant 14 in the captured image in the peripheral region 316a is caused by lens distortion. The rate of change in the amount of movement on the image becomes substantially constant. That is, the moving speed of the room occupant 14 on the captured image is almost constant. Also, the size (area) of the image representing the body (for example, the head) of the room occupant 14 is substantially constant and does not change significantly in the peripheral region 316a.
  • a certain parameter is used as a parameter for detecting the passage through the count area 401. It is acceptable. This is because the area of the image of the occupant 14 in the count area 401 and the amount of change in the area do not change significantly.
  • the parameters to be set more appropriate parameters can be easily set, so that the counting accuracy of the number of people passing through the count area 401 can be improved.
  • the moving speed of the room occupant 14 is constant, the moving speed of the video of the room occupant 14 on the captured image does not change significantly, so that the passage time threshold for determining passage through the count area 401 is constant.
  • a value can be used. Therefore, it is possible to easily set a more appropriate threshold value for the passage time.
  • the resolution is lower than that in the central region 315a. Therefore, even when the movement speed of the room occupant 14 changes, the movement speed on the video of the room occupant 14 shown in the captured image is substantially constant.
  • the size (area) on the video of the room occupant 14 can also be made substantially constant in the peripheral region 316a due to the decrease in resolution. From the above, since a constant set value can be used as a time parameter for determining passage through the count area 401, optimal parameter setting can be easily performed. Therefore, the counting accuracy of the number of people passing through the count area 401 can be improved.
  • FIG. 11 is a diagram illustrating another example of a captured image captured by the imaging unit 101 of the people counting device 10-1.
  • FIG. 11 shows a situation in which a person 14 enters the room 11 through the door 13 and a person 15 leaves the room 11 through the door 13 to leave the room.
  • the count area 401 (the hatched area in the figure)
  • the entrance movement detection area 501 (the dashed rectangular area in the figure)
  • the exit movement detection area 502 the solid line in the figure) (Rectangular area) is set.
  • the room movement detection area 501 and the room movement detection area 502 are areas for detecting the movements of the room entry person 14 and the room exit person 15, respectively.
  • the count area 401 is an area in which the number of people entering and leaving the room is counted based on the movements of the person 14 and the person 15 who have left the room as described above by the passing person counting unit 1025 (described later) of the person counting device 10-1.
  • the count area 401 is an area where the room movement detection area 501 and the room movement detection area 502 overlap.
  • the motion detection unit 1021 (described later) of the person counting device 10-1 performs the movement of the image of the person 14 included in the room movement detection area 501 and the movement of the room person 15 included in the room movement detection area 502 prior to the person counting process. Detect one or both of the image motions.
  • the motion detection unit 1021 of the number counting device 10-1 counts the number of people entering the room 14 and the number 15 of people leaving the room based on the detected video in the count area 401.
  • entry and exit may be collectively referred to as entry and exit.
  • the entrance movement detection area 501 and the exit movement detection area 502 are obtained by projecting a first area 501 ′ and a second area 502 ′ (not shown), which are three-dimensional areas set in the room 11, onto a captured image. Is a two-dimensional region.
  • the entrance movement detection area 501 and the exit movement detection area 502 are each rectangular, and are in positions shifted in the horizontal direction of the captured image so as to overlap by the horizontal width of the count area 401.
  • the lengths in the horizontal direction of the room movement detection area 501 and the room movement detection area 502 are the lengths corresponding to the distances that the image of the person entering the room 14 and the image of the person leaving the room 15 travel within the time required for detecting the movement. It is.
  • the length of the side in the vertical direction is a length corresponding to the width of the door 13 represented on the captured image.
  • FIG. 12 is a diagram for explaining the entrance / exit motion detection processing according to the present embodiment.
  • FIG. 12 is an enlarged view including all of the room movement detection area 501, the room movement detection area 502, and the count area 401 shown in FIG. 11.
  • the motion detection unit 1021 performs motion detection by pattern matching using the images at the respective times constituting the images represented in the entrance motion detection area 501 and the exit motion detection area 502.
  • the motion detection unit 1021 refers to a preset reference with respect to the images at the respective times constituting the images represented in the entrance motion detection area 501 and the exit motion detection area 502, respectively. Perform pattern matching with patterns.
  • the motion detection unit 1021 detects an image of a person corresponding to a portion that matches or is similar to the reference pattern from each of the entrance motion detection region 501 and the exit motion detection region 502 included in the image at each time by pattern matching. Then, the motion detection unit 1021 detects the motion of the person's image detected from each of the entrance motion detection area 501 and the exit motion detection area 502 at each time, and generates motion information indicating the detected motion.
  • the motion detection unit 1021 indicates an index indicating the degree of similarity between a reference pattern in which representative points are arranged within a predetermined range of the room movement detection area 501 and the room movement detection area 502 at each time and each area of the captured image. A value is calculated, and the index value is more similar as the value is smaller.
  • the motion detection unit 1021 selects an index value indicating the most similarity among the index values calculated for each of the representative points arranged in the predetermined range.
  • the motion detection unit 1021 determines that a person can be detected when the selected index value is equal to or less than a predetermined index value threshold. In that case, the motion detection unit 1021 specifies the coordinates of the representative point related to the selected index value.
  • the motion detection unit 1021 determines that a person has not been detected when the selected index value is greater than a predetermined index value threshold.
  • the motion detection unit 1021 performs motion detection (described later) by optical flow, for example, when detecting motion.
  • the motion detection unit 1021 may sequentially generate a locus of a moving person by integrating the detected person images with the positions sequentially shifted in the movement direction by the detected movement amount.
  • a locus means a set of areas occupied by a subject that changes with movement.
  • the trajectory is represented, for example, by a set of coordinates in the area occupied by the subject at each frame time. Further, the trajectory means a route representing the movement of the subject.
  • the trajectory is represented by a time series of coordinates for each time of a representative point (for example, the center of gravity) of a certain region.
  • the certain area may be each macro block (described later) included in the detected person image, or may be the entire area in which the person image is represented.
  • a situation is shown in which the room entry person 14 and the room exit person 15 are traveling at a constant speed at each time t in the space represented by the room entry movement detection area 501 and the room exit movement detection area 502.
  • the room entry reference pattern and the room exit reference pattern are reference patterns configured to include two-dimensional coordinate values representing movements that enter and exit the room, respectively.
  • the coordinate value indicates the time series of the coordinates of the trajectory, for example, the coordinates of the representative point of the reference pattern for each frame time.
  • the Z coordinate value at each time indicating the trajectory included in the entry reference pattern decreases with time.
  • the Z coordinate value at each time indicating the trajectory included in the leaving reference pattern increases with time.
  • the Z coordinate value means a coordinate value in the Z direction.
  • the human motion is a constant linear motion, for example, instead of or along with the coordinates of the trajectory, for example, a set of the change amount of the Z coordinate value per unit time and the initial value of the coordinates of the representative point is It may be included in the entry reference pattern and the exit reference pattern.
  • a plurality of entry reference patterns and exit reference patterns may be set. For example, one or both of the moving speed and the position of the representative point of the reference pattern are different between the plurality of entrance reference patterns or the exit reference patterns.
  • the specific direction motion information detection unit 1023 of the person counting device 10-1 selects, for example, an entrance reference pattern or an exit reference pattern indicating a trajectory that matches or is most similar to the time series of the motion of the person's image indicated by the motion information.
  • the specific direction motion information detection unit 1023 moves based on, for example, a trajectory of an image that moves on a trajectory indicated by a preset entry reference pattern and an exit reference pattern, and the motion detected from the captured image by the motion detection unit 1021. Pattern matching with the trajectory of the image of the person who performs.
  • the specific direction movement information detection unit 1023 selects an entry reference pattern and an exit reference pattern that represent the locus most similar to the person's movement represented by the captured image.
  • the specific direction motion information detection unit 1023 can use, for example, any of SAD (Sum of Absolute Differences), SSD (Sum of Squared Differences), and the like as an index value. SAD and SSD are both index values indicating that the smaller the value, the higher the similarity. Then, the specific direction motion information detection unit 1023 selects an entry reference pattern and an exit reference pattern with the smallest index value calculated for each reference pattern. The specific direction motion information detection unit 1023 forms a trajectory using the selected entry reference pattern and exit reference pattern. One captured image may include a trajectory indicating the movements of a plurality of people. The trajectory group obtained by the selected entry / exit reference pattern may be used for the process of counting the number of people entering / exiting the count area 401 (described later).
  • SAD Sud of Absolute Differences
  • SSD Sud of Squared Differences
  • FIG. 13 is a diagram showing a process of counting the number of occupants according to the present embodiment. For example, one of the following two types (1) and (2) may be executed as the counting process for the occupants.
  • the counting method (1) is a method of counting the number of people entering the room using the area based on the locus obtained by the above-described room movement detection process.
  • the passing person counting unit 1025 obtains the ratio of the area belonging to the count area 401 in the area of the image of the room occupant 14 corresponding to the trajectory obtained by the entry reference pattern in the count area 401 every time t.
  • the number-of-people counting device 10-1 determines that the number of in-room visitors 14 is counted when a period in which the ratio at each time t takes a value equal to or greater than a predetermined ratio continues for a predetermined number of frames.
  • the predetermined ratio is a ratio at which most is determined to belong to the count area 401, for example, any one of 0.5 to 0.8.
  • the person counting device 10-1 increases the number of persons in the room 11 by one. In this period, one or more people 14 pass through the space corresponding to the count area 401.
  • the area represented by filling represents the area occupied by the image of the room occupant 14 monitored at time T ⁇ 1 in the count area 401.
  • the ratio of the area of this area to the area of the count area 401 is used to determine whether or not to count the room occupants 14.
  • the number-of-persons counting apparatus 10-1 can count the number of people leaving the room by executing the above-described processing on the locus based on the leaving reference pattern instead of the locus obtained by the entering reference pattern.
  • the area of the count area 401 is the area of the image representing the person 14 who has entered the room or the person 15 who has left the room, specifically, circumscribing the image. It needs to be larger than the rectangular area. For this reason, when the distance from the imaging unit 101 of the person counting device 10-1 to the person who is the subject is large, the area occupied by the human image in the captured image is too large. May not be detected accurately.
  • the counting method (2) is a method of counting the number of people entering the room using the center of gravity of the trajectory group obtained by the pattern matching regardless of the area of the count area 401.
  • a line in contact with the entrance movement detection area 501 or the exit movement detection area 502, which is the outer edge of the count area 401 in the positive or negative Z axis, is set as a boundary line.
  • a boundary line where the count area 401 circumscribes the exit movement detection area 502 is set as the entrance determination boundary line 511 in advance.
  • the passing person counting unit 1025 calculates the center of gravity of the image of the room occupant 14 corresponding to the trajectory obtained by the room entry reference pattern, and when the calculated center of gravity exceeds the room entry determination boundary line 511, the number of persons in the room 11 is increased by one. Thus, the number of people 14 entering the room is counted. Further, as illustrated in FIG. 13, in the passing person counting unit 1025, a line that circumscribes the count area 401 to the entry movement detection area 501 is set in advance as an exit determination boundary line 512.
  • the passing person counting unit 1025 calculates the center of gravity of the image of the person leaving the room 15 corresponding to the trajectory obtained by the room leaving reference pattern, and when the calculated center of gravity exceeds the leaving room determination boundary line 512, the number of persons in the room 11 is decreased by one. Thus, the number of people leaving the room 15 is counted.
  • the motion detection unit 1021 obtains a trajectory group indicating the movement of the room occupant's video. Any technique may be used as long as it is a technique that can be used. Other methods include, for example, tracking using optical flow or machine learning.
  • the count area 401 needs to have a size for accommodating at least the area indicated by the video representing the human torso. The time required to detect the passage of a person's video in the count area 401 depends on the sampling rate for the imaging unit 101 to capture the video. Therefore, the horizontal width of the count area 401, that is, the length in the horizontal direction, needs to be larger than the moving distance of an image that moves according to the moving speed of a typical person at least within the sampling period.
  • FIG. 14 is a block diagram showing the configuration of the people counting apparatus 10 according to the present embodiment.
  • the people counting device 10-1 includes an imaging unit 101, a people count processing unit 102, and a count result transmitting unit 103.
  • the number counting device 10-1 may be a separate body from the imaging unit 101 as long as it includes the number counting processing unit 102 and the counting result transmission unit 103.
  • the number counting system 1 shown in FIG. 14 includes n number counting devices 10-1 to 10-n (n is a predetermined integer of 1 or more).
  • the configuration of the people counting devices 10-2 to 10-n has the same configuration as that of the people counting device 10-1.
  • the people counting devices 10-1 to 10-n are each connected to the network 41 and can transmit and receive data to and from each other. Accordingly, each of the people counting devices 10-1 to 10-n shows an example of a configuration that can transmit result data indicating the counted number of people to a device connected to the network 41.
  • the imaging unit 101 generates a video signal representing a captured image, and outputs the generated video signal to the person count processing unit 102.
  • the imaging unit 101 is, for example, a camera that includes an optical system that includes a lens that focuses light incident from a subject on a focal point, and an imaging element that converts the collected light into an electrical signal.
  • the imaging device included in the imaging unit 101 is, for example, a CCD (Charge Coupled Device) element or a CMOS (Complementary Metal Oxide Semiconductor) element. It should be noted that any number of transmission methods may be used for input to the people count processing unit 102.
  • the person count processing unit 102 detects a movement of a region representing a human image based on the video signal input from the imaging unit 101, and detects a region where the detected movement moves in a specific movement direction.
  • the person count processing unit 102 counts the number of passing people when the area representing the detected person image passes through a predetermined count area.
  • the number of people processing unit 102 moves, for example, a region where the amount of motion indicated by the video signal is greater than a predetermined amount of motion for each partial region of the plurality of captured images, that is, a region where the captured image has changed. It is determined that the area represents a human image.
  • the number-of-people counting processing unit 102 detects a trajectory representing a person's movement by accumulating an area representing an image of a moving person within a predetermined time.
  • the person count processing unit 102 counts the number of passing people when an area representing a human image passes a predetermined area.
  • a movement in a specific movement direction for example, a direction perpendicular to a boundary line indicating an entrance / exit
  • the detected movement information is set to a predetermined count area.
  • the number of people passing is counted when detecting whether or not the vehicle has passed within the time range.
  • the person count processing unit 102 outputs detection information indicating the counted number of passing people to the count result transmitting unit 103.
  • the person count processing unit 102 detects the position of the person and the amount of movement based on the video signal input from the imaging unit 101, the gender and age of the person, identification of the individual, the direction in which the person is facing, the movement in the moving direction, An action such as a facial expression (including erecting, sitting, sleeping, watching a program, reading, etc.) may be detected, and detection information indicating a detection result may be output.
  • a facial expression including erecting, sitting, sleeping, watching a program, reading, etc.
  • the count result transmission unit 103 transmits the detection information input from the people count processing unit 102 to the devices connected to the network 41 as output information from the people counting device 10.
  • the destination device is, for example, the result aggregation display devices 21 and 22 (FIG. 2).
  • the network 41 transmits various data between devices.
  • the network 41 may be any one of LAN (Local Area Network), WAN (Wide Area Network), serial communication architecture, or any combination thereof.
  • the network 41 may be wired, wireless, or a combination thereof.
  • FIG. 15 is a schematic diagram illustrating a configuration of the people count processing unit 102 according to the present embodiment.
  • the person count processing unit 102 includes a motion detection unit 1021, an image memory 1022, a specific direction motion information detection unit 1023, a motion information memory 1024, and a passing number counting unit 1025.
  • the motion detection unit 1021 receives a human signal from a video signal (current image) indicating an image of a frame at that time input from the imaging unit 101 and a video signal (past image) of a past frame stored in the image memory 1022. Motion information representing motion is detected. As one method for detecting motion information, motion detection by optical flow will be described.
  • the motion detection unit 1021 detects motion information based on the images displayed in the entrance motion detection region 501 and the exit motion detection region 502 (FIGS. 11 and 12).
  • the motion detection unit 1021 may detect motion information by performing motion detection using an optical flow.
  • the motion detection unit 1021 performs block matching between the current image and the past image for each detection region. More specifically, the motion detection unit 1021 uses the second macroblock representing an image in an area that matches or most closely matches an image in the first macroblock set in each detection area of the past image in block matching. Is searched from the corresponding detection area of the current image.
  • the macroblock is a small area that is a part of each detection area.
  • the number of pixels in the vertical and horizontal directions included in the macroblock is, for example, 8 ⁇ 8 or 16 ⁇ 16.
  • the index value indicating the similarity for example, the above-described SAD, SSD, and the like can be used.
  • SAD is a total value (sum of absolute values) obtained by summing absolute values of pixel value differences for each corresponding pixel between two macroblocks between the pixels in the macroblock.
  • the SSD is a total value (sum of squares) obtained by summing square values of pixel value differences for each corresponding pixel between two macroblocks between the pixels in the macroblock.
  • SAD and SSD are both index values indicating that the smaller the value, the more similar.
  • the motion detection unit 1021 shifts the position of the macroblock in each detection region of the current image, for example, one pixel at a time in the horizontal direction or the vertical direction. Calculate the value.
  • the motion detection unit 1021 determines a macroblock of the current image that has the smallest index value and is smaller than a predetermined index value threshold as a region that is the closest or the most approximate. For each macroblock that can be set in each detection area of the past image, the motion detection unit 1021 determines the coordinates from the coordinates of the representative point (for example, the center of gravity) to the coordinates of the searched macroblock of the current image.
  • the motion information indicating the movement amount and the movement direction is output to the specific direction motion information detection unit 1023, and the motion information is stored in the motion information memory 1024.
  • the movement amount and the movement direction may be referred to as a movement amount and a movement direction, respectively.
  • the motion detection unit 1021 may perform motion detection by face or person detection and tracking instead of motion detection by optical flow.
  • the motion detection unit 1021 detects a region where a human face is represented from the current image and the past image, the two-dimensional coordinates of the representative point (for example, the center of gravity) in the detected region, the upper end of the region, Two-dimensional face area information representing the two-dimensional coordinates of the lower end, the left end, and the right end may be generated.
  • the motion detection unit 1021 extracts, for example, pixels in a range of color signal values representing a preset face color (for example, skin color) from the video signal of the input current image. May be.
  • the motion detection unit 1021 may store an image signal of a grayscale (monochrome) image representing a human face in the image memory 1022 in advance. Therefore, the motion detection unit 1021 calculates a correlation value between the image signal of the grayscale image read from the image memory 1022 and the current image indicated by the input video signal for each image block, and the calculated correlation value is a predetermined threshold value. A larger image block area is detected as a face area. An image block is a partial area of an image of one frame.
  • the macro block described above is also a kind of image block.
  • the motion detection unit 1021 calculates a feature amount (for example, Haar-Like feature amount) based on an image indicated by the input video signal, and performs a predetermined process (for example, an Adaboost algorithm) on the calculated feature amount.
  • a person area may be detected.
  • the person area is an area in which a person's torso, head, or a combination thereof is represented.
  • the motion detection unit 1021 calculates a predetermined feature amount (for example, Histogram of Oriented Gradient feature amount) based on the input image, and performs a predetermined process (like the above-described face region detection).
  • a person's region may be detected by performing an Adaboost algorithm or a Support Vector Machine algorithm.
  • the method by which the motion detection unit 1021 detects the face or person region is not limited to the above-described method, and any method may be used as long as it detects the face or person region from the input video signal.
  • the motion detection unit 1021 calculates a predetermined feature amount for the image indicated by the video signal, and identifies the related information by performing the above-described processing on the calculated feature amount in parallel with the detection of the face region described above. May be. Identification data used for identification of related information by the above-described processing and identification data used for detection of a face area are stored in the image memory 1022 in advance.
  • the motion detection unit 1021 may calculate a predetermined feature amount from a face image of a specific person in advance, and store the calculated predetermined feature amount in the image memory 1022. Then, the motion detection unit 1021 performs the above-described processing to collate the feature amount calculated for the current image indicated by the input video signal with the feature amount stored in the image memory 1022, thereby representing the current image. You may make it identify which registrant's face image a face image is.
  • the motion detection unit 1021 is a predetermined or similar predetermined one from the face area or the person area represented by the current image indicated by the video signal input from the imaging unit 101 and the past image indicated by the video signal read from the image memory 1022. Track your face or person. When the same or similar face or person is found, the motion detection unit 1021 outputs motion information indicating the amount and direction of movement of the face region or the person region to the specific direction motion information detection unit 1023, and the motion information Store in memory 1024.
  • the image memory 1022 includes a storage medium or a storage area that sequentially stores video signals (current images) input from the imaging unit 101 in units of frames.
  • the number of image frames stored in the image memory 1022 is a predetermined number of frames sufficient for motion detection.
  • the image memory 1022 stores an image of a predetermined number of frames, and an image of a frame requested from the motion detection unit 1021 is read to the motion detection unit 1021. For example, when the frame rate of the video signal is 30 fps (frames per second), the predetermined number of frames is 30 frames corresponding to one second.
  • the image read out by the motion detection unit 1021 may be an image of an arbitrary frame designated by the motion detection unit 1021, or m frames (m is 1 from the image of the frame of the video signal input from the imaging unit 101. It may be an image of a delayed frame (an integer indicating the preset number of frames).
  • the image memory 1022 outputs a past frame image (past image) requested from the motion detection unit 1021 or a past image delayed by n frames from the current image to the motion detection unit 1021.
  • the specific direction motion information detection unit 1023 includes motion information that matches or approximates a predetermined motion direction from the current motion information input from the motion detection unit 1021 and past motion information read from the motion information memory 1024. To detect.
  • the current motion information means the latest motion information input at that time.
  • the past motion information is motion information acquired in the past from the time when the latest motion information is input.
  • the specific direction motion information detection unit 1023 outputs the detected motion information to the passing number counting unit 1025 as specific direction motion information.
  • the specific direction motion information detection unit 1023 indicates a pair of motion direction and motion amount that matches or most closely matches a predetermined pair of motion direction and motion amount from at least one past motion information stored in the motion information memory 1024. Search for motion information.
  • the specific direction motion information detection unit 1023 outputs the motion information as specific direction motion information to the passing person count unit 1025 when motion information indicating a pair of motion direction and motion amount that matches or approximates most is present in the current motion information. To do.
  • the predetermined direction of movement is, for example, a direction orthogonal to the area of the door 13 that is an indoor entrance. This direction coincides with or approximates the direction in which a person enters and leaves the entrance. Therefore, the specific direction motion information detection unit 1023 can extract the motion of the person entering and leaving the room using the motion information as a clue, and can exclude other people's motion. Other people's movements include, for example, movement in a direction parallel to the door surface of the doorway, movement through the front of the doorway, movement of people who do not enter or leave the room, state of being stopped near the doorway, etc. Is included. Thereby, since the specific direction movement information representing the movement of the person entering and leaving the room is provided to the passing person counting unit 1025, the processing amount in the passing person counting unit 1025 can be reduced, and the counting accuracy of the person can be improved. .
  • the specific direction motion information detection unit 1023 can extract motion information related to a motion direction that matches or approximates the direction.
  • the motion information memory 1024 sequentially stores the current motion information input from the motion detection unit 1021.
  • the motion information memory 1024 stores motion information for l frames (l is a predetermined integer equal to or greater than 1). Then, the past motion information requested from the specific direction motion information detection unit 1023 is searched, and the searched past motion information is output to the specific direction motion information detection unit 1023.
  • the past motion information output from the motion information memory 1024 is not limited to the motion information at the time requested from the specific direction motion information detection unit 1023.
  • the motion information memory 1024 may output the motion information as past motion information with a predetermined delay from the time when the current motion information is input in the order of the time when the motion information is stored.
  • the passing number counting unit 1025 Based on the specific direction motion information input from the specific direction motion information detection unit 1023, the passing number counting unit 1025 indicates the number of people who have passed in a predetermined count area (for example, the count area 401 shown in FIGS. 11 and 12). This is a counting unit for counting people.
  • the passing number counting unit 1025 counts the number of persons in the counting area 401 when determining that a person has passed within a period shorter than a predetermined time ⁇ based on the specific direction movement information.
  • the passing number counting unit 1025 increments the counted number by 1, and outputs detection information including the counted number as a counting result to the counting result transmission unit 103.
  • the number of persons is not changed. This is because such specific direction movement information represents a state in which a person stops in the count area 401 and does not represent an action in which a person enters or leaves the room.
  • the timing at which the passing person counting unit 1025 outputs the detection information is, for example, when the counted number of people changes.
  • the passing number counting unit 1025 When two pieces of specific direction motion information are detected in the same direction in the count area 401, the passing number counting unit 1025 increases the number of people by two and outputs the counted number of people. Similarly, when k pieces of specific direction motion information are detected in the same direction, the passing number counting unit 1025 increases the number of people by k and outputs the counted number of people.
  • the passing person counting unit 1025 may independently count the number of people who enter the room and the number of people who leave the room, and may output detection information including the number of people as a count result to the count result transmission unit 103.
  • FIG. 16 is a flowchart showing the person counting process according to the present embodiment.
  • the imaging unit 101 is installed in advance so that the optical axis is vertically downward.
  • the imaging unit 101 captures a video and outputs a video signal indicating the current image to the motion detection unit 1021 as a captured image at that time.
  • it progresses to step S101.
  • Step S101 The imaging unit 101 stores a video signal indicating a current image in the image memory 1022, and the image memory 1022 outputs a video signal indicating a past image stored in the past to the motion detection unit 1021. Thereafter, the process proceeds to step S102.
  • the motion detection unit 1021 detects a motion region from the current image indicated by the video signal input from the imaging unit 101 and the past image indicated by the video signal from the image memory 1022.
  • the past image may include captured images of a plurality of frames having different shooting times.
  • the motion region is a region where the pixel value changes as the pixel value for each pixel included in the region moves in the vertical direction or the horizontal direction on the captured image.
  • the motion detection unit 1021 calculates the movement amount and the movement direction.
  • the movement amount and the movement direction are represented by movement vectors.
  • the motion detection unit 1021 detects a motion region, for example, a region in which an arbitrary region on the current image matches or resembles the distribution of pixel values in each region on the past image is subjected to block matching from the current image. Go and search.
  • the motion detection unit 1021 may calculate the movement amount, the movement direction, and the movement vector by calculating the coordinates of the area on the past image that matches the area on the current image.
  • the motion detection unit 1021 may detect face area information or person area information from the current image, and track the detected face area information or person area information between a plurality of frames.
  • the motion detection unit 1021 may calculate the movement amount, the movement coordinates, and the movement vector as current motion information by tracking, and may output the calculated current motion information.
  • the motion detection unit 1021 detects a human face area from the current image indicated by the video signal input from the imaging unit 101, and the position, orientation, facial expression, age, sex, etc. of the human face from the detected face area. Any one or a combination thereof may be recognized, and the recognized information may be included in the current motion information and output.
  • the motion detection unit 1021 outputs the calculated current motion information to the specific direction motion information detection unit 1023 and the motion information memory 1024. Thereafter, the process proceeds to step S103.
  • Step S103 The motion information memory 1024 stores the current motion information input from the motion detection unit 1021 and outputs the current motion information to the specific direction motion information detection unit 1023. Thereafter, the process proceeds to step S104.
  • the specific direction motion information detection unit 1023 specifies the motion of a person moving in a specific direction from the current motion information input from the motion detection unit 1021 and the past motion information stored in the motion information memory 1024. Detect direction movement information.
  • the person moving in a specific direction includes, for example, the movement of a person moving in a direction orthogonal to the boundary of the doorway, the movement of a person entering and leaving the store, and the movement of a person getting in and out of the car.
  • the specific direction movement information detection unit 1023 outputs the detected specific direction movement information to the passing person count unit 1025. Thereafter, the process proceeds to step S105.
  • Step S ⁇ b> 105 The specific direction movement information output from the specific direction movement information detection unit 1023 is output to the passing number counting unit 1025. Thereafter, the process proceeds to step S106.
  • Step S106 Based on the specific direction movement information input from the specific direction movement information detection unit 1023, the passing number counting unit 1025 indicates the number of persons who have passed through the count area set within a predetermined range from the entrance and exit, Count for each direction. The passing number counting unit 1025 measures the counted number of people entering and leaving the room as a counting result. The passing person count unit 1025 outputs the measured count result to the result count display device 22 connected via the network 41. Thereafter, the process proceeds to step S107.
  • Step S ⁇ b> 107) The result totaling display device 22 monitors whether or not the count result is received from the passing number counting unit 1025 of the number counting processing unit 102. When it is determined that the count result has been received (YES in step S107), the process proceeds to step S108. If it is determined that the count result has not been received (NO in step S107), step S107 is repeated. Thus, the process waits until the count result from the person count processing unit 102 is received.
  • Step S ⁇ b> 1028 The result totaling display device 22 registers the received count result in the result accumulation DB 221. Then, the process proceeds to step S109.
  • Step S109 The result totaling display device 22 determines whether or not a command input operation indicating a command for instructing counting and displaying the count results is detected. When determining that the command input operation has been detected (YES in step S109), the result totaling display device 22 proceeds to step S110. If it is determined that no command input operation has been detected (NO in step S109), the process proceeds to step S111.
  • the result totaling display device 22 reads the count result from the result storage DB 221 when determining that a command input operation for instructing the totaling and displaying of the count result by the user has been detected.
  • the result totaling display device 22 totals the count results that have been read out according to time periods such as a predetermined time, date, season, and weather.
  • the result totaling display device 22 outputs display data indicating the counting result for each total time to the display unit.
  • the display unit displays the count result as a numerical value among the input display data, and displays the count result totaled for each period as a figure or a graph.
  • the result totaling display device 22 stores the count result received from the person count processing unit 102 in the result accumulation DB 221 and receives it at that time (real time) regardless of whether or not a command input operation is detected. You may output a count result to a display part.
  • the result totaling display device 22 may output the information output to the display unit to the display unit including the count result read from the result accumulation DB 221. Then, it progresses to step S111.
  • Step S111 The number of people processing section 102 determines whether or not to end the number of people counting process. For example, the person count processing unit 102 determines to end the person count process when detecting an operation for instructing to turn off the power, and determines to continue without stopping the person count process when the operation is not detected. If it is determined to continue (NO in step S111), the process proceeds to step S100, and the next captured video is acquired. If it is determined that the number of people counting process has ended (step S111: YES), the process shown in FIG. 16 is ended.
  • the number counting device 10 has a predetermined first area (for example, entry movement) of captured images captured at different times by imaging units that capture images in a predetermined detection area.
  • a motion detection unit 1021 that detects motion information related to the motion of the subject represented in the detection region 501 and the leaving motion detection region 502) is provided.
  • the number counting device 10 includes a specific direction motion information detection unit 1023 that detects specific direction motion information related to motion in a predetermined specific direction from the detected motion information.
  • the person counting apparatus 10 includes a passing person counting unit 1025 that measures the number of passing subjects represented in a predetermined second area (for example, the counting area 401) of the captured image using the detected specific direction movement information. Prepare.
  • the motion of the images is robust against fluctuations in the speed of the subject. Even if the moving speed of the subject fluctuates, the movement of the image of the subject is stable, so that the image of a person moving in a specific direction related to entering or leaving the second area can be a factor of fluctuation in the number of passages. Since it can be detected, the number of passages can be accurately counted.
  • the parameters to be set are limited. Therefore, measurement accuracy is improved by easily performing appropriate parameter settings.
  • the central region is a circle or polygonal region whose center is the center of the captured image, and at least a part of either the first region or the second region.
  • the region is included in the central region, and a region other than at least a part of the first region and the second region is included in the peripheral region. Since the shape of the central region is symmetric with respect to the center, at least a part of either the first region or the second region in the peripheral region where the dependency on the moving speed and distortion of the image is sufficiently reduced.
  • the captured image corresponding to a displacement that is, a difference in the distance D
  • a predetermined individual difference in moving speed in a predetermined period in which motion information is detected.
  • the displacement of the image of the subject that is, the difference in the movement amount P
  • an area in which the displacement of the image representing the subject on the captured image due to individual differences in the moving speed is sufficiently small is set as the peripheral area. Since the first region and the second region set in the peripheral region are used to detect the movement of the image and count the number of passages, it is possible to count the number of passages robustly against individual differences in movement speed. it can.
  • the imaging direction of the imaging unit 101 is a vertical direction.
  • the specific direction is a direction orthogonal to at least one side of the first region and one side of the second region, and a straight line in the specific direction is at least the center of the first region.
  • the first region and the second region are set so as to pass through one of the centers of the second regions and the center of the captured image. According to this configuration, it is possible to more reliably detect the movement of the subject that approaches the device from the first region or the second region located in the peripheral region of the room or moves away from the device to the first region or the second region. it can. Therefore, the counting accuracy of the number of passing through the room can be improved by counting the number of subjects involved in entering or leaving the room.
  • FIG. 17 is a perspective view illustrating an arrangement example of the people counting device according to the present embodiment.
  • the person counting apparatus 10 is configured such that the wall surface parallel to the XY plane on which the door 13 of the room 11 is installed is negative in the Y axis from the upper end of the door 13. It is installed at a high position directly above. This height is equal to or lower than the height of the ceiling 18 of the room 11 and is higher than the height of the person leaving the room 15 or the person entering the room 14.
  • the imaging unit 101 of the person counting device 10 is installed in an oblique direction in which the direction of the optical axis 1011 is inclined in the Y-axis direction from the negative direction of the Z-axis, which is the normal direction of the main surface of the door 13. .
  • the imaging unit 101 is installed so that the direction of the optical axis 1011 is parallel to the negative direction of the Z axis, which is the normal direction of the main surface of the door 13.
  • the room occupant 14 and the room vacant 15 are arranged in the Z direction, the person who is far from the imaging unit 101 among the room occupant 14 who enters the room 11 and the room vacant 15 who tries to leave the room 11.
  • the far person will not be counted as the number of people.
  • This state occurs remarkably when the distance between the person 14 entering the room and the person 15 leaving the room is long.
  • the imaging unit 101 since the imaging unit 101 is installed in the direction in which the direction of the optical axis 1011 giving the imaging direction is the above-described oblique direction, it is possible to prevent the occurrence of a state in which the far side of the room entry person 14 and the person leaving the room 15 is hidden. Can be counted more reliably.
  • FIG. 18 illustrates an example of a captured image captured by the imaging unit 101 under the arrangement illustrated in FIG.
  • the motion detection unit 1021 sets a rectangular area representing the entire width of the lower end of the door 13 as the count area 401.
  • the count area 401 is set in the above-described peripheral area of the captured image.
  • a fisheye camera having an angle of view of 180 ° is used as the imaging unit 101, and the direction of the optical axis 1011 is set so that the direction of the optical axis 1011 is inclined by 20 ° from the normal direction (Z-axis direction) of the door 13 to the Y-axis direction. Keep it.
  • the normal direction of the door 13 is parallel to the horizontal direction.
  • the count region 401 is represented in a range within 70 ° from the direction of the optical axis, that is, in a region with an angle of view within 140 °. This area is arranged in the peripheral area of the captured image.
  • the motion detection unit 1021 according to the present embodiment detects motion information based on the video of the person entering the room 14 and the video of the person leaving the room 15 represented in the count area 401.
  • the imaging unit 101 includes the first space area (e.g., the entrance movement detection area 501 and the exit movement detection area 502) represented in the first area.
  • the first space area e.g., the entrance movement detection area 501 and the exit movement detection area 502
  • the second space area for example, the count area 401.
  • the imaging direction of the imaging unit 101 is installed in a direction inclined more vertically than the horizontal direction so that the peripheral area includes the first area and the second area.
  • the imaging unit 101 is installed with the imaging direction directed from a position higher than the entrance of the room 11 represented in the second region of the captured image toward a lower position. Therefore, it is possible to prevent or reduce the frequency of occurrence of occlusion where images of subjects to be counted overlap. This also can improve the counting accuracy of the number of passages.
  • the count area 401 is set so that the imaging direction of the imaging unit 101 is inclined by 20 ° from the normal direction of the door 13, and the count area is included within a range within 70 ° from the imaging direction.
  • the case where it is set is taken as an example, it is not limited to this.
  • the imaging unit 101 may be installed under any angle condition.
  • the imaging direction of the imaging unit 101 may be installed in a direction inclined by 30 ° from the normal direction of the door 13.
  • the case where the person counting device 10 is installed on the upper portion of the door 13 is taken as an example.
  • the arrangement of the entrance movement detection area 501 and the exit movement detection area 502 including the count area 401 may be any arrangement that satisfies the same conditions as those imposed on the arrangement of the count area 401 described above.
  • FIG. 19 is a diagram illustrating an example of arrangement of detection areas according to the present embodiment.
  • two or more people count detection areas 304 are set in the motion detection unit 1021.
  • Two or more people count detection areas are arranged in the peripheral area 316 of the captured image.
  • the person count detection area 304 is an area composed of the whole room movement detection area 501 and the room movement detection area 502.
  • the person count detection area 304 includes a count area 401 as an area where the room movement detection area 501 and the room movement detection area 502 overlap.
  • the number of people count detection areas 304 is four, and the four person count detection areas 304 are distinguished from each other in the clockwise direction by being called person count detection areas 304a to 304d.
  • the direction of the person count detection area 304a is set to a direction in which the main axis is parallel to the direction in which the direction of the person passing through the door 13a is projected onto the captured image.
  • the entrance / exit direction is a direction in which predetermined motion detection and the number of people passing are counted, for example, a direction orthogonal to the area of the door 13a which is an entrance / exit.
  • the direction of the main axis of the person count detection area 304a corresponds to the direction in which the exit movement detection area 502a is arranged away from the entrance movement detection area 501a.
  • the direction of the main axis corresponds to the direction of the symmetry axis passing through the center of the person count detection region 304a, and is set so as to pass through the center of the field of view 309 that is the range of the captured image.
  • the person count detection areas 304b to 304d are arranged in the peripheral area 316 so that the directions of the main axes pass through the center of the field of view 309 in the direction in which the direction of people entering and exiting the doors 13b to 13d is projected on the captured image. Is set. In the example shown in FIG. 19, the person count detection areas 304b to 304d are arranged at the center of the captured image so as not to overlap each other on a concentric circle having the center, and the respective main axes are arranged so as to pass through the center of the captured image.
  • the people count detection region 304 concentrically arranged in the peripheral region 316 is set, and the number of people is counted using the set people count detection region. Do.
  • the detection accuracy of the movement of a person who enters and exits from a plurality of entrances at the same time in one frame image does not deteriorate. Therefore, a decrease in the accuracy of the number of people to be counted is suppressed, and a certain accuracy can be obtained.
  • an increase in installation cost can be prevented.
  • the image in addition to the area away from the center of the captured image in the horizontal direction or the vertical direction in the peripheral area, such as the person count detection areas 304a and 304b, the image is captured in the person count detection areas 304c and 304d. It can be installed in a region diagonally away from the center of the image. Therefore, the degree of freedom of the installation position and orientation of the imaging unit 101 is increased in counting the number of people. Therefore, when the installation position of the imaging unit 101 is limited such as in a store or a vehicle, the application range of the number counting device 10 can be expanded by installing the imaging unit 101 at a position where the installation is easier.
  • FIG. 20 is a block diagram showing the configuration of the people counting system 1 according to this embodiment.
  • the number counting system 1 according to the present embodiment includes n number counting devices 10.
  • the n number counting devices 10 are distinguished as the number counting devices 10-1 to 10-n, respectively, but have the same configuration.
  • the person counting devices 10-1 to 10-n perform the person counting process for each of k (k is a predetermined integer greater than or equal to 2) person count detection areas 304 and pass the areas. Count the number of people.
  • the number counting devices 10-1 to 10-n transmit result data indicating the counted number of people to a device (not shown) connected to the network 41.
  • Such devices may include the result summary display devices 21 and 22 shown in FIG.
  • k number counting detection areas 304 are set.
  • the number of k may be different among the people counting devices 10-1 to 10-n, and the set k person count detection areas 304 may be different.
  • the people counting device 10-1 includes an imaging unit 101, people counting processing units 102-1 to 102-k, and a count result transmitting unit 103. Note that the imaging unit 101 of the person counting device 10-1 may be separate from other parts.
  • a number counting device 10-1 shown in FIG. 20 includes k number counting processing units 102-1 to 102-k instead of the number counting processing unit 102 of the number counting device 10-1 shown in FIG.
  • the people count detection regions 304-1 to 304-k are set independently.
  • the people count processing units 102-1 to 102-k are set for the video signal input from the image pickup unit 101, respectively, and set to the people count detection areas 304-1 to 304-k (for example, the person count detection areas 304a to 304d).
  • the person count processing units 102-1 to 102-k output a count result indicating the number of persons counted by the person count process to the count result transmitting unit 103.
  • the count result transmission unit 103 adds up the count results input from each of the people count processing units 102-1 to 102-k.
  • the count result may include, as a person tracking result, the route, identification information indicating who the occupant is, behavior information indicating the behavior of the occupant, and the like.
  • the count result transmission unit 103 transmits the total result obtained by the totalization to a device connected to the network 41 as the count result of the whole number counting device 10-1.
  • the count result transmission unit 103-1 may acquire the count results from the people count processing units 102-1 to 102-k independently for each of the people count detection areas. You may acquire by adding between detection areas.
  • the count result transmission unit 103 can output the number of individual users such as individual entrances, for example, stores and vehicles. For this reason, it is possible to acquire information such as the flow of people, the flow line, and the actual use of any doorway.
  • the count result transmitting unit 103 when counting results from the people count processing units 101-1 to 102-k between the people count detection areas, the count result transmitting unit 103, for example, as the total value, for example, the people counting device 10-1
  • the count result can be output as the count result.
  • These count results can be used as marketing information by stores and other businesses, or as congestion information of transportation facilities such as trains and vehicles.
  • the result totaling display devices 21 and 22 receive count results from the people counting devices 10-1 to 10-n.
  • the display part of the result total display devices 21 and 22 displays the number of people indicating the received count result.
  • the result totaling display device 22 stores the received count result in the result accumulation DB 221.
  • the number counting device 10 in the captured image, at least a part of the first area overlaps with the second area, and includes the first area and the second area.
  • a plurality of detection areas are set.
  • the motion detection unit 1021 detects motion information from the first area included in each detection area, and the passing person count unit 1025 indicates the number of passing subjects represented in the second area included in the detection area. measure.
  • the passing number counting device is an example of the number counting device 10 that mainly detects a person's movement and counts the detected number of passing people.
  • the detection target is a person's movement.
  • Passage counting device may count the number of passing objects such as cars, bicycles, animals, etc., products such as products in factories, sales products that pass through cash registers in stores, foods, etc. Alternatively, the number of moving objects such as food may be counted.
  • the embodiment of the present invention has been described above with reference to the drawings. However, the specific configuration is not limited to the above-described configuration, and various design changes such as combinations can be made without departing from the gist of the present invention. It is possible to omit a part of the configuration.
  • the people counting processing unit 102 may be realized by a computer.
  • the program for realizing the control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed.
  • the “computer system” is a computer system built in the people counting device 10 (10-1 to 10-n), and includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the “computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line,
  • a volatile memory inside a computer system that serves as a server or a client may be included that holds a program for a certain period of time.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • a part or all of the people counting device 10 (10-1 to 10-n) in the above-described embodiment may be realized as an integrated circuit such as an LSI (Large Scale Integration).
  • Each functional block of the people counting device 10 or the like may be individually made into a processor, or a part or all of them may be integrated into a processor. Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. In addition, when an integrated circuit technology that replaces LSI appears due to the advancement of semiconductor technology, an integrated circuit based on the technology may be used. As described above, the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the scope of the present invention. It is possible to
  • the passage number counting device, the passage number counting device, the program, and the program storage medium according to the present invention are useful for analyzing and grasping the movement trend of a moving body that passes through a predetermined area.
  • 10 10-1 to 10-n: Number counting device, 1011 (1011-1, 1011-2): Optical axis, 101 (101-1 to 101-n): Imaging unit, 102 (102-1 to 102) -K) ... number-of-people count processing unit, 103 ... count result transmission unit, 1021 ... motion detection unit, 1022 ... image memory, 1023 ... specific direction motion information detection unit, 1024 ... motion information memory, 1025 ... passing person count unit, 41 ...network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

動き検出部は所定の検出領域内の画像を撮像する撮像部が互いに異なる時刻に撮像した撮像画像の所定の第1領域に表される被写体の動きに関する動き情報を検出し、特定方向動き情報検出部は動き情報から、所定の特定方向への動きに関する特定方向動き情報を検出し、計測部は特定方向動き情報を用いて、撮像画像の所定の第2領域に表される通過する被写体の数を計測し、第1領域の一部もしくは全部および第2領域の一部もしくは全部の少なくとも一方は、撮像画像の中心から所定の範囲の領域である中央領域を除いた周辺領域に設定される。

Description

通過数カウント装置、通過数カウント方法、プログラムおよび記憶媒体
 本発明は、通過数カウント装置、通過数カウント方法、プログラムおよび記憶媒体、例えば、撮影した映像から人物などの被写体を検出し、該検出した被写体が撮影映像上の所定領域を通過する回数である通過数を計測する通過数カウントシステムに関する。
 本願は、2016年2月4日に、日本に出願された特願2016-020109号に基づき優先権を主張し、その内容をここに援用する。
 近年、不特定多数の来訪者が訪れる施設において防犯や安全のために監視カメラが設置されることがある。そのような施設には、例えば、店舗、通り、駐車場、列車、等がある。監視カメラが撮影した映像は、強盗や暴力行為などの犯罪の捜査や事後的に検証するために役立てられることがある。例えば、映像は不審人物、不審車両の発見、などの目的に用いられる。こうした背景から、監視カメラが急速に普及しつつある。また、小売業者の店舗等では、監視カメラが撮像した映像から顧客の購買動向の分析と把握を行い、店舗の販売戦略に活かす取り組みが行われている。撮像された映像から、顧客入場者数や売り場間移動の動向、各売り場における滞在時間、人の流動等の情報が収集される。
 例えば、特許文献1には、店舗や駐車場等に設置された監視カメラから得られる画像データを利用して、顧客動向の重要な情報である店舗等への入場者数を計測する入場者管理システムが記載されている。当該入場者管理システムは、所定の間隔で画像データと共に、撮影した時刻を出力し、時刻に関して連続する2つの画像データの所定領域部分について、対応する画素毎に比較した結果に基づいて、画像データの所定領域の中で動く物体を入場者として検出する。当該入場者管理システムは、時刻に関して連続する2つの画像データ間における入場者の位置関係に基づいて、入場者をそれぞれ識別し、入場者の数を計測する。
 特許文献2には、計数対象の移動体における目的別に応じて移動体を個別に分離計数できるようにする分離計数装置が記載されている。当該分離計数装置は、表示画面内の撮像画像上において任意に設定可能な内部領域を配置させ、この内部領域の周囲において2以上の分割された外部領域を任意に配置させる領域設定部を設ける。そして、当該分離計数装置は、外部領域や内部領域に現われた移動体を追跡し、移動体の軌跡が領域設定部で配置させたどれか1つの外部領域から内部領域を通過して他の外部領域に移動した移動体の数を、異なる外部領域間での移動方向別に分離して計数する。
日本国特開2010-15465号公報 日本国特開2003-85563号公報
 ところが、監視カメラの設置場所は、店舗内や車両内、屋外など個々に異なる。また、設置場所として、撮影において十分な視野を確保するために人が活動する空間よりも高い位置に定めるなどの制約がある。そのため、1台でより多くの範囲を撮影するために、監視カメラとして広角カメラ(例えば、画角が60度以上)を利用すると、設置環境による制約に対応できる。そのため、特定領域を通過する人の数をカウントするシステムにおいて、広角カメラが使用されることがある。特許文献1に記載の入場者管理システムおよび特許文献2に記載の分離計数装置では、撮像した画像全体もしくは画像の中央領域に対して、人の動きを検出(追跡)する領域や通過した人の数を計測する領域が設けられる。
 仮に、広角カメラが使用されると、これらの領域は画像の中央領域と周辺領域を含んで設定される。中央領域と周辺領域の間では、レンズによる画像の歪の度合いや被写体までの撮影距離が異なるので、画像上に表れる人の大きさや移動速度が画像上の位置によって変化する。そのため、人の検出および通過人数をカウントする処理が複雑化し、検出パラメータの設定(調整)が困難といった課題があった。
 また、画像上に複数の検出領域が設定され、各検出領域において人の通過人数を計測することも考えられるが、検出領域毎に歪みや撮影距離に応じた検出パラメータを設定する必要がある。そのため、動作させるまでの手順が増加することや、検出領域によって検出精度にばらつきが発生するといった課題があった。これらの課題により、カウントされる通過人数の検出精度が低下することがあった。
 本発明は、上記の点に鑑みてなされたものであり、撮像部の設置に関する制約を緩和し、所定の領域を通過する被写体の数を高精度にカウントする通過数カウント装置、通過数カウント方法、プログラムおよび記憶媒体を提供する。
 本発明は上記の課題を解決するためになされたものであり、(1)本発明の一態様は、所定の検出領域内の画像を撮像する撮像部が互いに異なる時刻に撮像した撮像画像の所定の第1領域に表される被写体の動きに関する動き情報を検出する動き検出部と、前記動き情報から、所定の特定方向への動きに関する特定方向動き情報を検出する特定方向動き情報検出部と、前記特定方向動き情報を用いて、前記撮像画像の所定の第2領域に表される通過する被写体の数を計測する計測部とを備え、前記第1領域の一部もしくは全部および前記第2領域の一部もしくは全部の少なくとも一方は、前記撮像画像の中心から所定の範囲の領域である中央領域を除いた周辺領域に設定されることを特徴とする通過数カウント装置である。
(2)本発明の他の態様は、前記中央領域は、中心が前記撮像画像の中心にある円または多角形の領域であって、前記第1領域と前記第2領域のうちどちらか一方の少なくとも一部の領域は前記中央領域に含まれ、前記第1領域と前記第2領域の前記少なくとも一部以外の領域が前記周辺領域に含まれることを特徴とする(1)の通過数カウント装置である。
(3)本発明の他の態様は、前記周辺領域は、前記動き情報を検出する所定の期間において、所定の移動速度の所定の個体差に応じて生ずる変位に対応する前記撮像画像における前記被写体の画像の変位が所定の変位以内である領域であることを特徴とする(1)または(2)の通過数カウント装置である。
(4)本発明の他の態様は、前記撮像部の撮像方向が鉛直方向であることを特徴とする(1)から(3)のいずれかに記載の通過数カウント装置である。
(5)本発明の他の態様は、前記特定方向は、少なくとも前記第1領域の一辺と前記第2領域の一辺の一方との直交方向であって、前記特定方向の直線が少なくとも前記第1領域の中心と前記第2領域の中心の一方と前記撮像画像の中心を通るように、前記第1領域と前記第2領域が設定されることを特徴とする(1)から(4)のいずれかの通過数カウント装置である。
(6)本発明の他の態様は、前記撮像部は、前記第1領域に表される第1空間領域および第2領域に表される第2空間領域よりも高い位置に設置され、前記周辺領域に前記第1領域と前記第2領域が含まれるように、当該撮像部の撮影方向が水平方向よりも鉛直方向に傾いた方向に設置されたことを特徴とする(1)から(5)のいずれかの通過数カウント装置である。
(7)本発明の他の態様は、前記撮像画像において、前記第1領域の少なくとも一部が前記第2領域と重複し、前記第1領域と前記第2領域からなる検出領域が複数個設定されることを特徴とする(1)から(6)のいずれかの通過数カウント装置である。
(8)本発明の他の態様は、通過数カウント装置における通過数カウント方法であって、所定の検出領域内の画像を撮像する撮像部が互いに異なる時刻に撮像した撮像画像の所定の第1領域に表される被写体の動きに関する動き情報を検出する第1の過程と、前記動き情報から、所定の方向への動きに関する特定方向動き情報を検出する第2の過程と、前記特定方向動き情報を用いて、前記撮像画像の所定の第2領域に表される通過する被写体の数を計測する第3の過程と、を有し、前記第1領域の一部もしくは全部および前記第2領域の一部もしくは全部の少なくとも一方は、前記撮像画像の中心から所定の範囲の領域である中央領域を除いた周辺領域に設定されることを特徴とする通過数カウント方法である。
(9)本発明の他の態様は、通過数カウント装置のコンピュータに、所定の検出領域内の画像を撮像する撮像部が互いに異なる時刻に撮像した撮像画像の所定の第1領域に表される被写体の動きに関する動き情報を検出する第1の手順、前記動き情報から、所定の方向への動きに関する特定方向動き情報を検出する第2の手順、前記特定方向動き情報を用いて、前記撮像画像の所定の第2領域に表される通過する被写体の数を計測する第3の手順、を実行させるためのプログラムであって、前記第1領域の一部もしくは全部および前記第2領域の一部もしくは全部の少なくとも一方は、前記撮像画像の中心から所定の範囲の領域である中央領域を除いた周辺領域に設定されることを特徴とするプログラムである。
(10)本発明の他の態様は、通過数カウント装置のコンピュータに、所定の検出領域内の画像を撮像する撮像部が互いに異なる時刻に撮像した撮像画像の所定の第1領域に表される被写体の動きに関する動き情報を検出する第1の手順、前記動き情報から、所定の方向への動きに関する特定方向動き情報を検出する第2の手順、前記特定方向動き情報を用いて、前記撮像画像の所定の第2領域に表される通過する被写体の数を計測する第3の手順、を実行させるためのプログラムであって、前記第1領域の一部もしくは全部および前記第2領域の一部もしくは全部の少なくとも一方は、前記撮像画像の中心から所定の範囲の領域である中央領域を除いた周辺領域に設定されることを特徴とするプログラムを記憶したコンピュータ読み取り可能な記憶媒体である。
 本発明によれば、撮像部の設置に関する制約を緩和し、所定の領域を通過する被写体の数を高精度にカウントすることができる。
第1の実施形態に係る人数カウント装置の配置例を表す斜視図である。 第1の実施形態に係る人数カウントシステムの構成例を示すブロック図である。 第1の実施形態に係る人数カウント装置の他の配置例を表す斜視図である。 第1の実施形態に係る人数カウント装置の他の配置例を表す側面図である。 第1の実施形態に係る人数カウント装置が撮像した撮像画像の例を示す図である。 撮像画像における入室者の面積の時間変化の例を示す図である。 撮像画像における中央領域と周辺領域の例を示す図である。 撮像部から入室者までの距離と、撮像画像上の中心から入室者までの移動量との関係の例を示す表である。 従来のカウント領域の一配置例を示す図である。 第1の実施形態に係るカウント領域の一配置例を示す図である。 第1の実施形態に係る人数カウント装置が撮像した撮像画像の他の例を示す図である。 第1の実施形態に係る入退室動き検出処理を説明するための図である。 第1の実施形態に係るカウント処理を説明するための図である。 第1の実施形態に係る人数カウント装置の構成を表すブロック図である。 第1の実施形態に係る人数カウント処理部の構成を表す概略図である。 第1の実施形態に係る人数カウント処理を表すフローチャートである。 第2の実施形態に係る人数カウント装置の配置例を表す斜視図である。 第2の実施形態に係る撮像部が撮像した撮像画像の例を示す。 第3の実施形態に係る検出領域の配置例を示す図である。 第3の実施形態に係る人数カウントシステムの構成を示すブロック図である。
(第1の実施形態)
 以下、図面を参照しながら本発明の第1の実施形態について詳しく説明する。以下の説明では、通過数カウント装置が主に人数のカウントに用いられる人数カウント装置である場合を例にする。
〔人数カウント装置の配置例〕
 図1は、本実施形態に係る人数カウント装置10の配置例を表す斜視図である。
 人数カウント装置10は、撮像部101(後述)としてカメラと、カメラの撮影映像について画像処理を行う処理部としてプロセッサ(例えば、CPU:Central Processing Unit)と、画像処理によって得られた結果となる出力データを外部に伝送する伝送部を含んで構成される。図1において、X方向、Y方向、Z方向は、それぞれ右上方、下方、右方に表される。X方向、Y方向、Z方向は、カメラの撮影領域を含む実空間内の位置を表す3次元直交座標系において互いに直交する方向である。以下の説明では、この座標系を空間座標系と呼ぶことがある。図1に示す例では、部屋11は、直方体の形状を有する。部屋11の各辺の方向は、それぞれX方向、Y方向、Z方向に平行な方向である。空間座標系において、X方向は、水平面に平行であって部屋11の一辺に平行な方向である。Y方向は、鉛直方向である。Z方向は、水平面に平行であって部屋11の他の一辺に平行な方向である。以下の説明では、X方向を奥もしくは奥行方向、X軸の負方向を手前もしくは手前方向、Y方向を下もしくは下方、Y軸の負方向を上もしくは上方、Z方向を右もしくは右方、Z軸の負方向を左もしくは左方と呼ぶことがある。
 部屋11のXY平面に平行な側面のうち、右側面には部屋11の出入り口としてドア13が、左側面にはドア16が設置されている。部屋11の天井18に2個の人数カウント装置10が備えられている。2個の人数カウント装置10のうち、天井18の中央部に設置されている方を人数カウント装置10-1、中央部よりも右側方に近接している方(ドア13等の出入り口に近接した位置を表す)を人数カウント装置10-2と呼ぶ。但し、複数の人数カウント装置やそれらの構成要素を互いに区別しない場合もしくは総称する場合には、単に人数カウント装置10、撮像部101、等と子番号を付さずに呼ぶ。
 人数カウント装置10-1、10-2それぞれの撮像部101の向きは、その撮像方向が鉛直下向き(Y方向)となるように設置されている。人数カウント装置10-1、10-2の撮像方向は、それぞれの光軸1011-1、1011-2の方向に相当する。この配置により、部屋11の内部を示す映像が撮影される。従って、人数カウント装置10-1、10-2が映像を撮像する撮像面は、光軸1011-1、1011-2に垂直に交わる2次元平面に平行である。光学系を介して入射された画像光が撮像面に結像してなる画像が撮像画像として撮像される。図1に示す例では、撮像面は水平面に平行な平面(XZ平面)である。
 人数カウント装置10-1、10-2は、それぞれ専用の人数カウント装置単体として構成されてもよいし、主たる機能が人数のカウント以外の機能である機器の一部として形成されてもよい。人数カウント装置10-1、10-2は、例えば、照明機器、火災警報機、空調機等、必ずしも人数のカウントを主目的としない電気機器内に組み込まれて構成されてもよい。さらに、カメラ、プロセッサ及び伝送装置は、必ずしも一体化された単一の構成として形成(一体型)されなくてもよく、それらの全部もしくは一部は、個々に異なる構成(セパレート)として設置されてもよい。
 人数カウント装置10-1は、人の標準的な身長(例えば、平均身長)よりも高い天井18から床17に向けて室内を撮像しているため、部屋11の右側面に設置されたドア13を開けて入室した入室者14を撮像することができる。人数カウント装置10-1は、撮像された撮像画像に対して、後述する処理を行うことにより入室者14の入室の有無ならびに退室者15の退室の有無を検出する。人数カウント装置10-1では、光軸1011-1が鉛直下向きに設置されるとき、入室者14や退室者15のできるだけ多くの部分が撮影されるように、水平画角と垂直画角の一方又は両方が広いカメラが使用される。入室者14または退室者15が撮影される部分は、少なくとも頭部、好ましくは頭部と胴体を含む全身である。画角とは、撮影される光景の範囲を表す角度である。画角は、視野角と呼ばれることがある。撮像部の撮影範囲を表す画角には、水平画角、垂直画角および対角画角がある。水平画角とは、カメラの撮像面、つまり撮像座標系の水平方向の画角である。垂直角度とは、カメラの撮像面の垂直方向の画角である。対角画角とは、カメラの撮像面の対角方向の画角である。なお、以下の説明では、水平画角ならびに垂直画角、または対角画角を含めた画角を単に画角と総称することがある。
 人数カウント装置10-1が備える撮像部101は、例えば、光軸を中心とする水平画角が60度以上である広角カメラである。仮に、床17からの天井18の高さが十分高い場合は、標準的な水平画角(例えば、水平画角60度未満)を有するカメラが用いられる場合でも、入室者14または退室者15の頭部と胴体を撮影することができる可能性がある。しかし、高さに制限がある空間、例えば、列車、バスなどの車両、地下鉄の駅などの天井18に人数カウント装置10-1を設置する場合には、撮像部101として画角が十分に広いカメラを使用する。これにより、入室者14または退室者15の頭部と胴体を撮影することができる。特に、床17からの天井18の高さが低い空間、例えば、列車やバスなどの交通機関の客室では、通常の広角カメラより、画角が広い魚眼カメラ(例えば、水平画角180度)が使用される。その場合には、撮像部101は入室者14または退室者15の全身を撮影することができる。
 また、人数カウント装置10-2のように、出入口(図1に示す例では、ドア13)の近くに設置される場合は、必ずしも画角の広いカメラを使用(選択)しなくても、入室者14または退室者15の十分に大きい部分を撮影することが可能なこともある。しかし、出入口のそれぞれに人数カウント装置10を設置する必要があり、設置台数および設置コストが増加するといった問題がある。そのため、本実施形態では、人数カウント装置10-2を用いなくても1つの部屋11においてドア13、16の入退室者の全身を撮影できるように人数カウント装置10-1の撮像部101として画角が広いカメラが使用(選択)される。カメラの画角として、少なくとも人数カウント装置10-1の位置から部屋11への出入り口であるドア13、16が撮像領域に含まれる角度が設定される。以下の説明では、人数カウント装置10のカメラとして、魚眼カメラを使用する場合を主に例にする。
〔人数カウントシステムの構成例〕
 次に、本実施形態に係る人数カウントシステム1の構成例について説明する。
 図2は、本実施形態に係る人数カウントシステム1の構成例を示すブロック図である。
 人数カウントシステム1は、人数カウント装置10-1~10-3、結果集計表示装置21、22、および結果蓄積DB(Database)221を含んで構成される。人数カウント装置10-1~10-3、および結果集計表示装置21、22はそれぞれネットワークに接続され、相互に各種のデータを送受信することができる。
 人数カウント装置10-1~10-3は、互いに共通の構成を備え、それぞれ異なる部屋または位置に設置される。人数カウント装置10-1~10-3は、それぞれ撮影画像に基づいてカウントした人数を示す結果データを結果集計表示装置21、22に送信する。人数カウント装置10-1~10-3は、それぞれの環境を示す環境データを取得し、取得した環境データを結果集計表示装置21、22に送信してもよい。環境データの具体例については後述する。人数カウント装置10-1~10-3は、撮像された映像を示す映像信号を結果集計表示装置21、22に送信してもよい。結果集計表示装置21、22は、人数カウント装置10-1~10-3からの映像信号が示す映像を表示部(図示せず)により表示してもよい。
      結果集計表示装置21、22は、人数カウント装置10-1~10-3からそれぞれ受信した結果データが示す部屋毎の人数を集計し、集計結果(例えば、部屋毎の人数の時間変化)を表す表示用データを生成する。さらに、人数カウント装置10-1~10-3は、後述するように検出した人の年齢や性別、身長、服の色合いなどを検出し、検出した人毎に個別に割り当てられるID(以下、個人ID)と対応づけ、結果データが示す人数とともに検出情報として、結果集計表示装置21、22に送信してもよい。結果集計表示装置21、22は、生成した表示用データが示す情報を表示部に表示させるデータ表示制御部(図示せず)を備える。表示用データは、検出情報に含まれる情報として、例えば、出入口を通過した人数、建物や車両内にいる人数、これら計測した人に関する情報(年齢、性別、身長、服の色合い、個人IDなど)を日付、時刻、季節毎に表示するためのデータや、時刻毎の人数を数値、グラフ、図等、視認可能な態様で表示するためのデータが含まれる。人数カウント装置10-1~10-3から受信されるデータには、結果データの他、人数カウント装置10-1~10-3における環境を示す環境データが含まれることがある。環境データが示す情報には、例えば、映像データが取得された時間、取得場所、カメラID(Identifier)、天気、気温、湿度、等のいずれか、またはそれらの所定の組み合わせが含まれうる。結果集計表示装置22のデータ処理部(図示せず)は、人数カウント装置毎に受信した結果データと環境データを示す人数、映像データを対応付けて結果蓄積DB221に蓄積してもよい。
 結果集計表示装置21、22のデータ処理部は、環境データを用いて結果データが示す人数を集計し、集計により得られる情報を表示部に表示させてもよい。データ処理部は、例えば、店舗等に備えられた人数カウント装置10が取得した結果データとして出入口を通過した人の人数を所定時間毎に集計し、フロア毎、時間毎の来客数の変移、混雑度を算出してもよい。データ処理部は、算出して得られた情報を表示もしくは図示するための表示用データを生成してもよいし、所定時間毎にリアルタイムで取得した人数を来客数として表す表示用データを生成してもよい。これらの表示用データは、商店における店員の配置を逐次に変化させる際に用いられることがある。例えば、管理者は表示用データに係る表示を視認して、来客が比較的少ないコーナーから比較的多いコーナーに、店員を移動させるか否かを判定する。
 結果集計表示装置21、22は、専用の装置で構成されてもよいし、パーソナルコンピュータ、ワークステーション、サーバ装置、タブレット端末装置等、汎用の電子機器で構成されてもよい。結果集計表示装置21、22が汎用の電子機器である場合には、結果集計表示装置21、22は、所定の制御プログラムで指示される命令で指示される処理を行うことによって、その機能を実現してもよい。図2に示す例では、結果集計表示装置22と結果蓄積DB221は、人数カウント装置10-1~10-3と同一の建造物もしくは施設内に設置されてもよい。結果集計表示装置21は、人数カウント装置10-1~10-3の少なくともいずれから空間的に離れた遠隔地に設置されてもよい。これにより、結果集計表示装置21のユーザは、遠隔地において人数カウント装置10-1~10-3でカウントされる人数を把握することができる。また、結果集計表示装置21、22は、それぞれユーザからの操作に応じて、結果データ照会信号を生成してもよい。結果データ照会信号は、操作により指示された人数カウント装置ならびに時刻における人数を表す結果データを照会するための信号である。結果集計表示装置21、22は、生成した結果データ照会信号を結果蓄積DB221に送信する。結果蓄積DB221は、結果集計表示装置21、22の少なくともいずれかから結果データ照会信号を受信するとき、当該結果データ照会信号が指示する人数カウント装置、時刻に係る結果データを自装置の記憶部(図示せず)から読み出す。結果蓄積DB221は、読み出した結果データを結果データ照会信号の送信元の人数カウント装置に送信する。結果集計表示装置21、22は、結果蓄積DB221から受信した結果データが示す情報を表示部に表示させる。
 結果蓄積DB221は、人数カウント装置10-1~10-3からそれぞれ受信した結果データを、人数カウント装置10-1~10-3のそれぞれについて、所定時間毎に記憶することにより蓄積する記憶部を備える。結果蓄積DB221は、例えば、関係データベース管理装置である。
 ネットワーク41は、各種の通信ネットワーク、例えば、ローカルエリアネットワーク(LAN:Local Area Network)、広域ネットワーク(WAN:Wide Area Network)のいずれか、または両者を含んで構成されることができるが、これに限定されない。例えば、結果集計表示装置22と結果蓄積DB221が、人数カウント装置10-1~10-3と同一の建造物もしくは施設内にある場合には、結果集計表示装置22、結果蓄積DB221および人数カウント装置10-1~10-3の相互間は、LANを用いて接続されてもよい。また、結果集計表示装置21が、当該建造物もしくは施設から予め定めた距離内(例えば、20m)にある場合も、結果集計表示装置22、結果蓄積DB221および人数カウント装置10-1~10-3とLANを用いて接続されるようにしてもよい。
 LANは、例えば、IEEE(Institute of Electrical and Electronics Engineers)802.3、IEEE802.11、IEEE802.15.1等、いずれの通信規格で規定された方式でもよい。
 また、結果集計表示装置21、22、および結果蓄積DB221は、人数カウント装置10-1~10-3とWANを用いて接続されるようにしてもよい。
 WANは、公衆通信網、インターネット、あるいはそれらの組み合わせであってもよい。公衆通信網は、光回線、ADSL(Asymmetric Digital Subscriber Line)などの固定網でもよいし、IMT-2000(International Mobile Telecommunication 2000)、LTE-Advanced(Long Term Evolution Advanced)などの移動網でもよい。
 これにより、結果集計表示装置21、22のいずれかを用いる観測者(例えば、店舗の店員)には、人数カウント装置10-1~10-3からの結果データが示す人数、映像データが示す映像(動画に限らず、静止画も含む)などの情報が伝達される。
 上述したように、複数の異なる場所に設置された人数カウント装置10-1~10-3からの結果データおよび映像データが、ネットワーク41を介して結果集計表示装置21、22または結果蓄積DB221に送信される。結果集計表示装置21、22は、人数カウント装置10-1~10-3での人数カウント結果を集計し、集計により得られた情報を表示部に表示することができる。例えば、店舗等への来客数が時間毎、日付毎、季節毎、年毎、天気毎など、環境の属性に応じて集計される。集計による得られた情報は、表示部に表示される。そのため、ユーザは集計された情報に応じて適切な行動が促される。例えば、集計された情報は、ユーザである店舗の店員による製品や品物の仕入れ数の計画や陳列の検討、店員の配置、人数などの店舗における販売を促進するための戦略立案に役立てることができる。
 結果集計表示装置21、22に接続される表示部は、ディスプレイ単体でもよいし、ディスプレイが組み込まれた他の電子機器、例えば、テレビジョン受信装置、携帯電話機(スマートフォンを含む)、タブレット端末装置、パーソナルコンピュータ、などでもよい。
〔広角カメラ〕
 次に、人数カウント装置10-1の撮像部101として用いられる広角カメラについて説明する。広角カメラとは、一般的に広い範囲を撮影することができる画角が広いカメラのことを意味する。広角カメラは、例えば、水平画角、垂直画角および対角画角のいずれかが60°以上のカメラである。広角カメラには、魚眼カメラおよび超広角カメラも含まれる。魚眼カメラとは、自機の全周囲(画角180°)の映像を撮影することが可能なカメラである。超広角カメラとは、画角が180°を超える(例えば、画角200°)カメラである。
 広角カメラによって撮像される映像を構成する画像には、一般に中央付近の領域よりも周辺の領域において顕著な歪みが生じる。歪みには、その要因により、次の2種類に分類される。1つは、広角カメラと撮影される被写体の位置関係が変わることによる歪み、他の1つは、広角カメラのレンズ射影方式による歪みである。
 前者の歪みは、広角カメラに正対した位置に置かれ、広角カメラに向けられた平面状の被写体であっても、被写体の画像が撮像された画像である撮像画像上に表される位置が光学中心に対応する中心点から離れることで生じる歪みである。この歪みにより撮像画像の中央付近の領域よりも周辺の領域における解像度が低下する。また、この歪みは広角カメラのレンズの射影方式に関わらず生じる。
 後者の歪みは、射影方式に依存する歪みである。カメラの光学系で採用されている射影方式には、例えば、等距離射影方式と等立体角射影方式がある。等距離射影方式は、画面の中心からの被写体までの距離と被写体を表す映像の角度が比例するように、被写体からの画像光を撮像面に射影する射影方式である。等立体角射影方式は、被写体を表す映像の面積がその立体角に比例するように、被写体からの画像光を撮像面に射影する射影方式である。等距離射影方式が採用される場合には、撮像画像の中心付近の領域よりも周辺の領域に表される映像において、被写体の画像が圧縮される(つまり、解像度が低下する)歪みが発生する。但し、等立体角射影方式では、このような歪みは発生しない。
〔速度変化〕
 以下、上記歪みについて具体的な例を用いて説明する。図3~5は、撮像画像の歪みについて説明するための図である。図3に示す例では、入室者14が部屋11の出入り口としてドア13から左方である進行方向301に向かって入室する状況を示す。部屋11の天井18の中央には、人数カウント装置10-1の撮像部101として画角が180度の広角カメラが設置される。広角カメラの撮像方向、つまり光軸1011の方向は、天井18から床17への鉛直下向き方向である。図4は、図3に示す部屋11の側面方向視して表される側面図である。図3に示す例では、側面方向302は、奥行方向である。この状況のもとで、入室者14はドア13から部屋11に入室して等速で歩行し、入室後の経過時間tがTである時点において、撮像部101の光軸1011と入室者14の頭部中心点303が交差する。人数カウント装置10の人数カウント処理部102(後述)は、例えば、出入り口の位置を基準として所定の範囲にある所定のカウント領域に頭部中心点303が通過する状態を入室と判定する。また、図4において、d0、dT/2、dTは、それぞれ時刻t=0、t=T/2、t=Tにおける撮像部101の光学中心と頭部中心点303との間の距離を表す。
 図5は、図4に示す部屋11の状況を撮像部101で撮像して得られる撮像画像の例を示す図である。図5に示す例では、撮像画像は、映像中心点311を中心とする視野309内に表示される。視野309の形状は、円形であり、水平中心線307と撮像部101の撮像面の水平方向は平行となる。同様に、垂直中心線308と撮像部101の撮像面の垂直方向は平行となる。映像中心点311は、水平中心線307と垂直中心線308が交差する点である。また、映像中心点311は、光軸1011が通過する点であり、光軸1011と撮像部101の撮像面との交点に相当する。図5において、X方向、Z方向は、図面の上方、右方に表され、それぞれ撮像画像内の位置を表す2次元座標系における垂直方向、水平方向を示す。以下の説明では、この2次元座標系を画像座標系と呼ぶことがある。図5に示すX方向、Z方向は、空間座標系におけるX方向、Z方向に相当する。XZ平面はカメラの撮像面に平行な平面である。空間座標系におけるY方向は、撮像部101の光学中心からの奥行方向に相当する。以下の説明では、空間座標系におけるX方向を垂直方向、上もしくは上方、X軸の負方向を下もしくは下方、Z方向を、水平方向、右もしくは右方、Z軸の負方向を左もしくは左方と呼ぶことがある。なお、○と×を組み合わせてなる記号は、図面の奥行方向がY方向であることを表す記号である。
 図5において、時刻t=0、T/2、Tにおける入室者14の映像が表される位置は、図4に示すそれぞれの時刻における入室者14の位置に対応している。上述したように、入室者14が空間座標系において左方に等速にまっすぐ歩行していることを仮定すると、部屋11において入室者14は時刻t=T/2の時点では時刻t=0における位置とt=Tにおける位置との中点において進んでいることになる。しかしながら、図5に示す撮像画像上の位置の変化は、撮像部101で撮影される実空間内における位置の変化に対して非線形の関係がある。撮像部101から入室者14の頭部中心点303までの距離は、撮像部101からの距離が大きくなるほど大きくなる。例えば、時刻t=0、T/2、T間において撮像部101から頭部中心点303までの距離の関係はdT<dT/2<d0となる。この関係から、入室者14を表す映像上の移動速度ならびに加速度は、撮像画像の中央領域に表される場合よりも周辺領域に表される場合の方が小さくなる。
〔面積変化〕
 また、図6は、時刻tがt=0、T/2、Tと経過することに伴い映像上の入室者14が占める面積(以下、入室者面積310)の変化を示す。図6に示す例では、入室者面積310は、入室者14が表される領域に外接する長方形の面積である。面積は、長方形の領域内に含まれる画素数で定量化される。この長方形の一辺は、映像の水平方向に平行であって、その一辺に交差する他の一辺は映像の垂直方向に平行である。時刻t=Tにおいて、入室者14の位置は撮像部101と最も近接するため、入室者面積310が最も大きくなる。時刻t=T/2、0の順に撮像部101からの距離が離れるため小さくなる。これより、単位時間当たりの入室者面積310の増加量は、時刻t=0からT/2までの増加量よりも時刻t=T/2からTまでの増加量の方が大きくなる。つまり、撮像画像において、入室者14の映像が中央領域にある場合よりも周辺領域のほうが、入室者面積310の変化量が少ない。
 このように、撮像部101として広角カメラが撮像した撮像画像の歪みは、その中央領域に比べ、周辺領域において移動する被写体の映像が表される領域の速度の変化および面積の変化が少なくなる。
〔中央領域、周辺領域〕
 広角カメラで撮像される映像を構成する撮像画像は、周辺領域と中央領域の2つの領域に大別することができる。人数カウント装置10には、撮像画像のうち中央領域、周辺領域がそれぞれ示す画素領域を予め設定しておく。前述したように、周辺領域では、画像の歪みが大きく、中央領域では、画像の歪みが小さい。以下で中央領域、周辺領域について具体的に説明する。
 図7は、天井18の中央において撮像部101として撮像方向が鉛直下向き方向に向くように設置された広角カメラが、部屋11内を撮像して得られる撮像画像の例である。この撮像画像は、図3に示す入室者14が部屋11に入室し終える前のドア13を通過する時点の状況を表す。入室者14が表された領域の左近傍に示す縦長の長方形は、検出領域313である。検出領域313は、人数カウント装置10が撮像画像を用いて人数のカウントを行うために、予め設定された領域である。
 図7に示す例では、周辺領域316において、検出領域313は形状が矩形であり、その左辺、右辺がそれぞれ中央領域315の右辺から所定の距離だけ離れ、ドア13の領域に接する位置となるように設定されている。検出領域313の長辺314の長さは、ドア13の幅に相当する長さに等しく、短辺の長さは、ドア13の幅に相当する長さよりも短い。検出領域313は、部屋11の内部空間においてドア13の幅と等しくドア13から所定の距離内の3次元空間領域が撮像された領域である。この空間領域は、ドア13を通じて部屋11に入室する入室者14が必ず通過する領域である。
 中央領域315は、その中心が映像中心点311に配置される正方形の領域である。中央領域315の一辺の長さは、長辺314の長さに等しい。周辺領域316は、視野309のうち、中央領域315を除いた領域である。この周辺領域316では、中央領域315よりも進行する入室者14の画像上の移動速度が緩やかである。周辺領域316において設定された検出領域313を通過した入室者14の画像は、広角カメラによる画像の歪みのため、その変形量や面積の変化量が少なく、画像上の移動速度が中央領域315の場合と比較し遅い。そのため、周辺領域316上に検出領域313を設け検出することは、検出領域313を中央領域315に設け検出する場合と比較し、入室者14の映像を撮影し損ねる確率が低減するため、入室者14の入室を安定して検出することができる。さらに、周辺領域316上に設けられた検出領域313において検出される入室者14の移動速度が遅いので、撮影する映像のフレームレートを少なくすることができる。そのため、映像処理を行うプロセッサのクロックやメモリ量を削減することができる。これにより、人数カウント装置10の消費電力、発熱量を低減することができ、ひいては費用(コスト)を低減することができる。
 次に、図3に示すようにドア13から部屋11に入室する入室者14の位置変化による撮像画像上の移動量の例について説明する。次の説明では、撮像部101として用いられる広角カメラの画角が180°、床17から撮像部101の光学中心までの距離が2300mm、入室者14の身長が1700mmである場合を例にする。図8(a)は、部屋11における撮像部101の光軸1011から頭部中心点303までの距離D(mm)と、撮像画像における映像中心点311から頭部中心点303までの距離に相当する移動量P(画素数)との関係を示す表である。図8(a)は、撮像部101から頭部中心点303までの距離Dが大きくなるほど、移動量Pが大きくなることを示す。但し、距離Dの増加に対する移動量Pの増加率は、距離Dの増加に伴って小さくなり、0に漸近する。例えば、距離Dが100mmから200mmに増加する場合、移動量Pは17画素から16画素増加して33画素となる。距離Dが1500mmから1600mmに増加する場合、移動量Pは121画素から3画素増加して124画素となる。このことは、撮像部101の歪みの影響から、距離Dが大きくなるほどその変化に対する移動量Pの変化が小さくなることを示す。典型的な歩行者の歩行速度は、秒速1300mm~1500mmであることを鑑みると、所定の移動量Pの変化率として、例えば、100mmの移動による移動量Pの変化が画素数3画素以下となる領域を周辺領域316と設定し、3画素を超える領域を中央領域315として設定しておいてもよい。このような設定により、歩行者の歩行速度の変化による撮像画像上の移動画素の変化が一定量以内に抑制されるため、入室者14の入室を安定して検出することができる。
 次に、ドア13から部屋11に入室する入室者14の位置変化による撮像画像上の移動量の他の例について説明する。図8(b)に示す移動量は、図3に示す状況下で、撮像部101が撮像した映像をダウンサンプリングした映像について算出した映像中心点311から頭部中心点303までの移動量P(画素数)である。この例においても、距離Dの増加に対する移動量Pの増加率は、距離Dの増加に伴って小さくなり、0に漸近する。典型的な歩行者の速度が秒速1300mm~1500mmであることを鑑みて、T(例えば、1.0)秒間にその速度差200mmによる距離Dの差に対応する移動量の差が所定の移動量の差(例えば、1画素)以下となる領域を周辺領域316と設定し、1画素を超える領域を中央領域315として設定しておいてもよい。このような設定により、歩行速度の個人差による撮像画像内の表示位置のばらつきが一定量以内に抑制することができる。
 中央領域315、周辺領域316は、上述したものに限定されるものでない。周辺領域316は、歩行速度の個人差、その位置の差異による表示位置の変化が抑制可能な領域であればよい。例えば、中央領域315と周辺領域316の境界を与える移動量Pの閾値は、2画素又は4画素であってもよい。中央領域315の形状は、正方形に限らず、円、多角形、つまり正三角形、正五角形など、その重心や重心を通る直線に対して対称性を有する形状であればよい。
〔カウント領域の配置例〕
 次に、天井18の中心部よりもドア13に近接した位置に配置された人数カウント装置10-2を例にして、従来のカウント領域の配置例として図9を用いて説明する。図9(a)は、図1に示す部屋11の内部をY方向視(鉛直下向き)してなる等立体角射影図である。図9(a)に示す例では、人数カウント装置10-1が省略され、ドア13から入室した入室者14が人数カウント装置10-2の鉛直下方を通過している。カウント領域321’は、入室者14の入室を検出し、カウントするために人数カウント装置10-2の鉛直下方に仮想的に設定された空間座標内の3次元の領域である。カウント領域321’は、部屋11内のドア13から所定の範囲内に配置され、左方に所定の幅を有し、そのX方向の幅とY方向の幅(高さ)でなすXY平面の領域が、ドア13のX方向の幅とY方向の幅(高さ)でなすXY平面の領域を含む領域である。人数カウント装置10-2は、撮像画像に基づいて入室者14がカウント領域321’を通過することを検出し、その通過毎に人数を1ずつ増加させることにより部屋11内の人数をカウントする。
 図9(b)は、人数カウント装置10-2が取得した撮像画像の例を示す。図9(b)は、図9(a)に示すように、ドア13から入室者14が入室し、入室者14がカウント領域321’を通過したときに撮像された撮像画像である。撮像画像は、視野309内に表される。人数カウント装置10-2の鉛直下方にカウント領域321’が設定されているため、図9(b)が示す撮像画像の中央領域315a内に入室者14の映像と、カウント領域321’の映像上の領域であるカウント領域321が含まれる。中央領域315aは、図7を用いて説明したいずれかの手法により設定された撮像画像内の円形の領域である。視野309のうち、中央領域315aの領域を除いた領域が周辺領域316aである。カウント領域321は、図9(a)に示すカウント領域321’が撮像画像上に投影してなり、中央領域315a内に設定される。図9(b)は、入室者14を表す映像が周辺領域316a内に表されたドア13から入室する入室者14の映像がカウント領域321’を通過した後、再び周辺領域316aに入る例を示す。この場合、撮像画像において入室者14を表す画像の領域が中央領域315aを通過する。
 人数カウント装置10-2の撮像部として魚眼レンズを備えるカメラが用いられるとき、入室者14が一定の移動速度で移動する場合においても、前述のレンズの歪みにより、撮像画像に表された入室者14の映像上の移動速度が変化する。具体的には、その映像上の移動速度は、その映像が中央領域315aに近づくほど速くなり、中央領域315aから離れるほど遅くなる。さらに、前述のレンズの歪みにより、該撮像画像上では、入室者14の身体(例えば、頭部)を表す映像の大きさ(面積)も変化する。具体的には、その映像の大きさは、中央領域315aに近づくほど拡大し、中央領域315aから離れるほど縮小する。加えて、入室者14の身長によっても、撮像画像上の入室者14の身体が表される領域の面積や、その面積の変化量が変化する。カウント領域321において入室者14の映像が動いた領域(例えば、動き検出結果)の面積に基づいて人数をカウントする場合(後述)を想定すると、カウント領域321の通過を検出するための時間等、種々のパラメータの設定が複雑になり、その最適値を定めることが困難にある。このことは、カウント領域321を通過する人数のカウント精度が低下する原因となりうる。
 また、入室者14の移動速度が一定の場合において撮像画像において入室者14の映像上の移動速度が変化することや、入室者14の身長による依存性は、カウント領域321の通過を判定するための通過時刻の閾値の設定が複雑になり、その最適値を定めることを困難とする。このことも、カウント領域321を通過する人数のカウント精度が低下する原因となりうる。
 なお、カウント精度の向上を目的として、入室者14の身長をデプスカメラで撮像して得られる撮像画像を解析することにより算出し、算出した身長に応じて、通過時刻の閾値を定める制御を行うことも考えられる。この場合には、処理の複雑化と処理量増加を招く。
 次に、本実施形態に係る人数カウント装置10-1の撮像部101により撮像された映像を構成する撮像画像の例について説明する。次に説明する例では、撮像画像の周辺領域316aにおいてドア13の映像が含まれる。図10(a)は、図1に示す部屋11の内部を鉛直方向視してなる等立体角射影図である。図10(a)に示す例も、入室者14は、ドア13から入室し、ドア13の近傍に設定されたカウント領域401’を通過している状態を示す。カウント領域401’は、図9(a)に示すカウント領域321’と同様の位置に配置され、同様の形状を有する3次元の領域である。カウント領域401’も、入室者14の入室をカウントするための領域である。即ち、人数カウント装置10-1は、撮影画像に基づいて入室者14がカウント領域401’の通過を検出する毎に人数を1ずつ増加させることにより、通過した人の人数を計測する。但し、人数カウント装置10-1が天井18の中央部に設置されることと、三次元空間上の人数カウント装置10-1の位置がカウント領域401’上部を占める空間の範囲外であることが図9(a)に示す例とは異なる。
 図10(b)は、人数カウント装置10-1の撮像部101により撮像された撮像画像の例である。撮像画像は、ドア13から部屋11に入室した入室者14が入室し、入室者14がカウント領域401を通過している状況を示す。図10(b)に示す例でも、中央領域315aと周辺領域316aが、図9(b)に示す例と同様に設定される。図10(b)のカウント領域401は、図10(a)に示すカウント領域401’が撮像画像内に表される2次元の領域である。カウント領域401’は、XZ平面において人数カウント装置10-1から離れたドア13の近傍に設定されているため、入室者14の画像の領域とカウント領域401が撮像画像の周辺領域316aに含まれる。この例では、周辺領域316aに表される出入り口から入室する入室者14がカウント領域401を通過した後、中央領域315aに表される領域を通過して、周辺領域316aに表される領域に進む場合を仮定する。
 人数カウント装置10-1において撮像部101として魚眼レンズを備えるカメラが用いられるとき、入室者14の移動速度が多少変化して移動しても、レンズの歪みにより周辺領域316aでは撮像画像における入室者14の画像上の移動量の変化率がほぼ一定となる。つまり、撮像画像上における入室者14の画像上の移動速度がほぼ一定となる。また、入室者14の身体(例えば、頭)を表す画像の大きさ(面積)についても、周辺領域316a内では、ほぼ一定となり有意に変化しない。
 後述するように、カウント領域401において入室者14の映像が動いた領域の面積に基づいて人数をカウントする場合には、カウント領域401を通過したことを検出するためのパラメータとして一定のパラメータを用いることが許容される。カウント領域401において入室者14の画像の面積やその面積の変化量が有意に変化しないためである。設定すべきパラメータが限定されることで、より適切なパラメータの設定を簡便に行うことができるので、カウント領域401を通過する人数のカウント精度を向上させることできる。
 また、入室者14の移動速度が一定である場合において、撮像画像上の入室者14の映像の移動速度が有意に変化しないため、カウント領域401の通過を判定するための通過時間の閾値として一定値を用いることできる。そのため、より適切な通過時間の閾値の設定を簡便に行うことができる。
 さらに、カウント領域401が設定される撮像画像の周辺領域316aでは、中央領域315aと比較して解像度が低下する。そのため、入室者14の移動速度が変化する場合でも、撮像画像に表される入室者14の映像上の移動速度がほぼ一定となる。さらには、入室者14の映像上の大きさ(面積)についても、その解像度の低下により周辺領域316a内においてほぼ一定とすることができる。以上のことから、カウント領域401の通過を判定するための時間パラメータとして一定の設定値を用いることができるので、最適なパラメータ設定を簡便に行うことができる。よって、カウント領域401を通過する人数のカウント精度を向上させることができる。
〔人数カウント方法〕
 次に、本実施形態に係る人数カウント方法について説明する。図11は、人数カウント装置10-1の撮像部101が撮像した撮像画像の他の例を示す図である。図11は、ドア13から入室者14が部屋11に入室し、退室者15が部屋11からドア13を通過して退室しようとする状況を表す。視野309内に表される撮像画像において、カウント領域401(図上の斜線の領域)、入室動き検出領域501(図上の破線の矩形領域)、及び退室動き検出領域502(図上の実線の矩形領域)が設定されている。入室動き検出領域501、退室動き検出領域502は、それぞれ入室者14、退室者15の動きを検出するための領域である。
 カウント領域401は、人数カウント装置10-1の通過人数カウント部1025(後述)により、上述したように入室者14、退室者15の動きに基づいて入退室者数を計数する領域である。図11に示す例では、カウント領域401は、入室動き検出領域501と、退室動き検出領域502とが重なり合う領域である。人数カウント装置10-1の動き検出部1021(後述)は、人数カウント処理に先立ち、入室動き検出領域501に含まれる入室者14の画像の動き、退室動き検出領域502に含まれる退室者15の画像の動きの一方または両方を検出する。そして、人数カウント装置10-1の動き検出部1021は、検出したカウント領域401内に表される映像に基づいて入室者14と退室者15の数をカウントする。なお、以下の説明では、入室と退室を入退室と総称することがある。
 入室動き検出領域501、退室動き検出領域502は、それぞれ部屋11内に設定される3次元の領域である第1領域501’、第2領域502’(図示せず)を撮像画像に投影してなる2次元の領域である。図11に示す例では、入室動き検出領域501、退室動き検出領域502の形状は、それぞれ矩形であり、カウント領域401の水平方向の幅だけ重なり合うように、撮影画像の水平方向にずれた位置に配置されている。入室動き検出領域501、退室動き検出領域502の水平方向の辺の長さは、それぞれ動きの検出に要する時間内に入室者14の画像、退室者15の画像が進行する距離に相当する長さである。垂直方向の辺の長さは、それぞれ撮像画像上に表されるドア13の幅に相当する長さである。
 次に、入退室動き検出処理について説明する。図12は、本実施形態に係る入退室動き検出処理を説明するための図である。図12は、図11に示す入室動き検出領域501、退室動き検出領域502、カウント領域401をいずれも含む拡大図である。動き検出部1021は、入室動き検出領域501、退室動き検出領域502のそれぞれに表された映像を構成する各時刻の画像を用いてパターンマッチングによる動き検出を行う。まず、動き検出の前もしくは後において、動き検出部1021は、入室動き検出領域501、退室動き検出領域502のそれぞれに表された映像を構成する各時刻の画像に対して、予め設定された参照パターンとパターンマッチングを行う。動き検出部1021は、パターンマッチングにより、各時刻の画像に含まれる入室動き検出領域501、退室動き検出領域502のそれぞれから参照パターンと一致または類似する部分に相当する人の画像を検出する。そして、動き検出部1021は、各時刻において入室動き検出領域501、退室動き検出領域502のそれぞれから検出した人の画像の動きを検出し、検出した動きを示す動き情報を生成する。
 パターンマッチングにおいて、動き検出部1021は、各時刻の入室動き検出領域501、退室動き検出領域502の所定範囲内に代表点が配置された参照パターンと撮像画像の各領域との類似度を示す指標値を算出し、指標値は値が小さいほど類似することを示す。動き検出部1021は、所定範囲内に配置された代表点のそれぞれについて算出した指標値のうち、最も類似することを示す指標値を選択する。動き検出部1021は、選択した指標値が所定の指標値の閾値以下である場合、人を検出できると判定する。その場合、動き検出部1021は、選択した指標値に係る代表点の座標を特定する。動き検出部1021は、選択した指標値が所定の指標値の閾値よりも大きい場合、人を検出できなかったと判定する。
 動き検出部1021は、動きを検出する際、例えば、オプティカルフローによる動き検出(後述)を行う。動き検出部1021は、検出した移動量で移動方向に位置が順次ずれ、検出された人の画像を統合することによって移動する人の軌跡を生成してもよい。なお、以下の説明では、軌跡とは、移動に伴って変化する被写体が占める領域の集合を意味する。軌跡は、例えば、フレーム時刻毎の被写体が占める領域内の座標のセットによって表わされる。また、軌道とは、被写体の移動を表す経路を意味する。軌道は、一定の領域の代表点(例えば、重心)の時刻毎の座標の時系列によって表される。一定の領域は、検出した人の画像に含まれる各マクロブロック(後述)であってもよいし、人の画像が表される領域全体であってもよい。
 図12に示す例では、入室動き検出領域501、退室動き検出領域502に表される空間において、入室者14と退室者15が時刻t毎に等速で進行している状況を例にする。
進行方向は入室者14によるドア13から離れる方向と、退室者15によるドア13に向かう方向の2通りである。そこで、動き方向を検出するためのパターンマッチングにおいて、人の動きを表すモデルデータとして入室参照パターンと退出参照パターンの計2パターンが用いられる。入室参照パターン、退室参照パターンは、それぞれ入室、退室する動きを表す2次元の座標値を含んで構成される参照パターンである。座標値は、軌道の座標、例えば、フレーム時刻毎の参照パターンの代表点の座標の時系列を示す。入室参照パターンに含まれる軌道を示す各時刻のZ座標値は時間経過とともに減少する。退室参照パターンに含まれる軌道を示す各時刻のZ座標値は時間経過とともに増加する。Z座標値は、Z方向の座標値を意味する。なお、人の動きが等速直線運動であると仮定すると、軌道の座標に代えてもしくは当該座標とともに、例えば、単位時間当たりのZ座標値の変化量と代表点の座標の初期値の組が入室参照パターン、退室参照パターンに含まれてもよい。なお、入室参照パターン、退出参照パターンは、それぞれ複数個設定されてもよい。複数の入室参照パターンもしくは退出参照パターンの間では、例えば、移動速度と参照パターンの代表点の位置の一方または両方が異なる。
 人数カウント装置10-1の特定方向動き情報検出部1023は、例えば、動き情報が示す人の画像の動きの時系列と一致または最も類似する軌道を示す入室参照パターンまたは退出参照パターンを選択する。特定方向動き情報検出部1023は、例えば、予め設定された入室参照パターン、退室参照パターンが示す軌道上を移動する画像の軌跡と、動き検出部1021により撮像画像から検出された動きに基づいて移動する人の画像の軌跡とのパターンマッチングを行う。特定方向動き情報検出部1023は、それぞれ撮像画像が表す人の動きに最も類似する軌跡を表す入室参照パターン、退室参照パターンを選択する。特定方向動き情報検出部1023は、指標値として、例えば、SAD(Sum of Absolute Differences)、SSD(Sum of Squared Differences)などのいずれかを利用することができる。SAD、SSDは、いずれもその値が小さいほど類似度が高いことを示す指標値である。そして、特定方向動き情報検出部1023は、各参照パターンについて算出した指標値が最も小さい入室参照パターン、退室参照パターンを選択する。特定方向動き情報検出部1023は、選択した入室参照パターン、退室参照パターンを用いて軌跡を構成する。なお、1つの撮像画像には、複数人の動きをそれぞれ示す軌跡が含まれることがある。選択された入室参照パターン、退室参照パターンによって得られる軌跡群が、カウント領域401における入退室者数のカウント処理(後述)に用いられてもよい。
 次に、入室者数のカウント処理について説明する。人数カウント装置10-1の通過人数カウント部1025は、退室者についても、入室者と同様のカウント処理を実行することによって退室者数をカウントすることができる。
 図13は、本実施形態に係る入室者数のカウント処理を示す図である。入室者のカウント処理として、例えば、次の2通り(1)、(2)のいずれを実行してもよい。
 カウント方法(1)は、上述の入退室動き検出処理で得られた軌跡に基づく面積を用いて、入室者数をカウントする方法である。通過人数カウント部1025は、時刻t毎にカウント領域401において、入室参照パターンによって得られる軌跡に対応する入室者14の画像の面積のうちカウント領域401に属する面積の割合を求める。人数カウント装置10-1は、時刻t毎の割合が、所定の割合以上である値をとる期間が所定のフレーム数以上続くとき、入室者14のカウントを行うと判定。所定の割合とは、大部分がカウント領域401に属すると判定される割合、例えば、0.5~0.8のいずれかである。人数カウント装置10-1は、部屋11内の人数を1増加させる。この期間において、1名又は複数名の入室者14がカウント領域401に対応する空間を通過する。
 図13に示す例において、塗りつぶしで表される領域は、カウント領域401内で時刻T-1において監視される入室者14の画像が占める領域を表す。この領域の面積とカウント領域401の面積に対する割合が、入室者14のカウントを行うか否かの判定に用いられる。なお、人数カウント装置10-1は、入室参照パターンによって得られる軌跡に代えて、退室参照パターンに基づく軌跡に上述した処理を実行することによって、退室者数をカウントすることができる。
 但し、カウント方法(1)では、軌跡を構成する画像の面積が監視されるため、カウント領域401の面積が入室者14または退室者15を表す画像の面積、具体的には、その画像に外接する長方形の面積よりも大きいことを要する。そのため、人数カウント装置10-1の撮像部101から被写体となる人までの距離が大きい場合には、撮像画像において人の画像が占める面積が大き過ぎるために、カウント領域401における人の画像の通過を的確に検出できないことがある。
 そこで、カウント方法(2)は、カウント領域401の面積によらず、パターンマッチングで得られた軌跡群の重心を用いて、入室者数をカウントする方法である。通過人数カウント部1025において、カウント領域401のZ軸の正方向もしくは負方向の外縁である入室動き検出領域501または退室動き検出領域502に接する線を境界線として設定しておく。図13に示す例では、境界線としてカウント領域401が退室動き検出領域502に外接する境界線を予め入室判定境界線511として設定しておく。通過人数カウント部1025は、入室参照パターンによって得られる軌跡に対応する入室者14の画像の重心を算出し、算出した重心が入室判定境界線511を超えるとき、部屋11内の人数を1増加させることにより入室者14の人数をカウントする。
 また、図13に例示されるように、通過人数カウント部1025において、カウント領域401が入室動き検出領域501に外接する線を予め退室判定境界線512として設定しておく。通過人数カウント部1025は、退室参照パターンによって得られる軌跡に対応する退室者15の画像の重心を算出し、算出した重心が退室判定境界線512を超えるとき、部屋11内の人数を1減少させることにより退室者15の人数をカウントする。
 以上に説明した入退室者の映像の動きを認識するための手法として主にパターンマッチングを用いる場合を例にしたが、動き検出部1021において、入退室者の映像の動きを示す軌跡群が得られる手法であれば、いかなる手法が用いられてもよい。他の手法として、例えば、オプティカルフローや機械学習を用いたトラッキングなどがある。また、図13に示す例では、カウント領域401は、少なくとも人の胴体部を表す映像が示す領域を収容するための大きさが必要である。カウント領域401における人の映像の通過の検出に要する時間は、撮像部101が映像を撮像するためのサンプリングレートに依存する。
そのため、カウント領域401の横幅、つまり水平方向の長さは、少なくともサンプリング周期内において典型的な人の移動速度に応じて移動する画像の移動距離よりも大きくすることを要する。
〔人数カウント装置の構成〕
 次に本実施形態に係る人数カウント装置の構成について説明する。
 図14は、本実施形態に係る人数カウント装置10の構成を表すブロック図である。
 人数カウント装置10-1は、撮像部101、人数カウント処理部102、カウント結果送信部103を含んで構成される。なお、人数カウント装置10-1は、人数カウント処理部102とカウント結果送信部103を含んで構成されていれば、撮像部101とは別体であってもよい。図14に示す人数カウントシステム1は、n個の人数カウント装置10-1~10-n(nは、1以上の予め定めた整数)を含んで構成される。人数カウント装置10-2~10-nの構成は、それぞれ人数カウント装置10-1と同様な構成を有する。人数カウント装置10-1~10-nは、それぞれネットワーク41に接続され、相互にデータの送受信が可能である。従って、人数カウント装置10-1~10-nは、それぞれカウントした人数を示す結果データをネットワーク41に接続された機器に送信することができる構成の一例を示している。
 撮像部101は、撮像画像を表す映像信号を生成し、生成した映像信号を人数カウント処理部102に出力する。撮像部101は、例えば、被写体から入射された光を焦点に集光するレンズを備えた光学系と、集光された光を電気信号に変換する撮像素子を備えるカメラである。撮像部101が備える撮像素子は、例えば、CCD(Charge Coupled Device)素子、CMOS(Complementary Metal Oxide Semiconductor)素子である。なお、いかなる伝送方式を用いて人数カウント処理部102に入力してもよい。
 人数カウント処理部102は、撮像部101から入力された映像信号に基づいて人の画像を表す領域の動きを検出し、検出した動きが特定の移動方向に移動する領域を検出する。人数カウント処理部102は、検出した人の画像を表す領域が所定のカウント領域を通過するとき通過人数をカウントする。人数カウント処理部102は、例えば、映像信号が示す撮像された時刻が複数の撮像画像の部分領域毎に動き量が所定の動き量よりも大きい領域、つまり撮像画像に変化がある領域を移動する人の画像が表された領域と判定する。
 人数カウント処理部102は、所定時間内における移動する人の画像を表す領域を累積して人の動きを表す軌跡を検出する。人数カウント処理部102は、人の映像を表す領域が、予め定めた領域を通過するときに、通過人数をカウントする。通過人数のカウントの際、算出した動き情報から、特定の移動方向(例えば、出入口を示す境界線と垂直な方向)への動きを検出し、検出した動き情報が予め定めたカウント領域を所定の時間の範囲内に通過したか否かを検出するとき通過人数をカウントする。人数カウント処理部102は、カウントした通過人数を示す検出情報をカウント結果送信部103に出力する。
 なお、人数カウント処理部102は、撮像部101から入力された映像信号に基づき、人のいる位置や動き量の検出、人の性別や年齢、個人の識別、向いている方向、移動方向動、表情等、行動(例えば、直立、着座、睡眠、番組の視聴、読書などを含む)などを検出し、検出結果を示す検出情報を出力してもよい。
 カウント結果送信部103は、人数カウント処理部102から入力される検出情報を人数カウント装置10からの出力情報としてネットワーク41に接続された機器に送信する。送信先の機器は、例えば、結果集計表示装置21、22(図2)である。
 ネットワーク41は、機器間で各種のデータを伝送する。ネットワーク41は、LAN(Local Area Network)、WAN(Wide Area Network)、シリアル通信アーキテクチャ、のいずれか、またはこれらの任意の組み合わせであってもよい。ネットワーク41は、有線、無線、またはこれらの組み合わせであってもよい。
〔人数カウント処理部〕
 次に、人数カウント処理部102の構成について説明する。
 図15は、本実施形態に係る人数カウント処理部102の構成を表す概略図である。
 人数カウント処理部102は、動き検出部1021、画像メモリ1022、特定方向動き情報検出部1023、動き情報メモリ1024、および通過人数カウント部1025を含んで構成される。
〔動き検出部〕
 動き検出部1021は、撮像部101から入力されるその時点におけるフレームの画像を示す映像信号(現在画像)と、画像メモリ1022に記憶された過去のフレームの映像信号(過去画像)とから人の動きを表す動き情報を検出する。動き情報を検出するための一手法として、オプティカルフローによる動き検出について説明する。
(オプティカルフローによる動き検出)
 動き検出部1021は、図11、12を用いて説明したように、入室動き検出領域501および退室動き検出領域502(図11、12)内に表された映像に基づいて動き情報を検出する。動き検出部1021は、オプティカルフローによる動き検出を行うことによって動き情報を検出してもよい。動き検出部1021は、各検出領域について、現在画像と過去画像との間でブロックマッチングを行う。より具体的には、動き検出部1021は、ブロックマッチングにおいて過去画像の各検出領域に設定される第1のマクロブロック内の画像に一致又は最も近似する領域内の画像を表す第2のマクロブロックを、現在画像の対応する検出領域から探索する。マクロブロックは、各検出領域の一部の小領域である。マクロブロックに含まれる縦方向横方向の画素数は、例えば、8×8、16×16である。類似度を示す指標値として、例えば、上述したSAD、SSDなどが利用可能である。SADは、2つのマクロブロック間で対応する画素毎の画素値の差分についての絶対値をマクロブロック内の画素間で合計して得られる合計値(絶対値和)である。SSDは、2つのマクロブロック間で対応する画素毎の画素値の差分についての二乗値をマクロブロック内の画素間で合計して得られる合計値(平方和)である。SADとSSDは、いずれも値が小さいほど類似することを示す指標値である。
 一致または最も近似する領域の探索において、動き検出部1021は、現在画像の各検出領域においてマクロブロックの位置を、例えば、1画素ずつ水平方向または垂直方向にずらし、ずらしたマクロブロックのそれぞれについて指標値を算出する。動き検出部1021は、指標値が最小となり、予め定めた指標値の閾値よりも小さい現在画像のマクロブロックを一致又は最も近似する領域として定める。動き検出部1021は、過去画像の各検出領域内で設定可能なマクロブロックのそれぞれについて、その代表点(例えば、重心点)の座標から探索した現在画像のマクロブロックの代表点までの座標までの移動量および移動方向を表す動き情報を特定方向動き情報検出部1023に出力し、当該動き情報を動き情報メモリ1024に記憶する。以下の説明では、移動量、移動方向を、それぞれ動き量、動き方向と呼ぶことがある。
(顔または人物検出およびトラッキングによる動き検出)
 また、動き検出部1021は、オプティカルフローによる動き検出に代えて、顔または人物検出およびトラッキングによる動き検出を行ってもよい。ここで、動き検出部1021は、現在画像および過去画像から人の顔面が表される領域を検出し、検出した領域における代表点(例えば、重心点)の2次元座標や、その領域の上端、下端、左端、右端の2次元座標を表す2次元顔面領域情報を生成してもよい。顔面の領域を検出するために、動き検出部1021は、例えば予め設定した顔面の色彩(例えば、肌色)を表す色信号値の範囲にある画素を、入力された現在画像の映像信号から抽出してもよい。
 なお、動き検出部1021は、予め人間の顔面を表す濃淡(モノクロ)画像の画像信号を画像メモリ1022に記憶してもよい。そこで、動き検出部1021は、画像メモリ1022から読み出した濃淡画像の画像信号と入力された映像信号が示す現在画像との相関値を画像ブロック毎に算出し、算出した相関値が予め定めた閾値よりも大きい画像ブロックの領域を顔面の領域として検出する。画像ブロックは、1フレームの画像の一部の領域である。上述したマクロブロックも、画像ブロックの一種である。
 動き検出部1021は、入力された映像信号が示す画像に基づいて特徴量(例えば、Haar-Like特徴量)を算出し、算出した特徴量について予め定めた処理(例えば、Adaboostアルゴリズム)を行って人物の領域を検出してもよい。人物の領域とは、人物の胴体、頭部またはこれらの組が表される領域である。また、動き検出部1021は、入力された画像に基づいて所定の特徴量(例えば、Histogram of Oriented Gradient特徴量)を算出して、上述した顔の領域の検出と同様に、予め定めた処理(例えば、AdaboostアルゴリズムやSupport Vector Machineアルゴリズム)を行って、人物の領域を検出してもよい。動き検出部1021が顔や人物の領域を検出する方法は、上述の方法に限られず、入力された映像信号から顔または人物の領域を検出する方法であれば、いかなる方法であってもよい。
 上述では、画像上の顔を検出する方法について説明したが、その他の顔に関する関連情報、例えば、性別、年齢、顔が向いている方向、顔の表情(例えば、笑っている状態、怒っている状態、泣いている状態、等)などを、入力された映像信号が示す画像を用いて識別してもよい。ここで、動き検出部1021は、映像信号が示す画像について所定の特徴量を算出し、上述した顔の領域の検出と並行して、算出した特徴量について上述した処理を行って関連情報を識別してもよい。上述した処理による関連情報の識別に用いる識別データを、顔の領域の検出に用いる識別データを予め画像メモリ1022に記憶しておく。
 動き検出部1021は、予め特定の人物の顔画像から所定の特徴量を算出し、算出した所定の特徴量を画像メモリ1022に記憶しておいてもよい。そして、動き検出部1021は、入力された映像信号が示す現在画像について算出される特徴量と画像メモリ1022に記憶した特徴量を上述した処理を行って照合することによって、現在画像に表される顔画像が、いずれの登録者の顔画像であるかを識別するようにしてもよい。
 動き検出部1021は、撮像部101から入力される映像信号が示す現在画像と、画像メモリ1022から読み出した映像信号が示す過去画像に表される顔の領域または人物の領域から同一または類似する所定の顔または人物を追跡する。動き検出部1021は、同一または類似する顔または人物が発見された場合、顔の領域または人物の領域の移動量および移動方向を表す動き情報を特定方向動き情報検出部1023に出力し、動き情報メモリ1024に記憶する。
〔画像メモリ〕
 画像メモリ1022は、撮像部101から入力される映像信号(現在画像)をフレーム単位で順次記憶する記憶媒体もしくは記憶領域で構成される。画像メモリ1022が記憶する画像のフレーム数は、動き検出に十分な所定のフレーム数である。画像メモリ1022は、所定のフレーム数の画像を記憶し、動き検出部1021から要求されるフレームの画像が動き検出部1021に読み出される。所定のフレーム数は、例えば、映像信号のフレームレートが30fps(frames per second)である場合、1秒間に相当する30フレームである。なお、動き検出部1021に読み出される画像は、動き検出部1021より指定された任意のフレームの画像でもよいし、撮像部101から入力された映像信号のフレームの画像からmフレーム(mは、1以上の予め設定されたフレーム数を示す整数)遅延したフレームの画像でもよい。即ち、画像メモリ1022は、動き検出部1021から要求された過去のフレームの画像(過去画像)、または現在画像よりnフレーム遅延した過去画像を動き検出部1021に出力する。
〔特定方向動き情報検出部〕
 特定方向動き情報検出部1023には、動き検出部1021から入力される現動き情報と、動き情報メモリ1024から読み出される過去動き情報とから、予め定めた動き方向と一致または最も近似する動き情報を検出する。現動き情報は、その時点で入力される最新の動き情報を意味する。過去動き情報は、最新の動き情報が入力される時点よりも過去に取得された動き情報である。特定方向動き情報検出部1023は、検出した動き情報を特定方向動き情報として、通過人数カウント部1025に出力する。特定方向動き情報検出部1023は、動き情報メモリ1024に記憶された少なくとも1つの過去動き情報から、予め定めた動き方向および動き量の組と一致または最も近似する動き方向および動き量の組を示す動き情報を探索する。特定方向動き情報検出部1023は、一致または最も近似する動き方向と動き量の組を示す動き情報が現動き情報に存在する場合、その動き情報を特定方向動き情報として通過人数カウント部1025に出力する。
 予め定めた動き方向とは、例えば、室内の出入り口であるドア13の領域と直交する方向である。この方向は、出入り口に対する人の入室、退室方向と一致または近似する。そのため、特定方向動き情報検出部1023は、動き情報を手がかりとして入退室する人の動きを抽出し、それ以外の人の動きを除外することができる。それ以外の人の動きには、例えば、出入り口のドアの面と平行となる方向への動き、出入り口の前を通過する動き、入退室をしない人の動き、出入り口付近に立ち止まっている状態、等が含まれる。これにより、入退室する人の動きを表す特定方向動き情報が通過人数カウント部1025に提供されるので、通過人数カウント部1025における処理量が削減できるとともに、人数のカウント精度を向上させることができる。
 なお、出入り口やドアの構成、部屋内の設置状況によっては、ドアに対して斜めの方向に人が出入りすることがある。そのような場合には、予め定めたドアの主面に対する入射角度を、上述した予め定めた動き方向として特定方向動き情報検出部1023に設定しておいてもよい。これにより、特定方向動き情報検出部1023は、その方向に一致または近似する動き方向に係る動き情報を抽出することができる。
〔動き情報メモリ〕
 動き情報メモリ1024は、動き検出部1021から入力される現動き情報を順次記憶する。動き情報メモリ1024は、lフレーム(lは、1以上の予め定めた整数)分の動き情報を記憶する。そして、特定方向動き情報検出部1023から要求される過去の動き情報を探索し、探索される過去の動き情報を特定方向動き情報検出部1023に出力する。なお、動き情報メモリ1024が出力する過去の動き情報は、特定方向動き情報検出部1023から要求される時刻の動き情報には限られない。動き情報メモリ1024は、動き情報を記憶した時刻の順に、当該動き情報を現動き情報が入力される時刻から所定の遅延をもって過去動き情報として出力してもよい。
〔通過人数カウント部〕
 通過人数カウント部1025は、特定方向動き情報検出部1023から入力される特定方向動き情報に基づいて、所定のカウント領域(例えば、図11、12に示すカウント領域401)において通過した人の数をカウントする人数計測部である。通過人数カウント部1025は、カウント領域401において、特定方向動き情報に基づいて予め定めた時間τより短い期間内に人が通過したと判定する場合は、人数をカウントする。ここで、通過人数カウント部1025は、カウントした人数を1増加させ、カウント結果としてカウントした人数を含む検出情報をカウント結果送信部103に出力する。反対に、予め定めた時間τより長い期間に、人が通過したと判定した場合は、人数を変更しない。このような特定方向動き情報は、カウント領域401において人が停止する状態を表し、人が入退室する行動が表さないためである。通過人数カウント部1025が検出情報を出力するタイミングは、例えば、カウントした人数が変化するときである。
 また、カウント領域401において特定方向動き情報が同一方向に2つ検出される場合は、通過人数カウント部1025は、人数を2増加させ、カウントした人数を出力する。
 同様に、特定方向動き情報が同一方向にk個検出された場合は、通過人数カウント部1025は、人数をk増加させ、カウントした人数を出力する。なお、通過人数カウント部1025は、入室に係る人数と退室に係る人数を独立してカウントし、それぞれの人数をカウント結果として含む検出情報をカウント結果送信部103に出力してもよい。
〔人数カウント処理〕
 次に、本実施形態に係る人数カウント処理について説明する。
 図16は、本実施形態に係る人数カウント処理を表すフローチャートである。
(ステップS100)撮像部101は、光軸が鉛直下向きとなる向きに予め設置させておく。撮像部101は、映像を撮像し、その時点の撮像画像として現在画像を示す映像信号を動き検出部1021に出力する。その後、ステップS101に進む。
(ステップS101)撮像部101は現在画像を示す映像信号を画像メモリ1022に記憶し、画像メモリ1022は過去に記憶した過去画像を示す映像信号を動き検出部1021に出力する。その後、ステップS102に進む。
(ステップS102)動き検出部1021は、撮像部101から入力された映像信号が示す現在画像と、画像メモリ1022からの映像信号が示す過去画像とから、動き領域を検出する。過去画像には、撮影時刻が異なる複数のフレームの撮像画像が含まれてもよい。
動き領域とは、撮像画像上において、その領域内に含まれる画素毎の画素値が縦方向または横方向に並進運動することにより画素値が変化する領域である。動き検出部1021は、その移動量および移動方向を算出する。移動量と移動方向は、移動ベクトルで表される。さらに、動き検出部1021は、動き領域を検出する際、例えば、現在画像上の任意の領域が過去画像上の各領域内の画素値の分布と一致または類似する領域を現在画像からブロックマッチングを行って検索する。動き検出部1021は、現在画像上の領域と一致した過去画像上の領域の座標をそれぞれ算出することで、その移動量および移動方向、移動ベクトルを算出してもよい。
 また、動き検出部1021は、上述したように現在画像から顔領域情報または人物領域情報を検出し、検出した顔領域情報または人物領域情報を複数フレーム間で追跡してもよい。動き検出部1021は、追跡により移動量、移動座標、及び移動ベクトルを現動き情報として算出し、算出した現動き情報を出力してもよい。さらに、動き検出部1021は、撮像部101から入力された映像信号が示す現在画像から、人の顔領域を検出し、検出した顔領域から人の顔の位置、向き、表情、年齢、性別等のいずれかまたはそれらの組み合わせを認識し、認識した情報を現動き情報に含めて出力してもよい。
 動き検出部1021は、算出した前記現動き情報を特定方向動き情報検出部1023と動き情報メモリ1024へ出力する。その後、ステップS103に進む。
(ステップS103)動き情報メモリ1024は、動き検出部1021から入力された現動き情報を記憶するとともに、特定方向動き情報検出部1023に出力する。その後、ステップS104に進む。
(ステップS104)特定方向動き情報検出部1023は、動き検出部1021から入力された現動き情報と、動き情報メモリ1024に記憶された過去動き情報とから、特定方向に動く人の動きを示す特定方向動き情報を検出する。特定方向に動く人には、例えば、出入り口の境界との直交方向に移動する人の動き、店内への入退室や車内外へ乗降する人の動き、などがある。店内への入退室方向の人の動きを示す特定方向動き情報を検出することで、入退室せず、出入り口付近に立っている人や出入り口の境界と平行に移動する人の動きを除外し、入退室する人の動きを確実に検出することが可能となる。
 特定方向動き情報検出部1023は、検出した特定方向動き情報を通過人数カウント部1025へ出力する。その後、ステップS105に進む。
(ステップS105)特定方向動き情報検出部1023から出力された特定方向動き情報を通過人数カウント部1025に出力する。その後、ステップS106に進む。
(ステップS106)通過人数カウント部1025は、特定方向動き情報検出部1023から入力された特定方向動き情報に基づき、出入り口から所定範囲内に設定したカウント領域を通過した人の数を入室方向、退室方向それぞれついてカウントする。通過人数カウント部1025は、カウントした入退室する人の数をカウント結果として計測する。
 通過人数カウント部1025は、計測したカウント結果を、ネットワーク41を介して接続された結果集計表示装置22に出力する。その後、ステップS107に進む。
(ステップS107)結果集計表示装置22は、人数カウント処理部102の通過人数カウント部1025からカウント結果を受信したか否かを監視する。カウント結果を受信したと判断された場合(ステップS107 YES)、ステップS108に進む。カウント結果が受信していないと判断された場合(ステップS107 NO)、ステップS107を繰り返す。これにより、人数カウント処理部102からのカウント結果が受信されるまで待機される。
(ステップS108)結果集計表示装置22は、受信したカウント結果を結果蓄積DB221に登録する。そして、ステップS109に進む。
(ステップS109)結果集計表示装置22は、カウント結果の集計、表示を指示するコマンドを示すコマンド入力操作を検出したか否かを判定する。結果集計表示装置22は、コマンド入力操作を検出したと判定する場合(ステップS109 YES)、ステップS110に進む。コマンド入力操作を検出していないと判定する場合(ステップS109 NO)、ステップS111に進む。
(ステップS110)結果集計表示装置22は、ユーザによるカウント結果の集計、表示を指示ずるコマンド入力操作を検出したと判定する場合に、結果蓄積DB221からカウント結果を読み出す。結果集計表示装置22は、読み出したカウント結果を、所定時間、日付、季節、天気、等の時期別によりカウント結果を集計する。結果集計表示装置22は、集計した時期毎のカウント結果を示す表示データを表示部に出力する。表示部は、入力される表示データのうち、カウント結果を数値で表示し、時期毎に集計したカウント結果を図やグラフで表示する。
 なお、結果集計表示装置22は、コマンド入力操作を検出するか否かによらず、人数カウント処理部102から受信したカウント結果を結果蓄積DB221に記憶し、かつ、その時点(リアルタイム)で受信したカウント結果を表示部に出力してもよい。結果集計表示装置22は、表示部に出力する情報は、結果蓄積DB221から読み出したカウント結果を含めて表示部に出力してもよい。その後、ステップS111に進む。
 (ステップS111)人数カウント処理部102は、人数カウント処理を終了させるか否かを判定する。人数カウント処理部102は、例えば、電源オフを指示する操作を検出するとき、人数カウント処理を終了させると判定し、その操作を検出しないとき、人数カウント処理を終了せずに継続すると判定する。継続すると判断する場合(ステップS111 NO)、ステップS100に進み、次の撮影映像を取得する。人数カウント処理が終了したと判断された場合(ステップS111 YES)、図16に示す処理を終了する。
 以上に説明したように、本実施形態に係る人数カウント装置10は、所定の検出領域内の画像を撮像する撮像部が互いに異なる時刻に撮像した撮像画像の所定の第1領域(例えば、入室動き検出領域501、退室動き検出領域502)に表される被写体の動きに関する動き情報を検出する動き検出部1021を備える。また、人数カウント装置10は、検出した動き情報から、所定の特定方向への動きに関する特定方向動き情報を検出する特定方向動き情報検出部1023を備える。また、人数カウント装置10は、検出した特定方向動き情報を用いて撮像画像の所定の第2領域(例えば、カウント領域401)に表される通過する被写体の数を計測する通過人数カウント部1025を備える。そして、第1領域の一部もしくは全部および第2領域の一部もしくは全部の少なくとも一方は、撮像画像の中心から所定の範囲の領域である中央領域を除いた周辺領域に設定されることを特徴とする。
 この構成により、被写体を表す画像の動きを検出する第1領域、被写体を表す画像の通過を検出する第2領域では、それらの画像の動きは被写体の速度の変動に対してロバストである。被写体が動く速度が変動しても、その被写体の画像の動きが安定するので、通過数の変動要因になりうる第2領域内の入室もしくは退室に係る特定方向に動く人の画像を安定して検出することができるので、通過数のカウントを精度よく行うことができる。また、第1領域、第2領域の位置、計測時間等のパラメータの画像の移動速度や歪みに対する依存性が低いので、設定すべきパラメータが限定される。よって、適切なパラメータ設定を容易に行うことで計測精度が向上する。
 本実施形態に係る人数カウント装置10において、中央領域は、中心が撮像画像の中心にある円または多角形の領域であって、第1領域と第2領域のうちどちらか一方の少なくとも一部の領域は中央領域に含まれ、第1領域と第2領域の少なくとも一部の領域以外の領域が周辺領域に含まれることを特徴とする。
 中央領域の形状は、その中心に対して対称性を有するので、画像の移動速度や歪に対する依存性が十分少なくなる周辺領域内に第1領域と第2領域のうちどちらか一方の少なくとも一部が中央領域に含まれることを許容しつつ、被写体を表す画像を検出する領域である第1領域もしくは第2領域の大きさに応じて、定量的に中央領域と周辺領域を定めることができる。
 本実施形態に係る人数カウント装置10は、周辺領域は、動き情報を検出する所定の期間において移動速度の所定の個体差に応じて生ずる変位(即ち、距離Dの差)に対応する前記撮像画像における前記被写体の画像の変位(即ち、移動量Pの差)が所定の変位以内である領域であることを特徴とする。
 この構成によれば、移動速度の個体差による撮像画像上に被写体が表される画像の変位が十分に小さい領域が周辺領域として設定される。周辺領域内に設定される第1領域、第2領域を用いて画像の動きの検出、通過数のカウントが行われるので、移動速度の個体差に対してロバストに通過数のカウントを行うことができる。
 本実施形態に係る人数カウント装置10において、撮像部101の撮像方向が鉛直方向であることを特徴とする。
 通過数のカウント対象の部屋の出入り口周辺を網羅する第1の領域、第2の領域が周辺領域に配置されるように、撮像部101が部屋のほぼ中央部の天井に設置されることで、部屋内部を平面視した画像を撮像することが可能になる。そのため、通過数のカウント精度を損なわずに、撮像部101の設置条件が緩和される。
 本実施形態に係る人数カウント装置10において、特定方向は、少なくとも前記第1領域の一辺と前記第2領域の一辺の一方との直交方向であって、特定方向の直線が少なくとも第1領域の中心または第2領域の中心の一方と前記撮像画像の中心を通るように、第1領域と第2領域が設定されることを特徴とする。
 この構成によれば、部屋の周辺領域に所在する第1領域もしくは第2領域から自装置に接近、または自装置から第1領域もしくは第2領域に遠ざかる被写体の動きをより確実に検出することができる。そのため、入室または退室に係る被写体の数をカウントすることにより、部屋内の通過数のカウント精度を向上することができる。
(第2の実施形態)
 以下、図面を参照しながら本発明の第2の実施形態について説明する。上述した実施形態と同一の構成については、同一の符号を付してその説明を援用する。
 図17は、本実施形態に係る人数カウント装置の配置例を表す斜視図である。
 図17に示す例では、図1に示す例とは異なり、人数カウント装置10は、部屋11のドア13が設置されたXY平面に平行な壁面において、ドア13の上端よりもY軸の負方向にあたる真上の高い位置に設置されている。この高さは、部屋11の天井18の高さ以下の高さであり、かつ退室者15もしくは入室者14の身長よりも高い。また、人数カウント装置10の撮像部101は、その光軸1011の向きがドア13の主面の法線方向であるZ軸の負方向よりもY軸方向に傾いた斜め方向に設置されている。
 ここで、光軸1011の向きがドア13の主面の法線方向であるZ軸の負方向と平行になるように、撮像部101が設置される場合を仮定する。この場合において、入室者14と退室者15がZ方向に縦列しているときに、部屋11に入室する入室者14と部屋11から退室しようとする退室者15のうち撮像部101に遠い方が、他方に隠れる(オクル-ジョン)。その場合、遠い方が人数としてカウントされなくなる。この状態は、入室者14と退室者15の距離が離れている場合に顕著に発生する。
 本実施形態では、撮影方向を与える光軸1011の向きが上述した斜め方向となる向きに撮像部101が設置されるので、入室者14と退室者15の遠い方が隠れる状態の発生を防止することができ、より確実に入退室者の人数をカウントできるようになる。
〔撮像部の設置条件〕
 次に、本実施形態に係る人数カウント処理に用いられるパラメータとして、撮像部101の設置条件に応じたパラメータの設定について説明する。
 図18は、図17に示す配置のもとで撮像部101が撮像した撮像画像の例を示す。図18に示す例では、動き検出部1021がカウント領域401としてドア13下端の全幅をその内部に表す矩形の領域が設定されている。また、カウント領域401は、撮像画像の上述した周辺領域内に設定される。撮像部101として画角が180°である魚眼カメラが用いられ、その方向が光軸1011の向きがドア13の法線方向(Z軸方向)からY軸方向に20°傾いた方向に設置しておく。ドア13の法線方向は、水平方向に平行である。この設置のもとでは、図17に示されるように光軸の方向から70°以内の範囲内、つまり画角が140°以内の領域にカウント領域401が表される。この領域は、撮像画像の周辺領域に配置される。本実施形態に係る動き検出部1021は、このカウント領域401に表される入室者14の映像と、退室者15の映像に基づいて動き情報を検出する。
 以上に説明したように、本実施形態に係る人数カウント装置10において、撮像部101は、第1領域(例えば、入室動き検出領域501、退室動き検出領域502)に表される第1空間領域(例えば、ドア13から所定範囲内の3次元空間領域)および第2領域(例えば、カウント領域401)に表わされる第2空間領域(例えば、前述の3次元空間領域に含まれるドア13を通過する人を検出する3次元空間領域)よりも高い位置に設置される。また、周辺領域に第1領域と第2領域が含まれるように、撮像部101の撮像方向が水平方向よりも鉛直方向に傾いた方向に設置されることを特徴とする。
 この構成により、被写体の移動速度が変化する場合でも、周辺領域において被写体を表す画像の移動速度がほぼ一定になるので、第2領域の通過を判定するための種々のパラメータの設定が簡便になる。そのため、より適切なパラメータ設定が促され、通過数のカウント精度を向上させることができる。加えて、撮像画像の第2領域に表される部屋11の出入り口よりも高い位置からより低い位置に向けて撮像方向を向けて撮像部101が設置される。そのため、カウント対象の被写体の画像が重なり合うオクル-ジョンを防止もしくは発生頻度を低下させることができる。このことによっても、さらに通過数のカウント精度を向上させることができる。
 なお、上述ではカウント領域401が、撮像部101の撮像方向がドア13の法線方向から20°傾いた方向に設置され、その撮像方向から70°以内の範囲内に含まれるようにカウント領域が設定される場合を例にしたが、これには限られない。カウント領域401が撮像画像の周辺領域内に表すことが可能な方向であれば、撮像部101はいかなる角度条件で設置されてもよい。例えば、撮像部101の撮像方向はドア13の法線方向から30°傾いた方向に設置されてもよい。
 また、上述では、人数カウント装置10がドア13の上部に設置される場合を例にしたが、かかる方向であれば、ドア13の上部に限らず、想定される入室者14又は退室者15の身長よりも高い位置に設置されれば、いかなる場所であってもよい。
 また、カウント領域401を含む入室動き検出領域501と退室動き検出領域502の配置も、上述したカウント領域401の配置に課される条件と同様の条件を満たす配置であればよい。
(第3の実施形態)
 以下、図面を参照しながら本発明の第3の実施形態について説明する。
 図19は、本実施形態に係る検出領域の配置例を示す図である。
 本実施形態では、動き検出部1021において2個以上の人数カウント検出領域304が設定される。2個以上の人数カウント検出領域は、それぞれ撮像画像の周辺領域316内に配置される。人数カウント検出領域304は、入室動き検出領域501と退室動き検出領域502の全体からなる領域である。人数カウント検出領域304には、入室動き検出領域501と退室動き検出領域502が重なり合う領域としてカウント領域401が含まれる。図19に示す例では、人数カウント検出領域304の個数は4個であり、4個の人数カウント検出領域304を、それぞれ右回りに順に人数カウント検出領域304a~304dと称して区別する。
 人数カウント検出領域304aの方向は、その主軸がドア13aを通る人の出入り方向が撮像画像に射影される方向と平行な方向に設定される。出入り方向は、つまり所定の動き検出ならびに人数の通過をカウントする方向、例えば、出入り口であるドア13aの領域に直交する方向である。人数カウント検出領域304aの主軸の方向は、退室動き検出領域502aが入室動き検出領域501aから離して配置される方向に相当する。また、この主軸の方向は、人数カウント検出領域304aの中央を通る対称軸の方向に相当し、撮像画像の範囲である視野309の中心を通るように設定される。人数カウント検出領域304b~304dが周辺領域316内に配置され、それぞれの主軸の向きがドア13b~13dを通る人の出入り方向が撮像画像に射影される方向に、視野309の中心を通るように設定される。図19に示す例では、人数カウント検出領域304b~304dは撮像画像の中心に、中心を有する同心円上に互いに重なり合わないように配置され、それぞれの主軸が撮像画像の中心を通るように配置される。
 このように、本実施形態に係る人数カウント処理部102には、周辺領域316において同心円状に設置された人数カウント検出領域304が設定され、設定された人数カウント検出領域を用いて人数のカウントを行う。これにより、1フレームの画像で複数の出入口から同時に出入りする人の動きの検出精度が低下しない。そのため、カウントされる人数の精度の低下が抑制され、一定の精度を得ることができる。同時に、複数の人数カウント装置を設ける必要がないため、設置コストの増大を防止することができる。さらに、本実施形態では、人数カウント検出領域304a、304bのように、周辺領域のうち撮像画像の中心から水平方向もしくは垂直方向に離れた領域の他、人数カウント検出領域304c、304dのように撮像画像の中心から斜め方向に離れた領域に設置可能である。そのため、人数のカウントを行ううえで撮像部101の設置位置や向きの自由度が高くなる。よって、店舗、車両など撮像部101の設置位置に制約がある場合において、設置がより容易な位置に設置することによって人数カウント装置10の適用範囲を拡大することができる。
〔人数カウント装置の構成〕
 次に、本実施形態に係る人数カウント装置10の構成について説明する。図20は、本実施形態に係る人数カウントシステム1の構成を示すブロック図である。本実施形態に係る人数カウントシステム1は、n個の人数カウント装置10を含んで構成される。図20に示す例では、n個の人数カウント装置10は、それぞれ人数カウント装置10-1~10-nとして区別されているが、互いに同様の構成を備える。人数カウント装置10-1~10-nは、k(kは、2以上の所定の予め定めた整数)個の人数カウント検出領域304のそれぞれについて人数カウント処理を行って、その領域を通過する人の人数をカウントする。人数カウント装置10-1~10-nは、カウントした人数を示す結果データをネットワーク41に接続された機器(図示せず)に送信する。かかる機器には、図2に示す結果集計表示装置21、22が含まれてもよい。
 人数カウント装置10-1~10-nには、それぞれk個の人数カウント検出領域304が設定される。人数カウント装置10-1~10-n間で、kの数が異なっていてもよいし、設定される各k個の人数カウント検出領域304が異なってもよい。
 人数カウント装置10-1は、撮像部101、人数カウント処理部102-1~102-k、及びカウント結果送信部103を含んで構成される。なお、人数カウント装置10-1の撮像部101は、その他の部分と別体であってもよい。
〔人数カウント処理部〕
 図20の人数カウント装置10-1は、図14に示す人数カウント装置10-1の人数カウント処理部102に代えて、k個の人数カウント処理部102-1~102-kを備える。
 人数カウント処理部102-1~102-kには、それぞれ独立に人数カウント検出領域304-1~304-kが設定される。人数カウント処理部102-1~102-kは、撮像部101から入力された映像信号について、それぞれ設定された人数カウント検出領域304-1~304-k(例えば、人数カウント検出領域304a~304d)を用いて、上述した人数カウント処理を独立に行う。人数カウント処理部102-1~102-kは、人数カウント処理によってカウントされた人数を示すカウント結果をカウント結果送信部103に出力する。
〔カウント結果送信部〕
 カウント結果送信部103は、人数カウント処理部102-1~102-kの各々から入力されるカウント結果を集計する。カウント結果には、人の追跡結果としてその経路、入室者が誰であるかを示す識別情報、入室者の行動を示す行動情報などが含まれることがある。カウント結果送信部103は、集計して得られる集計結果を人数カウント装置10-1全体のカウント結果としてネットワーク41に接続された機器に送信する。カウント結果送信部103-1は、カウント結果を集計する際、人数カウント処理部102-1~102-kからのカウント結果を、人数カウント検出領域毎に独立に取得してもよいし、人数カウント検出領域間で合計することによって取得してもよい。人数カウント検出領域304-1~304-k毎に独立に取得する場合、カウント結果送信部103は、個々の出入口、例えば、店舗、車両など個別の利用者数を出力することができる。そのため、人の流動、動線、任意の出入口の利用実態などの情報を取得することができる。
 また、人数カウント検出領域間で人数カウント処理部101-1~102-kからのカウント結果を集計する場合には、カウント結果送信部103は、その合計値として、例えば、人数カウント装置10-1を設置したフロアの利用人数をはじめ、1領域に複数の出入り口がある場合における、その領域を利用した人の人数をカウント結果として出力することができる。これらのカウント結果は、店舗その他の業者によるマーケティング情報、もしくは列車、車両など、交通機関の混雑度情報として活用することができる。
 ネットワーク41に接続された送信先の機器の例として、結果集計表示装置21、22は、人数カウント装置10-1~10-nからカウント結果を受信する。結果集計表示装置21、22の表示部は、受信したカウント結果を示す人数を表示する。結果集計表示装置22は、受信したカウント結果を結果蓄積DB221に記憶する。
 以上に説明したように、本実施形態に係る人数カウント装置10において、撮像画像において、前記第1領域の少なくとも一部が前記第2領域と重複し、前記第1領域と前記第2領域からなる検出領域が複数個設定されることを特徴とする。また、動き検出部1021は、各検出領域に含まれる第1領域から動き情報を検出し、通過人数カウント部1025は、当該検出領域に含まれる第2領域に表される通過する被写体の数を計測する。
 その構成により、周辺領域に複数個配置される各検出領域内で検出される被写体の動きに基づいて部屋を入退出する被写体の数が独立にカウントされる。ここで、各検出領域の第1領域の中心と第2領域の中心を通る直線が、それぞれ撮像画像の中心を通るように配置されることで、それぞれの直線に接近もしくは遠ざかる方向に移動する被写体の画像の動きが検知される。そのため、複数の出入り口を備える部屋についても検出領域の増加によるカウント精度の低下が生じない。
 上述した実施形態では、通過数カウント装置が、主に人の動きを検出し、検出した人の通過人数をカウントする人数カウント装置10であることを例にしたが、検出対象は人の動きに限定されない。通過数カウント装置は、車や自転車、動物など、人以外の物体の通過数をカウントしてもよいし、工場等での生産物や店舗でのレジを通る販売品などの製品や部品、食品、食物など動く物の通過数をカウントするようにしてもよい。
 以上、図面を参照して本発明の実施形態について説明したが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更、例えば、組み合わせ、構成の一部の省略、等をすることが可能である。
 なお、上述した実施形態における人数カウント装置10(10-1~10-n)の一部、例えば、人数カウント処理部102をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、人数カウント装置10(10-1~10-n)に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
 また、上述した実施形態における人数カウント装置10(10-1~10-n)の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。人数カウント装置10等の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
 以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
 以上のように、本発明に係る通過数カウント装置、通過数カウント装置、プログラムおよびプログラム記憶媒体は、所定領域を通過する移動体の移動動向の分析及び把握に有用である。
10(10-1~10-n)…人数カウント装置、1011(1011-1、1011-2)…光軸、101(101-1~101-n)…撮像部、102(102-1~102-k)…人数カウント処理部、103…カウント結果送信部、1021…動き検出部、1022…画像メモリ、1023…特定方向動き情報検出部、1024…動き情報メモリ、1025…通過人数カウント部、41…ネットワーク

Claims (10)

  1.  所定の検出領域内の画像を撮像する撮像部が互いに異なる時刻に撮像した撮像画像の所定の第1領域に表される被写体の動きに関する動き情報を検出する動き検出部と、
     前記動き情報から、所定の特定方向への動きに関する特定方向動き情報を検出する特定方向動き情報検出部と、
     前記特定方向動き情報を用いて、前記撮像画像の所定の第2領域に表される通過する被写体の数を計測する計測部とを備え、
     前記第1領域の一部もしくは全部および前記第2領域の一部もしくは全部の少なくとも一方は、前記撮像画像の中心から所定の範囲の領域である中央領域を除いた周辺領域に設定されること
     を特徴とする通過数カウント装置。
  2.  前記中央領域は、中心が前記撮像画像の中心にある円または多角形の領域であって、前記第1領域と前記第2領域のうちどちらか一方の少なくとも一部の領域は前記中央領域に含まれ、前記第1領域と前記第2領域の前記少なくとも一部以外の領域が前記周辺領域に含まれること
     を特徴とする請求項1に記載の通過数カウント装置。
  3.  前記周辺領域は、前記動き情報を検出する所定の期間において、所定の移動速度の所定の個体差に応じて生ずる変位に対応する前記撮像画像における前記被写体の画像の変位が所定の変位以内である領域であること
     を特徴とする請求項1または請求項2に記載の通過数カウント装置。
  4.  前記撮像部の撮像方向が鉛直方向であること
     を特徴とする請求項1から請求項3のいずれか一項に記載の通過数カウント装置。
  5.  前記特定方向は、少なくとも前記第1領域の一辺と前記第2領域の一辺の一方との直交方向であって、
     前記特定方向の直線が少なくとも前記第1領域の中心と前記第2領域の中心の一方と前記撮像画像の中心を通るように、前記第1領域と前記第2領域が設定されること
     を特徴とする請求項1から請求項4のいずれか一項に記載の通過数カウント装置。
  6.  前記撮像部は、前記第1領域に表される第1空間領域および第2領域に表される第2空間領域よりも高い位置に設置され、
     前記周辺領域に前記第1領域と前記第2領域が含まれるように、当該撮像部の撮影方向が水平方向よりも鉛直方向に傾いた方向に設置されたこと
     を特徴とする請求項1から請求項5のいずれか一項に記載の通過数カウント装置。
  7.  前記撮像画像において、前記第1領域の少なくとも一部が前記第2領域と重複し、前記第1領域と前記第2領域からなる検出領域が複数個設定されること
     を特徴とする請求項1から請求項6のいずれか一項に記載の通過数カウント装置。
  8.  通過数カウント装置における通過数カウント方法であって、
     所定の検出領域内の画像を撮像する撮像部が互いに異なる時刻に撮像した撮像画像の所定の第1領域に表される被写体の動きに関する動き情報を検出する第1の過程と、
     前記動き情報から、所定の方向への動きに関する特定方向動き情報を検出する第2の過程と、
     前記特定方向動き情報を用いて、前記撮像画像の所定の第2領域に表される通過する被写体の数を計測する第3の過程と、を有し、
     前記第1領域の一部もしくは全部および前記第2領域の一部もしくは全部の少なくとも一方は、前記撮像画像の中心から所定の範囲の領域である中央領域を除いた周辺領域に設定されること
     を特徴とする通過数カウント方法。
  9.  通過数カウント装置のコンピュータに、
     所定の検出領域内の画像を撮像する撮像部が互いに異なる時刻に撮像した撮像画像の所定の第1領域に表される被写体の動きに関する動き情報を検出する第1の手順、
     前記動き情報から、所定の方向への動きに関する特定方向動き情報を検出する第2の手順、
     前記特定方向動き情報を用いて、前記撮像画像の所定の第2領域に表される通過する被写体の数を計測する第3の手順、
     を実行させるためのプログラムであって、
     前記第1領域の一部もしくは全部および前記第2領域の一部もしくは全部の少なくとも一方は、前記撮像画像の中心から所定の範囲の領域である中央領域を除いた周辺領域に設定されること
     を特徴とするプログラム。
  10.  通過数カウント装置のコンピュータに、
     所定の検出領域内の画像を撮像する撮像部が互いに異なる時刻に撮像した撮像画像の所定の第1領域に表される被写体の動きに関する動き情報を検出する第1の手順、
     前記動き情報から、所定の方向への動きに関する特定方向動き情報を検出する第2の手順、
     前記特定方向動き情報を用いて、前記撮像画像の所定の第2領域に表される通過する被写体の数を計測する第3の手順、
     を実行させるためのプログラムであって、
     前記第1領域の一部もしくは全部および前記第2領域の一部もしくは全部の少なくとも一方は、前記撮像画像の中心から所定の範囲の領域である中央領域を除いた周辺領域に設定されること
     を特徴とするプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
PCT/JP2017/003622 2016-02-04 2017-02-01 通過数カウント装置、通過数カウント方法、プログラムおよび記憶媒体 WO2017135310A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016020109 2016-02-04
JP2016-020109 2016-02-04

Publications (1)

Publication Number Publication Date
WO2017135310A1 true WO2017135310A1 (ja) 2017-08-10

Family

ID=59499905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/003622 WO2017135310A1 (ja) 2016-02-04 2017-02-01 通過数カウント装置、通過数カウント方法、プログラムおよび記憶媒体

Country Status (1)

Country Link
WO (1) WO2017135310A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796035A (zh) * 2019-10-14 2020-02-14 上海复瞰科技有限公司 一种基于人形检测和速度计算的进出人数统计方法
CN112825193A (zh) * 2019-11-21 2021-05-21 中移物联网有限公司 目标跟踪方法、装置、电子设备以及存储介质
CN114040169A (zh) * 2018-03-28 2022-02-11 佳能株式会社 信息处理装置、信息处理方法和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135188A (ja) * 2003-10-30 2005-05-26 Konica Minolta Holdings Inc 監視方法、監視システム、およびコンピュータプログラム
JP2010262397A (ja) * 2009-04-30 2010-11-18 Nippon Telegr & Teleph Corp <Ntt> 物体数計測方法、物体数計測装置、物体数計測プログラム及びこのプログラムを記録した記録媒体
JP2013186876A (ja) * 2012-03-12 2013-09-19 Nec Corp 無人化判定装置、無人化判定方法および無人化判定プログラム
JP2015203912A (ja) * 2014-04-11 2015-11-16 パナソニックIpマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135188A (ja) * 2003-10-30 2005-05-26 Konica Minolta Holdings Inc 監視方法、監視システム、およびコンピュータプログラム
JP2010262397A (ja) * 2009-04-30 2010-11-18 Nippon Telegr & Teleph Corp <Ntt> 物体数計測方法、物体数計測装置、物体数計測プログラム及びこのプログラムを記録した記録媒体
JP2013186876A (ja) * 2012-03-12 2013-09-19 Nec Corp 無人化判定装置、無人化判定方法および無人化判定プログラム
JP2015203912A (ja) * 2014-04-11 2015-11-16 パナソニックIpマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040169A (zh) * 2018-03-28 2022-02-11 佳能株式会社 信息处理装置、信息处理方法和存储介质
CN110796035A (zh) * 2019-10-14 2020-02-14 上海复瞰科技有限公司 一种基于人形检测和速度计算的进出人数统计方法
CN112825193A (zh) * 2019-11-21 2021-05-21 中移物联网有限公司 目标跟踪方法、装置、电子设备以及存储介质
CN112825193B (zh) * 2019-11-21 2023-02-10 中移物联网有限公司 目标跟踪方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
US11321592B2 (en) Method and system for tracking an object-of-interest without any required tracking tag theron
US10733427B2 (en) System and method for detecting, tracking, and counting human objects of interest using a counting system and a data capture device
US9530060B2 (en) System and method for building automation using video content analysis with depth sensing
US20210304577A1 (en) Integrated Camera and Ultra-Wideband Location Devices and Related Systems
US20110169917A1 (en) System And Process For Detecting, Tracking And Counting Human Objects of Interest
TW201118803A (en) Person-tracing apparatus and person-tracing program
Shoaib et al. View-invariant fall detection for elderly in real home environment
JP2018067755A (ja) 検出データ管理装置
US11657650B2 (en) Techniques for automatically identifying secondary objects in a stereo-optical counting system
WO2017135310A1 (ja) 通過数カウント装置、通過数カウント方法、プログラムおよび記憶媒体
WO2017114846A1 (en) Depth sensing based system for detecting, tracking, estimating, and identifying occupancy in real-time
JP4244221B2 (ja) 監視映像配信方法及び監視映像配信装置並びに監視映像配信システム
JP2003179912A (ja) 監視映像配信システムおよび監視映像配信方法
TWM551285U (zh) 臉部辨識安控系統
US20210133491A1 (en) System and method for detecting, tracking and counting human objects of interest with an improved height calculation
KR20170007070A (ko) 방문객 출입 통계 분석 방법 및 장치
JP6645503B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
KR102407202B1 (ko) 지능형 영상 분석 장치 및 방법
JP6997140B2 (ja) 情報処理装置、判定方法、およびプログラム
JP6959300B2 (ja) 情報処理装置、立ち入り判定方法、およびプログラム
CN111652173B (zh) 一种适合综合商场内人流管控的采集方法
JP6905553B2 (ja) 情報処理装置、登録方法、判定方法、およびプログラム
KR20240044162A (ko) 자가학습 및 다중 카메라 기반 하이브리드 무인매장 관리 시스템
EP4131163A1 (en) Information processing method, program, and information processing system
JP2022064118A (ja) 情報処理装置、情報処理システムおよび情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17747465

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17747465

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP