WO2015052896A1 - 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体 - Google Patents

乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体 Download PDF

Info

Publication number
WO2015052896A1
WO2015052896A1 PCT/JP2014/005018 JP2014005018W WO2015052896A1 WO 2015052896 A1 WO2015052896 A1 WO 2015052896A1 JP 2014005018 W JP2014005018 W JP 2014005018W WO 2015052896 A1 WO2015052896 A1 WO 2015052896A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
specific part
tire
image
unit
Prior art date
Application number
PCT/JP2014/005018
Other languages
English (en)
French (fr)
Inventor
亮磨 大網
有紀江 海老山
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2015541434A priority Critical patent/JP6458734B2/ja
Priority to US15/025,968 priority patent/US9934442B2/en
Publication of WO2015052896A1 publication Critical patent/WO2015052896A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Definitions

  • the present invention relates to a passenger number measuring device, a passenger number measuring method, a program recording medium, etc.
  • the present invention relates to a passenger number measuring device, a passenger number measuring method, and a program recording medium for measuring the number of passengers in an image taken by a camera installed outside the vehicle.
  • Non-Patent Document 1 by detecting a face from an image of a person photographed through a windshield, a person in the car is detected by photographing the inside of the car with a camera installed outside the car and counting the number of passengers. The detection method is described.
  • the passenger counting device detects a specific part of a vehicle in an acquired image and associates the specific part detection result between the images with a specific part detection unit that generates a specific part detection result.
  • Corresponding means for calculating the amount of movement of the vehicle and generating vehicle movement information including the calculation result; detecting a person on board in the image; and detecting a person detection result including the detected position information of the person.
  • the method for measuring the number of passengers generates a specific part detection result by detecting a specific part of a vehicle in an acquired image, associates the specific part detection result between images, and determines the amount of movement of the vehicle. Calculating, generating vehicle movement information including the calculation result, detecting a person on board in the acquired image, generating a person detection result including position information of the detected person, and calculating the person detection result
  • the number of passengers is determined by integrating based on the vehicle movement information.
  • This object is also achieved by a computer program that realizes the passenger number measuring device or the passenger number measuring method having the above-described configurations by a computer, and a computer-readable recording medium that stores the computer program. Is done.
  • Embodiment 1 FIG. A first embodiment of the present invention will be described below with reference to the drawings.
  • FIG. 1 is a block diagram showing a configuration of a first embodiment of a passenger counting device according to the present invention.
  • the passenger counting device in the present embodiment includes an image acquisition unit 100, a specific part detection unit 101, an association unit 102, a person detection unit 103, and an integration unit 104.
  • the image acquisition unit 100 includes an imaging device such as a camera, and supplies the acquired image to the specific part detection unit 101 and the person detection unit 103.
  • the image acquisition unit 100 acquires an image with a fixed angle of view of the camera.
  • the specific part detection unit 101 detects a specific part of the vehicle (hereinafter referred to as “specific part”) from the image supplied from the image acquisition unit 100 and also refers to a detection result (hereinafter referred to as “specific part detection result”). ) Is supplied to the associating unit 102.
  • the associating unit 102 obtains vehicle movement information by associating specific part detection results between images, and supplies the obtained vehicle movement information to the integrating unit 104.
  • the person detection unit 103 detects a person from the image supplied from the image acquisition unit 100 and supplies a person detection result (hereinafter referred to as “person detection result”) to the integration unit 104.
  • the integration unit 104 calculates the number of passengers by integrating the person detection results supplied from the person detection unit 103 based on the vehicle movement information supplied from the association unit 102.
  • the image acquisition unit 100, the specific part detection unit 101, the association unit 102, the person detection unit 103, and the integration unit 104 are realized by, for example, a CPU (Central Processing Unit) of a computer that operates according to a passenger count measurement program.
  • the passenger count measurement program is stored, for example, in a storage device (not shown) of a computer.
  • the CPU reads the program, and operates as the image acquisition unit 100, the specific part detection unit 101, the association unit 102, the person detection unit 103, and the integration unit 104 according to the program.
  • the image acquisition unit 100, the specific part detection unit 101, the association unit 102, the person detection unit 103, and the integration unit 104 may be realized by separate hardware.
  • the image acquisition unit 100 acquires an image obtained by photographing the inside of the vehicle in time series from the outside of the vehicle.
  • the image acquisition unit 100 may capture an image in response to a trigger given from the outside, or may continue to capture an image at regular intervals.
  • the image acquisition unit 100 may use an infrared projector to clearly photograph a person in the vehicle. That is, the image acquisition unit 100 may include an infrared projector as a photographing device. In this case, the image acquisition unit 100 can capture light in the infrared region. In order to reduce the influence of visible light, the image acquisition unit 100 may capture an image so as to transmit only the wavelength in the infrared region by using a bandpass filter for image acquisition. Further, the image acquisition unit 100 may use a polarization filter in order to suppress reflection on the glass surface. Thereby, the influence which environmental information reflected on the glass surface of a car has on detection can be reduced by using the polarization characteristic of reflected light.
  • the image acquired by the image acquisition unit 100 is supplied to the person detection unit 103 and the specific part detection unit 101.
  • the specific part detection unit 101 detects a specific part of a vehicle such as a tire from the image acquired by the image acquisition unit 100, and associates a specific part detection result including information indicating a coordinate value of the detected specific part with an association unit. 102.
  • the specific part of the car may be anything other than the tire as long as it is characteristic of the specific part of the car, such as a window frame, a car door, a tail lamp, and a door mirror.
  • a license plate or a light may be detected from an image acquired by a camera that captures images from the front.
  • the specific part detection unit 101 generates position information of the detected specific part and information accompanying the position information (for example, information indicating whether the tire is a front tire or a rear tire in the case of a tire) as a specific part detection result. At the same time, it is supplied to the association unit 102.
  • the association unit 102 associates the specific part detection results supplied from the specific part detection unit 101 between the images, and calculates the amount of movement of the vehicle and the position of the vehicle in the image.
  • the associating unit 102 may perform this association every two consecutive images or may collectively perform a plurality of images.
  • the associating unit 102 considers the traveling direction of the car when associating between two consecutive images. For example, based on the specific part detection result, the association unit 102 searches the image for whether or not the specific part is detected in the traveling direction from the position where the specific part is detected in the previous image. As described above, the associating unit 102 obtains a specific part associated with the previous image and the current image.
  • the associating unit 102 can predict the direction (trajectory) in which the specific part moves in the image. Therefore, the associating unit 102 searches for a specific site detection result in that direction in the next image and performs associating.
  • the moving direction of the specific part at each position of the image may be given manually. Or based on the image which image
  • various methods such as template matching for each partial region, and a method of calculating local feature amounts such as SIFT (Scale-Invariant Feature Transform) features and associating the feature amounts with each other are used. Can do.
  • SIFT Scale-Invariant Feature Transform
  • the associating unit 102 constructs in advance a model of a movement locus of a specific part in the image, which is determined by the direction of the camera and the traveling direction of the car. Then, using the model, the associating unit 102 calculates the amount of movement between images by associating the best matching specific part detection results with each other assuming that the movement of the car is constant speed. To do.
  • FIG. 2 is an explanatory diagram showing an example of the relationship between the coordinate value of a specific part and time when the vehicle moves at a constant speed at a certain speed when photographing from the side.
  • the coordinate value is a coordinate value in the X-axis direction in an XY coordinate in which a direction parallel to the ground is regarded as an X-axis and a direction perpendicular to the ground is regarded as a Y-axis in an image taken of a car.
  • FIG. 2 shows the relationship between the coordinate value of the specific part and the time when the vehicle moves at a constant speed, but shows an example in which the relationship does not become a straight line due to the influence of the distortion of the lens of the camera.
  • FIG. 1 For example, there are a plurality of images taken of a car that moves at a constant speed at a constant speed.
  • the unit 102 associates images as follows.
  • specific parts having detected coordinate values “X1”, “X2”, and “X3” in the X-axis direction are listed as specific part candidates that correspond to each other, and whether these correspond to each other between images, It is determined as follows.
  • FIG. 2 is a diagram showing that the relationship between the time “t” and the coordinate value “X” in the X-axis direction of the specific part at the time “t” is “A”, and the horizontal axis “T”. , And “T1”, “T2”, and “T3” indicate relative times described later.
  • the associating unit 102 displays the coordinate values “X1”, “X2”, “X3” in the X-axis direction of the specific part detected at each time “t1”, “t2”, “t3”, 2, the corresponding time (hereinafter referred to as “relative time”) T, that is, “T1”, “T2”, and “T3” are obtained. If constant velocity linear motion can be assumed, a linear relationship is established between “T1”, “T2”, and “T3” and “t1”, “t2”, and “t3”. Therefore, the associating unit 102 can determine whether or not a specific part is associated by determining whether or not linear approximation is possible.
  • the association unit 102 can associate a specific part between images by obtaining a regression line and obtaining a specific part detection result close to the regression line.
  • the detection result may include erroneous detection.
  • the associating unit 102 obtains a regression line by a robust statistical method such as RANSAC (RANdom Sampl Consensus). Then, the associating unit 102 may determine whether or not to correspond according to how far away from the straight line.
  • the associating unit 102 performs associating between images on the assumption that a distance from a straight line is within a threshold value.
  • the associating unit 102 may perform a similar process by obtaining a straight line that approximates the relationship between the time t and the relative time T by Hough transformation.
  • the model of constant acceleration etc. may be used besides that.
  • a quadratic function relationship is established between “t1”, “t2”, and “t3” and “T1”, “T2”, and “T3”. Therefore, the associating unit 102 can perform associating by performing quadratic function fitting.
  • the association unit 102 outputs the movement amount and the vehicle position information calculated between the images to the integration unit 104 as vehicle movement information.
  • the person detection unit 103 detects a person on board in the image.
  • FIG. 3 is an explanatory diagram showing a state in which a person is detected in an image taken from the side.
  • FIG. 4 is an explanatory diagram showing a state in which a person is detected in an image taken from the front.
  • the person detection unit 103 can detect the person using a side face detector.
  • the person detection unit 103 can detect the person using a front face detector.
  • These detectors can be constructed by learning using a number of face images taken from the side or front.
  • SVM support vector machine
  • LDA linear discriminant analysis
  • GLVQ generalized learning vector quantization
  • the person detection unit 103 supplies position information indicating the position of the detected person in the image together with information for identifying the image (for example, time information and image number of the image) to the integration unit 104 as a person detection result.
  • position information indicating the position (range) of the detected human head (face) in the image.
  • the rectangle is referred to as a “person rectangle”.
  • the white frame shown in FIGS. 3 and 4 indicates the position (range) in the detected image of the head of the person indicated by the rectangular information.
  • the integration unit 104 estimates the number of passengers by associating the person detection results supplied from the person detection unit 103 between the images, and outputs the result. To do.
  • the integration unit 104 compensates the movement detected by the vehicle using the movement amount included in the vehicle movement information and associates the person detected in units of images, and can be regarded as a detection result for the same person. To integrate. On the other hand, if there is a person detection result that is always detected at the same position between images regardless of the amount of movement, it is highly likely that the person detection result has erroneously detected a specific background pattern as a person. Therefore, the integration unit 104 omits the person detection result detected at the same position between images as a false detection. A specific method of integration will be described later. The integration unit 104 determines the number of passengers from the integration result and outputs the number of people.
  • FIG. 5 is a block diagram illustrating an example of the configuration of the specific part detection unit 101.
  • the specific part detection unit 101 includes a tire detection unit 201 and a front and rear tire estimation unit 202.
  • the tire detection unit 201 detects a tire candidate in the supplied image, and supplies the position information to the front and rear tire estimation unit 202 as tire position information.
  • the front and rear tire estimation unit 202 analyzes the supplied image based on the tire position information supplied from the tire detection unit 201, and determines whether the detected tire is a front tire or a rear tire. Is estimated.
  • the front and rear tire estimation unit 202 supplies the specific part detection result including the estimation result to the association unit 102. Accordingly, the association unit 102 can associate the previous tire and the subsequent tire detected between images using the estimation result included in the specific part detection result.
  • the tire detection unit 201 and the front and rear tire estimation unit 202 are realized by, for example, a CPU of a computer that operates according to a passenger count measurement program.
  • the CPU operates as the tire detection unit 201 and the front and rear tire estimation unit 202 according to the passenger count measurement program.
  • the tire detection unit 201 and the front and rear tire estimation unit 202 may be realized by separate hardware.
  • the tire detection unit 201 detects a tire in the supplied image and outputs a detection result.
  • the tire detection unit 201 uses a generalized Hough transform to detect a tire by finding a circle in the image, and the center coordinate, specifically, the position coordinate value in the tire center image and the radius value Are output as tire position information.
  • FIG. 6 is an explanatory diagram showing a state where a tire region is detected in an image taken from the side. In FIG. 6, a portion surrounded by a white circle is a region detected as a tire.
  • the tire detection unit 201 obtains a circumscribed rectangle of the tire region, and outputs information describing the circumscribed rectangle (for example, information indicating the upper left coordinate value and the width and height of the rectangle) as tire position information. Also good.
  • the tire detection unit 201 may output a plurality of tire candidate areas.
  • the front and rear tire estimation unit 202 Based on the tire position information output from the tire detection unit 201, the front and rear tire estimation unit 202 obtains edge features and gradient features in the vicinity region as described later. The front and rear tire estimation unit 202 determines whether the detected tire region is likely to be the front or rear tire based on the obtained edge feature or gradient feature. Then, the front and rear tire estimation unit 202 calculates a likelihood that represents the front tire-likeness and the rear tire-likeness (hereinafter referred to as front and rear tire-likeness), and the calculation result is combined with the tire position information to obtain a specific part detection result. Output as.
  • front and rear tire-likeness a likelihood that represents the front tire-likeness and the rear tire-likeness
  • FIG. 7 is a block diagram illustrating an example of the configuration of the front and rear tire estimation unit 202.
  • the front and rear tire estimation unit 202 includes an edge extraction unit 301 and an edge distribution analysis unit 302.
  • the edge extraction unit 301 generates edge information from the supplied image and supplies the generated edge information to the edge distribution analysis unit 302.
  • the edge information is information indicating the feature of the edge extracted from the image.
  • the edge distribution analysis unit 302 determines the front and rear of the tire based on the edge information and tire position information output from the edge extraction unit 301, and outputs the result together with the tire position information as a specific part detection result. .
  • edge extraction unit 301 and the edge distribution analysis unit 302 are realized by, for example, a CPU of a computer that operates according to a passenger counting program.
  • the CPU operates as the edge extraction unit 301 and the edge distribution analysis unit 302 in accordance with the passenger counting program.
  • the edge extraction unit 301 and the edge distribution analysis unit 302 may be realized by separate hardware.
  • the edge extraction unit 301 extracts edge information.
  • the edge extraction unit 301 obtains a luminance gradient for the supplied image by, for example, a Sobel operator or the like, and extracts a pixel having an absolute value greater than a certain value as an edge feature.
  • the edge extraction unit 301 uses the gradient direction and the gradient magnitude as edge information.
  • the edge extraction unit 301 may use the luminance gradient feature itself as edge information.
  • the edge extraction unit 301 may obtain straight line segment information by probabilistic Hough transform or the like, extract points on the line segment as edge points, and extract the direction as edge information. Note that the edge extraction unit 301 may use a method other than the above as long as it can extract edge features.
  • FIG. 8 is an explanatory diagram showing edges in the image shown in FIG. White pixels shown in FIG. 8 are pixels determined to be edges.
  • the edge extraction unit 301 supplies the extracted edge information to the edge distribution analysis unit 302.
  • the edge distribution analysis unit 302 calculates a statistic of an edge component in the vicinity of the tire in the image, and calculates a likelihood representing the front and rear tire characteristics.
  • the vicinity of the tire is an area within a predetermined range from the area indicating the tire.
  • the edge distribution analysis unit 302 obtains a histogram of edge direction components.
  • the edge distribution analysis unit 302 determines the front and rear tires by analyzing the orientation of the histogram.
  • the edge distribution analysis unit 302 may generate the histogram by weighting with the strength in consideration of the strength of the edge (for example, the magnitude of the gradient).
  • the upper part of the front tire corresponds to the vicinity of the windshield of the car. Since the windshield of a car is installed to be inclined obliquely backward so as to escape the wind, there are many line segments from the upper left to the lower right in the region above the front tire. Since the normal direction of the line segment is the edge direction, the edge in the normal direction increases in this region. On the other hand, in the region above the rear tire, on the contrary, since the line segment from the upper right to the lower left increases, the edges in the direction different from the front tire increase.
  • the edge distribution analysis unit 302 can analyze the edge directionality in the histogram of the edge direction component and determine whether the tire is the front tire or the rear tire. For example, the edge distribution analysis unit 302 may determine that the tire is a front or rear tire when a specific diagonal component exceeds a certain threshold in the histogram. Note that the edge distribution analysis unit 302 does not have to determine definitely whether the tire is the front tire or the rear tire. That is, the determination result is not necessarily a binary value indicating whether the tire is the front tire or the rear tire. For example, the edge distribution analysis unit 302 may determine probabilistically whether the tire is the front tire or the rear tire, such as the front and rear tires.
  • the output result is a score (likelihood) indicating the likelihood of the previous tire and a score (likelihood) indicating the likelihood of the rear tire.
  • the likelihood is a value indicating that the probability is higher as the likelihood is higher.
  • the method of obtaining the distribution of edge components and analyzing heuristically has been described.
  • these may be automatically identified by learning.
  • the feature amount of the edge in the vicinity region of the front tire and the back tire is used as an input, and learning is performed in advance using many images.
  • a discriminator that outputs a score (likelihood) representing the likelihood of the front and rear tires based on the feature amount may be constructed, and determination may be performed using this discriminator.
  • a neural network can be used as this discriminator.
  • the edge distribution analysis unit 302 outputs likelihood information representing the calculated tire-likeness before and after, together with the supplied tire position information, as a specific part detection result.
  • tire position information is not supplied to the edge extraction unit 301, but tire position information may be supplied to the edge extraction unit 301. Then, the edge extraction unit 301 may perform edge extraction by limiting the region for edge extraction to the vicinity of the tire based on the tire position information. For example, the edge extraction unit 301 may target only a certain region above the tire for edge extraction and obtain edge information only within that region. According to such a form, the processing time required for edge extraction can be reduced.
  • the method of determining the front and rear tires deterministically or probabilistically and including them in the specific part detection result has been described. However, even if there is no information about the front and rear tires, it is possible to determine either the front or rear tires in the step of associating the specific part detection results between the images in the association unit 102. That is, the associating unit 102 groups tires that may be associated between images based on the relationship between the tire position and time, and determines whether the tire is the front tire or the rear tire based on the positional relationship of the group. Good.
  • FIG. 9 is a block diagram illustrating an example of the configuration of the integration unit 104.
  • the integration unit 104 includes a person grouping unit 401, a group association unit 402, and a number calculation unit 403.
  • the person grouping unit 401 groups person detection results in units of images. This process corresponds to grouping persons for each row of front and rear seats provided in the vehicle.
  • the group association unit 402 compensates for the movement of the vehicle between images based on the vehicle movement information, and associates the result of the person grouping supplied from the person grouping unit 401.
  • the number calculation unit 403 estimates the number of people for each group associated between images. Furthermore, the number calculation unit 403 calculates the number of passengers by adding the estimation results of the number of persons for each group.
  • the person grouping unit 401, the group association unit 402, and the number of people calculation unit 403 are realized by, for example, a CPU of a computer that operates according to a passenger number measurement program.
  • the CPU operates as a person grouping unit 401, a group association unit 402, and a number calculation unit 403 in accordance with a passenger number measurement program.
  • the person grouping unit 401, the group association unit 402, and the number of people calculation unit 403 may be realized by separate hardware.
  • the person detection result is supplied from the person detection unit 103 to the person grouping unit 401.
  • the person grouping unit 401 groups person detection results in units of images. Specifically, based on the position information of the person detection results, the person grouping unit 401 groups the person detection results whose positions indicated by the position information are close to each other as belonging to the same group. That the position indicated by the position information is close indicates, for example, that the distance between the central coordinate values of the rectangle indicating the position in the detected human head (face) image is within a predetermined range. In particular, in an image captured by a camera that is photographed from the side of the car, the detected person's position is close to each other in each row of car seats (front seat, back seat, etc.), so high-precision grouping Is possible. Also, as shown in FIG.
  • the person grouping unit 401 may perform grouping using only coordinate values in the X-axis direction (horizontal direction with respect to the ground in FIG. 3) of the rectangular information indicating the detected profile.
  • rectangular information whose value in the Y-axis direction (perpendicular to the ground in FIG. 3) is significantly different from the others is highly likely to be erroneously detected and may be excluded from grouping.
  • the person grouping unit 401 supplies the position information of the obtained person rectangle and information indicating which person rectangle belongs to which group to the group association unit 402 as person grouping information.
  • an area surrounding all the person rectangles belonging to the group is referred to as a “person group area”.
  • the person grouping unit 401 has a side-by-side positional relationship, a certain distance between the driver's seat and the passenger seat, or the front seat has a larger face than the rear seat.
  • Perform grouping in consideration of reflection includes, for example, a restriction that faces close to a certain distance cannot be included in the same group, or the distance is calculated by adding the size of the face as a feature in addition to the face detection position during clustering. This can be realized.
  • the group associating unit 402 performs the motion compensation on the person group area obtained for each image according to the movement amount included in the vehicle movement information, and performs the association. For example, the group associating unit 402 associates groups having close central coordinates of person group regions between images. Thereby, for example, association information indicating which group of each image corresponds to which group of other images is obtained. Further, when the vehicle movement information includes information on the position of the specific part of the vehicle such as the tire position, the group association unit 402 compares the position of the specific part with the position of the group, Which column the group corresponds to is obtained, and association information is generated.
  • the group association unit 402 determines the group of the person in the front seat and the person in the back seat from the relative positional relationship between the groups.
  • the column to which the person group corresponds is obtained, such as the group of No ..
  • the group association unit 402 supplies the association information to the number calculation unit 403.
  • the number calculation unit 403 calculates the number of persons on the basis of the association information, obtains the number of persons in each column, and integrates them. At this time, the number-of-people calculating unit 403 may obtain the maximum number of people in each associated group and use this as the number of people in each column. Also, in the case where the ease of detection of a person varies depending on the way in which light is projected by the projector according to the position in the image, the number of persons calculation unit 403 may calculate the number of persons in a probabilistic manner in consideration of this. Good. That is, the number calculation unit 403 may calculate the number of persons in each column by weighting the determination result of the number of persons at each position according to the ease of detection of the person and calculating a weighted average.
  • the number-of-people calculation unit 403 calculates the number of passengers by adding the number of people obtained for each column. At this time, the number-of-people calculating unit 403 may perform weighted addition in consideration of easiness of person detection based on the columns. For example, the number calculation unit 403 performs weighted addition in consideration of the fact that the rear seat is less likely to be detected by the glass smoke or the like than the front seat.
  • person detection results are associated between a plurality of images, the person detection results for each image are integrated, and the number of passengers is determined. As a result, the number of passengers including the person sitting on the rear seat can be measured. At this time, in particular, a specific part of the vehicle is detected, and the movement amount is obtained by associating the result between the images. Accordingly, since the amount of movement of the position of the person between the images can be correctly predicted, it is possible to increase the accuracy of associating the person detection results between the images and improve the accuracy of the estimated number of people.
  • Embodiment 2 FIG. Hereinafter, a second embodiment of the present invention will be described with reference to the drawings.
  • FIG. 10 is an explanatory diagram showing the configuration of the second embodiment of the passenger counting device according to the present invention.
  • the passenger counting device in the present embodiment includes an image acquisition unit 100, a specific part detection unit 501, an association unit 102, a person detection unit 503, and an integration unit 104.
  • the passenger counting device includes a specific part detection unit 501 instead of the specific part detection unit 101 shown in FIG.
  • the boarding person number measuring apparatus includes a person detection unit 503 instead of the person detection unit 103 illustrated in FIG.
  • the specific part detection unit 501 detects a specific part of the vehicle from the image output from the image acquisition unit 100, supplies the specific part detection result to the associating unit 102, and information on geometric distortion (hereinafter referred to as geometric distortion information). .) Is supplied to the person detection unit 503.
  • the person detection unit 503 detects a person in the image supplied from the image acquisition unit 100 based on the geometric distortion information supplied from the specific part detection unit 501, and outputs the person detection result to the integration unit 104.
  • the image acquisition unit 100 outputs the captured image to the specific part detection unit 501.
  • the specific part detection unit 501 detects the specific part of the vehicle in the image captured by the image acquisition unit 100, similarly to the specific part detection unit 101 in the first embodiment. At the same time, the specific part detection unit 501 obtains geometric distortion information from the degree of distortion of the specific part.
  • FIG. 11 is an explanatory diagram illustrating an example of an image acquired by a camera that captures a car from the side using a rolling shutter camera.
  • the camera shutter system is a rolling shutter system
  • the image is distorted as shown in FIG. 11 due to the influence of the speed of the car.
  • the exposure time for the lower line is later than the exposure time for the upper line.
  • the degree of this deviation depends on the speed of the vehicle, and the higher the speed, the greater the degree of deviation.
  • the specific part detection unit 501 can determine how fast the vehicle is running from the geometric distortion degree of the specific part of the vehicle. Further, the specific part detection unit 501 can determine how much the determined shift amount is based on the position of the Y-axis (perpendicular to the ground in the image shown in FIG. 11).
  • the specific part detection unit 501 obtains the inclination of the major axis by fitting an ellipse. Thereby, the specific part detection unit 501 can calculate how much the position is shifted according to the position of the Y axis.
  • the specific part detection unit 501 calculates how much the vertical edge of the door is deviated from the vertical direction with respect to the ground. Thereby, the specific part detection part 501 can estimate the deviation
  • the specific part detection unit 501 supplies the information calculated in this way to the person detection unit 503 as geometric distortion information.
  • the image acquired by the image acquisition unit 100 is also supplied to the person detection unit 503.
  • the person detection unit 503 corrects the supplied image according to the geometric distortion information output from the specific part detection unit 501.
  • the person detection unit 503 performs person detection on the corrected image. For example, when the camera is a rolling shutter system, the person detection unit 503 corrects a lateral shift amount that changes according to a coordinate position in a direction perpendicular to the ground based on the geometric distortion information, and detects a side face.
  • a person detection process such as Thereby, the detection accuracy of a person can be significantly improved compared with the case where distortion is not corrected.
  • the person detection unit 503 may switch the person detection method according to the degree of geometric distortion, instead of correcting the image.
  • the camera is a rolling shutter system
  • the person in the image tends to tilt obliquely as the vehicle speed increases. Therefore, when a person shown in the supplied image is inclined, a person detector learned from an image in which the subject is inclined may be used. That is, according to the geometric distortion information, the degree of inclination of the person is estimated, and the detector (or dictionary information used for detection) is switched to detect the person. Also in this case, the detection accuracy can be greatly improved as compared with the case where the distortion is not corrected.
  • the person detection unit 503 may perform distortion correction even when image distortion (lens distortion) due to the lens is large.
  • the specific part detection unit 501 obtains lens distortion at each position of the image, and supplies distortion information indicating the correspondence of the positional relationship between the distortion and the specific part to the person detection unit 503.
  • the person detection unit 503 corrects the image based on the distortion information.
  • the person detection unit 503 does not necessarily need to directly use the input distortion information.
  • the person detection unit 503 calculates the distortion in the person detection target region using the positional relationship between the distortion and the specific part indicated by the distortion information accumulated so far, and corrects the image. Good.
  • the person detection unit 503 accumulates distortion information every time the person detection process is executed, and calculates distortion parameters that approximate the distortion at each position of the image from the accumulated distortion information. After calculating the distortion parameter, the person detection unit 503 corrects the distortion of the image using the obtained distortion parameter and performs person detection.
  • the information of the person detected in this way is output to the integration unit 104 as a person detection result, as in the first embodiment.
  • the passenger counting device performs person detection in consideration of image distortion, so that more accurate number counting is possible.
  • FIG. 12 is a block diagram showing a configuration of a third embodiment of a passenger counting device according to the present invention.
  • the number-of-passengers counting apparatus includes a specific part detection unit 601, an association unit 602, a person detection unit 603, and an integration unit 604.
  • the specific part detection unit 601 detects a specific part of the vehicle from the acquired image and generates a specific part detection result.
  • the associating unit 602 calculates the movement amount of the vehicle by associating the specific part detection result between the images, and generates vehicle movement information including the calculation result.
  • the person detection unit 603 detects a person in the image and generates a person detection result including position information of the detected person.
  • the integration unit 604 determines the number of passengers by integrating the person detection results based on the vehicle movement information.
  • the number-of-passengers measuring device can accurately measure the number of passengers including the person sitting on the rear seat.
  • FIG. 13 the configuration illustrated in FIG. 13 includes a CPU 20, a RAM (Random Access Memory) 21, a ROM (Read Only Memory) 22, an external connection interface 23, and a storage medium 24.
  • the CPU 20 controls the overall operation of the passenger counting device by reading various software programs (computer programs) stored in the ROM 22 or the storage medium 24 into the RAM 21 and executing them.
  • the CPU 20 reads the computer program into the RAM 21. Achieved by executing.
  • the supplied computer program may be stored in a computer-readable storage device such as a readable / writable memory (temporary storage medium) or a hard disk device.
  • a computer-readable storage device such as a readable / writable memory (temporary storage medium) or a hard disk device.
  • the present invention can be understood as being configured by a code representing the computer program or a storage medium storing the computer program.
  • the above-mentioned measurement results for the number of passengers are based on the automatic determination of vehicles that can pass through HOV (High Occupancy Vehicle) lanes, the number of visitors who remain on board at theme parks, etc. It can be used for automatic detection.
  • HOV High Occupancy Vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　車の後部座席に着席している人も含めて、乗車人数を正確に計測する乗車人数計測装置等が開示される。係る乗車人数計測装置は、取得した画像から車の特定部位を検出すると共に特定部位検出結果を生成する特定部位検出手段と、前記特定部位検出結果を画像間で対応付けることにより、前記車の移動量を算出し、その算出結果を含む車移動情報を生成する対応付け手段と、前記画像における乗車している人物を検出し、検出した前記人物の位置情報を含む人物検出結果を生成する人物検出手段と、前記人物検出結果を、前記車移動情報に基づいて統合することにより、乗車人数を判定する統合手段とを備える。

Description

乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体
　本発明は、乗車した人物の数を数える乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体等に関する。特に、車外に設置されたカメラによって撮影された画像における、乗車人数を計測する乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体に関する。
　車外に設置されたカメラによって車内を撮影し、乗車人数をカウントする方式として、例えば、非特許文献１では、フロントガラス越しに撮影された人物の画像から顔を検知することによって、車内の人物を検出する方式が記載されている。
Ｐｈｉｌｉｐ　Ｍ．　Ｂｉｒｃｈ，　Ｒｕｐｅｒｔ　Ｃ．Ｄ．　Ｙｏｕｎｇ，　Ｆｒｅｄｅｒｉｃ　Ｃｌａｒｅｔ－Ｔｏｕｒｎｉｅｒ，　Ｃｈｒｉｓ　Ｒ．Ｃｈａｔｗｉｎ著　"Ａｕｔｏｍａｔｅｄ　ｖｅｈｉｃｌｅ　ｏｃｃｕｐａｎｃｙ　ｍｏｎｉｔｏｒｉｎｇ"，　Ｏｐｔｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，　Ｖｏｌ．　４３，　Ｎｏ．８，　ｐｐ．１８２８－１８３２，　２００４年８月．
　しかし、車の前方に設置したカメラによって車内を撮影する場合、運転席と助手席に乗車している人物は検出できるものの、後部座席に乗車している人物の検出は困難である。したがって、乗車人数を正確に計測することができなかった。
　そこで、本発明は、車の後部座席に着席している人物も含めて、乗車人数を正確に計測する乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体を提供することを主な目的とする。
　本発明の一態様の乗車人数計測装置は、取得した画像における車の特定部位を検出し、特定部位検出結果を生成する特定部位検出手段と、前記特定部位検出結果を画像間で対応付けることにより、前記車の移動量を算出し、その算出結果を含む車移動情報を生成する対応付け手段と、前記画像における乗車している人物を検出し、検出した前記人物の位置情報を含む人物検出結果を生成する人物検出手段と、前記人物検出結果を、前記車移動情報に基づいて統合することにより、乗車人数を判定する統合手段とを備える。
　本発明の一態様の乗車人数計測方法は、取得した画像における車の特定部位を検出して特定部位検出結果を生成し、前記特定部位検出結果を画像間で対応付け、前記車の移動量を算出し、その算出結果を含む車移動情報を生成し、取得した前記画像における乗車している人物を検出し、検出した前記人物の位置情報を含む人物検出結果を生成し、前記人物検出結果を前記車移動情報に基づいて統合することにより乗車人数を判定する。
　なお同目的は、上記の各構成を有する乗車人数計測装置または乗車人数計測方法を、コンピュータによって実現するコンピュータ・プログラム、およびそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記録媒体によっても達成される。
　本発明によれば、後部座席に着席している人物も含めて、乗車人数を正確に計測することが可能となる。
本発明による第１の実施形態に係る乗車人数計測装置の構成を示すブロック図である。 側方から撮影する場合に、車がある速度で等速に移動したときの特定部位の座標値と時刻との関係の一例を示す説明図である。 側方から撮影するカメラが取得した画像において、人物が検出された様子を示す説明図である。 前方から撮影するカメラが取得した画像において、人物が検出された様子を示す説明図である。 特定部位検出部の構成の一例を示すブロック図である。 側方から撮影するカメラが取得した画像において、タイヤの領域が検出された様子を示す説明図である。 前後タイヤ推定部の構成の一例を示すブロック図である。 図３に示す画像におけるエッジを示す説明図である。 統合部の構成の一例を示すブロック図である。 本発明による第２の実施形態に係る乗車人数計測装置の構成を示す説明図である。 ローリングシャッタ方式のカメラを用いて側方から車を撮影した画像の一例を示す説明図である。 本発明による第３の実施形態に係る乗車人数計測装置の構成を示す説明図である。 本発明の各実施形態に係る乗車人数計測装置のハードウエア構成を例示する図である。
実施形態１．
　以下、本発明の第１の実施形態を図面を参照して説明する。
　図１は、本発明による乗車人数計測装置の第１の実施形態の構成を示すブロック図である。図１に示すように、本実施形態における乗車人数計測装置は、画像取得部１００と、特定部位検出部１０１と、対応付け部１０２と、人物検出部１０３と、統合部１０４とを備える。
　画像取得部１００は、カメラ等の撮像装置を含み、取得した画像を、特定部位検出部１０１および人物検出部１０３に供給する。なお、本実施形態では、画像取得部１００は、カメラの画角を固定して画像を取得する。
　特定部位検出部１０１は、画像取得部１００から供給される画像から車の特定の部位（以下、「特定部位」という。）を検出すると共に、検出結果（以下、「特定部位検出結果」という。）を対応付け部１０２に供給する。
　対応付け部１０２は、特定部位検出結果を画像間で対応付けることにより車移動情報を求めると共に、求めた車移動情報を統合部１０４に供給する。
　人物検出部１０３は、画像取得部１００から供給される画像から人物を検出すると共に、人物の検出結果（以下、「人物検出結果」という。）を統合部１０４に供給する。
　統合部１０４は、人物検出部１０３から供給される人物検出結果を、対応付け部１０２から供給される車移動情報に基づいて統合することにより、乗車人数を算出する。
　なお、画像取得部１００、特定部位検出部１０１、対応付け部１０２、人物検出部１０３および統合部１０４は、例えば、乗車人数計測プログラムに従って動作するコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）によって実現される。乗車人数計測プログラムは、例えば、コンピュータの記憶装置（図示せず）に記憶される。ＣＰＵは、そのプログラムを読み込み、そのプログラムに従って、画像取得部１００、特定部位検出部１０１、対応付け部１０２、人物検出部１０３および統合部１０４として動作する。また、画像取得部１００、特定部位検出部１０１、対応付け部１０２、人物検出部１０３および統合部１０４が別々のハードウェアで実現されていてもよい。
　次に、本実施形態の動作を説明する。
　まず、画像取得部１００が、車内を車外から時系列に撮影した画像を取得する。
　画像取得部１００は、時系列の画像取得方法として、外部から与えられたトリガに応じて画像を撮影してもよいし、一定間隔で画像を撮影し続けてもよい。
　画像取得部１００は、車内の人物をはっきりと撮影するために、赤外線投光器を用いてもよい。つまり、画像取得部１００は、撮影装置として赤外線投光器を含んでよい。この場合、画像取得部１００は、赤外線領域の光を撮影可能である。なお、可視光の影響を軽減するために、画像取得部１００は、バンドパスフィルタを画像取得に用いることにより、赤外線領域の波長のみを透過するように画像を撮影してもよい。また、画像取得部１００は、ガラス面での反射を抑えるために、偏光フィルタを用いてもよい。これにより、反射光の偏光特性を利用することにより、車のガラス面に映りこむ環境情報が検出に与える影響を軽減できる。
　画像取得部１００が取得した画像は、人物検出部１０３と特定部位検出部１０１に供給される。
　特定部位検出部１０１は、画像取得部１００が取得した画像からタイヤなどの車の特定部位を検出すると共に、検出した特定部位の座標値等を示す情報を含む特定部位検出結果を、対応付け部１０２に供給する。車の特定部位としては、タイヤ以外にも、窓枠や車の扉、テールランプやドアミラーなど、車の特定部位として特徴的なものであれば何でもよい。例えば、前方から撮影するカメラが取得した画像から、ナンバープレートやライトなどが検出されてもよい。特定部位検出部１０１は、検出された特定部位の位置情報、およびそれに付随する情報（例えば、タイヤであれば、前のタイヤか後ろのタイヤかを表す情報）を、特定部位検出結果として生成すると共に、対応付け部１０２に供給する。
　対応付け部１０２は、特定部位検出部１０１から供給される特定部位検出結果を画像間で対応付けると共に、画像における、車の移動量および車の位置を算出する。対応付け部１０２は、この対応付けを、２つの連続した画像間ごとに行ってもよいし、複数枚の画像についてまとめて行ってもよい。
　対応付け部１０２は、２つの連続した画像間で対応付けを行う場合、車の進行方向を考慮する。例えば、対応付け部１０２は、特定部位検出結果をもとに、画像において、前の画像で特定部位が検出された位置から進行方向に当該特定部位が検出されていないかどうかを探索する。このように、対応付け部１０２は、前の画像と現在の画像とで対応付けられる特定部位を求める。
　本実施形態では、カメラの画角が固定されているので、対応付け部１０２は、画像において特定部位が動く方向（軌跡）を予測可能である。よって、対応付け部１０２は、次の画像においてその方向に特定部位の検出結果が存在しないかどうかを探索すると共に、対応付けを行う。画像の各位置における特定部位の動く方向は、人手により与えられてもよい。または、ゆっくりテスト走行させた車を撮影した画像をもとに、対応付け部１０２が、画像間で対応付けを行うと共に、画像の各位置における特定部位の動く方向を取得してもよい。画像間の対応付けの方法としては、部分領域ごとのテンプレートマッチングや、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）特徴などの局所特徴量を算出すると共に特徴量同士を対応付ける方法など、様々な方法を用いることができる。
　一方、対応付け部１０２は、複数枚の画像をまとめて対応付けを行う場合、カメラの向きと車の進行方向によって定められる、画像における特定部位の移動軌跡のモデルを事前に構築しておく。そして、対応付け部１０２は、そのモデルを用いて、車の動きが等速であることを仮定したときに、最も合致する特定部位検出結果同士を対応付けることにより、画像間での移動量を算出する。
　図２は、側方から撮影する場合に、車がある速度で等速に移動したときの特定部位の座標値と時刻との関係の一例を示す説明図である。ここで、座標値とは、車が撮影された画像において、地面に平行な方向をＸ軸、地面に垂直な方向をＹ軸と捉えたＸ-Ｙ座標におけるＸ軸方向の座標値である。なお、図２は、車が等速に移動したときの特定部位の座標値と時刻との関係を示すが、カメラのレンズの歪み等の影響により、その関係は直線にはならない例を示す。例えば、ある速度で等速に移動する車が撮影された複数の画像がある。これらの画像において、時刻”Ｔ”と、時刻”Ｔ”における特定部位のＸ軸方向の座標値”Ｘ”との関係が、図２の”Ａ”に示すような関係になるとき、対応付け部１０２は、次のように画像間の対応付けを行う。ここでは、検出されたＸ軸方向の座標値”Ｘ１”，”Ｘ２”，”Ｘ３”を有する特定部位が、互いに対応付く特定部位の候補として挙げられ、それらが画像間で対応付くかが、以下のように判定される。なお、図２は、時刻”ｔ”と、時刻”ｔ”における特定部位のＸ軸方向の座標値”Ｘ”との関係が”Ａ”であることを示す図であり、横軸”Ｔ”、および”Ｔ１”、”Ｔ２”、”Ｔ３”は、後述する相対時刻を示す。
　まず、対応付け部１０２は、各時刻”ｔ１”、”ｔ２”、”ｔ３”のときに検出された特定部位のＸ軸方向の座標値”Ｘ１”，”Ｘ２”，”Ｘ３”と、図２の”Ａ”に示す関係とに基づいて、対応する時刻（以後、「相対時刻」と呼ぶ）Ｔ、すなわち”Ｔ１”、”Ｔ２”、”Ｔ３”を求める。等速直線運動が仮定できる場合には、”Ｔ１”，”Ｔ２”，”Ｔ３”と、”ｔ１”，”ｔ２”，”ｔ３”との間には、線形な関係が成り立つ。そのため、対応付け部１０２は、直線近似可能かどうかを判定することにより、特定部位が対応付くかどうかを判定できる。このように、”Ｔ１”，”Ｔ２”，”Ｔ３”と、”ｔ１”，”ｔ２”，”ｔ３”との関係に基づいて、上記検出した座標値を有する特定部位同士が対応付くかどうかを判定できる。具体的には、対応付け部１０２は、回帰直線を求め、回帰直線に近い特定部位検出結果を求めることによって、画像間で特定部位を対応付けることができる。この際、検出結果には、誤検出が含まれる場合もある。そのため、対応付け部１０２は、ＲＡＮＳＡＣ（RANｄｏｍ　ＳＡｍｐｌｅ　Ｃｏｎｓｅｎｓｕｓ）などによるロバスト統計手法によって回帰直線を求める。そして、対応付け部１０２は、その直線からどれだけ離れているかに応じて、対応付くかどうかを決定してもよい。具体的には、対応付け部１０２は、直線からの距離が閾値以内のものが対応付くとみなして、画像間で対応付けを行う。または、対応付け部１０２は、Ｈｏｕｇｈ変換によって、時刻ｔと相対時刻Ｔとの関係を近似する直線を求め、同様の処理を行ってもよい。なお、ここでは等速の場合について述べたが、それ以外にも、等加速度のモデル等が用いられてもよい。等加速度のモデルが用いられる場合、”ｔ１”，”ｔ２”，”ｔ３”と”Ｔ１”，”Ｔ２”，”Ｔ３”の間には、二次関数の関係が成り立つ。したがって、対応付け部１０２は、二次関数の当てはめを行うことにより、対応付けを行うことができる。
　対応付け部１０２は、各画像間で算出した移動量および車の位置情報を、車移動情報として統合部１０４に出力する。
　人物検出部１０３は、画像において、乗車している人物を検出する。図３は、側方から撮影した画像において、人物が検出された様子を示す説明図である。図４は、前方から撮影した画像において、人物が検出された様子を示す説明図である。例えば、図３に示すように、横顔に近い角度で乗車人物の顔が映る場合、人物検出部１０３は、横顔の検出器を用いて人物を検出できる。または、図４に示すように、正面顔に近い角度で乗車人物の顔が映る場合、人物検出部１０３は、正面顔の検出器を用いて人物を検出できる。これらの検出器は、横や正面から撮影した数多くの顔画像を用いて学習することによって構築できる。検出器としては、例えば、ＳＶＭ（サポートベクターマシン）やＬＤＡ（線形判別分析）、ＧＬＶＱ（一般化学習ベクトル量子化）を利用することができる。
　人物検出部１０３は、検出した人物の、画像における位置を示す位置情報を、その画像を識別する情報（例えば、画像の時間情報や画像番号）とともに人物検出結果として、統合部１０４に供給する。本実施形態では、検出した人物の頭部（顔）の、画像における位置（範囲）を示す矩形情報を、位置情報とする。以下、その矩形を、「人物矩形」という。なお、図３および図４に示す白枠は、矩形情報によって示される、検出された人物の頭部の画像における位置（範囲）を示す。
　統合部１０４は、対応付け部１０２から供給される車移動情報に基づいて、人物検出部１０３から供給される人物検出結果を画像間で対応付けることにより、乗車人数を推定すると共に、その結果を出力する。
　具体的には、統合部１０４は、画像単位で検出された人物を、車移動情報に含まれる移動量を用いて車による動きを補償して対応付け、同一人物に対する検出結果とみなせる人物検出結果を統合する。一方、移動量と関係なく、画像間で同じ位置で常に検出される人物検出結果がある場合、その人物検出結果は、背景の特定のパターンを人物と誤検出している可能性が高い。よって、統合部１０４は、画像間で同じ位置で検出される人物検出結果を誤検出として省く。統合の具体的な方法については後述する。統合部１０４は、統合結果から乗車人数が何名かを判定し、人数を出力する。
　次に、各構成要素の具体的な構成及び動作について説明する。
　まず、特定部位検出部１０１の構成を説明する。
　ここでは、タイヤを車の特定部位として検出する特定部位検出部１０１を例にする。図５は、特定部位検出部１０１の構成の一例を示すブロック図である。図５に示すように、特定部位検出部１０１は、タイヤ検出部２０１と、前後タイヤ推定部２０２とを含む。
　タイヤ検出部２０１は、供給される画像において、タイヤの候補を検出し、その位置情報をタイヤ位置情報として前後タイヤ推定部２０２に供給する。
　前後タイヤ推定部２０２は、タイヤ検出部２０１から供給されるタイヤ位置情報に基づいて、供給される画像を解析し、検出されたタイヤが車の前のタイヤであるか、後ろのタイヤであるかを推定する。前後タイヤ推定部２０２は、推定結果を含む特定部位検出結果を、対応付け部１０２に供給する。それにより、対応付け部１０２は、特定部位検出結果に含まれる推定結果を用いて、画像間で検出された前のタイヤおよび後のタイヤを対応付けることができる。
　なお、タイヤ検出部２０１および前後タイヤ推定部２０２は、例えば、乗車人数計測プログラムに従って動作するコンピュータのＣＰＵによって実現される。ＣＰＵは、乗車人数計測プログラムに従って、タイヤ検出部２０１および前後タイヤ推定部２０２として動作する。また、タイヤ検出部２０１および前後タイヤ推定部２０２が別々のハードウェアで実現されていてもよい。
　次に、特定部位検出部１０１の動作を説明する。
　タイヤ検出部２０１は、供給された画像においてタイヤを検出し、検出結果を出力する。例えば、タイヤ検出部２０１は、一般化Ｈｏｕｇｈ変換を用いて、画像において円形を見つけることによりタイヤを検出し、その中心座標、具体的にはタイヤの中心の画像における位置座標値と、半径の値とを、タイヤ位置情報として出力する。図６は、側方から撮影した画像においてタイヤの領域が検出された様子を示す説明図である。図６において、白円で囲まれた部分がタイヤとして検出された領域である。なお、タイヤ検出部２０１は、タイヤ領域の外接矩形を求め、この外接矩形を記述する情報（たとえば、左上の座標値と矩形の幅と高さとを示す情報）を、タイヤ位置情報として出力してもよい。また、タイヤ候補領域が複数検出された場合には、タイヤ検出部２０１は、複数のタイヤ候補領域を出力してもよい。
　前後タイヤ推定部２０２は、タイヤ検出部２０１から出力されるタイヤ位置情報に基づいて、後述するように、その近傍領域におけるエッジ特徴や勾配特徴を求める。前後タイヤ推定部２０２は、求めたエッジ特徴や勾配特徴に基づいて、検出されたタイヤ領域が前、後ろのどちらのタイヤである可能性が高いかを判定する。そして、前後タイヤ推定部２０２は、前のタイヤらしさ、後ろのタイヤらしさ（以下、前後のタイヤらしさという。）を表す尤度を算出し、算出結果をタイヤ位置情報と併せて、特定部位検出結果として出力する。
　次に、前後タイヤ推定部２０２の構成を説明する。
　図７は、前後タイヤ推定部２０２の構成の一例を示すブロック図である。図７に示すように、前後タイヤ推定部２０２は、エッジ抽出部３０１と、エッジ分布解析部３０２とを含む。
　エッジ抽出部３０１は、供給される画像からエッジ情報を生成すると共に、生成したエッジ情報をエッジ分布解析部３０２に供給する。エッジ情報は、画像から抽出したエッジの特徴を示す情報である。
　エッジ分布解析部３０２は、エッジ抽出部３０１から出力されるエッジ情報とタイヤ位置情報とに基づいて、タイヤの前後判定を行い、その結果をタイヤ位置情報と併せて、特定部位検出結果として出力する。
　なお、エッジ抽出部３０１およびエッジ分布解析部３０２は、例えば、乗車人数計測プログラムに従って動作するコンピュータのＣＰＵによって実現される。ＣＰＵは、乗車人数計測プログラムに従って、エッジ抽出部３０１およびエッジ分布解析部３０２として動作する。また、エッジ抽出部３０１およびエッジ分布解析部３０２が別々のハードウェアで実現されていてもよい。
　次に、前後タイヤ推定部２０２の動作を説明する。
　エッジ抽出部３０１は、エッジ情報を抽出する。エッジ抽出部３０１は、供給された画像に対して、例えば、Ｓｏｂｅｌオペレータなどによって輝度勾配を求め、その絶対値がある一定以上の値を持つ画素をエッジ特徴として抽出する。そして、エッジ抽出部３０１は、その勾配方向、および勾配の大きさをエッジ情報とする。または、エッジ抽出部３０１は、輝度勾配特徴そのものをエッジ情報としてもよい。または、エッジ抽出部３０１は、確率的Ｈｏｕｇｈ変換等により直線線分情報を求め、線分上の点をエッジ点とし、その方向をエッジ情報として抽出してもよい。なお、エッジの特徴を抽出可能な方式であれば、エッジ抽出部３０１は、上記以外の方式を用いてもよい。図８は、図３に示す画像におけるエッジを示す説明図である。図８に示す白い画素は、エッジと判定された画素である。
　エッジ抽出部３０１は、抽出したエッジ情報を、エッジ分布解析部３０２に供給する。
　エッジ分布解析部３０２は、エッジ情報をもとに、画像におけるタイヤの近傍のエッジの成分の統計量を算出し、前後のタイヤらしさを表す尤度を算出する。タイヤの近傍とは、タイヤを示す領域から所定範囲内の領域である。例えば、エッジ分布解析部３０２は、エッジの方向成分のヒストグラムを求める。そして、エッジ分布解析部３０２は、ヒストグラムの向きを解析することによって、前後のタイヤらしさを判定する。この際、エッジ分布解析部３０２は、エッジの強度（例えば勾配の大きさ）も考慮し、強度で重みづけしてヒストグラムを生成してもよい。
　図８に示すように、右向きに走る車を側方から撮影した画像の場合、前のタイヤの上方は、車のフロントガラスの辺りに相当する。車のフロントガラスは、風を逃がすように、後ろ向きに斜めに傾けて設置されるため、前のタイヤの上方の領域では、左上から右下に向かう線分が多くなる。その線分の法線方向がエッジの方向になるので、この領域においては、この法線方向のエッジが多くなる。一方、後ろのタイヤの上方の領域では、逆に、右上から左下に向かう線分が多くなるため、前のタイヤとは異なる方向のエッジが多くなる。
　よって、エッジ分布解析部３０２は、エッジの方向成分のヒストグラムにおいて、エッジの方向性を解析し、前のタイヤか後ろのタイヤかを判定できる。例えば、エッジ分布解析部３０２は、ヒストグラムにおいて特定の斜め方向成分がある閾値を超える場合、前、または後ろのタイヤと判定すればよい。なお、エッジ分布解析部３０２は、前のタイヤか後ろのタイヤかを確定的に判定しなくてもよい。すなわち判定結果は、必ずしも、前のタイヤか後ろのタイヤかを示す２値でなくてもよい。例えば、エッジ分布解析部３０２は、前後のタイヤらしさといったように、前のタイヤか後ろのタイヤかを確率的に判定するようにしてもよい。この場合、出力される結果は、前のタイヤらしさを表すスコア（尤度）と、後ろのタイヤらしさを表すスコア（尤度）となる。ここで、尤度は、大きいほどその確率が高いことを表す値である。
　上述した例では、エッジの成分の分布を求め、ヒューリスティックに解析する方法について述べたが、学習によって、これらを自動的に識別するようにしてもよい。例えば、前のタイヤと後ろのタイヤの近傍領域におけるエッジの特徴量を入力として、多くの画像を用いて事前に学習する。これにより、その特徴量をもとに前後のタイヤらしさを表すスコア（尤度）を出力する識別器を構築し、この識別器を用いて判定してもよい。この識別器としては、例えば、ニューラルネットワークを用いることができる。
　エッジ分布解析部３０２は、算出した前後のタイヤらしさを表す尤度情報を、供給されるタイヤ位置情報と併せて、特定部位検出結果として出力する。
　なお、図７では、エッジ抽出部３０１にはタイヤ位置情報が供給されていないが、エッジ抽出部３０１にタイヤ位置情報を供給してもよい。そして、エッジ抽出部３０１は、タイヤ位置情報に基づいて、エッジ抽出を行う領域をタイヤ近傍に限定して、エッジ抽出を行ってもよい。例えば、エッジ抽出部３０１は、タイヤの上方の一定領域のみをエッジ抽出の対象とし、その領域内でのみ、エッジ情報を求めてもよい。そのような形態によれば、エッジ抽出に要する処理時間などを低減できる。
　また、ここまでは、前後タイヤを確定的、または確率的に判定し、特定部位検出結果に含める方式について述べた。しかしながら、前後タイヤに関する情報がなくても、対応付け部１０２において、特定部位検出結果を画像間で対応付ける段階において、前後タイヤのいずれかを判定することも可能である。すなわち、対応付け部１０２は、タイヤの位置と時刻の関係から、画像間で対応付く可能性があるタイヤをグループ化し、そのグループの位置関係によって、前のタイヤか後ろのタイヤかを判定すればよい。
　次に、統合部１０４の構成を説明する。
　図９は、統合部１０４の構成の一例を示すブロック図である。図９に示すように、統合部１０４は、人物グループ化部４０１と、グループ対応付け部４０２と、人数算出部４０３とを含む。
　人物グループ化部４０１は、画像単位で人物検出結果をグループ化する。この処理は、車内に設けられる前後の座席の列ごとに、人物をグループ化することに相当する。
　グループ対応付け部４０２は、車移動情報に基づいて、画像間で車の動きを補償して、人物グループ化部４０１から供給される人物グループ化の結果を対応付ける。
　そして、人数算出部４０３は、画像間で対応付けられたグループごとに、人数を推定する。さらに、人数算出部４０３は、グループごとの人数の推定結果を合算することにより、乗車人数を算出する。
　なお、人物グループ化部４０１、グループ対応付け部４０２および人数算出部４０３は、例えば、乗車人数計測プログラムに従って動作するコンピュータのＣＰＵによって実現される。ＣＰＵは、乗車人数計測プログラムに従って、人物グループ化部４０１、グループ対応付け部４０２および人数算出部４０３として動作する。また、人物グループ化部４０１、グループ対応付け部４０２および人数算出部４０３が別々のハードウェアで実現されていてもよい。
　次に、統合部１０４の動作を説明する。
　人物検出部１０３から、人物グループ化部４０１に、人物検出結果が供給される。
　人物グループ化部４０１は、画像単位で人物検出結果をグループ化する。具体的には、人物グループ化部４０１は、人物検出結果の位置情報に基づいて、位置情報が示す位置が近い人物検出結果同士を同一のグループに属するものとしてグループ化する。位置情報が示す位置が近いとは、例えば、検出した人物の頭部（顔）の画像における位置を示す矩形の中心座標値の距離が、互いに所定の範囲以内であることを示す。特に、車の側方から撮影するカメラが取得した画像において、車の座席の列（前の座席、後ろの座席など）ごとに、検出される人物の位置が近くなるので、精度の高いグループ化が可能となる。また、図３に示すように、車の側方から撮影するカメラが取得した画像において、同じ列に座っている人物同士の横顔検出の位置は、横にほぼ並んだ状態となる。したがって、人物グループ化部４０１は、検出された横顔を示す矩形情報のＸ軸方向（図３における地面に対して水平方向）の座標値のみを用いてグループ化してもよい。また、Ｙ軸方向（図３における地面に対して垂直方向）の値が、他と大きく異なる矩形情報は、誤検出の可能性が高いので、グループ化から除いてもよい。
　人物グループ化部４０１は、得られた人物矩形の位置情報と、どの人物矩形がどのグループに属するかを表す情報とを、人物のグループ化情報としてグループ対応付け部４０２に供給する。以下、グループに属する全ての人物矩形を囲う領域を、「人物グループ領域」という。
　一方、前方から撮影するカメラが取得した画像においては、図４に示すように、後部座席に座る人物の顔が、運転席と助手席の間に現れる場合がある。その場合、上記のような位置による単純なグループ化は適用できない。よって、この場合、人物グループ化部４０１は、顔の横並びの位置関係や、運転席と助手席との間はある程度離れていること、または、前方の座席のほうが後方の座席よりも顔が大きく映るといったことを考慮してグループ化を行う。このようなグループ化は、例えば、ある一定以上近い顔同士は同じグループに入れないといった制約を加えたり、クラスタリング時に、顔検出位置に加えて顔の大きさも特徴として加えて距離を算出したりすることによって、実現できる。
　グループ対応付け部４０２は、画像ごとに求められる人物グループ領域を、車移動情報に含まれる移動量に応じて動き補償を行い、対応付けを行う。例えば、グループ対応付け部４０２は、人物グループ領域の中心座標同士が近いグループ同士を画像間で対応付ける。これにより、例えば、各画像のグループが他の画像のどのグループと対応付くかを示す対応付け情報が求められる。さらに、車移動情報にタイヤの位置などの車の特定部位の位置に関する情報が含まれている場合には、グループ対応付け部４０２は、その特定部位の位置とグループの位置とを比較し、各グループがどの列に対応するかを求め、対応付け情報を生成する。車の移動情報に車の特定部位の位置に関する情報が含まれていない場合には、グループ対応付け部４０２は、グループ間の相対位置関係から、前の座席の人物のグループ、後ろの座席の人物のグループなどのように、人物グループがどの列に対応するか求める。グループ対応付け部４０２は、対応付け情報を、人数算出部４０３に供給する。
　人数算出部４０３は、対応付け情報に基づいて、各列における人物の数を求め、それらを統合して、乗車人数を算出する。この際、人数算出部４０３は、対応付けられた各グループの中で、最大の人数を求め、これを各列の人数としてもよい。また、画像における位置に応じて、投光器による光の当たり方などが異なることにより人物の検出されやすさが異なる場合、人数算出部４０３は、これを考慮して確率的に人数を算出してもよい。すなわち、人数算出部４０３は、各位置における人数の判定結果を、この人物の検出されやすさによって重みづけを行い、重みづけ平均を算出することによって、各列の人数を算出してもよい。人数算出部４０３は、各列に対して求められた人数を加算することにより、乗車人数を算出する。この際、人数算出部４０３は、列による人物検出のされやすさを加味して、重みづけ加算をしてもよい。例えば、人数算出部４０３は、後部座席はガラスのスモーク等によって前の座席よりも人物が検出されにくいことを加味して、重みづけ加算をする。
　以上に説明したように、本実施形態では、複数の画像間で人物検出結果の対応付けを行い、画像ごとの人物検出結果を統合し、乗車人数を判定する。これにより、後部座席に座った人物を含めた乗車人数を計測できる。またこの際、特に、車の特定部位を検出し、その結果を画像間で対応付けて、移動量を求める。従って、画像間における人物の位置の移動量を正しく予測できるので、画像間での人物検出結果の対応付けの精度を上げることができ、推定人数の精度を向上させることができる。

実施形態２．
　以下、本発明の第２の実施形態を、図面を参照して説明する。
　図１０は、本発明による乗車人数計測装置の第２の実施形態の構成を示す説明図である。図１０に示すように、本実施形態における乗車人数計測装置は、画像取得部１００と、特定部位検出部５０１と、対応付け部１０２と、人物検出部５０３と、統合部１０４とを備える。
　本実施形態では、乗車人数計測装置は、図１に示す特定部位検出部１０１の代わりに特定部位検出部５０１を備える。また、乗車人数計測装置は、図１に示す人物検出部１０３の代わりに人物検出部５０３を備える。
　特定部位検出部５０１は、画像取得部１００から出力される画像から車の特定部位を検出し、特定部位検出結果を対応付け部１０２に供給するとともに、幾何歪に関する情報（以下、幾何歪情報という。）を人物検出部５０３に供給する。
　人物検出部５０３は、特定部位検出部５０１から供給される幾何歪情報に基づいて、画像取得部１００から供給される画像において人物を検出し、人物検出結果を統合部１０４に出力する。
　なお、第２の実施形態のその他の構成は、第１の実施形態と同様である。
　次に、本実施形態の動作を説明する。
　画像取得部１００は、撮影した画像を特定部位検出部５０１に出力する。
　特定部位検出部５０１は、第１の実施形態における特定部位検出部１０１と同様に、画像取得部１００が撮影した画像において、車の特定部位を検出する。これと同時に、特定部位検出部５０１は、特定部位の歪度合いから、幾何歪情報を求める。
　図１１は、ローリングシャッタ方式のカメラを用いて、側方から車を撮影するカメラが取得した画像の一例を示す説明図である。例えば、カメラのシャッタ方式がローリングシャッタ方式である場合には、車の速度の影響で、図１１に示すように画像がひずむ。ローリングシャッタ方式では、画素のライン毎に、上から順に露光していく。そのため、下側のラインに対する露光時刻は、上側のラインに対する露光時刻よりも遅くなる。この間に、被写体である車が移動すると、図１１に示すように、画像の下側に行くにつれ、車の位置が前にずれ、画像中の車が斜めになる。このずれの程度は、車の速度に依存し、速度が速いほど、ずれの度合いも大きくなる。このことは、車の特定部位についても当てはまる。よって、特定部位検出部５０１は、車の特定部位の幾何的な歪度合いから、車がどの程度の速度で走っているかを判断することができる。また、特定部位検出部５０１は、Ｙ軸（図１１に示す画像における地面に対して垂直方向）の位置によって、定まるずれ量がどれほどであるかを判断することができる。
　例えば、特定部位がタイヤである場合、画像におけるタイヤは斜めに傾き、楕円のようになる。よって、特定部位検出部５０１は、楕円の当てはめを行うことにより、長軸の傾きを求める。それにより、特定部位検出部５０１は、Ｙ軸の位置に応じてどの程度ずれているかを算出することができる。また、特定部位が車の扉である場合、特定部位検出部５０１は、扉の縦方向の縁が地面に対して垂直方向からどれだけずれているかを算出する。それにより、特定部位検出部５０１は、Ｙ軸に応じたずれ量を推定することができる。
　特定部位検出部５０１は、このようにして算出される情報を幾何歪情報として、人物検出部５０３に供給する。
　画像取得部１００により取得された画像は、人物検出部５０３にも供給される。人物検出部５０３は、特定部位検出部５０１から出力される幾何歪情報に従って、供給される画像を補正する。そして、人物検出部５０３は、補正後の画像に対して人物検出を行う。例えば、カメラがローリングシャッタ方式である場合には、人物検出部５０３は、幾何歪情報に基づいて、地面に対して垂直方向の座標位置に応じて変わる横方向のずれ量を補正し、横顔検出等の人物検出処理を行う。これにより、歪を補正しない場合よりも、人物の検出精度を大幅に改善できる。
　なお、人物検出部５０３は、画像を補正する代わりに、幾何歪の度合いに応じて、人物検出の方式を切り替えてもよい。上述したように、カメラがローリングシャッタ方式である場合には、車の速度が速くなるほど、画像における人物が斜めに傾く傾向がある。よって、供給される画像に映る人物が斜めに傾いた場合、被写体が傾いた画像で学習した人物検出器を用いるようにすればよい。すなわち、幾何歪情報に応じて、人物が斜めに傾く度合いを推定し、それに応じた検出器（または、検出に用いる辞書情報）を切り替えて人物を検出する。この場合も、歪を補正しない場合に比べて、検出精度を大幅に改善できる。
　また、人物検出部５０３は、レンズによる画像の歪（レンズ歪）が大きい場合にも、歪補正をしてもよい。その場合、特定部位検出部５０１は、画像の各位置におけるレンズ歪を求め、その歪と特定部位との位置関係の対応を示す歪情報を人物検出部５０３に供給する。そして、人物検出部５０３は、その歪情報に基づいて画像を補正する。この場合、人物検出部５０３は、必ずしも、入力された歪情報を直接用いなくてもよい。例えば、人物検出部５０３は、それまでに蓄積した歪情報によって示される、歪と特定部位との位置関係を用いて、人物検出の対象となる領域における歪を算出し、画像を補正してもよい。すなわち、人物検出部５０３は、歪情報を、人物検出処理を実行するごとに蓄積しておき、蓄積した歪情報から画像の各位置における歪を近似する歪パラメータを算出する。人物検出部５０３は、歪パラメータ算出後、求められたた歪パラメータを用いて、画像の歪を補正し、人物検出を行う。
　このようにして検出された人物の情報は、第１の実施形態と同様に、人物検出結果として統合部１０４に出力される。
　なお、第２の実施形態のその他の動作は、第１の実施形態と同様である。
　以上に説明したように、本実施形態では、乗車人数計測装置は、画像の歪を考慮して人物検出を行うので、より高精度な人数計測が可能となる。
　第３の実施形態
　図１２は、本発明による乗車人数計測装置の第３の実施形態の構成を示すブロック図である。図１２に示すように、本実施形態における乗車人数計測装置は、特定部位検出部６０１、対応付け部６０２、人物検出部６０３および統合部６０４を備える。
　特定部位検出部６０１は、取得した画像から車の特定部位を検出すると共に特定部位検出結果を生成する。対応付け部６０２は、特定部位検出結果を画像間で対応付けることにより、車の移動量を算出し、その算出結果を含む車移動情報を生成する。
　人物検出部６０３は、画像における乗車している人物を検出し、検出した人物の位置情報を含む人物検出結果を生成する。統合部６０４は、人物検出結果を、車移動情報に基づいて統合することにより、乗車人数を判定する。
　上記構成を採用することにより、本第３の実施形態によれば、乗車人数計測装置は、後部座席に着席している人物も含めて、乗車人数を正確に計測することが可能となる。
　なお、図１、図１２に示した乗車人数計測装置の各部は、図１３に例示するハードウエア資源において実現される。すなわち、図１３に示す構成は、ＣＰＵ２０、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２２、外部接続インタフェース２３および記憶媒体２４を備える。ＣＰＵ２０は、ＲＯＭ２２または記憶媒体２４に記憶された各種ソフトウエア・プログラム（コンピュータ・プログラム）を、ＲＡＭ２１に読み出して実行することにより、乗車人数計測装置の全体的な動作を司る。
　また、上述した各実施形態では、図１、図１２に示した乗車人数計測装置における各ブロックに示す機能を、図１３に示すＣＰＵ２０が実行する一例として、ソフトウエア・プログラムによって実現する場合について説明した。しかしながら、図１、図１２に示した各ブロックに示す機能は、一部または全部を、ハードウエアとして実現してもよい。
　また、各実施形態を例に説明した本発明は、乗車人数計測装置に対して、上記説明した機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、ＣＰＵ２０がＲＡＭ２１に読み出して実行することによって達成される。
　また、係る供給されたコンピュータ・プログラムは、読み書き可能なメモリ（一時記憶媒体）またはハードディスク装置等のコンピュータ読み取り可能な記憶デバイスに格納すればよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムを表すコード或いは係るコンピュータ・プログラムを格納した記憶媒体によって構成されると捉えることができる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

　以上に述べた乗車人数の計測結果は、ＨＯＶ（Ｈｉｇｈ　Ｏｃｃｕｐａｎｃｙ　Ｖｅｈｉｃｌｅ）レーンを通行可能な車の自動判定や、テーマパーク等での、乗車したままの来場者数カウント、定員以上乗車している車の自動検出等に利用できる。
　この出願は、２０１３年１０月９日に出願された日本出願特願２０１３－２１２２４９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　１００　画像取得部
　１０１、５０１　特定部位検出部
　１０２　対応付け部
　１０３、５０３　人物検出部
　１０４　統合部
　２０１　タイヤ検出部
　２０２　前後タイヤ推定部
　３０１　エッジ抽出部
　３０２　エッジ分布解析部
　４０１　人物グループ化部
　４０２　グループ対応付け部
　４０３　人数算出部

Claims (9)

  1. 　取得した画像における車の特定部位を検出し、特定部位検出結果を生成する特定部位検出手段と、
    　前記特定部位検出結果を画像間で対応付けることにより、前記車の移動量を算出し、その算出結果を含む車移動情報を生成する対応付け手段と、
    　前記画像における乗車している人物を検出し、検出した前記人物の位置情報を含む人物検出結果を生成する人物検出手段と、
    　前記人物検出結果を、前記車移動情報に基づいて統合することにより、乗車人数を判定する統合手段と
    を備えた乗車人数計測装置。
  2. 　前記特定部位検出手段は、車の特定部位として車のタイヤを検出する
    　請求項１に記載の乗車人数計測装置。
  3. 　前記特定部位検出手段は、
    　前記取得した画像におけるタイヤを検出し、前記画像におけるタイヤの位置を示すタイヤ位置情報を生成するタイヤ検出手段と、
    　前記タイヤ位置情報に基づいて前記画像を解析し、検出されたタイヤが車の前のタイヤであるか、後ろのタイヤであるかを推定し、その推定結果を含む特定部位検出結果を生成する前後タイヤ推定手段とを含み、
    　前記対応付け手段は、前記特定部位検出結果に含まれる前記推定結果を用いて画像間で検出されたタイヤを対応付ける
    　請求項２に記載の乗車人数計測装置。
  4. 　前記前後タイヤ推定手段は、前記タイヤ位置情報に基づいて、検出されたタイヤの近傍のエッジ特徴または勾配特徴を求め、前記エッジ特徴または前記勾配特徴をもとに、検出された前記タイヤが車の前のタイヤであるか、後ろのタイヤであるかを示す尤度を算出し、その算出結果を含む特定部位検出結果を生成する
    　請求項３に記載の乗車人数計測装置。
  5. 　前記統合手段は、
    　前記画像ごとに、前記位置情報によって示される人物の位置が近い人物検出結果をグループ化し、グループ化した結果を示す人物グループ化情報を生成する人物グループ化手段と、
    　車移動情報と前記人物グループ化情報とに基づいて、画像における各グループが他の画像におけるどのグループと対応付くかを示すグループ対応付け情報を生成するグループ対応付け手段と、
    　前記グループ対応付け情報に基づいて、車の座席の列ごとに乗車している人数を判定し、各列の人数を統合して乗車人数を算出する人数算出手段とを含む
    　請求項１から請求項４のうちのいずれか１項に記載の乗車人数計測装置。
  6. 　前記特定部位検出手段は、画像の幾何歪を推定し、
    　前記人物検出手段は、推定した前記幾何歪に基づいて前記画像を補正し、補正後の画像から人物を検出する
    　請求項１から請求項５のうちのいずれか１項に記載の乗車人数計測装置。
  7. 　前記特定部位検出手段は、画像の幾何歪を推定し、
    　前記人物検出手段は、推定した前記幾何歪に応じた人物検出器を用いて前記画像から人物を検出する
    　請求項１から請求項５のうちのいずれか１項に記載の乗車人数計測装置。
  8. 　取得した画像における車の特定部位を検出して特定部位検出結果を生成し、
    　前記特定部位検出結果を画像間で対応付け、前記車の移動量を算出し、その算出結果を含む車移動情報を生成し、
    　取得した前記画像における乗車している人物を検出し、検出した前記人物の位置情報を含む人物検出結果を生成し、
    　前記人物検出結果を前記車移動情報に基づいて統合することにより乗車人数を判定する
    　ことを特徴とする乗車人数計測方法。
  9. 　コンピュータに、
    　取得した画像における車の特定部位を検出して特定部位検出結果を生成する処理と、
    　前記特定部位検出結果を画像間で対応付け、前記車の移動量を算出し、その算出結果を含む車移動情報を生成する処理と、
    　取得した前記画像における乗車している人物を検出し、検出した前記人物の位置情報を含む人物検出結果を生成する処理と、
    　前記人物検出結果を前記車移動情報に基づいて統合することにより乗車人数を判定する処理とを実行させる
    　乗車人数計測プログラムを記録するプログラム記録媒体。
PCT/JP2014/005018 2013-10-09 2014-10-01 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体 WO2015052896A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015541434A JP6458734B2 (ja) 2013-10-09 2014-10-01 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
US15/025,968 US9934442B2 (en) 2013-10-09 2014-10-01 Passenger counting device, passenger counting method, and program recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013212249 2013-10-09
JP2013-212249 2013-10-09

Publications (1)

Publication Number Publication Date
WO2015052896A1 true WO2015052896A1 (ja) 2015-04-16

Family

ID=52812732

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005018 WO2015052896A1 (ja) 2013-10-09 2014-10-01 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体

Country Status (3)

Country Link
US (1) US9934442B2 (ja)
JP (1) JP6458734B2 (ja)
WO (1) WO2015052896A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106170826A (zh) * 2016-06-03 2016-11-30 深圳市锐明技术股份有限公司 出租车乘客人数的监控方法及系统
WO2017158648A1 (ja) 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラム
WO2017158647A1 (ja) * 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
WO2018017706A1 (en) * 2016-07-19 2018-01-25 Redmon Jeang LLC Mobile legal counsel system and method
WO2018099268A1 (zh) * 2016-11-29 2018-06-07 深圳云天励飞技术有限公司 目标跟踪方法、装置及存储介质
WO2019008789A1 (ja) * 2017-07-04 2019-01-10 日本電気株式会社 解析装置、解析方法及びプログラム
WO2019130562A1 (ja) * 2017-12-28 2019-07-04 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2019180876A1 (ja) * 2018-03-22 2020-04-30 三菱電機株式会社 体格推定装置および体格推定方法
WO2020107251A1 (en) * 2018-11-28 2020-06-04 Beijing Didi Infinity Technology And Development Co., Ltd. System and method for detecting in-vehicle headcount
JP2020107065A (ja) * 2018-12-27 2020-07-09 Ｓｃｓｋ株式会社 追跡システム、及び追跡プログラム
CN112183287A (zh) * 2020-09-22 2021-01-05 四川阿泰因机器人智能装备有限公司 一种移动机器人在复杂背景下的人数统计方法
JP7048157B2 (ja) 2017-07-13 2022-04-05 日本電気株式会社 解析装置、解析方法及びプログラム
US11494861B2 (en) 2016-07-19 2022-11-08 Redmon Jeang LLC Mobile legal counsel system and method
JP7172472B2 (ja) 2018-11-09 2022-11-16 富士通株式会社 ルール生成装置、ルール生成方法及びルール生成プログラム
WO2023170871A1 (ja) 2022-03-10 2023-09-14 日本電気株式会社 入場管理システム、入場管理方法及び記録媒体
JP7472772B2 (ja) 2020-12-17 2024-04-23 コニカミノルタ株式会社 画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム
JP7533195B2 (ja) 2020-12-17 2024-08-14 コニカミノルタ株式会社 画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403865B2 (en) * 2017-07-25 2022-08-02 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program
CN107657211A (zh) * 2017-08-11 2018-02-02 广州烽火众智数字技术有限公司 一种hov车道的车辆乘客人数检测方法和装置
US10339401B2 (en) * 2017-11-11 2019-07-02 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
US11538257B2 (en) * 2017-12-08 2022-12-27 Gatekeeper Inc. Detection, counting and identification of occupants in vehicles
CN111742191B (zh) * 2018-02-26 2022-01-14 三菱电机株式会社 三维位置推定装置及三维位置推定方法
US11092963B2 (en) * 2018-04-27 2021-08-17 Motional Ad Llc Autonomous vehicle operation based on passenger-count
US11270525B2 (en) 2018-11-06 2022-03-08 Alliance For Sustainable Energy, Llc Automated vehicle occupancy detection
CN111368612B (zh) * 2019-04-29 2024-04-05 杭州海康威视系统技术有限公司 超员检测系统、人员检测方法及电子设备
US10867193B1 (en) 2019-07-10 2020-12-15 Gatekeeper Security, Inc. Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection
CN110532998B (zh) * 2019-09-05 2022-04-12 杭州视在科技有限公司 一种用于机场行李拖车超载违规检测的方法
US11196965B2 (en) 2019-10-25 2021-12-07 Gatekeeper Security, Inc. Image artifact mitigation in scanners for entry control systems
US11527089B2 (en) * 2020-04-29 2022-12-13 Conduent Business Services, Llc Building light-weight single shot refinement neural network for vehicle passenger detection system
AT523727B1 (de) * 2020-08-18 2021-11-15 Emotion3D Gmbh Computerimplementiertes Verfahren zur Analyse des Innenraums eines Fahrzeugs
CN112052812A (zh) * 2020-09-14 2020-12-08 贵州黔岸科技有限公司 一种车辆载人识别方法、系统、终端及介质
CN112395976B (zh) * 2020-11-17 2024-11-12 杭州海康威视系统技术有限公司 一种摩托车载人识别方法、装置、设备及存储介质
CN113516112B (zh) * 2021-09-14 2021-11-30 长沙鹏阳信息技术有限公司 一种基于聚类的规则排列物体自动识别及编号方法
CN113792674B (zh) * 2021-09-17 2024-03-26 支付宝(杭州)信息技术有限公司 空座率的确定方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111072A (ja) * 2001-10-02 2003-04-11 Nissan Motor Co Ltd 周囲車両検出装置
JP2012158968A (ja) * 2011-01-28 2012-08-23 Fuji Hensokuki Co Ltd 駐車場内の人検出器
WO2014064898A1 (ja) * 2012-10-26 2014-05-01 日本電気株式会社 乗車人数計測装置、方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5802479A (en) * 1994-09-23 1998-09-01 Advanced Safety Concepts, Inc. Motor vehicle occupant sensing systems
US6919804B1 (en) * 2001-05-08 2005-07-19 Vultron Incorporated Passenger detection system for vehicles
JP4235026B2 (ja) * 2003-04-28 2009-03-04 トヨタ自動車株式会社 駐車支援装置
DE102004040057A1 (de) * 2004-08-18 2006-03-09 Rauch, Jürgen, Dr.-Ing. Verkehrsleitsystem
US8731244B2 (en) * 2011-07-28 2014-05-20 Xerox Corporation Systems and methods for improving image recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111072A (ja) * 2001-10-02 2003-04-11 Nissan Motor Co Ltd 周囲車両検出装置
JP2012158968A (ja) * 2011-01-28 2012-08-23 Fuji Hensokuki Co Ltd 駐車場内の人検出器
WO2014064898A1 (ja) * 2012-10-26 2014-05-01 日本電気株式会社 乗車人数計測装置、方法およびプログラム

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318830B2 (en) 2016-03-17 2019-06-11 Nec Corporation Passenger counting device, system, method and program
WO2017158648A1 (ja) 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラム
WO2017158647A1 (ja) * 2016-03-17 2017-09-21 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
US10824887B2 (en) 2016-03-17 2020-11-03 Nec Corporation Passenger counting device, system, method and program
US10789494B2 (en) 2016-03-17 2020-09-29 Nec Corporation Passenger counting device, system, method and program
US10922565B2 (en) 2016-03-17 2021-02-16 Nec Corporation Passenger counting device, system, method and program
JPWO2017158647A1 (ja) * 2016-03-17 2018-11-15 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
EP3282422A4 (en) * 2016-03-17 2019-01-09 Nec Corporation DEVICE, SYSTEM, METHOD AND PROGRAM FOR COUNTING PASSENGERS, AND VEHICLE DISPLACEMENT EXCHANGE COMPUTING UNIT, METHOD AND PROGRAM
US10755124B2 (en) 2016-03-17 2020-08-25 Nec Corporation Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
AU2016397317B2 (en) * 2016-03-17 2019-05-16 Nec Corporation Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
US10318829B2 (en) 2016-03-17 2019-06-11 Nec Corporation Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
CN106170826B (zh) * 2016-06-03 2018-10-09 深圳市锐明技术股份有限公司 出租车乘客人数的监控方法及系统
CN106170826A (zh) * 2016-06-03 2016-11-30 深圳市锐明技术股份有限公司 出租车乘客人数的监控方法及系统
US11494861B2 (en) 2016-07-19 2022-11-08 Redmon Jeang LLC Mobile legal counsel system and method
US11443395B2 (en) 2016-07-19 2022-09-13 Redmon Jeang LLC Mobile legal counsel system and method
WO2018017706A1 (en) * 2016-07-19 2018-01-25 Redmon Jeang LLC Mobile legal counsel system and method
WO2018099268A1 (zh) * 2016-11-29 2018-06-07 深圳云天励飞技术有限公司 目标跟踪方法、装置及存储介质
JPWO2019008789A1 (ja) * 2017-07-04 2020-03-19 日本電気株式会社 解析装置、解析方法及びプログラム
US11138755B2 (en) 2017-07-04 2021-10-05 Nec Corporation Analysis apparatus, analysis method, and non transitory storage medium
WO2019008789A1 (ja) * 2017-07-04 2019-01-10 日本電気株式会社 解析装置、解析方法及びプログラム
JP7048157B2 (ja) 2017-07-13 2022-04-05 日本電気株式会社 解析装置、解析方法及びプログラム
JPWO2019130562A1 (ja) * 2017-12-28 2020-12-24 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US11338753B2 (en) 2017-12-28 2022-05-24 Nec Corporation Information processing apparatus, information processing method, and program
WO2019130562A1 (ja) * 2017-12-28 2019-07-04 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2019180876A1 (ja) * 2018-03-22 2020-04-30 三菱電機株式会社 体格推定装置および体格推定方法
JP7172472B2 (ja) 2018-11-09 2022-11-16 富士通株式会社 ルール生成装置、ルール生成方法及びルール生成プログラム
WO2020107251A1 (en) * 2018-11-28 2020-06-04 Beijing Didi Infinity Technology And Development Co., Ltd. System and method for detecting in-vehicle headcount
JP2020107065A (ja) * 2018-12-27 2020-07-09 Ｓｃｓｋ株式会社 追跡システム、及び追跡プログラム
CN112183287A (zh) * 2020-09-22 2021-01-05 四川阿泰因机器人智能装备有限公司 一种移动机器人在复杂背景下的人数统计方法
JP7472772B2 (ja) 2020-12-17 2024-04-23 コニカミノルタ株式会社 画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム
JP7533195B2 (ja) 2020-12-17 2024-08-14 コニカミノルタ株式会社 画像処理装置、過積載検知システム、画像処理方法および画像処理プログラム
WO2023170871A1 (ja) 2022-03-10 2023-09-14 日本電気株式会社 入場管理システム、入場管理方法及び記録媒体

Also Published As

Publication number Publication date
US9934442B2 (en) 2018-04-03
JPWO2015052896A1 (ja) 2017-03-09
US20160239714A1 (en) 2016-08-18
JP6458734B2 (ja) 2019-01-30

Similar Documents

Publication Publication Date Title
JP6458734B2 (ja) 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
US7899211B2 (en) Object detecting system and object detecting method
US10943131B2 (en) Image based lane marking classification
US9047518B2 (en) Method for the detection and tracking of lane markings
US8050459B2 (en) System and method for detecting pedestrians
US8189051B2 (en) Moving object detection apparatus and method by using optical flow analysis
US9760784B2 (en) Device, method and program for measuring number of passengers
US8655078B2 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
JP5136504B2 (ja) 物体識別装置
JP6184877B2 (ja) 車両用外界認識装置
KR101618814B1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
KR101035055B1 (ko) 이종 카메라를 이용한 객체 추적 시스템 및 방법
US11093762B2 (en) Method for validation of obstacle candidate
JP4793324B2 (ja) 車両監視装置および車両監視方法
KR101281260B1 (ko) 차량 인식 방법 및 장치
EP2851841A2 (en) System and method of alerting a driver that visual perception of pedestrian may be difficult
JP5271227B2 (ja) 群衆監視装置および方法ならびにプログラム
JP6620881B2 (ja) 乗車人数計測装置、システム、方法およびプログラムならびに車両移動量算出装置、方法およびプログラム
JP4587038B2 (ja) 車両位置検出方法、並びに車両速度検出方法及び装置
JP2010122078A (ja) 身長検出システムおよびこれを用いた自動改札機
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
CN116152790B (zh) 一种安全带检测方法及装置
JP4055785B2 (ja) 移動物体の高さ検出方法及び装置並びに物体形状判定方法及び装置
US20240070876A1 (en) Control apparatus, method, and non-transitory computer-readable storage medium
KR20190119350A (ko) 영상을 이용한 에스컬레이터 사고 감지 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14851730

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15025968

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015541434

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14851730

Country of ref document: EP

Kind code of ref document: A1