WO2017158648A1 - 乗車人数計測装置、システム、方法およびプログラム - Google Patents

乗車人数計測装置、システム、方法およびプログラム Download PDF

Info

Publication number
WO2017158648A1
WO2017158648A1 PCT/JP2016/001557 JP2016001557W WO2017158648A1 WO 2017158648 A1 WO2017158648 A1 WO 2017158648A1 JP 2016001557 W JP2016001557 W JP 2016001557W WO 2017158648 A1 WO2017158648 A1 WO 2017158648A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
passengers
photographing
passenger
Prior art date
Application number
PCT/JP2016/001557
Other languages
English (en)
French (fr)
Inventor
伸一 宮本
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CA3010922A priority Critical patent/CA3010922C/en
Priority to PCT/JP2016/001557 priority patent/WO2017158648A1/ja
Priority to JP2018505559A priority patent/JP6607308B2/ja
Priority to AU2016397318A priority patent/AU2016397318B2/en
Priority to EP16894272.0A priority patent/EP3285231A4/en
Priority to US15/572,995 priority patent/US10318830B2/en
Publication of WO2017158648A1 publication Critical patent/WO2017158648A1/ja
Priority to US16/296,638 priority patent/US10789494B2/en
Priority to US16/296,514 priority patent/US10824887B2/en
Priority to US16/296,774 priority patent/US10922565B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Definitions

  • the present invention relates to a passenger number measuring device, system, method and program for measuring the number of passengers in a vehicle.
  • HOV high occupancy vehicle
  • a technique is used in which a vehicle is photographed by a camera and the number of passengers is measured by performing face detection on the photographed image.
  • Patent Documents 1 to 3 disclose a system for measuring the number of people in a vehicle by detecting a face.
  • Patent Document 1 discloses a technique for measuring the number of people on a vehicle by detecting a person's profile.
  • Patent Document 2 discloses a technique for measuring the number of passengers by detecting a person and estimating where the person is in the vehicle.
  • Patent Document 3 discloses a technique for measuring the number of passengers using a vehicle movement amount and a person detection result.
  • an object of the present invention is to provide a passenger number measuring device, system, method and program capable of accurately measuring the number of passengers in a vehicle.
  • the passenger counting device is based on a first image obtained by photographing a vehicle and a second image obtained by photographing the vehicle while receiving only light in the first specific wavelength band. And an image separating means for acquiring a plurality of separated images and a passenger number determining means for determining the number of passengers of the vehicle based on the plurality of separated images.
  • the passenger number counting system acquires a second image by capturing a vehicle in a state in which only the light of the first specific wavelength band is received, and a first imaging unit that captures the vehicle and acquires the first image.
  • the method for measuring the number of passengers according to the present invention is based on a first image obtained by photographing a vehicle and a second image obtained by photographing the vehicle while receiving only light in the first specific wavelength band. A plurality of separated images are acquired, and the number of passengers of the vehicle is determined based on the plurality of separated images.
  • the passenger counting program includes a first image obtained by photographing a vehicle on a computer, and a second image obtained by photographing the vehicle while receiving only light in the first specific wavelength band. Based on the above, an image separation process for acquiring a plurality of separated images and a passenger number determination process for determining the number of passengers on the vehicle based on the plurality of separated images are executed.
  • FIG. 1 is a block diagram showing a configuration of a passenger number measuring system according to this embodiment.
  • the passenger number measuring system includes a first photographing unit 10, a second photographing unit 11, and a passenger number counting device 100.
  • the passenger number measuring device 100 includes an image separation unit 12 and a passenger number determination unit 13.
  • the first photographing unit 10 photographs a vehicle and acquires a first image.
  • the first photographing unit 10 is a general camera and photographs a vehicle that is a subject to generate a digital image.
  • the second imaging unit 11 captures the vehicle in a state where only the first specific wavelength band is received and acquires the second image.
  • the second photographing unit 11 is a general camera, similar to the first photographing unit 10, and photographs a vehicle that is a subject to generate a digital image.
  • the second imaging unit 11 has at least sensitivity of light in the first specific wavelength band.
  • the image separation unit 12 performs image separation based on the first image acquired by the first imaging unit 10 and the second image acquired by the second imaging unit 11, and the separation in which the reflection on the glass window is reduced is performed. A plurality of separated images including images are acquired. Specifically, the image separation unit 12 separates two images having different distances from the first photographing unit 10 and the second photographing unit 11 using independent component analysis.
  • the number of passengers determination unit 13 determines the number of passengers based on the plurality of separated images output by the image separation unit 12. Specifically, the passenger number determination unit 13 acquires a plurality of separated images output by the image separation unit 12, performs face detection on the separated images with reduced reflection, and determines that the face is a person's face. The number of parts is determined as the number of passengers in the vehicle.
  • FIG. 2 is an explanatory diagram showing a hardware configuration of the passenger number measuring system of the present embodiment.
  • photography part 11 are installed in the position which can image
  • a half mirror 20 is installed in front of the first imaging unit 10 (between the first imaging unit 10 and the vehicle).
  • a reflection mirror 21 is installed in front of the second photographing unit 11 (a position where the reflected light from the half mirror 20 is received).
  • a band pass filter 22 is installed between the second imaging unit 11 and the reflection mirror 21.
  • Bandpass filter 22 is a filter capable of passing only the first specific wavelength band lambda 1 light.
  • the half mirror 20 Part of the light incident from the direction of the vehicle passes through the half mirror 20 and enters the first imaging unit 10. Further, the remaining part of the light incident from the direction of the vehicle is reflected by the half mirror 20 and enters the reflection mirror 21. The light incident on the reflection mirror 21 is reflected, passes through the band pass filter 22, and only the light of the first specific wavelength body ⁇ 1 enters the second imaging unit 11.
  • each device is installed so that the optical path length from the first imaging unit 10 to the vehicle is the same as the optical path length from the second imaging unit 11 to the vehicle.
  • the first photographing unit 10 and the second photographing unit 11 perform photographing so that the photographing range of the first photographing unit 10 and the photographing range of the second photographing unit 11 are the same.
  • the illumination 23 which irradiates the light of 1st specific wavelength band (lambda) 1 is installed in the position which can irradiate the vehicle which passes, and irradiates the whole vehicle. As the light passes through the band-pass filter 22, the amount of light is reduced compared to that before the passage. However, since the illumination 23 irradiates the vehicle with light of the first specific wavelength band ⁇ 1 , the second imaging unit 11 can obtain a sufficient amount of light, and thus can acquire a clear vehicle image. it can.
  • the first imaging unit 10 can capture a normal vehicle image in a state where the wavelength of incident light is not limited.
  • photography part 11 can image
  • FIG. 2 is a flowchart showing the operation of the passenger number measuring system of the present embodiment.
  • the first photographing unit 10 photographs the vehicle and acquires an image (step S10).
  • the first imaging unit 10 is installed on the road side, for example, and images the vehicle from the lateral direction (perpendicular to the traveling direction of the vehicle).
  • photographs a vehicle in the state which received only the light of the 1st specific wavelength band, and acquires an image (step S11).
  • the second imaging unit 11 is installed on the road side, for example, and images the vehicle from the lateral direction (perpendicular to the traveling direction of the vehicle). Since the bandpass filter 22 in front of the second imaging unit 11 is installed, the second imaging unit 11 photographs the vehicle while entering only the first light of the specific wavelength body lambda 1.
  • the installation positions of the first imaging unit 10 and the second imaging unit 11 are not limited to the above positions, and may be set to positions at which imaging can be performed from the front or diagonally forward of the vehicle.
  • photography part 11 are installed in the toll booth using the HOV system, for example.
  • the first photographing unit 10 and the second photographing unit 11 photograph the vehicle at the same timing.
  • the passenger counting device 100 transmits an instruction signal to the first photographing unit 10 and the second photographing unit 11.
  • detection means such as an infrared sensor is installed, and the first measurement is performed when the passenger counting device 100 receives a signal indicating that the vehicle has passed from the detection means.
  • An instruction signal may be transmitted to the imaging unit 10 and the second imaging unit 11.
  • photography part 11 may receive the signal which shows that the vehicle passed from the detection means directly, and may image
  • the image separation unit 12 performs image separation based on a first image obtained by photographing the vehicle by the first photographing unit 10 and a second image obtained by photographing the vehicle by the second photographing unit 11. Then, a plurality of separated images including a separated image with reduced reflection on the glass window are acquired (step S12). Specifically, the image separation unit 12 performs independent component analysis on the image data indicating the first image and the second image, and reflects the image showing the inside of the vehicle and the reflection on the glass window (the person or object reflected on the glass window). Etc.) are separated.
  • the image data representing the first image represents a x 1, represents the image data representing the second image and x 2. Also, it represents the actual image showing the inside the vehicle s 1 and represents the actual image shows a reflection of the glass window and s 2.
  • the image separation unit 12 outputs image data that is an approximate value of s 1 indicating the inside of the vehicle among y 1 and y 2 indicating the image data as a separated image with reduced reflection. For example, the image separation unit 12 analyzes the images y 1 and y 2 and determines whether the image is in the vehicle based on the presence of a person's face and in-vehicle equipment.
  • the image separation unit 12 outputs the images indicated by y 1 and y 2 to an external display device, and allows the user to select which image is an in-vehicle image, thereby reducing the reflection of the selected image. You may output as a separated image. Further, the image separation unit 12 may determine which image is an image with reduced reflection by a specific method, and output the determined image as a separated image with reduced reflection. Specifically, the image separation unit 12 applies a face detection algorithm to the images indicated by y 1 and y 2 and acquires the number of faces. Thereafter, the image separation unit 12 may select and output an image having a larger number of faces as a separated image with reduced reflection.
  • the number of faces is not particularly limited, and any part of the person that can be detected may be used, and the nose, eyes, arms, neck, and the like can be detected.
  • the occupant number measuring device 100 includes a selection unit that selects an image with reduced reflection from a plurality of separated images, and a person identification for the plurality of separated images. You may provide the acquisition means which acquires the number of site
  • FIG. 4 is an explanatory diagram showing a first image acquired by the first imaging unit 10.
  • FIG. 5 is an explanatory diagram showing a separated image in the present embodiment.
  • a tree outside the vehicle is reflected in the glass window of the vehicle, and is displayed overlapping the face of a person in the vehicle.
  • the reflection on the glass window is reduced, and the face of the person in the vehicle is clearly displayed.
  • the other separated images show the reflection on the glass window. That is, based on the first image and the second image, the images are separated into two images having different distances from the first photographing unit 10 and the second photographing unit 11.
  • the number of passengers determination unit 13 determines the number of passengers of the vehicle based on the plurality of separated images output by the image separation unit 12 (step S13). Specifically, the passenger number determination unit 13 acquires a plurality of separated images output by the image separation unit 12, performs face detection on the separated images with reduced reflection, and determines that the face is a person's face. The number of parts is determined as the number of passengers in the vehicle.
  • the boarding person number determination unit 13 detects the person using the side face detector.
  • the boarding person number determination unit 13 detects the person using the front face detector.
  • These detectors are constructed in advance by performing machine learning using a large number of face images photographed from the side or the front, and are stored in a storage unit (for example, an auxiliary storage device 1003 described later).
  • the detector used for detection is obtained by, for example, SVM (Support Vector Machine), LDA (Lent Dirichlet Allocation, linear discriminant analysis), or GLVQ (Generalized Learning Vector Quantization, a generalized learning vector quantizer). .
  • the passenger counting system of this embodiment can reduce the reflection on the glass window of the vehicle by performing image separation using independent component analysis. It can be measured.
  • FIG. 6 is a block diagram showing the configuration of the passenger number measuring system of this embodiment.
  • the passenger number measuring system includes a first photographing unit 10, a second photographing unit 11, a third photographing unit 14, and a passenger counting device 100.
  • the passenger number measuring device 100 includes an image separation unit 12 and a passenger number determination unit 13.
  • the passenger number measuring system of the present embodiment has a configuration in which a third photographing unit 14 is added to the passenger number measuring system of the first embodiment.
  • the third imaging unit 14 captures the vehicle in a state where only the second specific wavelength band different from the first specific wavelength band is received, and acquires the third image.
  • the third image capturing unit 14 is a general camera, similar to the first image capturing unit 10 and the second image capturing unit 11, and captures a vehicle as a subject to generate a digital image.
  • the third imaging unit 14 has at least sensitivity of light in the second specific wavelength band.
  • FIG. 7 is an explanatory diagram showing a hardware configuration of the passenger number measuring system of the present embodiment.
  • photography part 14 is installed in the position which can image
  • a band pass filter 26 is installed in front of the third imaging unit 14.
  • Bandpass filter 26 is a filter capable of passing only the second light in a specific wavelength band lambda 2.
  • a half mirror 25 is installed in front of the first photographing unit 10. A part of the light incident on the half mirror 25 from the direction of the vehicle is reflected and incident on the reflection mirror 27. The light incident on the reflection mirror 27 is reflected and passes through the bandpass filter 26 and enters the third imaging unit 14.
  • the illumination 24 which irradiates the light of 2nd specific wavelength band (lambda) 2 is installed in the position which can irradiate a vehicle, and irradiates the whole vehicle. Since other configurations are the same as those of the first embodiment, description thereof is omitted.
  • the optical path length from the first imaging unit 10 to the vehicle, the optical path length from the second imaging unit 11 to the vehicle, and the optical path length from the third imaging unit 14 to the vehicle are the same.
  • each device is installed.
  • the first imaging unit 10, the second imaging unit 11, and the third imaging unit 10 are configured so that the imaging range of the first imaging unit 10, the imaging range of the second imaging unit 11, and the imaging range of the third imaging unit 14 are the same.
  • the photographing unit 14 performs photographing.
  • the third imaging unit 14 can capture a vehicle image in a state where only the light of the second specific wavelength body ⁇ 2 is incident. As light passes through the bandpass filter 26, the amount of light decreases. However, since the illumination 24 irradiates the vehicle with light of the second specific wavelength band ⁇ 2 , the third imaging unit 14 can obtain a sufficient amount of light, and thus can obtain a clear vehicle image. .
  • FIG. 2 is a flowchart showing the operation of the passenger number measuring system of the present embodiment. Note that the processing in step S10, step S11, and step S13 illustrated in FIG. 2 is the same as that in the first embodiment, and thus description thereof is omitted.
  • the third photographing unit 14 photographs the vehicle in a state where only the light in the second specific wavelength band is received, and acquires an image (step S11 ′).
  • photography part 14 should just be a position which can image
  • the third imaging unit 14 is installed on the road side and images the vehicle from the lateral direction (the vehicle traveling direction and the vertical direction).
  • the band-pass filter 26 in front of the third imaging unit 14 is installed, the third imaging unit 14 photographs the vehicle while entering only the second light of the specific wavelength member lambda 2.
  • the third photographing unit 14 photographs the vehicle at the same timing as the first photographing unit 10 and the second photographing unit 11.
  • the image separation unit 12 includes a first image acquired by the first imaging unit 10 imaging a vehicle, a second image acquired by the second imaging unit 11 imaging the vehicle, and a third imaging unit 14 Image separation is performed based on the third image obtained by photographing the vehicle, and a separated image in which the reflection on the glass window and the density of the vehicle body portion of the vehicle are reduced is obtained (step S12 ′). Specifically, the image separation unit 12 performs independent component analysis on the image data indicating the first image, the second image, and the third image, and reflects the image indicating the inside of the vehicle and the reflection on the glass window (on the glass window). An image showing a person or an object) is separated from a portion excluding a glass window of the vehicle (hereinafter referred to as a vehicle body portion).
  • the image data representing the first image represents a x 1
  • the image data representing the second image represents a x 2, representing the image data of a third image and x 3.
  • the actual image shows the interior of the vehicle and s 1
  • the actual image shows a reflection of the glass window expressed as s 2, representing the actual image showing the body portion of the vehicle and s 3.
  • the image separation unit 12 calculates the vector Y in Expression (2).
  • the vector Y (y 1 , y 2 , y 3 ).
  • the image separation unit 12 estimates y 1 , y 2 , and y 3 by calculating a matrix W such that y 1 , y 2 , and y 3 are independent.
  • the y 1 , y 2 , and y 3 obtained as described above are approximate values of s 1 , one representing the interior of the vehicle, and the other one is an approximation of s 2 representing the reflection on the glass window. It has a value, other one is the approximation of s 3 showing the body portion of the vehicle.
  • the image separation unit 12 reflects image data which is an approximate value of s 1 indicating the inside of the vehicle among y 1 , y 2 and y 3 indicating the image data, and the density of the vehicle body portion of the vehicle is reduced. Output as a separated image.
  • the image separation unit 12 analyzes the images y 1 , y 2 , and y 3 and determines whether the image is in the vehicle based on the person's face and the presence / absence of in-vehicle equipment.
  • the image separation unit 12 outputs the images indicated by y 1 , y 2 , and y 3 to an external display device, causes the user to select which image is an image in the vehicle, and displays the selected image data. And a separated image in which the density of the body part of the vehicle is reduced.
  • FIG. 9 is an explanatory diagram showing a separated image in the present embodiment.
  • the reflection on the glass window is reduced, and the face of the person in the vehicle is clearly displayed. Furthermore, the density of the vehicle body is reduced.
  • the separated image shows the reflection on the glass window and the main body of the vehicle.
  • the vehicle image includes a vehicle body part
  • the user performs image processing and excludes the vehicle body part in advance before performing face detection.
  • the vehicle body portion of the vehicle has already been removed from the separated image of the present embodiment. Therefore, the number of passengers determination unit 13 can detect the number of passengers with high accuracy in the process of performing face detection and determining the number of passengers in the vehicle.
  • the occupant counting system of the present embodiment can reduce the density of the vehicle body part as well as the reflection on the glass window of the vehicle by performing image separation using independent component analysis. it can. Therefore, according to the passenger number measuring system of the present embodiment, the number of passengers in the vehicle can be accurately measured without the user performing image processing for removing the vehicle body part.
  • FIG. A passenger number measuring system according to this embodiment will be described with reference to the drawings.
  • the function of the passenger number determination unit 13 is different from that of the first embodiment, and the other configurations are the same.
  • the configuration and functions that are not particularly described are the same as those in the first embodiment.
  • FIG. 10 is a flowchart showing the operation of the passenger counting system of the third embodiment.
  • steps S10 to S12 are the same as the processing of the first embodiment (see FIG. 3), and thus the description thereof is omitted.
  • the number-of-passengers determination unit 13 acquires a plurality of separated images output by the image separation unit 12, but it may be difficult to determine which separated image is a separated image in which the reflection is reduced. Therefore, the passenger number determination unit 13 performs face detection processing on all acquired separated images, and acquires the number of passengers in each separated image (step S13a).
  • the number of passengers determination unit 13 determines the maximum value of the number of passengers in each separated image as the actual number of passengers (step S13b).
  • the image separation unit 12 performs processing for determining which of the separated images is reduced in reflection, and causing the user to select. However, in the present embodiment, these processing are performed. It may be omitted.
  • the passenger number determination unit 13 of the passenger number measurement system in the first embodiment is changed.
  • the passenger number determination of the present embodiment is performed. Part 13 may be applied.
  • the passenger counting system of the present embodiment it is possible to determine the number of passengers with high accuracy even when it is difficult to determine which separated image is a separated image with reduced reflection.
  • FIG. 11 is a schematic block diagram showing a configuration example of a computer according to the first to third embodiments.
  • the computer 1000 includes a CPU 1001, a main storage device 1002, an auxiliary storage device 1003, an interface 1004, a display device 1005, and an input device 1006.
  • the passenger counting device 100 of the first to third embodiments is mounted on a computer 1000.
  • the passenger counting device 100 is stored in the auxiliary storage device 1003 in the form of a program.
  • the CPU 1001 reads out the program from the auxiliary storage device 1003, develops it in the main storage device 1002, and executes the above processing according to the program.
  • the auxiliary storage device 1003 is a tangible medium that is not temporary, and is, for example, a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, or a semiconductor memory.
  • the computer 1000 may be connected to the auxiliary storage device 1003 via the interface 1004. When this program is distributed to the computer 1000 via a communication line, the computer 1000 that has received the distribution may develop the program in the main storage device 1002 and execute the above processing.
  • the program may be for realizing a part of the above-described processing.
  • the program may be a differential program that realizes the above-described processing in combination with another program already stored in the auxiliary storage device 1003.
  • the processor included in the computer 1000 is not limited to the CPU 1001, and may be any processor that can execute a program.
  • the computer 1000 includes a circuit.
  • FIG. 12 is a block diagram showing the main part of the passenger counting system according to the present invention.
  • the passenger counting system according to the present invention captures the vehicle in a state where only the light of the first specific wavelength band is received, and obtains the second image by capturing the vehicle and capturing the first image.
  • Second imaging means 31 and a passenger counting device 200 are provided.
  • the number-of-passengers measuring device 200 is based on the first image and the second image, the image separation means 42 for acquiring a plurality of separated images, and the number of passengers determined for determining the number of passengers on the vehicle based on the plurality of separated images. Means 43.
  • the passenger number measuring system shown in the following (1) to (7) is also disclosed.
  • the passenger number determination means acquires the number of passengers for each of the plurality of separated images, and sets the maximum value of the acquired number of passengers to the vehicle. The number of passengers may be determined.
  • the passenger counting system may be configured such that the image separation means (for example, the image separation unit 12) performs image separation using independent component analysis. According to such a passenger number measuring system, image separation can be executed only from the first image and the second image.
  • image separation means for example, the image separation unit 12
  • the image separation means (for example, the image separation section 12) is configured so that the first photographing means (for example, the first photographing section 10) and the second image separation means (for example, the first photographing section 10) are based on the first image and the second image. You may comprise so that it may isolate
  • the passenger counting system may be configured to include an irradiating unit (for example, the illumination 23) that irradiates the vehicle with light in the first specific wavelength band. According to such a passenger counting system, it is possible to compensate for a decrease in the amount of light even when only the light in the first specific wavelength band is received.
  • an irradiating unit for example, the illumination 23
  • the passenger count measuring system may be configured such that the optical path length from the first photographing means to the vehicle is the same as the optical path length from the second photographing means to the vehicle.
  • the passenger number measuring system may be configured such that the shooting range of the first shooting unit and the shooting range of the second shooting unit are the same.
  • First imaging means e.g., first imaging unit 10 that captures the vehicle and acquires the first image, and captures the vehicle in a state where only the light in the first specific wavelength band is received, and the second image.
  • Second imaging means for example, the second imaging unit 11 for acquiring a second image for capturing a third image by capturing the vehicle in a state where only light in a second specific wavelength band different from the first specific wavelength band is received.
  • Three image capturing units for example, the third image capturing unit 14
  • an image separating unit for example, the image separating unit 12
  • a passenger number measuring system comprising passenger number determining means (for example, a passenger number determining unit 13) for determining the number of passengers of a vehicle based on the separated images. According to such a passenger counting system, not only the reflection on the glass window but also the concentration of the vehicle body portion of the vehicle can be reduced, so that it is possible to save the user from having to remove them.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

乗車人数計測システムは、車両を撮影して第1画像を取得する第1撮影手段30と、第1特定波長帯の光のみを受光した状態で車両を撮影して第2画像を取得する第2撮影手段31と、乗車人数計測装置200とを備える。乗車人数計測装置200は、第1画像と第2画像とにもとづいて、複数の分離画像を取得する画像分離手段42と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段43とを備える。

Description

乗車人数計測装置、システム、方法およびプログラム
 本発明は、車両の乗車人数を計測する乗車人数計測装置、システム、方法およびプログラムに関する。
 近年、車両の乗車人数に応じて通行料金を割り引きしたり、乗車人数が所定人数以上である車両にのみ道路の通行を許可するHOV(High Occupancy Vehicle)システムが用いられている。HOVシステムにおいて、カメラにより車両を撮影し、撮影した画像に対して顔検出を行うことにより、乗車人数を計測する技術が用いられている。
 特許文献1~3に、顔検出により車両の乗車人数を計測するシステムが開示されている。特許文献1には、人物の横顔を検出することにより車両の乗車人数を計測する技術が開示されている。特許文献2には、人物を検出し、人物が車両のどの位置に乗車しているかを推定することにより乗車人数を計測する技術が開示されている。特許文献3には、車両の移動量と人物検出結果を用いて乗車人数を計測する技術が開示されている。
国際公開第2014/061195号 国際公開第2014/064898号 国際公開第2015/052896号
 車両を撮影して取得された画像において、車両の窓に車外の人または物が映り込む場合がある。その場合、取得された画像において、車両の窓の反射により、車内にいる人に顔検出を行う際に誤検出をする可能性がある。
 そこで、本発明は、車両の乗車人数を精度良く計測することができる乗車人数計測装置、システム、方法およびプログラムを提供することを目的とする。
 本発明による乗車人数計測装置は、車両が撮影されて取得された第1画像と、第1特定波長帯の光のみを受光した状態で車両が撮影されて取得された第2画像とにもとづいて、複数の分離画像を取得する画像分離手段と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段とを備えたことを特徴とする
 本発明による乗車人数計測システムは、車両を撮影して第1画像を取得する第1撮影手段と、第1特定波長帯の光のみを受光した状態で車両を撮影して第2画像を取得する第2撮影手段と、第1画像と第2画像とにもとづいて、複数の分離画像を取得する画像分離手段と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段とを備えたことを特徴とする。
 本発明による乗車人数計測方法は、車両が撮影されて取得された第1画像と、第1特定波長帯の光のみを受光した状態で車両が撮影されて取得された第2画像とにもとづいて、複数の分離画像を取得し、複数の分離画像にもとづいて、車両の乗車人数を決定することを特徴とする。
 本発明による乗車人数計測プログラムは、コンピュータに、車両が撮影されて取得された第1画像と、第1特定波長帯の光のみを受光した状態で車両が撮影されて取得された第2画像とにもとづいて、複数の分離画像を取得する画像分離処理と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定処理とを実行させることを特徴とする。
 本発明によれば、車両の乗車人数を精度良く計測することができる。
本発明による乗車人数計測システムの第1の実施形態の構成を示すブロック図である。 本発明による乗車人数計測システムの第1の実施形態のハードウェア構成を示すブロック図である。 本発明による乗車人数計測システムの第1の実施形態の動作を示すフローチャートである。 第1撮影部が取得する第1画像を示す説明図である。 第1の実施形態における分離画像を示す説明図である。 本発明による乗車人数計測システムの第2の実施形態の構成を示すブロック図である。 本発明による乗車人数計測システムの第2の実施形態のハードウェア構成を示すブロック図である。 本発明による乗車人数計測システムの第2の実施形態の動作を示すフローチャートである。 第2の実施形態における分離画像を示す説明図である。 本発明による乗車人数計測システムの第3の実施形態の動作を示すフローチャートである。 本発明による乗車人数計測装置が実装されるコンピュータの構成例を示す概略ブロック図である。 本発明による乗車人数計測システムの主要部の構成を示すブロック図である。
実施形態1.
 本実施形態の乗車人数計測システムの構成を、図1および図2を参照して説明する。図1は、本実施形態の乗車人数計測システムの構成を示すブロック図である。乗車人数計測システムは、第1撮影部10と、第2撮影部11と、乗車人数計数装置100とを備える。また、乗車人数計測装置100は、画像分離部12と、乗車人数決定部13とを備える。
 第1撮影部10は、車両を撮影して第1画像を取得する。第1撮影部10は、一般的なカメラであり、被写体である車両を撮影しデジタル画像を生成する。
 第2撮影部11は、第1特定波長帯のみを受光した状態で車両を撮影して第2画像を取得する。第2撮影部11は、第1撮影部10と同様に一般的なカメラであり、被写体である車両を撮影しデジタル画像を生成する。第2撮影部11は、少なくとも第1特定波長帯の光の感度を有している。
 画像分離部12は、第1撮影部10が取得した第1画像と、第2撮影部11が取得した第2画像とにもとづいて画像分離を行い、ガラス窓への映り込みが低減された分離画像を含む複数の分離画像を取得する。具体的には、画像分離部12は、独立成分分析を用いて、第1撮影部10および第2撮影部11からの距離が異なる2つの画像に分離する。
 乗車人数決定部13は、画像分離部12によって出力された複数の分離画像にもとづいて、車両の乗車人数として決定する。具体的には、乗車人数決定部13は、画像分離部12によって出力された複数の分離画像を取得して映り込みが低減された分離画像に顔検出を行い、人物の顔であると判定した部分の数を、車両の乗車人数として決定する。
 図2は、本実施形態の乗車人数計測システムのハードウェア構成を示す説明図である。第1撮影部10、第2撮影部11は、路側など、車両を撮影できる位置に設置されている。第1撮影部10の前方(第1撮影部10と車両の間)に、ハーフミラー20が設置されている。第2撮影部11の前方(ハーフミラー20からの反射光を受ける位置)に、反射ミラー21が設置されている。また、第2撮影部11と反射ミラー21の間に、バンドパスフィルタ22が設置されている。バンドパスフィルタ22は、第1特定波長帯λの光のみを通すことができるフィルタである。
 車両の方向から入射する光の一部は、ハーフミラー20を通り第1撮影部10に入射する。また、車両の方向から入射する光の残りの一部は、ハーフミラー20で反射し、反射ミラー21に入射する。反射ミラー21に入射した光は、反射して、バンドパスフィルタ22を通り、第1の特定波長体λの光のみが第2撮影部11に入射する。
 図2に示す構成において、第1撮影部10から車両までの光路長と、第2撮影部11から前記車両までの光路長とが同一となるように各装置が設置される。また、第1撮影部10の撮影範囲と第2撮影部11の撮影範囲とが同一となるように第1撮影部10および第2撮影部11は撮影を行う。
 また、通過する車両を照射できる位置に、第1特定波長帯λの光を照射する照明23が設置され、車両全体を照射する。バンドパスフィルタ22を光が通過することにより、通過前と比べて光量は減少している。しかし、照明23が第1の特定波長帯λの光を車両に照射していることにより、第2撮影部11は、十分な光量を得ることができるので明瞭な車両画像を取得することができる。
 以上の構成により、第1撮影部10は、入射する光の波長が限定されていない状態で、通常の車両画像を撮影することができる。第2撮影部11は、第1特定波長体λの光のみ入射する状態で、車両画像を撮影することができる。
 次に、本実施形態の乗車人数計測システムの動作を説明する。図2は、本実施形態の乗車人数計測システムの動作を示すフローチャートである。
 第1撮影部10は、車両を撮影し、画像を取得する(ステップS10)。第1撮影部10は、例えば、路側に設置されており、横方向(車両の進行方向に対して垂直方向)から車両を撮影する。
 第2撮影部11は、第1特定波長帯の光のみを受光した状態で車両を撮影し、画像を取得する(ステップS11)。第2撮影部11は、第1撮影部10と同様に、例えば路側に設置されており、横方向(車両の進行方向に対して垂直方向)から車両を撮影する。第2撮影部11の前方にバンドパスフィルタ22が設置されているので、第2撮影部11は、第1特定波長体λの光のみを入射した状態で車両を撮影する。
 ただし、第1撮影部10および第2撮影部11の設置位置は上記の位置に限定されず、車両の前方や斜め前方から撮影可能な位置に設定されていてもよい。第1撮影部10および第2撮影部11は、例えば、HOVシステムを利用した料金所に設置される。
 第1撮影部10および第2撮影部11は、同一のタイミングで車両を撮影する。撮影タイミングを同期させるために、例えば、乗車人数計測装置100が、第1撮影部10および第2撮影部11に、指示信号を送信する。車両を通過するタイミングを検知するために、例えば、赤外線センサ等の検知手段が設置されており、乗車人数計測装置100が、検知手段から車両が通過したことを示す信号を受信したタイミングで第1撮影部10および第2撮影部11に、指示信号を送信してもよい。または、第1撮影部10および第2撮影部11は、検知手段から車両が通過したことを示す信号を直接受信し、その信号を受信したタイミングで撮影をしてもよい。
 画像分離部12は、第1撮影部10が車両を撮影して得られた第1画像と、第2撮影部11が車両を撮影して得られた第2画像とにもとづいて画像分離を行い、ガラス窓への映り込みが低減された分離画像を含む複数の分離画像を取得する(ステップS12)。具体的には、画像分離部12は、第1画像および第2画像を示す画像データに独立成分分析を行い、車両内部を示す画像と、ガラス窓への映り込み(ガラス窓に映る人や物など)を示す画像とを分離する。
 独立成分分析による画像分離について、具体的に説明する。第1画像を示す画像データをxと表し、第2画像を示す画像データをxと表す。また、車両内部を示す実際の像をsと表し、ガラス窓への映り込みを示す実際の像をsと表す。そして、取得した画像をベクトルX=(x,xと表し、実際の像をベクトルS=(s,sと表す。画像データx,xは、s,sが混合して得られるものであるため、混合行列をAとすると、以下の式(1)が成り立つ。
X=AS   (1)
 Aは未知の行列であるから、XからSを推定する必要がある。画像分離部12は、以下の式(2)において、ベクトルY=(y,y)のy、yが独立となるような行列Wを算出することにより、y、yを推定する。
Y=WX   (2)
 上記のように処理により得られたy、yは、一方が車両内部を示すsの近似値となっており、他方がガラス窓への映り込みを示すsの近似値となっている。画像分離部12は、画像データを示すy、yのうち、車両内部を示すsの近似値となっている画像データを映り込みが低減された分離画像として出力する。画像分離部12は、例えば、y、yの画像を分析し、人物の顔や車内設備の有無により、車両内の画像であるか否か判定する。または、画像分離部12は、y、yが示す画像を外部の表示装置に出力し、ユーザーにどちらの画像が車両内の画像であるか選択させ、選択された画像を映り込みが低減された分離画像として出力してもよい。また、画像分離部12は、特定の手法により、どちらの画像が映り込みが低減された画像かを判定し、判定された画像を映り込みが低減された分離画像として出力してもよい。具体的には、画像分離部12は、y、yが示す画像に対して、顔を検出するアルゴリズムを適用し、顔の数を取得する。その後、画像分離部12は、顔の数が多い方の画像を映り込みが低減された分離画像として選択して、出力してもよい。ここで、特に顔の数に限定される必要は無く、検出可能な人物の部位出ればどこでも良く、鼻、目、腕、首などを検出対象とすることもできる。なお、乗車人数計測装置100は、画像分離部12とは別に、複数の分離画像の中から、映り込みが低減された画像を選択する選択手段と、複数の分離画像に対して、人物の特定部位の数を取得する取得手段を備えていてもよい。
 図4は、第1撮影部10が取得する第1画像を示す説明図である。図5は、本実施形態における分離画像を示す説明図である。図4に示す画像では、車両のガラス窓に車外の木が映り込んでおり、車両内の人物の顔と重複して表示されている。図5に示す分離画像では、ガラス窓への映り込みが低減されており、車両内の人物の顔が明確に表示されている。なお、図示しないが、分離された他の画像には、ガラス窓への映り込みが表示されている。すなわち、第1画像と第2画像とにもとづいて、第1撮影部10および第2撮影部11からの距離が異なる2つの画像に分離されている。
 乗車人数決定部13は、画像分離部12によって出力された複数の分離画像にもとづいて、車両の乗車人数を決定する(ステップS13)。具体的には、乗車人数決定部13は、画像分離部12によって出力された複数の分離画像を取得して映り込みが低減された分離画像に顔検出を行い、人物の顔であると判定した部分の数を、車両の乗車人数として決定する。
 横顔に近い角度で乗車人物の顔が映る場合、乗車人数決定部13は、横顔の検出器を用いて人物を検出する。または、正面顔に近い角度で乗車人物の顔が映る場合、乗車人数決定部13は、正面顔の検出器を用いて人物を検出する。これらの検出器は、横や正面から撮影した数多くの顔画像を用いて機械学習を行うことによって予め構築され、記憶部(例えば、後述する補助記憶装置1003)に記憶されている。検出に用いる検出器は、例えば、SVM(Support Vector Machine)、LDA(Latent Dirichlet Allocation、線形判別分析)、またはGLVQ(Generalised Learning Vector Quantization、一般化学習ベクトル量子化)により得られた検出器である。
 以上のように、本実施形態の乗車人数計測システムは、独立成分分析を用いて画像分離を行うことにより車両のガラス窓への映り込みを低減することができるので、車両の乗車人数を精度良く計測することができる。
実施形態2.
 本実施形態の乗車人数計測システムを、図面を参照して説明する。なお、以下の説明は、主に第1の実施形態(実施形態1)と異なる構成および機能に関する内容であり、特に説明しない構成および機能は、第1の実施形態と同様であるとする。図6は、本実施形態の乗車人数計測システムの構成を示すブロック図である。乗車人数計測システムは、第1撮影部10、第2撮影部11、第3撮影部14、乗車人数計数装置100を備える。また、乗車人数計測装置100は、画像分離部12、乗車人数決定部13とを備える。本実施形態の乗車人数計測システムは、第1の実施形態における乗車人数計測システムに第3撮影部14を加えた構成となっている。
 第3撮影部14は、第1特定波長帯と異なる第2特定波長帯のみを受光した状態で車両を撮影して第3画像を取得する。第3撮影部14は、第1撮影部10、第2撮影部11と同様に一般的なカメラであり、被写体である車両を撮影しデジタル画像を生成する。第3撮影部14は、少なくとも第2特定波長帯の光の感度を有している。
 図7は、本実施形態の乗車人数計測システムのハードウェア構成を示す説明図である。第3撮影部14は、車両を撮影することができる位置に設置されている。第3撮影部14の前方に、バンドパスフィルタ26が設置されている。バンドパスフィルタ26は、第2特定波長帯λの光のみを通すことができるフィルタである。第1撮影部10の前方にハーフミラー25が設置されている。車両の方向からハーフミラー25に入射する光の一部は、反射して、反射ミラー27に入射する。反射ミラー27に入射した光は、反射してバンドパスフィルタ26を通り第3撮影部14に入射する。また、車両を照射できる位置に、第2特定波長帯λの光を照射する照明24が設置され、車両全体を照射する。他の構成は、第1の実施形態と同様であるため、説明を省略する。
 図7に示す構成において、第1撮影部10から車両までの光路長と、第2撮影部11から前記車両までの光路長と、第3撮影部14から車両までの光路長とが同一となるように各装置が設置される。また、第1撮影部10の撮影範囲と第2撮影部11の撮影範囲と第3撮影部14の撮影範囲とが同一となるように第1撮影部10、第2撮影部11、および第3撮影部14は撮影を行う。
 以上の構成により、第3撮影部14は、第2特定波長体λの光のみ入射する状態において、車両画像を撮影することができる。バンドパスフィルタ26を光が通過することにより、光量は減少する。しかし、照明24が第2特定波長帯λの光を車両に照射していることにより、第3撮影部14は、十分な光量を得ることができるので明瞭な車両画像を取得することができる。
 次に、本実施形態の乗車人数計測システムの動作を説明する。図2は、本実施形態の乗車人数計測システムの動作を示すフローチャートである。なお、図2に示すステップS10、ステップS11、ステップS13の処理は、第1の実施形態と同様であるため、説明を省略する。
 第3撮影部14は、第2特定波長帯の光のみを受光した状態で車両を撮影し、画像を取得する(ステップS11’)。第3撮影部14の設置位置は、第1の実施形態で説明した第1撮影部10、第2撮影部11の設置位置と同様に車両が撮影できる位置であればよい。例えば、第3撮影部14は、路側に設置されており、横方向(車両の進行方向と垂直方向)から車両を撮影する。第3撮影部14の前方にバンドパスフィルタ26が設置されているので、第3撮影部14は、第2特定波長体λの光のみを入射した状態で車両を撮影する。また、第3撮影部14は、第1撮影部10および第2撮影部11と同一のタイミングで車両を撮影する。
 画像分離部12は、第1撮影部10が車両を撮影して取得された第1画像と、第2撮影部11が車両を撮影して取得された第2画像と、第3撮影部14が車両を撮影して取得された第3画像とにもとづいて画像分離を行い、ガラス窓への映り込みおよび前記車両の車体部分の濃度が低減された分離画像を取得する(ステップS12’)。具体的には、画像分離部12は、第1画像、第2画像および第3画像を示す画像データに独立成分分析を行い、車両内部を示す画像と、ガラス窓への映り込み(ガラス窓に映る人や物など)を示す画像と、車両のガラス窓を除いた部分(以下、車体部分と記載する)とを分離する。
 独立成分分析による画像分離について、具体的に説明する。第1画像を示す画像データをxと表し、第2画像を示す画像データをxと表し、第3画像を示す画像データをxと表す。また、車両内部を示す実際の像をsと表し、ガラス窓への映り込みを示す実際の像をsと表し、車両の車体部分を示す実際の像をsと表す。そして、取得した画像をベクトルX=(x,x,xと表し、実際の像をベクトルS=(s,s,sと表す。画像データx,x,xは、s,s,sが混合して得られるものであるため、混合行列をAとすると、第1の実施形態と同様に式(1)が成り立つ。
 画像分離部12は、第1の実施形態と同様に、式(2)においてベクトルYを算出する。本実施形態では、ベクトルY=(y,y、y)と表される。画像分離部12は、y、y、yが独立となるような行列Wを算出することにより、y、y、yを推定する。
 上記のようにして得られたy,y,yは、一つが車両内部を示すsの近似値となっており、他の一つがガラス窓への映り込みを示すsの近似値となっており、他の一つが車両の車体部分を示すsの近似値となる。画像分離部12は、画像データを示すy,y,yのうち、車両内部を示すsの近似値となっている画像データを映り込みおよび車両の車体部分の濃度が低減された分離画像として出力する。画像分離部12は、例えば、y,y,yの画像を分析し、人物の顔や車内設備の有無により、車両内の画像であるか否か判定する。または、画像分離部12は、y,y,yが示す画像を外部の表示装置に出力し、ユーザーにどの画像が車両内の画像であるか選択させ、選択された画像データを映り込みおよび車両の車体部分の濃度が低減された分離画像として出力してもよい。
 図9は、本実施形態における分離画像を示す説明図である。図9に示す分離画像では、ガラス窓への映り込みが低減されており、車両内の人物の顔が明確に表示されている。さらに、車両の本体部分の濃度が低減されている。なお、図示しないが、分離された他の画像には、ガラス窓への映り込みと車両の本体部分がそれぞれ表示されている。
 車両の画像が車体部分を含む場合、顔検出を行う前に、ユーザーが画像処理を行い、車両の車体部分を予め排除することが好ましい。しかし、図9に示すように、本実施形態の分離画像はすでに車両の車体部分が除かれている。そのため、乗車人数決定部13は、顔検出を行い、車両の乗車人数を決定する処理において、精度良く乗車人数を決定することができる。
 以上のように、本実施形態の乗車人数計測システムは、独立成分分析を用いて画像分離を行うことにより、車両のガラス窓への映り込みだけでなく車両の車体部分の濃度を低減することができる。そのため、本実施形態の乗車人数計測システムによれば、ユーザーが車両の車体部分を除去する画像処理を行わなくても、車両の乗車人数を精度良く計測することができる。
 実施形態3.
 本実施形態の乗車人数計測システムを、図面を参照して説明する。本実施形態では、乗車人数決定部13の機能のみ第1の実施形態と異なり、他の構成は同じであるため、構成の説明を省略する。特に説明しない構成および機能は、第1の実施形態と同様であるとする。
 図10は、第3の実施形態の乗車人数計測システムの動作を示すフローチャートである。図10において、ステップS10~ステップS12は第1の実施形態の処理(図3参照)と同じであるため、説明を省略する。
 乗車人数決定部13は、画像分離部12によって出力された複数の分離画像を取得するが、どの分離画像が映り込みが低減された分離画像か判断することが困難な場合がある。そのため、乗車人数決定部13は、取得した全ての分離画像に顔検出処理を行い、各分離画像における乗車人数を取得する(ステップS13a)。
 そして、乗車人数決定部13は、各分離画像の乗車人数のうちの最大値を実際の乗車人数として決定する(ステップS13b)。
 第1の実施形態では、画像分離部12が、映り込みが低減された分離画像がどれであるかを判定したり、ユーザに選択させる処理を行っていたが、本実施形態ではそれらの処理を省略してもよい。
 本実施形態では、第1の実施形態における乗車人数計測システムの乗車人数決定部13を変更した例を示したが、第2の実施形態における乗車人数計測システムの構成において本実施形態の乗車人数決定部13を適用してもよい。
 本実施形態の乗車人数計測システムによれば、どの分離画像が映り込みが低減された分離画像か判断することが困難な場合であっても、精度良く乗車人数を決定することができる。
 図11は、第1~3の実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ1000は、CPU1001と、主記憶装置1002と、補助記憶装置1003と、インタフェース1004と、ディスプレイ装置1005と、入力デバイス1006とを備える。
 第1~3の実施形態の乗車人数計測装置100は、コンピュータ1000に実装される。乗車人数計数装置100は、プログラムの形式で補助記憶装置1003に記憶されている。CPU1001は、プログラムを補助記憶装置1003から読み出して主記憶装置1002に展開し、そのプログラムに従って上記の処理を実行する。
 補助記憶装置1003は、一時的でない有形の媒体であって、例えば、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等である。コンピュータ1000は、インタフェース1004を介して補助記憶装置1003に接続されていてもよい。このプログラムが通信回線によってコンピュータ1000に配信される場合、配信を受けたコンピュータ1000がそのプログラムを主記憶装置1002に展開し、上記の処理を実行してもよい。
 また、プログラムは、前述の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置1003に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。また、コンピュータ1000が備えるプロセッサーはCPU1001に限らず、プログラムを実行可能なプロセッサーを備えていればよい。また、コンピュータ1000は、回路を含んでいる。
 図12は、本発明による乗車人数計測システムの主要部を示すブロック図である。本発明による乗車人数計測システムは、車両を撮影して第1画像を取得する第1撮影手段30と、第1特定波長帯の光のみを受光した状態で車両を撮影して第2画像を取得する第2撮影手段31と、乗車人数計測装置200とを備える。乗車人数計測装置200は、第1画像と第2画像とにもとづいて、複数の分離画像を取得する画像分離手段42と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段43とを備える。
 また、上記の実施形態では、以下の(1)~(7)に示す乗車人数計測システムも開示されている。
(1)乗車人数計測システムは、乗車人数決定手段(例えば、乗車人数決定部13)は、複数の分離画像のそれぞれに対して、乗車人数を取得し、取得した前記乗車人数の最大値を車両の乗車人数として決定するように構成されていてもよい。
(2)乗車人数計測システムは、画像分離手段(例えば、画像分離部12)は、独立成分分析を用いて画像分離を行うように構成されていてもよい。そのような乗車人数計測システムによれば、第1画像と第2画像のみから画像分離を実行することができる。
(3)乗車人数計測システムは、画像分離手段(例えば、画像分離部12)は、第1画像と第2画像とにもとづいて、第1撮影手段(例えば、第1撮影部10)および第2撮影手段(例えば、第2撮影部11)からの距離が異なる2つの画像に分離するように構成されていてもよい。
(4)乗車人数計測システムは、第1特定波長帯の光を車両に照射する照射手段(例えば、照明23)を備えたように構成されていてもよい。そのような乗車人数計測システムによれば、第1特定波長帯の光のみを受光した状態でも光量の低下を補うことができる。
(5)乗車人数計測システムは、第1撮影手段から車両までの光路長と、第2撮影手段から前記車両までの光路長とが同一であるように構成されていてもよい。
(6)乗車人数計測システムは、第1撮影手段の撮影範囲と第2撮影手段の撮影範囲とが同一であるように構成されていてもよい。
(7)車両を撮影して第1画像を取得する第1撮影手段(例えば、第1撮影部10)と、第1特定波長帯の光のみを受光した状態で車両を撮影して第2画像を取得する第2撮影手段(例えば、第2撮影部11)と、第1特定波長帯と異なる第2特定波長帯の光のみを受光した状態で車両を撮影して第3画像を取得する第3撮影手段(例えば、第3撮影部14)と、第1画像、第2画像および第3画像とにもとづいて、複数の分離画像を取得する画像分離手段(例えば画像分離部12)と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段(例えば、乗車人数決定部13)とを備えた乗車人数計測システム。そのような乗車人数計測システムによれば、ガラス窓への映り込みだけでなく、車両の車体部分の濃度を低減することができるので、ユーザーがそれらを除去する手間を省くことができる。
 以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、本願発明は、各実施形態の構成を適宜組み合わせたものであってもよい。
 10 第1撮影部
 11 第2撮影部
 12 画像分離部
 13 乗車人数決定部
 14 第3撮影部
 30 第1撮影手段
 31 第2撮影手段
 42 画像分離手段
 43 乗車人数決定手段
 100、200 乗車人数計測装置

Claims (25)

  1.  車両が撮影されて取得された第1画像と、第1特定波長帯の光のみを受光した状態で前記車両が撮影されて取得された第2画像とにもとづいて、複数の分離画像を取得する画像分離手段と、
     前記複数の分離画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定手段とを備えた
     ことを特徴とする乗車人数計測装置。
  2.  乗車人数決定手段は、複数の分離画像のそれぞれに対して、乗車人数を取得し、取得した前記乗車人数の最大値を車両の乗車人数として決定する
     請求項1記載の乗車人数計測装置。
  3.  画像分離手段は、独立成分分析を用いて画像分離を行う
     請求項1または請求項2記載の乗車人数計測装置。
  4.  画像分離手段は、第1画像と第2画像とにもとづいて、撮影手段からの距離が異なる2つの画像に分離する
     請求項1から請求項3のうちのいずれか1項に記載の乗車人数計測装置。
  5.  車両が撮影されて取得された第1画像と、第1特定波長帯の光のみを受光した状態で前記車両が撮影されて取得された第2画像と、前記第1特定波長帯と異なる第2特定波長帯の光のみを受光した状態で前記車両が撮影されて取得された第3画像とにもとづいて、複数の分離画像を取得する画像分離手段と、
     前記複数の分離画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定手段とを備えた
     ことを特徴とする乗車人数計測装置。
  6.  車両を撮影して第1画像を取得する第1撮影手段と、
     第1特定波長帯の光のみを受光した状態で前記車両を撮影して第2画像を取得する第2撮影手段と、
     前記第1画像と前記第2画像とにもとづいて、複数の分離画像を取得する画像分離手段と、
     前記複数の分離画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定手段とを備えた
     ことを特徴とする乗車人数計測システム。
  7.  乗車人数決定手段は、複数の分離画像のそれぞれに対して、乗車人数を取得し、取得した前記乗車人数の最大値を車両の乗車人数として決定する
     請求項6記載の乗車人数計測システム。
  8.  画像分離手段は、独立成分分析を用いて画像分離を行う
     請求項6または請求項7記載の乗車人数計測システム。
  9.  画像分離手段は、第1画像と第2画像とにもとづいて、第1撮影手段および第2撮影手段からの距離が異なる2つの画像に分離する
     請求項6から請求項8のうちのいずれか1項に記載の乗車人数計測システム。
  10.  第1特定波長帯の光を車両に照射する照射手段を備えた
     請求項6から請求項9のうちのいずれか1項に記載の乗車人数計測システム。
  11.  第1撮影手段から車両までの光路長と、第2撮影手段から前記車両までの光路長とが同一である
     請求項6から請求項10のうちのいずれか1項に記載の乗車人数計測システム。
  12.  第1撮影手段の撮影範囲と第2撮影手段の撮影範囲とが同一である
     請求項6から請求項11のうちのいずれか1項に記載の乗車人数計測システム。
  13.  車両を撮影して第1画像を取得する第1撮影手段と、
     第1特定波長帯の光のみを受光した状態で前記車両を撮影して第2画像を取得する第2撮影手段と、
     前記第1特定波長帯と異なる第2特定波長帯の光のみを受光した状態で前記車両を撮影して第3画像を取得する第3撮影手段と、
     第1画像、第2画像および前記第3画像とにもとづいて、複数の分離画像を取得する画像分離手段と、
     前記複数の分離画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定手段とを備えた
     ことを特徴とする乗車人数計測システム。
  14.  車両が撮影されて取得された第1画像と、第1特定波長帯の光のみを受光した状態で前記車両が撮影されて取得された第2画像とにもとづいて、複数の分離画像を取得し、
     前記複数の分離画像にもとづいて、前記車両の乗車人数を決定する
     ことを特徴とする乗車人数計測方法。
  15.  複数の分離画像のそれぞれに対して、乗車人数を取得し、取得した前記乗車人数の最大値を車両の乗車人数として決定する
     請求項14記載の乗車人数計測方法。
  16.  独立成分分析を用いて画像分離を行う
     請求項14または請求項15記載の乗車人数計測方法。
  17.  第1画像と第2画像とにもとづいて、撮影手段からの距離が異なる2つの画像に分離する
     請求項14から請求項16のうちのいずれか1項に記載の乗車人数計測方法。
  18.  車両が撮影されて取得された第1画像と、第1特定波長帯の光のみを受光した状態で前記車両が撮影されて取得された第2画像と、前記第1特定波長帯と異なる第2特定波長帯の光のみを受光した状態で前記車両が撮影されて取得された第3画像とにもとづいて、複数の分離画像を取得し、
     前記複数の分離画像にもとづいて、前記車両の乗車人数を決定する
     ことを特徴とする乗車人数計測方法。
  19.  コンピュータに、
     車両が撮影されて取得された第1画像と、第1特定波長帯の光のみを受光した状態で前記車両が撮影されて取得された第2画像とにもとづいて、複数の分離画像を取得する画像分離処理と、
     前記複数の分離画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定処理とを
     実行させるための乗車人数計測プログラム。
  20.  コンピュータに、
     乗車人数決定処理で、複数の分離画像のそれぞれに対して、乗車人数を取得し、取得した前記乗車人数の最大値を車両の乗車人数として決定する処理を実行させる
     請求項19記載の乗車人数計測プログラム。
  21.  コンピュータに、
     画像分離処理で、独立成分分析を用いて画像分離を行わせる
     請求項19または請求項20記載の乗車人数計測プログラム。
  22.  コンピュータに、
     画像分離処理で、第1画像と第2画像とにもとづいて、撮影手段からの距離が異なる2つの画像に分離させる
     請求項19から請求項21のうちのいずれか1項に記載の乗車人数計測プログラム。
  23.  コンピュータに、
     車両が撮影されて取得された第1画像と、第1特定波長帯の光のみを受光した状態で前記車両が撮影されて取得された第2画像と、前記第1特定波長帯と異なる第2特定波長帯の光のみを受光した状態で前記車両が撮影されて取得された第3画像とにもとづいて、複数の分離画像を取得する画像分離処理と、
     前記複数の分離画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定処理とを
     実行させるための乗車人数計測プログラム。
  24.  車両が撮影されて取得された第1画像と、第1特定波長帯の光のみを受光した状態で前記車両が撮影されて取得された第2画像とにもとづいて、複数の分離画像を取得する画像分離手段と、
     前記複数の分離画像の中から、映り込みが低減された画像を選択する選択手段と、
     選択された映り込みが低減された画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定手段とを備えた
     ことを特徴とする乗車人数計測装置。
  25.  前記複数の分離画像に対して、人物の特定部位の数を取得する取得手段を備え、
     前記選択手段は、前記人物の特定部位の数にもとづいて、前記複数の分離画像の中から、映り込みが低減された画像を選択する
     請求項24記載の乗車人数計測装置。
PCT/JP2016/001557 2016-03-17 2016-03-17 乗車人数計測装置、システム、方法およびプログラム WO2017158648A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CA3010922A CA3010922C (en) 2016-03-17 2016-03-17 Passenger counting device, system, method and program
PCT/JP2016/001557 WO2017158648A1 (ja) 2016-03-17 2016-03-17 乗車人数計測装置、システム、方法およびプログラム
JP2018505559A JP6607308B2 (ja) 2016-03-17 2016-03-17 乗車人数計測装置、システム、方法およびプログラム
AU2016397318A AU2016397318B2 (en) 2016-03-17 2016-03-17 Passenger counting device, system, method and program
EP16894272.0A EP3285231A4 (en) 2016-03-17 2016-03-17 DEVICE, SYSTEM, METHOD AND PROGRAM FOR COUNTING PASSENGERS
US15/572,995 US10318830B2 (en) 2016-03-17 2016-03-17 Passenger counting device, system, method and program
US16/296,638 US10789494B2 (en) 2016-03-17 2019-03-08 Passenger counting device, system, method and program
US16/296,514 US10824887B2 (en) 2016-03-17 2019-03-08 Passenger counting device, system, method and program
US16/296,774 US10922565B2 (en) 2016-03-17 2019-03-08 Passenger counting device, system, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/001557 WO2017158648A1 (ja) 2016-03-17 2016-03-17 乗車人数計測装置、システム、方法およびプログラム

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US15/572,995 A-371-Of-International US10318830B2 (en) 2016-03-17 2016-03-17 Passenger counting device, system, method and program
US16/296,514 Continuation US10824887B2 (en) 2016-03-17 2019-03-08 Passenger counting device, system, method and program
US16/296,638 Continuation US10789494B2 (en) 2016-03-17 2019-03-08 Passenger counting device, system, method and program
US16/296,774 Continuation US10922565B2 (en) 2016-03-17 2019-03-08 Passenger counting device, system, method and program

Publications (1)

Publication Number Publication Date
WO2017158648A1 true WO2017158648A1 (ja) 2017-09-21

Family

ID=59851545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/001557 WO2017158648A1 (ja) 2016-03-17 2016-03-17 乗車人数計測装置、システム、方法およびプログラム

Country Status (6)

Country Link
US (4) US10318830B2 (ja)
EP (1) EP3285231A4 (ja)
JP (1) JP6607308B2 (ja)
AU (1) AU2016397318B2 (ja)
CA (1) CA3010922C (ja)
WO (1) WO2017158648A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6607308B2 (ja) 2016-03-17 2019-11-27 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラム
CN112995616A (zh) * 2016-06-03 2021-06-18 麦克赛尔株式会社 摄像装置和摄像系统
US11403865B2 (en) * 2017-07-25 2022-08-02 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program
US11538257B2 (en) * 2017-12-08 2022-12-27 Gatekeeper Inc. Detection, counting and identification of occupants in vehicles
US10699572B2 (en) 2018-04-20 2020-06-30 Carrier Corporation Passenger counting for a transportation system
KR102570058B1 (ko) * 2018-12-17 2023-08-23 현대자동차주식회사 차량 및 그 제어방법
US10867193B1 (en) 2019-07-10 2020-12-15 Gatekeeper Security, Inc. Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection
US11196965B2 (en) 2019-10-25 2021-12-07 Gatekeeper Security, Inc. Image artifact mitigation in scanners for entry control systems
CN111274973B (zh) * 2020-01-21 2022-02-18 同济大学 基于自动划分域的人群计数模型训练方法及应用
US11308316B1 (en) 2021-09-02 2022-04-19 Invision Ai, Inc. Road side vehicle occupancy detection system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016425A (ja) * 2001-06-28 2003-01-17 Victor Co Of Japan Ltd オブジェクト信号作成装置
WO2008099146A1 (en) * 2007-02-15 2008-08-21 Vehicle Occupancy Ltd Method and apparatus for counting vehicle occupants
JP2013236962A (ja) * 2007-08-15 2013-11-28 Fujifilm Corp 画像成分分離装置、方法、およびプログラム
WO2014061195A1 (ja) 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
WO2014064898A1 (ja) 2012-10-26 2014-05-01 日本電気株式会社 乗車人数計測装置、方法およびプログラム
WO2015052896A1 (ja) 2013-10-09 2015-04-16 日本電気株式会社 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602942B2 (en) 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US20150054639A1 (en) 2006-08-11 2015-02-26 Michael Rosen Method and apparatus for detecting mobile phone usage
WO2008127685A1 (en) * 2007-04-13 2008-10-23 John Kesterson Filter assembly and image enhancement system for a surveillance camera and method of using the same
JP5100457B2 (ja) * 2008-03-10 2012-12-19 オリンパスメディカルシステムズ株式会社 内視鏡観察システム
WO2010044250A1 (ja) 2008-10-15 2010-04-22 日本電気株式会社 パターン照合装置及びパターン照合方法
JP2011002718A (ja) 2009-06-19 2011-01-06 Toshiba Corp 画像撮像装置
US8811664B2 (en) * 2011-12-06 2014-08-19 Xerox Corporation Vehicle occupancy detection via single band infrared imaging
US9202118B2 (en) * 2011-12-13 2015-12-01 Xerox Corporation Determining a pixel classification threshold for vehicle occupancy detection
US8824742B2 (en) * 2012-06-19 2014-09-02 Xerox Corporation Occupancy detection for managed lane enforcement based on localization and classification of windshield images
EP3295298A4 (en) * 2015-05-14 2018-11-21 Gatekeeper Inc. Apparatus, systems and methods for enhanced visual inspection of vehicle interiors
JP6607308B2 (ja) 2016-03-17 2019-11-27 日本電気株式会社 乗車人数計測装置、システム、方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016425A (ja) * 2001-06-28 2003-01-17 Victor Co Of Japan Ltd オブジェクト信号作成装置
WO2008099146A1 (en) * 2007-02-15 2008-08-21 Vehicle Occupancy Ltd Method and apparatus for counting vehicle occupants
JP2013236962A (ja) * 2007-08-15 2013-11-28 Fujifilm Corp 画像成分分離装置、方法、およびプログラム
WO2014061195A1 (ja) 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
WO2014064898A1 (ja) 2012-10-26 2014-05-01 日本電気株式会社 乗車人数計測装置、方法およびプログラム
WO2015052896A1 (ja) 2013-10-09 2015-04-16 日本電気株式会社 乗車人数計測装置、乗車人数計測方法およびプログラム記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3285231A4

Also Published As

Publication number Publication date
US10922565B2 (en) 2021-02-16
AU2016397318B2 (en) 2019-10-24
JP6607308B2 (ja) 2019-11-27
US20190205677A1 (en) 2019-07-04
AU2016397318A1 (en) 2018-07-05
US20190205678A1 (en) 2019-07-04
EP3285231A4 (en) 2019-02-20
CA3010922C (en) 2020-06-30
US10318830B2 (en) 2019-06-11
US20180157922A1 (en) 2018-06-07
JPWO2017158648A1 (ja) 2018-11-15
EP3285231A1 (en) 2018-02-21
US10789494B2 (en) 2020-09-29
US20190205679A1 (en) 2019-07-04
US10824887B2 (en) 2020-11-03
CA3010922A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
JP6607308B2 (ja) 乗車人数計測装置、システム、方法およびプログラム
US9760784B2 (en) Device, method and program for measuring number of passengers
JP6458734B2 (ja) 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
JP6354585B2 (ja) 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
US10290162B2 (en) Information processing apparatus, information processing method, and storage medium
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
CA3010997C (en) Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program
JP2009143722A (ja) 人物追跡装置、人物追跡方法及び人物追跡プログラム
KR20170088692A (ko) 영상을 이용한 차량속도 산출장치 및 그 방법
JP6089576B2 (ja) 車両窓検出システム、車両窓検出方法及びプログラム
JP2010262527A (ja) 通行者計数装置、通行者計数方法および通行者計数プログラム
KR102211903B1 (ko) 컴퓨터비전 기술을 이용한 주행차량 내 승차인원을 검지하기 위한 촬영 방법 및 장치
JP2008299787A (ja) 車両検知装置
US20240070876A1 (en) Control apparatus, method, and non-transitory computer-readable storage medium
JP5279459B2 (ja) 混雑検知装置
CN113989894A (zh) 防尾随方法、装置及计算机可读存储介质
JP2010198572A (ja) 車両判別装置及び車両判別方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15572995

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2018505559

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2016397318

Country of ref document: AU

Date of ref document: 20160317

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3010922

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE