WO2019016971A1 - 乗員数検知システム、乗員数検知方法、およびプログラム - Google Patents

乗員数検知システム、乗員数検知方法、およびプログラム Download PDF

Info

Publication number
WO2019016971A1
WO2019016971A1 PCT/JP2017/038639 JP2017038639W WO2019016971A1 WO 2019016971 A1 WO2019016971 A1 WO 2019016971A1 JP 2017038639 W JP2017038639 W JP 2017038639W WO 2019016971 A1 WO2019016971 A1 WO 2019016971A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
occupants
distance
lanes
Prior art date
Application number
PCT/JP2017/038639
Other languages
English (en)
French (fr)
Inventor
晴之 林
道彦 遊佐
中島　昇
Original Assignee
日本電気株式会社
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, Ｎｅｃソリューションイノベータ株式会社 filed Critical 日本電気株式会社
Priority to US16/631,535 priority Critical patent/US11482018B2/en
Priority to JP2019530354A priority patent/JP6820074B2/ja
Publication of WO2019016971A1 publication Critical patent/WO2019016971A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a technology for determining the number of occupants of a vehicle.
  • HEV high-occupancy vehicle
  • HET high-occupancy toll
  • Patent Document 1 and Patent Document 2 disclose a technology for detecting the number of occupants of a vehicle by acquiring an image including the vehicle as a subject by an imaging device installed beside the road and analyzing the image. There is.
  • An object of the present invention is to provide a technology that makes it possible to detect the number of occupants of a vehicle using images captured by a single camera for a plurality of lanes.
  • Image correction means for generating a corrected image based on the image by executing the method Counting means for counting the number of occupants of the vehicle using the corrected image;
  • An occupant detection system is provided.
  • the computer is A correction process for reducing the blur of an object captured in the image, using a parameter according to the position where the vehicle travels, with respect to the image generated by the imaging means for imaging a vehicle traveling on a road having a plurality of lanes Generating to generate a corrected image based on the image, Counting the number of occupants of the vehicle using the corrected image; A method for detecting the number of passengers including the
  • the present invention it is possible to detect the number of occupants of a vehicle using images captured by a single camera for a plurality of lanes.
  • FIG. 2 is a diagram schematically showing a hardware configuration of a passenger count detection system, and a block diagram conceptually showing a hardware configuration of an information processing apparatus.
  • FIG. 2 is a diagram schematically showing a hardware configuration of a passenger count detection system, and a block diagram conceptually showing a hardware configuration of an information processing apparatus.
  • It is a flowchart which illustrates the flow of the process in the passenger
  • each block diagram represents a configuration of a function unit, not a configuration of a hardware unit, unless otherwise described.
  • FIG. 1 is a block diagram conceptually showing the functional configuration of the number of occupants detection system 1 of the first embodiment.
  • the number of occupants detection system 1 includes an imaging unit 110, an image correction unit 120, and a counting unit 130.
  • the imaging unit 110 is an imaging device such as a camera.
  • the imaging unit 110 captures an image of a vehicle traveling on a road having a plurality of lanes, and generates an image including the vehicle and an occupant of the vehicle as a subject.
  • the imaging unit 110 can include a vehicle in the imaging range by, for example, interlocking with a sensor for vehicle detection (not shown).
  • the imaging unit 110 may be configured to continuously image the vehicle at a predetermined frame rate to generate a plurality of images in order to enable the number of occupants of the vehicle to be accurately grasped.
  • the image correction unit 120 acquires an image generated by the imaging unit 110. Then, the image correction unit 120 performs a correction process on the image generated by the imaging unit 110 to reduce the blur of the subject appearing in the image, and generates a corrected image based on the image.
  • This correction process is a process using a so-called blur correction (Deblur) technique, and can be realized, for example, using the techniques disclosed in the following documents [1] and [2].
  • the image correction unit 120 can correct, for example, the blur of the subject due to the out-of-focus and the motion blur (the blur in the traveling direction of the vehicle) of the subject. [1] TSUMURAYA, F., MIURA, N., AND BABA, N. 1994.
  • the counting unit 130 uses the corrected image generated by the image correcting unit 120 to count the number of occupants of the vehicle as the subject of the corrected image. For example, the counting unit 130 can count the number of occupants of a vehicle based on an image including the vehicle as a subject by using the technology disclosed in Patent Document 1 or Patent Document 2 described above.
  • the image correction unit 120 and the count unit 130 can be collectively referred to as an image processing unit.
  • crew number detection system 1 which concerns on this invention does not provide imaging part 110, such as a camera, for every lane.
  • the imaging unit 110 may not focus on the subject (vehicle and occupant) traveling, and an image in which the subject is blurred may be produced. There is sex. Therefore, as described in the present embodiment, the correction process for reducing the blur of the subject is performed using the parameter corresponding to the position where the vehicle is traveling. Thereby, the subject blurred due to the distance from the focus distance of the imaging unit 110 becomes clear.
  • the correction process for reducing the blur of the subject does not necessarily have to be as accurate as it can be used for personal identification, for example, and has an accuracy that allows discrimination between a person (for example, a person's face portion) and other areas. It is enough if secured. Then, using the image corrected in this manner, a process of counting the number of occupants of the vehicle included as a subject in the image is performed. With such a configuration, it is possible to detect the number of occupants of a vehicle with a single imaging device targeting a plurality of lanes. In addition, the number of imaging devices required in the system can be reduced, the effect of alleviating restrictions on the installation environment (for example, the area of land, etc.) and the effect of reducing the cost required for the system can be expected.
  • Each functional component of the occupant count detection system 1 may be realized by hardware (for example, a hard-wired electronic circuit or the like) that realizes each functional component, or a combination of hardware and software (for example, : It may be realized by a combination of an electronic circuit and a program for controlling it.
  • hardware for example, a hard-wired electronic circuit or the like
  • software for example, : It may be realized by a combination of an electronic circuit and a program for controlling it.
  • FIG. 2 is a diagram conceptually showing the system configuration of the number of occupants detection system 1.
  • the occupant count detection system 1 includes an information processing device 20, an imaging device 30, a vehicle detection sensor 40, and a light projector 50. Further, to the information processing device 20, a display device 22 for displaying the result of counting the number of occupants by the counting unit 130 is connected.
  • the imaging device 30 corresponds to the imaging unit 110 of the number of occupants detection system 1.
  • the imaging device 30 is connected to the information processing device 20 via a network. Although not illustrated, a plurality of imaging devices 30 installed in different places can be connected to the information processing device 20.
  • the vehicle detection sensor 40 is a sensor for detecting a vehicle V that is about to pass in front of the imaging device 30 (for measuring the timing of taking an image).
  • the vehicle detection sensor 40 may be provided separately from the imaging device 30, or may be incorporated in the imaging device 30.
  • the light projector 50 is provided to clearly capture a person in the vehicle.
  • the light projector 50 may be provided separately from the imaging device 30, or may be incorporated in the imaging device 30.
  • the light projector 50 irradiates light (for example, an infrared ray or the like) to the vehicle V which is a subject in conjunction with the imaging timing of the imaging device 30.
  • one projector 50 common to a plurality of lanes may be provided, or a dedicated projector 50 may be provided to each of the plurality of lanes. In the latter case, all the light projectors 50 may be controlled to emit light in response to the detection of the vehicle V by the vehicle detection sensor 40, or to the vehicle V measured by the vehicle detection sensor 40.
  • the projectors 50 of the lanes corresponding to the distance of may be controlled to emit light.
  • FIG. 3 is a block diagram conceptually showing the hardware configuration of the information processing apparatus 20.
  • the information processing apparatus 20 includes a bus 201, a processor 202, a memory 203, a storage device 204, an input / output interface 205, and a network interface 206.
  • the bus 201 is a data transmission path through which the processor 202, the memory 203, the storage device 204, the input / output interface 205, and the network interface 206 mutually transmit and receive data.
  • the method of connecting the processor 202, the memory 203, the storage device 204, the input / output interface 205, the network interface 206, etc. to one another is not limited to the bus connection.
  • the processor 202 is an arithmetic device such as a central processing unit (CPU) or a graphics processing unit (GPU).
  • the memory 203 is a main storage device implemented using a random access memory (RAM), a read only memory (ROM), and the like.
  • the storage device 204 is an auxiliary storage device implemented using a hard disk drive (HDD), a solid state drive (SSD), a memory card, and the like.
  • the storage device 204 stores a program module for realizing the image correction unit 120 and the count unit 130, and a program module for realizing a function of acquiring an image generated by the imaging device 30.
  • the processor 202 reads out each program module into the memory 203 and executes the program module to realize functions corresponding to each program module.
  • the input / output interface 205 is an interface for connecting the information processing apparatus 20 and peripheral devices.
  • a device display device 22 for display output such as a liquid crystal display (LCD) or a cathode ray tube (CRT) display, a device for input such as a keyboard or a mouse, or a touch panel in which these are integrated
  • the information processing apparatus 20 can be connected via the input / output interface 205.
  • the network interface 206 is an interface for connecting the information processing apparatus 20 to various networks such as a local area network (LAN) and a wide area network (WAN). As shown in FIG. 2, the information processing device 20 can be connected to a network via the network interface 206 to communicate with the imaging device 30 and other terminals (not shown). For example, the information processing device 20 can communicate with the imaging device 30 via the network interface 206 and can acquire an image generated by the imaging device 30. Further, in this case, the information processing apparatus 20 is communicably connected to an information processing apparatus (not shown) for the administrator via the network interface 206. Then, the detection result of the number of occupants by the counting unit 130 is transmitted to the information processing apparatus (not shown) for the manager.
  • the method of connecting the information processing apparatus 20 to various networks may be wireless connection or wired connection.
  • FIGS. 2 and 3 are merely examples, and the hardware configuration of the present invention is not limited to the examples of FIGS. 2 and 3.
  • the information processing device 20 and the imaging device 30 may be integrated.
  • FIG. 4 is a flowchart illustrating the flow of processing in the number of occupants detection system 1 according to the first embodiment.
  • the imaging unit 110 images a vehicle traveling on a road, and generates an image including the vehicle as a subject (S102).
  • the imaging unit 110 can detect the presence of a vehicle attempting to pass in front of the imaging unit 110 based on the output signal from the vehicle detection sensor 40, and can determine the timing for taking an image. .
  • the image correction unit 120 determines parameters used in the correction process on the image generated in the process of S102 (S104).
  • the image correction unit 120 is, for example, based on an output signal (information indicating the distance to the vehicle) from a distance measurement unit (not shown) that measures the distance to the vehicle, the vehicle included as a subject in the image It is possible to identify the running lane and to determine the parameters used for the correction process.
  • the image correction unit 120 may use the vehicle detection sensor 40 as the above-described distance measurement unit.
  • a distance sensor or the like for measuring the distance to the vehicle is provided as a distance measuring means separately from the vehicle detection sensor 40, and the image correction unit 120 uses the output signal from the distance sensor to detect the lane on which the vehicle is traveling. May be identified.
  • the image correction unit 120 identifies the lane in which the vehicle is traveling by referring to a table as shown in FIG. 5 based on the distance measured by the distance measurement means, and performs correction processing. You can decide which parameters to use.
  • FIG. 5 is a diagram showing an example of a table used when the image correction unit 120 determines parameters for correction processing.
  • FIG. 5 illustrates a table in which the distance to the vehicle, information (lane identification information) indicating each of the plurality of lanes, and the correction processing parameter are stored in association with each other.
  • the "distance to vehicle" itself can be used instead of the lane identification information.
  • the "lane identification information” exemplified in FIG. 5 may not be present.
  • the image correction unit 120 can identify a corresponding row from the table based on the distance to the vehicle indicated by the information acquired from the distance measurement unit, and read out the correction processing parameter stored in the row.
  • the image correction unit 120 identifies the lane in which the vehicle is traveling as the “central lane”. Then, it is possible to read out the correction processing parameter associated with the "center lane”.
  • the image correction unit 120 may determine the parameter according to the distance to the vehicle measured by the distance measurement unit without specifying the lane in which the vehicle is traveling.
  • the image correction unit 120 acquires information indicating the distance from the distance measurement means to the vehicle, and uses a function that calculates parameters with the distance as an argument, and a table that stores corresponding parameters defined for each distance. The parameter according to the distance which the information acquired from the distance measurement means shows can be determined.
  • the image correction unit 120 can also determine the degree of blurring of the image by analyzing the image generated by the imaging unit 110, and determine the parameters according to the degree of blurring of the image. For example, the image correction unit 120 can obtain information on spatial frequency of an image by analysis, and determine a correction parameter based on the information.
  • the image correction unit 120 transforms the blur function of the image into a spatial frequency component by Fourier transform. It can be decomposed to derive a Wiener filter for blur reduction as shown in the following equation.
  • H indicates the Fourier transform of the blur function of the image
  • H * indicates the complex conjugate of the Fourier transform H
  • ⁇ indicates a constant determined by the SN (Signal to Noise) ratio of the image signal.
  • the above equation is stored, for example, in a predetermined storage area such as the memory 203 or the storage device 204, and the image correction unit 120 can read the equation from the storage area to determine the parameter.
  • the image correction unit 120 can obtain information indicating the blur of the subject calculated using an autocorrelation function as information indicating the degree of blur of the image, and can determine the parameter for the correction process. .
  • the image correction unit 120 substitutes the direction and amount of blurring of the object in the image that can be calculated using the autocorrelation function, using a predetermined function that derives a parameter that cancels out the blurring.
  • the parameters of can be determined.
  • the above-described function is stored in a predetermined storage area such as the memory 203 or the storage device 204, for example, and the image correction unit 120 can read the function from the storage area to determine a parameter.
  • the image correction unit 120 uses the method described above for each vehicle, and performs correction processing according to the position of each vehicle.
  • the parameters for can be determined. For example, it is assumed that an image including two vehicles (first and second vehicles) traveling on different lanes as objects is generated by the imaging unit 110.
  • the image correction unit 120 can determine a plurality of different parameters corresponding to the lane or position where each vehicle is traveling or the degree of blur of each vehicle as the parameters used for the correction process. Specifically, the image correction unit 120 determines a first parameter for reducing the blur of the first vehicle based on the position where the first vehicle travels, and the second vehicle travels.
  • a second parameter for reducing blurring of the second vehicle is determined. Further, when three or more vehicles traveling on different lanes are captured in the image, the image correction unit 120 can determine three or more parameters.
  • the image correction unit 120 may use a known image processing algorithm for recognizing an object (vehicle) on the image, and an image feature amount (for example, a size on the image) of the vehicle. It is possible to determine that a plurality of vehicles traveling on different lanes are included in the image using known image processing algorithms that estimate the position of the upper vehicle (traveling lane).
  • the image correction unit 120 compares the timing when the vehicle detection sensor 40 detects a plurality of vehicles with the timing of shooting by the imaging device 30 (imaging unit 110) and the imaging range of the imaging device 30. It is possible to determine whether or not a plurality of vehicles are included in the image generated by the photographing.
  • the image correction unit 120 executes a correction process for reducing the blur of the subject on the image generated in the process of S102 (S106).
  • the image correction unit 120 executes correction processing on the image acquired in S102 using the respective parameters, and a plurality of corrections are performed according to the respective parameters.
  • the image correction unit 120 can generate three or more correction images using three or more parameters.
  • the counting unit 130 processes the corrected image generated in the process of S106 and counts the number of occupants of the vehicle (S108).
  • the counting unit 130 processes the plurality of correction images to count the number of occupants of the vehicle.
  • an image including two vehicles (first and second vehicles) traveling on different lanes as subjects is acquired, and the first vehicle is blurred. It is assumed that a first corrected image with reduced and a second corrected image with reduced blurring of the second vehicle are generated.
  • the counting unit 130 can count the number of occupants of the first vehicle using the first corrected image, and can count the number of occupants of the second vehicle using the second corrected image.
  • the image correction unit 120 counts the number of occupants of each vehicle using three or more correction images. Can.
  • the counting unit 130 outputs the result of counting the number of occupants of the vehicle (S110).
  • the counting unit 130 can display a screen as illustrated in FIG. 6 on the display device 22 connected to the information processing device 20.
  • FIG. 6 is a diagram showing an example of a screen on which the counting result of the number of occupants by the counting unit 130 is output.
  • FIG. 6 exemplifies a screen that displays the number of occupants of the vehicle counted by the counting unit 130 together with the number plate of the license plate of the vehicle.
  • the number plate of the license plate of the vehicle can be acquired as text information or the like by analyzing an image in which the license plate of the vehicle is captured, which is captured by the imaging unit 110 or another imaging device (not shown).
  • the counting unit 130 uses the number of occupants in the information of the number of occupants of the vehicle. May include specific additional information indicating that the number is less than the prescribed number. Whether the number of occupants of the vehicle is equal to or greater than the prescribed number is, for example, by comparing the information regarding the prescribed number of people stored in advance in the memory 203 with the number of occupants of the vehicle counted based on the image Can be determined. Then, the information processing apparatus 20 adds a predetermined mark M as shown in FIG.
  • the information processing apparatus 20 may display information on a vehicle whose number of occupants is less than a predetermined value by distinguishing it from information on other vehicles by changing a character color, a background color, and the like according to the presence or absence of additional information. it can. According to such a screen, the manager can easily grasp the presence of a vehicle traveling with the number of crew members less than the prescribed number of people in the HOV lane or the HOT lane.
  • information processing device 20 when additional information is added to the result of counting the number of occupants output from counting section 130, information processing device 20 is configured to update the display of the screen and output a predetermined buzzer sound. It may be As a result, a person who operates the information processing apparatus 20 can easily notice the presence of a vehicle traveling on the HOV lane or the HOT lane with the number of occupants less than the prescribed number.
  • the focus distance of the imaging unit 110 is at the central portion of the plurality of lanes (for example, lane boundary portion if the number of lanes is even, lane located at the center if the number of lanes is odd)
  • the maximum value of the amount of blur of the vehicle shown in the image is suppressed, so that it is possible to reduce the processing amount of the overall blur correction processing.
  • the focus of the imaging unit 110 is fixed to the central portion (for example, lane boundary) of the two lanes is exemplified. explain. FIG.
  • FIG. 7 is a diagram conceptually showing the configuration of the first specific example.
  • the shaded area in FIG. 7 indicates the focus distance (depth of field DOF) of the imaging device 30 (imaging unit 110). An object located outside the depth of field DOF is captured in a blurred state.
  • two parameters for correction processing optimized for each of two lanes are prepared in the memory 203 in advance.
  • the parameter for correction processing corresponding to each of the two lanes can be determined based on, for example, the difference between the average traveling position of the vehicle in each lane and the focus distance of the imaging unit 110.
  • the parameter of the lane on the back side with respect to the position of the imaging unit 110 is a parameter that cancels out the blurring of the image caused by the position of the object being behind the focus position (near the lane boundary) Prepared as.
  • the parameters of the lane on the front side with respect to the position of the imaging unit 110 are prepared as parameters for canceling out the blurring of the image caused by the position of the object being on the front side of the focused position (near the lane boundary). Ru.
  • the imaging unit 110 is not focused on either lane. Therefore, even if the vehicle travels on either lane, the contour of the subject (vehicle and the occupant of the vehicle) may be blurred in the image generated by the imaging unit 110.
  • the amount of blurring (the degree of blurring) can be reduced as compared with the case where one of the lanes is focused. For example, when the vehicle travels in the first lane, the center boundary (that is, the central portion of a plurality of lanes) is more than when the focus distance of the imaging unit 110 is adjusted to the other second lane. The deviation from the focus distance of the imaging unit 110 is smaller when it is adjusted to the vicinity. As a result, the amount of blurring of the subject in the image is reduced. This has the advantage that the image acquired by the imaging unit 110 can be clearly corrected with a small amount of processing.
  • FIG. 8 is a diagram conceptually showing the configuration of the second specific example.
  • the shaded area in FIG. 8 indicates the focus distance (depth of field DOF) of the imaging device 30 (imaging unit 110). An object located outside the depth of field DOF is captured in a blurred state.
  • the lane to which the focus of the imaging unit 110 is fixed can be determined based on, for example, the statistical value of the traffic volume of each lane.
  • the image correction unit 120 performs processing to confirm whether the subject (vehicle or the occupant of the vehicle) is blurred. .
  • the image correction unit 120 can determine whether or not the image is blurred, for example, by the following process. As an example, when the image correction unit 120 decomposes the image generated by the imaging unit 110 into spatial frequency components by Fourier transform, if a distribution with few low frequency components and many high frequency components is obtained, It can be determined that is not blurred.
  • the image correction unit 120 can determine that the image is not blurred when the full width at half maximum of the autocorrelation function of the image is equal to or less than a predetermined threshold.
  • a blur function for example, a point spread function etc.
  • an impulse that is, a delta function
  • a waveform function close to the impulse half width is less than a predetermined threshold
  • the subject may be blurred due to the difference in the seat position of the vehicle.
  • the amount of deviation from the focus distance of the imaging unit 110 differs between the seat position on the driver's seat side and the seat position on the passenger seat side.
  • the degree of blurring of the contour of the subject changes depending on the difference in the amount of deviation from the focus distance.
  • a case is shown in which the correction process is performed using the parameter in consideration of the difference.
  • the parameter corresponding to the position used by the image correction unit 120 for the correction process is configured by a plurality of parameters corresponding to the position in the vehicle.
  • the parameter for correction processing is a first in-vehicle position parameter for reducing the blur of the subject in the image based on the driver's seat side, and reduces the blur of the subject in the image based on the passenger seat side And a second in-vehicle position parameter.
  • the image correction unit 120 when the image correction unit 120 specifies a lane in which the vehicle is traveling, the image correction unit 120 reads a parameter set (a first in-vehicle position parameter and a second in-vehicle position parameter) corresponding to the lane.
  • This parameter set is stored, for example, in the memory 203 or the storage device 204.
  • the image correction unit 120 performs a correction process on the image using each of the read first in-vehicle position parameter and the read second in-vehicle position parameter.
  • a plurality of corrected images based on the plurality of parameters corresponding to the in-vehicle position are generated for one image captured at a certain timing.
  • the counting unit 130 counts the number of occupants of the vehicle using a plurality of images generated using the first in-vehicle position parameter and the second in-vehicle position parameter described above.
  • the counting unit 130 can count the number of occupants of the vehicle using a plurality of correction images as described below. First, the counting unit 130 counts the number of occupants for each of a plurality of correction images generated by correcting one image captured at a certain timing based on the correction processing parameter according to the position in the vehicle. Do. Next, the counting unit 130 integrates the number of occupants counted using each corrected image to determine the final number of occupants of the vehicle counted from one image.
  • the counting unit 130 has substantially the same position (a plurality of correction images In the case where the difference in position between them is equal to or less than a predetermined threshold), these persons are judged as the same person and counted as one person.
  • the counting unit 130 has different positions (plurality When the difference in position between the corrected images in (1) exceeds a predetermined threshold), these persons are determined as different persons and counted separately.
  • the image correction unit 120 detects the reference position and the reference direction of the vehicle from each of the plurality of corrected images, and the detected reference position is the origin, and the detected reference direction is the x axis direction and the y axis direction.
  • the two-dimensional coordinate system can be determined for each image to determine the positional relationship of a person between a plurality of corrected images.
  • FIG. 9 is a view showing an example of a vehicle coordinate system set to the corrected image F generated by the image correction unit 120. As shown in FIG.
  • the rear end of the bumper attached to the back of the body of the vehicle is taken as the reference point, and the longitudinal direction and height direction of the vehicle are taken as the reference direction.
  • a vehicle coordinate system is defined in which the rear end of the bumper is the origin, the longitudinal direction of the vehicle is the x axis, and the height direction is the y axis.
  • the reference point and the reference direction are not limited to the illustrated example.
  • the reference position may be a predetermined portion such as a front pillar, a center pillar, a rear pillar, a side mirror, or the like.
  • the reference direction may be set to any direction on the image.
  • the image correction unit 120 can specify the position coordinates of the person area B detected from the image in the vehicle coordinate system as illustrated.
  • a plurality of correction images are generated by performing correction processing on an image using a plurality of parameters in consideration of differences in seat positions in a vehicle.
  • FIG. 10 is a block diagram conceptually showing the functional configuration of the number of occupants detection system 1 of the second embodiment. As shown in FIG. 10, the number of occupants detection system 1 of this embodiment further includes a control unit 140 in addition to the configuration of the first embodiment.
  • control unit 140 can switch the lane in which the imaging unit 110 is focused based on the traffic volume for a predetermined time of each of the plurality of lanes.
  • the control unit 140 can calculate the traffic volume for a predetermined time for each lane using the image generated by the imaging unit 110, the output of the vehicle detection sensor 40, or the like.
  • the control unit 140 can calculate the traffic volume for each lane for a predetermined time as follows, using the distance to the vehicle measured using the vehicle detection sensor 40 or the like. First, the control unit 140 refers to a predetermined table (example: FIG. 5) that defines the correspondence between the distance to the vehicle and the traveling lane, and identifies the lane in which the vehicle is traveling.
  • a predetermined table (example: FIG. 5) that defines the correspondence between the distance to the vehicle and the traveling lane, and identifies the lane in which the vehicle is traveling.
  • control unit 140 accumulates the number of times each lane is specified in a predetermined storage area such as the memory 203.
  • information indicating the traffic volume for each lane for a predetermined time can be stored in a predetermined storage area.
  • control unit 140 may calculate the traffic volume for each lane for a predetermined time based on the analysis result of the image generated by the imaging unit 110 or the like. Specifically, the control unit 140 captures an image using a known image processing algorithm that estimates the position (traveling lane) of the vehicle in the real space from the image feature amount (for example, the size on the image) of the vehicle. A traveling lane of the vehicle included in the image generated by the unit 110 or the like can be identified. And the control part 140 can calculate the traffic volume for every lane of predetermined time by counting the number of vehicles specified by each lane within predetermined time, respectively. The predetermined time can be determined arbitrarily.
  • control unit 140 may be configured to switch lanes to focus the imaging unit 110 according to date or time. Specifically, the lane to be focused for each time zone is determined based on the result of examining in advance the change in traffic volume of each lane. Then, the information indicating the lane determined in this manner is prepared in, for example, the memory 203 or the like in a state in which the information indicating the time zone is linked. After acquiring the current time, the control unit 140 can transmit an instruction to focus on the lane corresponding to the current time to the imaging unit 110 by referring to the information prepared in the memory 203.
  • the hardware configuration of this embodiment is the same as that of the first embodiment (example: FIGS. 2 and 3).
  • the storage device 204 of the information processing apparatus 20 further stores a program module for realizing the function of the control unit 140 described above.
  • the processor 202 of the information processing apparatus 20 executes the program module to realize the function of the control unit 140 described above.
  • FIGS. 11 and 12 are flowcharts illustrating the flow of processing in the number of occupants detection system 1 according to the first embodiment.
  • a flow is described in which the control unit 140 controls a lane in which the imaging unit 110 is focused based on the traffic volume for a predetermined time of each of the plurality of lanes.
  • a flow is described in which the control unit 140 controls the lane in which the imaging unit 110 is focused in accordance with the date or time.
  • control unit 140 controls a lane in which the imaging unit 110 focuses on the basis of the traffic volume for a predetermined time of each of the plurality of lanes.
  • the control unit 140 acquires information indicating the traffic volume of each lane in a predetermined time (S202).
  • the control unit 140 can, for example, count the number of passing vehicles for each predetermined time for each lane based on the analysis result of the imaging unit 110 or the output signal of the vehicle detection sensor 40. Further, the control unit 140 may communicate with an external device (not shown) to obtain the traffic volume of each lane at a predetermined time from the external device. Then, the control unit 140 compares the traffic volumes of the lanes in the predetermined time acquired in the process of S202, and identifies the lane with the largest traffic volume in the predetermined time (S204).
  • control unit 140 transmits, to the imaging unit 110, a control instruction to focus on the lane specified in the process of S204 (S206).
  • the imaging unit 110 controls the focus mechanism in accordance with the control instruction from the control unit 140, and focuses on the lane indicated by the control instruction (S208).
  • the control unit 140 acquires the current time by synchronizing with an NTP (Network Time Protocol) server (not shown) or the like (S302). Then, based on the current time acquired in the process of S302, the control unit 140 specifies a lane to be focused on, for example, with reference to a table as shown in FIG. 13 (S304).
  • FIG. 13 is a diagram illustrating an example of a table that associates and stores a time zone and a lane for which focusing is to be performed. Since traffic conditions may be affected by the day of the week or the weather, multiple tables may be prepared for each day of the week or weather. In addition, for example, it is expected that traffic volume will increase during long holidays such as Golden Week and Obon.
  • the control unit 140 transmits, to the imaging unit 110, a control instruction to focus on the lane specified in the process of S304 (S306).
  • the imaging unit 110 controls the focusing mechanism according to the control instruction from the control unit 140, and focuses on the lane indicated by the control instruction (S308).
  • the correction processing for reducing the blur of the subject as described in the second specific example of the first embodiment is performed on the image. It may be performed.
  • the correction process using a plurality of parameters according to the position in the vehicle as described in the third specific example of the first embodiment may be executed.
  • the focus of the imaging unit 110 is controlled to be matched with a lane with a large traffic volume based on the traffic volume for a predetermined time or the statistics of the traffic volume by date or time.
  • the execution frequency of the correction process on the image can be reduced, and the overall processing amount can be reduced.
  • the imaging device 30 imaging unit 110
  • the imaging device 30 may be provided in a gantry or the like as illustrated in FIG. .
  • the distance from the imaging device 30 to the vehicle varies depending on the lane in which the vehicle travels, so the subject may appear blurred.
  • the correction processing for reducing the blur of the subject is executed using the parameter according to the position where the vehicle is traveling, and the corrected image in which the subject is clearly shown By generating, the number of occupants of the vehicle can be accurately counted based on the corrected image.
  • the image correction means executes the correction process by using the first parameter according to the position where one vehicle travels, when a plurality of vehicles traveling in different lanes are shown in the image.
  • the counting means counts the number of occupants of the one vehicle using the first corrected image, and counts the number of occupants of the other vehicle using the second corrected image.
  • the image correction means determines the parameter based on at least one of spatial frequency of the image and information indicating blur of the subject calculated using an autocorrelation function. 1. Or 2. The number of occupants detection system described in. 4. The image correction means determines the parameter based on the distance to the vehicle measured by the distance measurement means for measuring the distance to the vehicle. 1. Or 2. The number of occupants detection system described in. 5.
  • a storage unit configured to store information in which the information indicating each of the plurality of lanes is associated with the parameter;
  • the image correction means identifies a lane in which the vehicle travels based on the distance to the vehicle, and executes the correction process using the parameter corresponding to the identified lane. 1.
  • the occupant count detection system according to any one of the above. 6.
  • the focus distance of the imaging means is fixed at a distance corresponding to one of the plurality of lanes. 1.
  • the focus distance of the imaging means is fixed at a distance corresponding to the central portion of the plurality of lanes. 1.
  • the control device further includes control means for switching a lane in which the imaging means is focused based on the traffic volume of each of the plurality of lanes. 1. To 5. The occupant count detection system according to any one of the above. 9. The control device further comprises control means for switching a lane in which the imaging means is brought into focus according to a date or time. 1. To 5. The occupant count detection system according to any one of the above. 10.
  • the parameter according to the position includes a plurality of different parameters according to the position in the vehicle,
  • the image correction unit generates a plurality of corrected images based on the image by performing the correction process on the image using a plurality of different parameters according to the position in the vehicle.
  • the counting means counts the number of occupants of the vehicle using the plurality of correction images. 1. To 9.
  • the computer is A correction process for reducing the blur of an object captured in the image, using a parameter according to the position where the vehicle travels, with respect to the image generated by the imaging means for imaging a vehicle traveling on a road having a plurality of lanes Generating to generate a corrected image based on the image, Counting the number of occupants of the vehicle using the corrected image; How to detect the number of crew including that. 13.
  • the computer When a plurality of vehicles traveling on different lanes are shown in the image, a first correction image is generated by executing the correction process using the first parameter corresponding to the position where one vehicle travels.
  • a second correction image is generated by executing the correction process using a second second parameter corresponding to a position at which another vehicle travels;
  • the number of occupants of the one vehicle is counted using the first corrected image, and the number of occupants of the other vehicle is counted using the second corrected image.
  • 12. including. The method of detecting the number of occupants according to 14.
  • the computer The parameter is determined based on at least one of spatial frequency of the image and information indicating blur of the subject calculated using an autocorrelation function. 12. including. Or 13.
  • the computer is determined based on the distance to the vehicle measured by distance measuring means for measuring the distance to the vehicle. 12. including. Or 13.
  • the computer The lane in which the vehicle travels is identified based on the distance to the vehicle, and the parameter corresponding to the identified lane is stored as information indicating each of the plurality of lanes and the parameter.
  • the focus distance of the imaging means is fixed at a distance corresponding to one of the plurality of lanes. 12. including. To 16.
  • the focus distance of the imaging means is fixed at a distance corresponding to the central portion of the plurality of lanes. 12. including. To 16.
  • the computer Switching the lane on which the imaging unit is to be focused based on the traffic volume of each of the plurality of lanes; 12. including. To 16.
  • the parameter according to the position includes a plurality of different parameters according to the position in the vehicle,
  • the computer A plurality of corrected images based on the image are generated by performing the correction process on the image using a plurality of different parameters according to the position in the vehicle. Counting the number of occupants of the vehicle using the plurality of corrected images; 12. including. To 20.
  • the occupant count detection method according to any one of the above. 22.
  • the computer is Image a vehicle traveling on a road with multiple lanes, Measure the distance to the vehicle, According to the information indicating the measured distance, blurring of the subject appearing in the image is reduced, and the number of occupants of the vehicle is counted using the image. How to detect the number of crew including that. 23. 12. on the computer To 22.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

乗員数検知システム（１）は、複数のレーンを有する道路を走行する車両を撮像する撮像部（１１０）により生成された画像に対して、車両が走行する位置に応じたパラメータを用いて当該画像に写る被写体のボケを低減する補正処理を実行することにより、画像に基づく補正画像を生成する画像補正部（１２０）と、画像補正部（１２０）により生成された補正画像を用いて車両の乗員数をカウントするカウント部（１３０）と、を備える。

Description

乗員数検知システム、乗員数検知方法、およびプログラム
　本発明は、車両の乗員数を把握する技術に関する。
　車両の乗員数を把握したいというニーズがある。例えば、欧米では、ＨＯＶ（High-Occupancy Vehicle）レーンやＨＯＴ（High-Occupancy Toll）レーンといった、登場人数が一定数以上の車両が優遇される専用レーンがあり、このようなレーンを走行する車両の乗員数を把握したいというニーズがある。
　上記ニーズに対し、例えば、下記特許文献に記載されるような技術がある。下記特許文献１および特許文献２には、道路の脇に設置した撮像装置によって車両を被写体として含む画像を取得し、当該画像を解析することによって、車両の乗員数を検知する技術が開示されている。
国際公開第２０１４／０６４８９８号 国際公開第２０１４／０６１１９５号
　従来のシステムでは、複数のレーンを有する道路で車両の乗員を検知するためには、個々のレーン専用のカメラを設置する必要がある。しかしながら、機器の設置スペースといった設置環境の制約やシステム導入コストの観点から、１台のカメラで複数のレーンをカバーする技術が望まれる。しかし、１台のカメラで複数のレーンをカバーしようとした場合、複数のレーンの一部または全部に対してカメラのフォーカスが合わせられず、被写体（車両および当該車両の乗員）の輪郭がぼやけてしまい、乗員数を正確に検知できないという問題がある。
　本発明の目的は、１台のカメラが複数のレーンを対象として撮影した画像を用いて車両の乗員数を検知することを可能とする技術を提供することにある。
　本発明によれば、
　複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成する画像補正手段と、
　前記補正画像を用いて前記車両の乗員数をカウントするカウント手段と、
　を備える乗員数検知システムが提供される。
　本発明によれば、
　コンピュータが、
　複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成し、
　前記補正画像を用いて前記車両の乗員数をカウントする、
　ことを含む乗員数検知方法が提供される。
　本発明によれば、コンピュータに、上述の乗員数検知方法を実行させるプログラムが提供される。
　本発明によれば、１台のカメラが複数のレーンを対象として撮影した画像を用いて車両の乗員数を検知することが可能となる。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第１実施形態の乗員数検知システムの機能構成を概念的に示すブロック図である。 乗員数検知システムのシステム構成を概念的に示す図である。 乗員数検知システムのハードウエア構成を簡略的に示した図であり、は情報処理装置のハードウエア構成を概念的に示すブロック図である。 第１実施形態の乗員数検知システムにおける処理の流れを例示するフローチャートである。 画像補正部が補正処理用のパラメータを決定する際に使用するテーブルの一例を示す図である。 カウント部による乗員数のカウント結果を出力する画面の一例を示す図である。 第１具体例の構成を概念的に示す図である。 第２具体例の構成を概念的に示す図である。 画像補正部より生成された補正画像に設定される車両座標系の一例を示す図である 第２実施形態の乗員数検知システムの機能構成を概念的に示すブロック図である。 第１実施形態の乗員数検知システムにおける処理の流れを例示するフローチャートである。 第１実施形態の乗員数検知システムにおける処理の流れを例示するフローチャートである。 時間帯とフォーカスを合わせるべきレーンとを対応付けて記憶するテーブルの一例を示す図である。 乗員数検知システムの他のシステム構成を概念的に示す図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
　［第１実施形態］
　〔機能構成〕
　図１は、第１実施形態の乗員数検知システム１の機能構成を概念的に示すブロック図である。図１に示されるように、乗員数検知システム１は、撮像部１１０、画像補正部１２０、およびカウント部１３０を含んで構成される。
　撮像部１１０は、カメラ等の撮像装置である。撮像部１１０は、複数のレーンを有する道路を走行する車両を撮像し、当該車両および車両の乗員を被写体として含む画像を生成する。撮像部１１０は、例えば、図示しない車両検知用のセンサと連動することにより、車両を撮像範囲に含めることができる。また、撮像部１１０は、車両の乗員数を正確に把握可能とするために、所定のフレームレートで連続的に車両を撮像して複数枚の画像を生成するように構成されていてもよい。
　画像補正部１２０は、撮像部１１０により生成された画像を取得する。そして、画像補正部１２０は、撮像部１１０により生成された画像に対して、画像に写る被写体のボケを低減する補正処理を実行し、当該画像に基づく補正画像を生成する。この補正処理は、所謂ボケ補正（Ｄｅｂｌｕｒ）技術を用いた処理であり、例えば、以下の文献［１］および［２］等に開示される技術を利用して実現可能である。下記文献等に開示される技術を用いることにより、画像補正部１２０は、例えば、ピントのずれによる被写体のボケや当該被写体のモーションブラー（車両の進行方向のブレ）を補正することができる。
　［１］ TSUMURAYA, F., MIURA, N., AND BABA, N. 1994. Iterative blind deconvolution method using Lucy's algorithm. Astron. Astrophys. 282, 2 (Feb), 699-708.
　［２］ Hradis Michal, Kotera Jan, Zemcik Pavel and Sroubek Filip, Convolutional Neural Networks for Direct Text Deblurring, Proceedings of BMVC 2015, Swansea, The British Machine Vision Association and Society for Pattern Recognition, 2015, ISBN 1-901725-53-7.
　また、補正処理は、画像の被写体である車両が走行する位置に応じたパラメータを用いて実行される。このパラメータによって、画像に対する補正のかかり具合が決定される。
　カウント部１３０は、画像補正部１２０により生成された補正画像を用いて、当該補正画像の被写体である車両の乗員数をカウントする。カウント部１３０は、例えば、上記特許文献１または特許文献２に開示される技術を利用して、車両を被写体として含む画像を基に、当該車両の乗員数をカウントすることができる。画像補正部１２０とカウント部１３０とを合わせて画像処理部と呼ぶこともできる。
　以上、本発明に係る乗員数検知システム１は、レーン毎にカメラ等の撮像部１１０を設けていない。この場合、複数のレーンのうちの一部または全部のレーンにおいて、走行中の被写体（車両および乗員）に対して撮像部１１０のフォーカスが合わず、被写体がボケた状態の画像が出来上がってしまう可能性がある。そこで、本実施形態で説明したように、車両が走行している位置に応じたパラメータを用いて、被写体のボケを低減する補正処理が実行される。これにより、撮像部１１０のフォーカス距離から離れることによってボケてしまった被写体が明確になる。なお、被写体のボケを低減する補正処理について、例えば個人認証に利用できるほどの高精度な処理は必ずしも必要ではなく、人物（例えば人物の顔部分）とそれ以外の領域を判別できる程度の精度が担保されれば十分である。そして、このように補正された画像を用いて、当該画像に被写体として含まれる車両の乗員数のカウント処理が実行される。このような構成により、１台の撮像装置で複数のレーンを対象として、車両の乗員数を検知することが可能となる。また、システムで必要となる撮像装置の個数を減らし、設置環境の制約（例えば、土地の広さ等）を緩和する効果、及び、システムに必要なコストを低減させる効果も見込める。
　以下、第１実施形態をより詳細に説明する。
　〔ハードウエア構成〕
　乗員数検知システム１の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、乗員数検知システム１の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図２は、乗員数検知システム１のシステム構成を概念的に示す図である。図２に示されるように、乗員数検知システム１は、情報処理装置２０、撮像装置３０、車両検知用センサ４０、および、投光器５０を含んで構成される。また、情報処理装置２０には、カウント部１３０による乗員数のカウント結果を表示するためのディスプレイ装置２２が接続されている。
　撮像装置３０は、乗員数検知システム１の撮像部１１０に相当する。撮像装置３０は、ネットワークを介して情報処理装置２０と接続されている。なお図示していないが、それぞれ異なる場所に設置された複数の撮像装置３０が情報処理装置２０に接続され得る。
　車両検知用センサ４０は、撮像装置３０の前方を通過しようとする車両Ｖを検知するため（画像を撮るタイミングを計るため）のセンサである。車両検知用センサ４０は、撮像装置３０とは別に設けられていてもよいし、撮像装置３０に組み込まれていてもよい。
　投光器５０は、車両内の人物を鮮明に撮影するために設けられる。投光器５０は、撮像装置３０とは別に設けられていてもよいし、撮像装置３０に組み込まれていてもよい。投光器５０は、撮像装置３０の撮像タイミングに連動して、被写体である車両Ｖに光（例えば、赤外線など）を照射する。乗員数検知システム１において、複数のレーンで共通の投光器５０が１つ備えられていてもよいし、複数のレーンそれぞれに専用の投光器５０が備えられていてもよい。後者の場合、車両検知用センサ４０によって車両Ｖが検知されたことに応じて全ての投光器５０が光を照射するように制御されてもよいし、車両検知用センサ４０によって測定された車両Ｖまでの距離に対応するレーンの投光器５０が光を照射するように制御されてもよい。
　図３は、情報処理装置２０のハードウエア構成を概念的に示すブロック図である。情報処理装置２０は、バス２０１、プロセッサ２０２、メモリ２０３、ストレージデバイス２０４、入出力インタフェース２０５、及びネットワークインタフェース２０６を含んで構成される。
　バス２０１は、プロセッサ２０２、メモリ２０３、ストレージデバイス２０４、入出力インタフェース２０５、及びネットワークインタフェース２０６が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ２０２、メモリ２０３、ストレージデバイス２０４、入出力インタフェース２０５、及びネットワークインタフェース２０６などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ２０２は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算装置である。メモリ２０３は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などを用いて実現される主記憶装置である。ストレージデバイス２０４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどを用いて実現される補助記憶装置である。
　ストレージデバイス２０４は、画像補正部１２０およびカウント部１３０を実現するプログラムモジュール、並びに、撮像装置３０で生成された画像を取得する機能を実現するプログラムモジュールを記憶している。プロセッサ２０２は、これら各プログラムモジュールをメモリ２０３に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
　入出力インタフェース２０５は、情報処理装置２０と周辺機器とを接続するためのインタフェースである。例えば、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイといった表示出力用のデバイス（ディスプレイ装置２２）や、キーボードやマウスといった入力用のデバイス、または、これらが一体となったタッチパネルなどが、入出力インタフェース２０５を介して情報処理装置２０に接続され得る。
　ネットワークインタフェース２０６は、情報処理装置２０をＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの各種ネットワークに接続するためのインタフェースである。図２に示されるように、情報処理装置２０は、ネットワークインタフェース２０６を介してネットワークに接続して、撮像装置３０や図示しない他の端末と通信することができる。例えば、情報処理装置２０は、ネットワークインタフェース２０６を介して撮像装置３０と通信し、撮像装置３０で生成された画像を取得することができる。またこの場合において、情報処理装置２０は、ネットワークインタフェース２０６を介して管理者用の情報処理装置（図示せず）と通信可能に接続される。そして、カウント部１３０による乗員数の検知結果が当該管理者用の情報処理装置（図示せず）に送信される。なお、情報処理装置２０が各種ネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
　なお、図２および図３の構成はあくまで一例であり、本発明のハードウエア構成は図２および図３の例に限定されない。例えば、情報処理装置２０と撮像装置３０は一体化されていてもよい。
　〔動作例〕
　図４を用いて、第１実施形態の乗員数検知システム１における処理の流れを説明する。図４は、第１実施形態の乗員数検知システム１における処理の流れを例示するフローチャートである。
　まず、撮像部１１０が、道路を走行する車両を撮像し、当該車両を被写体として含む画像を生成する（Ｓ１０２）。なお、撮像部１１０は、例えば、車両検知用センサ４０からの出力信号に基づいて、撮像部１１０の前方を通過しようとする車両の存在を検知して、画像を撮るタイミングを判断することができる。
　次いで、画像補正部１２０は、Ｓ１０２の処理で生成された画像に対する補正処理で用いるパラメータを決定する（Ｓ１０４）。
　画像補正部１２０は、例えば、車両までの距離を測定する距離測定手段（図示せず）からの出力信号（車両までの距離を示す情報）に基づいて、画像に被写体として含まれている車両が走行しているレーンを特定し、補正処理に使うパラメータを決定することができる。この場合、画像補正部１２０は、車両検知用センサ４０を上述の距離測定手段として用いてもよい。また、車両検知用センサ４０とは別に車両までの距離を測る距離センサなどを距離測定手段として設け、画像補正部１２０は、当該距離センサからの出力信号を用いて、車両が走行しているレーンを特定してもよい。特に限定されないが、一例として、画像補正部１２０は、距離測定手段により測定した距離を基に図５に示すようなテーブルを参照することにより車両が走行しているレーンを特定し、補正処理に使うパラメータを決定することができる。
　図５は、画像補正部１２０が補正処理用のパラメータを決定する際に使用するテーブルの一例を示す図である。図５では、車両までの距離と、複数のレーンの各々を示す情報（レーン識別情報）と、補正処理用パラメータとを、互いに関連付けて記憶するテーブルが例示されている。なお、図５の例において、「車両までの距離」そのものをレーン識別情報の代わりに使用することもできる。この場合、図５に例示される「レーン識別情報」はなくてもよい。画像補正部１２０は、距離測定手段から取得した情報が示す車両までの距離を基にテーブルの中から該当する行を特定し、当該行に格納されている補正処理用パラメータを読み出すことができる。具体的な例として、距離測定手段から取得した情報が示す車両までの距離がｄ１以上ｄ２未満である場合、画像補正部１２０は、車両が走行しているレーンを「中央レーン」と特定して、「中央レーン」に関連付けられた補正処理用パラメータを読み出すことができる。
　その他にも、画像補正部１２０は、車両が走行しているレーンを特定することなく、距離測定手段によって測定された車両までの距離に応じてパラメータを決定してもよい。この場合、画像補正部１２０は、距離測定手段から車両までの距離を示す情報を取得し、距離を引数としてパラメータを算出する関数や、対応するパラメータを距離別に定義する記憶するテーブルなどを用いて、距離測定手段から取得した情報が示す距離に応じたパラメータを決定することができる。
　また、画像補正部１２０は、撮像部１１０により生成された画像を解析することによって、当該画像のボケ具合を判別し、その画像のボケ具合に応じたパラメータを決定することもできる。例えば、画像補正部１２０は、画像の空間周波数の情報を解析によって取得し、それらの情報に基づいて補正用のパラメータを決定することができる。特に限定されないが、画像補正部１２０は、例えば、点広がり関数（Point Spread Function）といった画像のボケの性質を表わすボケ関数が既知の場合に、当該画像のボケ関数をフーリエ変換によって空間周波数成分に分解して、下記の式に示すような、ボケ低減用のウィナーフィルタを導出することができる。
Figure JPOXMLDOC01-appb-M000001
　なお、上記の式において、Ｈは画像のボケ関数のフーリエ変換を示し、Ｈ＊は当該フーリエ変換Ｈの複素共役を示し、Γは画像信号のＳＮ（Signal to Noise）比によって決まる定数を示す。なお、上記の式は、例えば、メモリ２０３やストレージデバイス２０４といった所定の記憶領域に記憶されており、画像補正部１２０は当該記憶領域から式を読み出してパラメータを決定することができる。
　その他にも、画像補正部１２０は、自己相関関数を用いて算出される前記被写体のブレを示す情報を、画像のボケ具合を示す情報として取得し、補正処理用のパラメータを決定することができる。この場合、画像補正部１２０は、自己相関関数を用いて算出可能な画像内の物体のブレの方向と量を代入することで当該ブレを打ち消すパラメータを導出する所定の関数を用いて、補正用のパラメータを決定することができる。なお、上述の関数は、例えば、メモリ２０３やストレージデバイス２０４といった所定の記憶領域に記憶されており、画像補正部１２０は当該記憶領域から関数を読み出してパラメータを決定することができる。
　ここで、Ｓ１０２で取得された画像に複数の車両が被写体として含まれている場合、画像補正部１２０は、それぞれの車両について上述したような方法を用い、それぞれの車両の位置に応じた補正処理用のパラメータを決定することができる。例えば、それぞれ異なるレーンを走行している２台の車両（第１の車両および第２の車両）を被写体として含む画像が撮像部１１０で生成されたとする。この場合、画像補正部１２０は、各車両が走行しているレーンや位置、又は、各車両のボケ具合に応じた、互いに異なる複数のパラメータを補正処理に使うパラメータとして決定することができる。具体的には、画像補正部１２０は、第１の車両が走行する位置に基づいて、第１の車両のボケを低減するための第１のパラメータを決定すると共に、第２の車両が走行する位置に基づいて、第２の車両のボケを低減するための第２のパラメータを決定する。また、それぞれ異なるレーンを走行している３台以上の車両が画像に写っている場合、画像補正部１２０は、３つ以上のパラメータを決定することができる。なお、特に限定されないが、画像補正部１２０は、画像上の物体（車両）を認識する既知の画像処理アルゴリズム、及び、該車両の画像特徴量（例えば、画像上の大きさなど）から実空間上の車両の位置（走行レーン）を推定する既知の画像処理アルゴリズムを用いて、それぞれ異なるレーンを走行する複数台の車両が画像に含まれていることを判断することができる。その他にも、画像補正部１２０は、車両検知用センサ４０が複数の車両を検知したタイミングと、撮像装置３０（撮像部１１０）による撮影のタイミング並びに撮像装置３０の撮像範囲とを比較することによって、その撮影によって生成される画像に複数台の車両が含まれるか否かを判別することができる。
　そして、画像補正部１２０は、Ｓ１０４の処理で決定したパラメータを用いて、Ｓ１０２の処理で生成された画像に対して、被写体のボケを低減する補正処理を実行する（Ｓ１０６）。ここで、Ｓ１０４で異なる複数のパラメータが決定されている場合、画像補正部１２０は、それぞれのパラメータを用いてＳ１０２で取得した画像に対して補正処理を実行し、それぞれのパラメータによって補正された複数の画像を生成する。例えば、Ｓ１０２の処理で、それぞれ異なるレーンを走行している２台の車両（第１の車両および第２の車両）を被写体として含む画像が取得されたとする。この場合、画像補正部１２０は、一上述の第１のパラメータ及び第２のパラメータをそれぞれ用いて補正処理を行う。これにより、Ｓ１０２の処理で取得された画像を基とした、２つの補正画像（第１の補正画像および第２の補正画像）が生成される。なお、それぞれ異なるレーンを走行している３台以上の車両が画像に写っている場合、画像補正部１２０は、３つ以上のパラメータを用いて３つ以上の補正画像を生成することができる。
　そして、カウント部１３０は、Ｓ１０６の処理で生成された補正画像を処理して、車両の乗員数をカウントする（Ｓ１０８）。ここで、カウント部１３０は、Ｓ１０６で複数の補正画像が生成されている場合、複数の補正画像をそれぞれ処理して、車両の乗員数をカウントする。例えば、Ｓ１０６の処理において、上述したように、それぞれ異なるレーンを走行している２台の車両（第１の車両および第２の車両）を被写体として含む画像が取得され、第１の車両のボケを低減した第１の補正画像と、第２の車両のボケを低減した第２の補正画像が生成されたとする。この場合、カウント部１３０は、第１の補正画像を用いて第１の車両の乗員数をカウントすると共に、第２の補正画像を用いて第２の車両の乗員数をカウントすることができる。なお、それぞれ異なるレーンを走行している３台以上の車両が画像に写っている場合、画像補正部１２０は、３つ以上の補正画像をそれぞれ用いて、各車両の乗員数をそれぞれカウントすることができる。
　そして、カウント部１３０は、車両の乗員数をカウントした結果を出力する（Ｓ１１０）。例えば、カウント部１３０は、情報処理装置２０に接続されたディスプレイ装置２２上に図６に示されるような画面を表示することができる。
　図６は、カウント部１３０による乗員数のカウント結果を出力する画面の一例を示す図である。図６では、車両のナンバープレートの番号と共に、カウント部１３０でカウントされた車両の乗員数を表示する画面が例示されている。なお、車両のナンバープレートの番号は、撮像部１１０または図示しない別の撮像装置によって撮像された、車両のナンバープレートが写っている画像を解析することによって、テキスト情報などとして取得することができる。
　ここで、カウント部１３０は、ある車両が走行しているレーンがＨＯＶレーンやＨＯＴレーンであって、その車両の乗員数が規定人数未満である場合、当該車両の乗員数の情報に、乗員数が規定人数未満であることを示す特定の付加情報を含めてよい。カウント部１３０は、例えば、メモリ２０３に予め格納されて規定人数に関する情報と、画像を基にカウントした車両の乗員数とを比較することで、車両の乗員数が規定人数以上であるか否かを判別することができる。そして、情報処理装置２０は、例えば、付加情報の有無に従って図６に示すような所定のマークＭを付与して、乗員数が規定未満である車両に関する情報がその他の車両に関する情報と区別して表示するように構成されていてもよい。その他にも、情報処理装置２０は、付加情報の有無に従って文字色や背景色などを変えることによって、乗員数が規定未満である車両に関する情報を、その他の車両に関する情報と区別して表示することができる。このような画面によれば、管理者は、ＨＯＶレーンやＨＯＴレーンを規定人数未満の乗員数で走行している車両の存在を容易に把握できる。その他にも、カウント部１３０から出力される乗員数のカウント結果に付加情報が付与されている場合、情報処理装置２０が、画面の表示を更新すると共に所定のブザー音を出力するように構成されていてもよい。これにより、情報処理装置２０を操作する人物が、規定人数未満の乗員数でＨＯＶレーンやＨＯＴレーンを走行している車両の存在に気づき易くなる。
　〔具体例〕
　以下、本実施形態の乗員数検知システム１の具体的な具体例を説明する。
　＜第１具体例＞
　複数のレーンを有する道路において、撮像部１１０のフォーカス距離を複数のレーンの中央部分（例えば、レーンの数が偶数であれば車線境界部分、レーンの数が奇数であれば中央に位置するレーン）に対応する距離に固定すれば、画像に写る車両のボケ量の最大値が抑制されるため、全体的なボケ補正処理の処理量を低減させることが可能となる。本具体例では、説明を簡潔にするため、２つのレーンを有する道路において、撮像部１１０のフォーカスが当該２つのレーンの中央部分（例えば、車線境界線）に固定されているケースについて例示的に説明する。図７は、第１具体例の構成を概念的に示す図である。図７中の斜線領域は、撮像装置３０（撮像部１１０）のフォーカス距離（被写界深度ＤＯＦ）を示す。被写界深度ＤＯＦの範囲外に位置する被写体はぼやけた状態で撮像されることになる。
　本具体例では、例えば、２つのレーンそれぞれについて最適化された、補正処理用の２つのパラメータが、メモリ２０３に予め用意される。２つのレーンそれぞれに対応する補正処理用のパラメータは、例えば、各レーンでの平均的な車両の走行位置と、撮像部１１０のフォーカス距離との差分に基づいて決定することができる。具体的には、撮像部１１０の位置を基準として奥側のレーンのパラメータは、被写体の位置がフォーカスの合う位置（車線境界線付近）よりも奥側にあることで生じる画像のボケを打ち消すパラメータとして用意される。また、撮像部１１０の位置を基準として手前側のレーンのパラメータは、被写体の位置がフォーカスの合う位置（車線境界線付近）よりも手前側にあることで生じる画像のボケを打ち消すパラメータとして用意される。
　本具体例の場合、どちらのレーンにも撮像部１１０のフォーカスが合っていない。そのため、車両がどちらのレーンを走行していたとしても、撮像部１１０により生成される画像において被写体（車両および車両の乗員）の輪郭がぼやけてしまう可能性がある。しかしながら、本具体例の場合、いずれかのレーンにフォーカスを合わせた場合と比較して、ボケ量（ボケ具合）を小さくすることができる。例えば、車両が第１のレーンを走行していた場合、撮像部１１０のフォーカス距離が他方の第２のレーンに合わせられている場合よりも、中央境界線（すなわち、複数のレーンの中央部分）付近に合わせられている方が、撮像部１１０のフォーカス距離からのずれが小さくなる。そのため、結果として、画像内での被写体のボケ量が小さくなる。これにより、撮像部１１０により取得された画像を少ない処理量で明確に補正できるという利点がある。
　＜第２具体例＞
　本具体例では、撮像部１１０のフォーカス距離が、複数のレーンの中で予め決められた１つのレーンに対応する距離に固定されるケースについて例示的に説明する。具体的には、２つのレーンを有する道路において、撮像部１１０のフォーカスが当該２つのレーンうちのいずれか一方に固定されているケースについて例示的に説明する。図８は、第２具体例の構成を概念的に示す図である。図８中の斜線領域は、撮像装置３０（撮像部１１０）のフォーカス距離（被写界深度ＤＯＦ）を示す。被写界深度ＤＯＦの範囲外に位置する被写体はぼやけた状態で撮像されることになる。
　本具体例において、フォーカスが固定されている方のレーンを走行する車両を撮像する場合には、ある程度明瞭な画像が取得できるため、多くの場合において補正処理は実行しなくてもよい。一方で、フォーカスが固定されていない方のレーンを走行する車両が撮像された場合には、被写体のボケを低減する補正処理が必要となる可能性が高い。ここで、撮像部１１０のフォーカスをどちらのレーンに固定するかについては、例えば、それぞれのレーンの交通量の統計値に基づいて決定することができる。統計的に交通量の多い方のレーンに撮像部１１０のフォーカスを固定することにより、画像に対する補正処理の実行頻度を下げ、全体的な処理量を低減させることができる。また、この場合において、画像補正部１２０は、撮像部１１０のフォーカスを固定したレーンを走行する車両が撮像された場合、被写体（車両または車両の乗員）がボケていないかを確認する処理を行う。画像補正部１２０は、具体的には、例えば次に示すような処理によって、画像がボケているか否かを判断することができる。一例として、画像補正部１２０は、撮像部１１０により生成された画像をフーリエ変換によって空間周波数成分に分解した結果として、低周波成分が少なく高周波成分が多い分布が得られた場合には、当該画像がボケていないと判断することができる。他の例として、画像補正部１２０は、画像の自己相関関数の半値幅が所定の閾値以下である場合に、当該画像がボケていないと判断することができる。その他の例として、画像補正部１２０は、画像のボケ関数（例えば、点広がり関数など）を推定した結果、インパルス（すなわち、デルタ関数）あるいはインパルスに近い波形の関数（半値幅が所定の閾値以下の関数）が得られた場合に、当該画像がボケていないと判断することができる。なお、これらの処理の処理量は、被写体のボケを低減する補正処理の処理量よりも小さい。そのため、本具体例における全体的な処理量は、全てのレーンに補正処理を行う場合（例えば、第１具体例のケース）よりも小さくなる。
　なお、３つ以上のレーンを有する道路においては、撮像部１１０のフォーカス距離を中央側に位置するレーンに対応する距離に固定することにより、上述の第１具体例で説明したような効果も得られる。
　＜第３具体例＞
　車両の座席位置の違いによって被写体がボケてしまう可能性もある。例えば、運転席側の座席位置と助手席側の座席位置とで撮像部１１０のフォーカス距離からのズレ量が異なる。そして、このフォーカス距離からのズレ量の違いによって、被写体（車両内の人物）の輪郭のボケ具合が変わってくる。ここでは、この違い考慮したパラメータを用いて補正処理を実行するケースを例示する。
　本具体例では、画像補正部１２０が補正処理に用いる、位置に応じたパラメータは、車両内の位置に応じた複数のパラメータにより構成される。例えば、補正処理用のパラメータは、運転席側を基準として画像内の被写体のボケを低減するための第１の車両内位置パラメータと、助手席側を基準として画像内の被写体のボケを低減するための第２の車両内位置パラメータと、を含んで構成される。
　本具体例において、画像補正部１２０は、車両が走行しているレーンを特定した場合、そのレーンに対応するパラメータセット（第１の車両内位置パラメータおよび第２の車両内位置パラメータ）を読み出す。このパラメータセットは、例えば、メモリ２０３やストレージデバイス２０４に記憶されている。そして、画像補正部１２０は、読み出した第１の車両内位置パラメータおよび第２の車両内位置パラメータをそれぞれ用いて画像に対して補正処理を実行する。これにより、あるタイミングで撮像された１枚の画像に対して、車両内位置に応じた複数のパラメータそれぞれに基づく複数の補正画像が生成される。
　本具体例において、カウント部１３０は、上述の第１の車両内位置パラメータと第２の車両内位置パラメータをそれぞれ用いて生成された複数の画像を用いて、車両の乗員数をカウントする。
　具体的には、カウント部１３０は、以下のように、複数の補正画像を用いて車両の乗員数をカウントすることができる。まず、カウント部１３０は、あるタイミングで撮像された１枚の画像を車両内の位置に応じた補正処理用パラメータに基づいて補正することによって生成された複数の補正画像それぞれについて、乗員数をカウントする。次に、カウント部１３０は、それぞれの補正画像を用いてカウントされた乗員数を統合して、１枚の画像からカウントされる最終的な車両の乗員数を決定する。例えば、カウント部１３０は、ある１枚の補正画像で検知された人物と他の補正画像で検知された人物についてそれぞれの画像中での位置を比較した結果、位置が略等しい（複数の補正画像間での位置の差分が所定の閾値以下である）場合、これらの人物を同一人物として判断し１人とカウントする。また、カウント部１３０は、ある１枚の補正画像で検知された人物と他の補正画像で検知された人物についてそれぞれの画像中での位置を比較した結果、これらの人物の位置が異なる（複数の補正画像間での位置の差分が所定の閾値を超える）場合、これらの人物を別人物として判断し、それぞれ個別にカウントする。
　なお、特に限定されないが、画像補正部１２０は、複数の補正画像各々から車両の基準箇所及び基準方向を検出し、検出した基準箇所を原点、検出した基準方向をｘ軸方向及びｙ軸方向とした２次元座標系（車両座標系）を画像毎に定めて、複数の補正画像間での人物の位置関係を判断することができる。以下、図９を用いて基準箇所及び基準方向の一例を説明する。図９は、画像補正部１２０により生成された補正画像Ｆに設定される車両座標系の一例を示す図である。図示される例では、車両のボディーのうしろに取り付けられたバンパーの後方端部を基準箇所とし、車両の前後方向及び高さ方向を基準方向としている。そして、バンパーの後方端部を原点とし、車両の前後方向をｘ軸とし、高さ方向をｙ軸とした車両座標系が定められている。なお、基準箇所および基準方向は図示される例に限定されない。例えば、基準箇所は、フロントピラー、センタピラー、リアピラー、サイドミラー等の所定の部位であってもよい。また、基準方向は、画像上で任意の方向に設定され得る。画像補正部１２０は、図示されるような車両座標系において、画像から検出された人物領域Ｂの位置座標を特定することができる。
　本実施形態では、車両内での座席位置の違いを考慮した複数のパラメータを用いて画像に対して補正処理を実行することにより、複数の補正画像が生成される。このようにすることで、車両内の座席位置の違いによって被写体の輪郭が不鮮明となることを解消し、車両の乗員数を正確にカウントすることが可能となる。
　［第２実施形態］
　第１実施形態の第２具体例において、所定のレーンに撮像部１１０のフォーカスを固定する具体例について説明した。本実施形態では、所定の条件に基づいて撮像部１１０のフォーカスを制御する処理部を更に備える構成について説明する。
　〔機能構成〕
　図１０は、第２実施形態の乗員数検知システム１の機能構成を概念的に示すブロック図である。図１０に示されるように、本実施形態の乗員数検知システム１は、第１実施形態の構成に加えて、制御部１４０を更に備える。
　一例として、制御部１４０は、複数のレーンそれぞれの所定時間の交通量に基づいて、撮像部１１０のフォーカスを合わせるレーンを切り替えることができる。この場合、制御部１４０は、撮像部１１０で生成された画像、或いは、車両検知用センサ４０の出力などを用いて、所定時間の交通量をレーン毎に算出することができる。一例として、制御部１４０は、車両検知用センサ４０などを用いて測定される車両までの距離を用いて、以下のように所定時間のレーン毎の交通量を算出することができる。まず、制御部１４０は、車両までの距離と走行レーンとの対応関係を定義する所定のテーブル（例：図５）を参照し、当該車両が走行しているレーンを特定する。そして、制御部１４０は、各レーンが特定された回数をメモリ２０３などの所定の記憶領域に蓄積する。これらの処理を所定時間継続することによって、所定時間のレーン毎の交通量を示す情報を所定の記憶領域に記憶させることができる。また、他の例として、制御部１４０は、撮像部１１０などにより生成された画像の解析結果に基づいて、所定時間のレーン毎の交通量を算出してもよい。具体的には、制御部１４０は、車両の画像特徴量（例えば、画像上の大きさなど）から実空間上の車両の位置（走行レーン）を推定する既知の画像処理アルゴリズムを用いて、撮像部１１０などにより生成された画像に含まれる車両の走行レーンを特定することができる。そして、制御部１４０は、所定時間内に各レーンで特定された車両の数をそれぞれカウントすることによって、所定時間のレーン毎の交通量を算出することができる。なお、所定時間は任意に決定することができる。
　その他の例として、制御部１４０は、日付または時刻に応じて撮像部１１０のフォーカスを合わせるレーンを切り替えるように構成されていてもよい。具体的には、各レーンの交通量の変化を事前に調査した結果に基づいて、時間帯毎にフォーカスを合わせるべきレーンが決定される。そして、このように決定されたレーンを示す情報が時間帯を示す情報と紐付けられた状態で、例えば、メモリ２０３等に用意される。制御部１４０は、現在時刻を取得した上でメモリ２０３に用意された情報を参照し、現在時刻に対応するレーンにフォーカスを合わせる指示を、撮像部１１０に送信することができる。
　〔ハードウエア構成〕
　本実施形態のハードウエア構成は、第１実施形態と同様（例：図２および図３）である。本実施形態では、情報処理装置２０のストレージデバイス２０４は、上述の制御部１４０の機能を実現するプログラムモジュールを更に記憶している。情報処理装置２０のプロセッサ２０２がこのプログラムモジュールを実行することによって、上述の制御部１４０の機能が実現される。
　〔動作例〕
　図１１および図１２を用いて、本実施形態の乗員数検知システム１の処理の流れを説明する。図１１および図１２は、第１実施形態の乗員数検知システム１における処理の流れを例示するフローチャートである。図１１のフローチャートでは、制御部１４０が複数のレーンそれぞれの所定時間の交通量に基づいて、撮像部１１０のフォーカスを合わせるレーンを制御する流れが記載されている。また、図１２のフローチャートでは、制御部１４０が日付または時刻に応じて撮像部１１０のフォーカスを合わせるレーンを制御する流れが記載されている。
　まず、制御部１４０が複数のレーンそれぞれの所定時間の交通量に基づいて、撮像部１１０のフォーカスを合わせるレーンを制御する流れを説明する。
　まず、制御部１４０は、所定時間における各レーンの交通量を示す情報を取得する（Ｓ２０２）。制御部１４０は、例えば、撮像部１１０の画像を解析結果や、車両検知用センサ４０の出力信号に基づいて、所定時間毎の車両の通行数をレーン毎に集計することができる。また、制御部１４０は、図示しない外部装置と通信して、所定時間における各レーンの交通量を当該外部装置から取得してもよい。そして、制御部１４０は、Ｓ２０２の処理で取得した、所定時間における各レーンの交通量を比較して、所定時間において最も交通量の多いレーンを特定する（Ｓ２０４）。そして、制御部１４０は、Ｓ２０４の処理で特定されたレーンにフォーカスを合わせる制御指示を、撮像部１１０に向けて送信する（Ｓ２０６）。撮像部１１０は、制御部１４０からの制御指示に従ってフォーカス機構を制御して、制御指示で示されたレーンにフォーカスを合わせる（Ｓ２０８）。
　次に、制御部１４０が時間帯に応じて撮像部１１０のフォーカスを合わせるレーンを制御する流れを説明する。
　まず、制御部１４０は、図示しないＮＴＰ（Network Time Protocol）サーバと同期するなどして、現在時刻を取得する（Ｓ３０２）。そして、制御部１４０は、Ｓ３０２の処理で取得した現在時刻を基に、例えば図１３に示されるようなテーブルを参照して、フォーカスを合わせるべきレーンを特定する（Ｓ３０４）。図１３は、時間帯とフォーカスを合わせるべきレーンとを対応付けて記憶するテーブルの一例を示す図である。交通の状態は曜日や天候に影響を受け得るため、曜日別または天候別に複数のテーブルが用意されていてもよい。また、例えば、ゴールデンウィークやお盆時期といった長期休暇期間などには交通量が増加することが予想される。そこで、このような長期休暇期間時に利用されるテーブルが更に用意されていてもよい。そして、制御部１４０は、Ｓ３０４の処理で特定されたレーンにフォーカスを合わせる制御指示を、撮像部１１０に向けて送信する（Ｓ３０６）。撮像部１１０は、制御部１４０からの制御指示に従ってフォーカス機構を制御して、制御指示で示されたレーンにフォーカスを合わせる（Ｓ３０８）。その後、撮像部１１０によって各レーンを走行する車両の画像が生成されると、その画像に対して、第１実施形態の第２具体例で説明したような、被写体のボケを低減する補正処理が実行されてもよい。このとき、第１実施形態の第３具体例で説明したような、車両内の位置に応じた複数のパラメータを用いた補正処理が実行されてもよい。
　以上、本実施形態では、所定時間の交通量や日時または時刻別の交通量の統計に基づいて、撮像部１１０のフォーカスが交通量の多いレーンに合うように制御される。これにより、画像に対する補正処理の実行頻度を下げ、全体的な処理量を低減させることができる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。例えば、上述の各実施形態では、路側に撮像装置３０（撮像部１１０）が設けられる例を示したが、撮像装置３０は、図１４に示されるように、ガントリーなどに設けられていてもよい。この構成においても、車両が走行するレーンによって撮像装置３０から車両までの距離に違いが生じるため、被写体がボケて写る可能性がある。この場合に、上述の各実施形態で説明したように、車両が走行している位置に応じたパラメータを用いて、被写体のボケを低減する補正処理を実行して被写体が明確に写る補正画像を生成することによって、当該補正画像を基に車両の乗員数を正確にカウントすることができる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
　複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成する画像補正手段と、
　前記補正画像を用いて前記車両の乗員数をカウントするカウント手段と、
　を備える乗員数検知システム。
２．
　前記画像補正手段は、前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
　前記カウント手段は、前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
　１．に記載の乗員数検知システム。
３．
　前記画像補正手段は、前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
　１．または２．に記載の乗員数検知システム。
４．
　前記画像補正手段は、前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
　１．または２．に記載の乗員数検知システム。
５．
　前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部を備え、
　前記画像補正手段は、前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを用いて前記補正処理を実行する、
　１．乃至４．のいずれか１つに記載の乗員数検知システム。
６．
　前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
　１．乃至５．のいずれか１つに記載の乗員数検知システム。
７．
　前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
　１．乃至５．のいずれか１つに記載の乗員数検知システム。
８．
　前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
　１．乃至５．のいずれか１つに記載の乗員数検知システム。
９．
　日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
　１．乃至５．のいずれか１つに記載の乗員数検知システム。
１０．
　前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
　前記画像補正手段は、前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
　前記カウント手段は、前記複数の補正画像を用いて前記車両の乗員数をカウントする、
　１．乃至９．のいずれか１つに記載の乗員数検知システム。
１１．
　複数のレーンを有する道路を走行する車両を撮像する撮像手段と、
　前記車両までの距離を測定する距離測定手段と、
　前記撮像手段により生成された画像を処理する画像処理手段と、を備え
　前記画像処理手段は、前記距離測定手段から前記距離を示す情報を取得し、取得した前記情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
　乗員数検知システム。
１２．
　コンピュータが、
　複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成し、
　前記補正画像を用いて前記車両の乗員数をカウントする、
　ことを含む乗員数検知方法。
１３．
　前記コンピュータが、
　前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
　前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
　ことを含む１２．に記載の乗員数検知方法。
１４．
　前記コンピュータが、
　前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
　ことを含む１２．または１３．に記載の乗員数検知方法。
１５．
　前記コンピュータが、
　前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
　ことを含む１２．または１３．に記載の乗員数検知方法。
１６．
　前記コンピュータが、
　前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部から読み出し、読み出したパラメータを用いて前記補正処理を実行する、
　ことを含む１２．乃至１５．のいずれか１つに記載の乗員数検知方法。
１７．
　前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
　ことを含む１２．乃至１６．のいずれか１つに記載の乗員数検知方法。
１８．
　前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
　ことを含む１２．乃至１６．のいずれか１つに記載の乗員数検知方法。
１９．
　前記コンピュータが、
　前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える、
　ことを含む１２．乃至１６．のいずれか１つに記載の乗員数検知方法。
２０．
　前記コンピュータが、
　日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える、
　ことを含む１２．乃至１６．のいずれか１つに記載の乗員数検知方法。
２１．
　前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
　前記コンピュータが、
　前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
　前記複数の補正画像を用いて前記車両の乗員数をカウントする、
　ことを含む１２．乃至２０．のいずれか１つに記載の乗員数検知方法。
２２．
　コンピュータが、
　複数のレーンを有する道路を走行する車両を撮像し、
　前記車両までの距離を測定し、
　前記測定した距離を示す情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
　ことを含む乗員数検知方法。
２３．
　コンピュータに、１２．乃至２２．のいずれか１つに記載の乗員数検知方法を実行させるプログラム。
　この出願は、２０１７年７月１９日に出願された日本出願特願２０１７－１４０２２６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (23)

  1. 　複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成する画像補正手段と、
    　前記補正画像を用いて前記車両の乗員数をカウントするカウント手段と、
    　を備える乗員数検知システム。
  2. 　前記画像補正手段は、前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
    　前記カウント手段は、前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
    　請求項１に記載の乗員数検知システム。
  3. 　前記画像補正手段は、前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
    　請求項１または２に記載の乗員数検知システム。
  4. 　前記画像補正手段は、前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
    　請求項１または２に記載の乗員数検知システム。
  5. 　前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部を備え、
    　前記画像補正手段は、前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを用いて前記補正処理を実行する、
    　請求項１乃至４のいずれか１項に記載の乗員数検知システム。
  6. 　前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
    　請求項１乃至５のいずれか１項に記載の乗員数検知システム。
  7. 　前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
    　請求項１乃至５のいずれか１項に記載の乗員数検知システム。
  8. 　前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
    　請求項１乃至５のいずれか１項に記載の乗員数検知システム。
  9. 　日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
    　請求項１乃至５のいずれか１項に記載の乗員数検知システム。
  10. 　前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
    　前記画像補正手段は、前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
    　前記カウント手段は、前記複数の補正画像を用いて前記車両の乗員数をカウントする、
    　請求項１乃至９のいずれか１項に記載の乗員数検知システム。
  11. 　複数のレーンを有する道路を走行する車両を撮像する撮像手段と、
    　前記車両までの距離を測定する距離測定手段と、
    　前記撮像手段により生成された画像を処理する画像処理手段と、を備え
    　前記画像処理手段は、前記距離測定手段から前記距離を示す情報を取得し、取得した前記情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
    　乗員数検知システム。
  12. 　コンピュータが、
    　複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成し、
    　前記補正画像を用いて前記車両の乗員数をカウントする、
    　ことを含む乗員数検知方法。
  13. 　前記コンピュータが、
    　前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
    　前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
    　ことを含む請求項１２に記載の乗員数検知方法。
  14. 　前記コンピュータが、
    　前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
    　ことを含む請求項１２または１３に記載の乗員数検知方法。
  15. 　前記コンピュータが、
    　前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
    　ことを含む請求項１２または１３に記載の乗員数検知方法。
  16. 　前記コンピュータが、
    　前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部から読み出し、読み出したパラメータを用いて前記補正処理を実行する、
    　ことを含む請求項１２乃至１５のいずれか１項に記載の乗員数検知方法。
  17. 　前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
    　ことを含む請求項１２乃至１６のいずれか１項に記載の乗員数検知方法。
  18. 　前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
    　ことを含む請求項１２乃至１６のいずれか１項に記載の乗員数検知方法。
  19. 　前記コンピュータが、
    　前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える、
    　ことを含む請求項１２乃至１６のいずれか１項に記載の乗員数検知方法。
  20. 　前記コンピュータが、
    　日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える、
    　ことを含む請求項１２乃至１６のいずれか１項に記載の乗員数検知方法。
  21. 　前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
    　前記コンピュータが、
    　前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
    　前記複数の補正画像を用いて前記車両の乗員数をカウントする、
    　ことを含む請求項１２乃至２０のいずれか１項に記載の乗員数検知方法。
  22. 　コンピュータが、
    　複数のレーンを有する道路を走行する車両を撮像した画像を取得し、
    　前記車両までの距離を測定し、
    　前記測定した距離を示す情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
    　ことを含む乗員数検知方法。
  23. 　コンピュータに、請求項１２乃至２２のいずれか１項に記載の乗員数検知方法を実行させるプログラム。
PCT/JP2017/038639 2017-07-19 2017-10-26 乗員数検知システム、乗員数検知方法、およびプログラム WO2019016971A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/631,535 US11482018B2 (en) 2017-07-19 2017-10-26 Number-of-occupants detection system, number-of-occupants detection method, and program
JP2019530354A JP6820074B2 (ja) 2017-07-19 2017-10-26 乗員数検知システム、乗員数検知方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-140226 2017-07-19
JP2017140226 2017-07-19

Publications (1)

Publication Number Publication Date
WO2019016971A1 true WO2019016971A1 (ja) 2019-01-24

Family

ID=65015584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038639 WO2019016971A1 (ja) 2017-07-19 2017-10-26 乗員数検知システム、乗員数検知方法、およびプログラム

Country Status (3)

Country Link
US (1) US11482018B2 (ja)
JP (1) JP6820074B2 (ja)
WO (1) WO2019016971A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020191508A (ja) * 2019-05-20 2020-11-26 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 車両監視システムおよび車両監視方法
CN112270206A (zh) * 2020-09-25 2021-01-26 桂林理工大学 车辆检测计数方法、系统、储存介质及计算机设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017444732B2 (en) * 2017-12-28 2022-04-07 Nec Corporation Information processing apparatus, information processing method, and program
JP6995720B2 (ja) * 2018-09-11 2022-01-17 本田技研工業株式会社 表示システム、表示制御方法、およびプログラム
US11308316B1 (en) * 2021-09-02 2022-04-19 Invision Ai, Inc. Road side vehicle occupancy detection system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010224712A (ja) * 2009-03-23 2010-10-07 Mitsubishi Electric Corp 交通流計測装置
WO2014061195A1 (ja) * 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4389371B2 (ja) * 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
US6578869B2 (en) * 2001-03-26 2003-06-17 Trw Inc. Vehicle occupant position sensor utilizing image focus attributes
DE10202163A1 (de) 2002-01-22 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bildverarbeitung sowie Nachtsichtsystem für Kraftfahrzeuge
ATE321689T1 (de) * 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US20080294012A1 (en) * 2007-05-22 2008-11-27 Kurtz Andrew F Monitoring physiological conditions
US20090195651A1 (en) * 2008-01-31 2009-08-06 Leonard Robert C Method of providing safety enforcement for school buses
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US20130314536A1 (en) * 2009-03-02 2013-11-28 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9998697B2 (en) * 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10091439B2 (en) * 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US20130278771A1 (en) * 2011-06-10 2013-10-24 Flir Systems, Inc. Systems and methods for monitoring vehicle wheel assembly
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
US20170257414A1 (en) * 2012-01-26 2017-09-07 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
US8731245B2 (en) * 2012-03-07 2014-05-20 Xerox Corporation Multiple view transportation imaging systems
JP6074182B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
JP6089577B2 (ja) * 2012-10-19 2017-03-08 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6281492B2 (ja) 2012-10-26 2018-02-21 日本電気株式会社 乗車人数計測装置、方法およびプログラム
US9036040B1 (en) * 2012-12-20 2015-05-19 United Services Automobile Association (Usaa) Vehicle identification number capture
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US9083850B1 (en) * 2013-06-29 2015-07-14 Securus Technologies, Inc. Video blurring in a secure environment
JP6224362B2 (ja) * 2013-07-05 2017-11-01 シャープ株式会社 撮像装置
WO2015099135A1 (ja) * 2013-12-26 2015-07-02 ホヤ レンズ タイランド リミテッド 累進屈折力レンズを製造するための方法、プログラム及び装置並びに累進屈折力レンズの製造方法及びレンズ供給システム
US9633267B2 (en) * 2014-04-04 2017-04-25 Conduent Business Services, Llc Robust windshield detection via landmark localization
US10311722B2 (en) * 2014-04-14 2019-06-04 Licensys Australasia Pty Ltd Vehicle identification and/or monitoring system
JP6577703B2 (ja) * 2014-08-05 2019-09-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US9710729B2 (en) * 2014-09-04 2017-07-18 Xerox Corporation Domain adaptation for image classification with class priors
KR20160036242A (ko) * 2014-09-25 2016-04-04 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법
KR101822890B1 (ko) * 2015-01-22 2018-01-29 엘지전자 주식회사 차량의 전방 촬영 카메라 모듈
EP3295298A4 (en) * 2015-05-14 2018-11-21 Gatekeeper Inc. Apparatus, systems and methods for enhanced visual inspection of vehicle interiors
US10878249B2 (en) * 2015-10-07 2020-12-29 Accenture Global Solutions Limited Border inspection with aerial cameras
US10068171B2 (en) * 2015-11-12 2018-09-04 Conduent Business Services, Llc Multi-layer fusion in a convolutional neural network for image classification
US10690495B2 (en) * 2016-03-14 2020-06-23 Canon Kabushiki Kaisha Ranging apparatus and moving object capable of high-accuracy ranging
US9918042B2 (en) * 2016-04-29 2018-03-13 Getgo, Inc. Performing electronic conferencing operations using electronic portals at different locations
US10068140B2 (en) * 2016-12-02 2018-09-04 Bayerische Motoren Werke Aktiengesellschaft System and method for estimating vehicular motion based on monocular video data
US20180270413A1 (en) * 2017-03-15 2018-09-20 Kabushiki Kaisha Toshiba Processing apparatus and processing system
US9953210B1 (en) * 2017-05-30 2018-04-24 Gatekeeper Inc. Apparatus, systems and methods for improved facial detection and recognition in vehicle inspection security systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010224712A (ja) * 2009-03-23 2010-10-07 Mitsubishi Electric Corp 交通流計測装置
WO2014061195A1 (ja) * 2012-10-19 2014-04-24 日本電気株式会社 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020191508A (ja) * 2019-05-20 2020-11-26 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 車両監視システムおよび車両監視方法
JP7444423B2 (ja) 2019-05-20 2024-03-06 ｉ－ＰＲＯ株式会社 車両監視システムおよび車両監視方法
CN112270206A (zh) * 2020-09-25 2021-01-26 桂林理工大学 车辆检测计数方法、系统、储存介质及计算机设备
CN112270206B (zh) * 2020-09-25 2022-09-13 桂林理工大学 车辆检测计数方法、系统、储存介质及计算机设备

Also Published As

Publication number Publication date
US11482018B2 (en) 2022-10-25
US20200234067A1 (en) 2020-07-23
JPWO2019016971A1 (ja) 2020-07-27
JP6820074B2 (ja) 2021-01-27

Similar Documents

Publication Publication Date Title
JP6820074B2 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
US9846802B2 (en) Passenger counting system, passenger counting method and passenger counting program
JP5482737B2 (ja) 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
JP6820075B2 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
US11283995B2 (en) Image display apparatus
US9798936B2 (en) System and method for detecting obstacles using a single camera
EP3199914B1 (en) Imaging device
US20190135197A1 (en) Image generation device, image generation method, recording medium, and image display system
JP7048157B2 (ja) 解析装置、解析方法及びプログラム
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
US20060115144A1 (en) Image information processing system, image information processing method, image information processing program, and automobile
JP2016111509A (ja) 車両用画像処理装置、車両用画像処理方法およびプログラム
JP2006221467A (ja) 視界不良評価方法および視界不良評価装置
JP2018103974A (ja) 画像表示制御装置
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
JP2011209070A (ja) 画像処理装置
JP4661578B2 (ja) 移動体認識装置
JP6169446B2 (ja) 視線検出装置
JP2012167983A (ja) 霧検出装置
JP2015207879A (ja) 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置
JPWO2020059064A1 (ja) 算出装置、情報処理方法およびプログラム
JP2019020171A (ja) 車幅検出装置、車幅検出方法、およびプログラム
US20240015269A1 (en) Camera system, method for controlling the same, storage medium, and information processing apparatus
US20240112307A1 (en) Image processing device and image display device
JP2022123912A (ja) 視線検出装置、視線検出システム、及び視線検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17918416

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019530354

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17918416

Country of ref document: EP

Kind code of ref document: A1