WO2019016971A1 - 乗員数検知システム、乗員数検知方法、およびプログラム - Google Patents
乗員数検知システム、乗員数検知方法、およびプログラム Download PDFInfo
- Publication number
- WO2019016971A1 WO2019016971A1 PCT/JP2017/038639 JP2017038639W WO2019016971A1 WO 2019016971 A1 WO2019016971 A1 WO 2019016971A1 JP 2017038639 W JP2017038639 W JP 2017038639W WO 2019016971 A1 WO2019016971 A1 WO 2019016971A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- vehicle
- occupants
- distance
- lanes
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 238000003384 imaging method Methods 0.000 claims abstract description 123
- 238000000034 method Methods 0.000 claims abstract description 91
- 238000012937 correction Methods 0.000 claims abstract description 83
- 230000008569 process Effects 0.000 claims abstract description 66
- 238000003702 image correction Methods 0.000 claims abstract description 63
- 238000005259 measurement Methods 0.000 claims description 10
- 238000005311 autocorrelation function Methods 0.000 claims description 7
- 230000010365 information processing Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 238000009434 installation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- FKOQWAUFKGFWLH-UHFFFAOYSA-M 3,6-bis[2-(1-methylpyridin-1-ium-4-yl)ethenyl]-9h-carbazole;diiodide Chemical compound [I-].[I-].C1=C[N+](C)=CC=C1C=CC1=CC=C(NC=2C3=CC(C=CC=4C=C[N+](C)=CC=4)=CC=2)C3=C1 FKOQWAUFKGFWLH-UHFFFAOYSA-M 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/431—Frequency domain transformation; Autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Definitions
- the present invention relates to a technology for determining the number of occupants of a vehicle.
- HEV high-occupancy vehicle
- HET high-occupancy toll
- Patent Document 1 and Patent Document 2 disclose a technology for detecting the number of occupants of a vehicle by acquiring an image including the vehicle as a subject by an imaging device installed beside the road and analyzing the image. There is.
- An object of the present invention is to provide a technology that makes it possible to detect the number of occupants of a vehicle using images captured by a single camera for a plurality of lanes.
- Image correction means for generating a corrected image based on the image by executing the method Counting means for counting the number of occupants of the vehicle using the corrected image;
- An occupant detection system is provided.
- the computer is A correction process for reducing the blur of an object captured in the image, using a parameter according to the position where the vehicle travels, with respect to the image generated by the imaging means for imaging a vehicle traveling on a road having a plurality of lanes Generating to generate a corrected image based on the image, Counting the number of occupants of the vehicle using the corrected image; A method for detecting the number of passengers including the
- the present invention it is possible to detect the number of occupants of a vehicle using images captured by a single camera for a plurality of lanes.
- FIG. 2 is a diagram schematically showing a hardware configuration of a passenger count detection system, and a block diagram conceptually showing a hardware configuration of an information processing apparatus.
- FIG. 2 is a diagram schematically showing a hardware configuration of a passenger count detection system, and a block diagram conceptually showing a hardware configuration of an information processing apparatus.
- It is a flowchart which illustrates the flow of the process in the passenger
- each block diagram represents a configuration of a function unit, not a configuration of a hardware unit, unless otherwise described.
- FIG. 1 is a block diagram conceptually showing the functional configuration of the number of occupants detection system 1 of the first embodiment.
- the number of occupants detection system 1 includes an imaging unit 110, an image correction unit 120, and a counting unit 130.
- the imaging unit 110 is an imaging device such as a camera.
- the imaging unit 110 captures an image of a vehicle traveling on a road having a plurality of lanes, and generates an image including the vehicle and an occupant of the vehicle as a subject.
- the imaging unit 110 can include a vehicle in the imaging range by, for example, interlocking with a sensor for vehicle detection (not shown).
- the imaging unit 110 may be configured to continuously image the vehicle at a predetermined frame rate to generate a plurality of images in order to enable the number of occupants of the vehicle to be accurately grasped.
- the image correction unit 120 acquires an image generated by the imaging unit 110. Then, the image correction unit 120 performs a correction process on the image generated by the imaging unit 110 to reduce the blur of the subject appearing in the image, and generates a corrected image based on the image.
- This correction process is a process using a so-called blur correction (Deblur) technique, and can be realized, for example, using the techniques disclosed in the following documents [1] and [2].
- the image correction unit 120 can correct, for example, the blur of the subject due to the out-of-focus and the motion blur (the blur in the traveling direction of the vehicle) of the subject. [1] TSUMURAYA, F., MIURA, N., AND BABA, N. 1994.
- the counting unit 130 uses the corrected image generated by the image correcting unit 120 to count the number of occupants of the vehicle as the subject of the corrected image. For example, the counting unit 130 can count the number of occupants of a vehicle based on an image including the vehicle as a subject by using the technology disclosed in Patent Document 1 or Patent Document 2 described above.
- the image correction unit 120 and the count unit 130 can be collectively referred to as an image processing unit.
- crew number detection system 1 which concerns on this invention does not provide imaging part 110, such as a camera, for every lane.
- the imaging unit 110 may not focus on the subject (vehicle and occupant) traveling, and an image in which the subject is blurred may be produced. There is sex. Therefore, as described in the present embodiment, the correction process for reducing the blur of the subject is performed using the parameter corresponding to the position where the vehicle is traveling. Thereby, the subject blurred due to the distance from the focus distance of the imaging unit 110 becomes clear.
- the correction process for reducing the blur of the subject does not necessarily have to be as accurate as it can be used for personal identification, for example, and has an accuracy that allows discrimination between a person (for example, a person's face portion) and other areas. It is enough if secured. Then, using the image corrected in this manner, a process of counting the number of occupants of the vehicle included as a subject in the image is performed. With such a configuration, it is possible to detect the number of occupants of a vehicle with a single imaging device targeting a plurality of lanes. In addition, the number of imaging devices required in the system can be reduced, the effect of alleviating restrictions on the installation environment (for example, the area of land, etc.) and the effect of reducing the cost required for the system can be expected.
- Each functional component of the occupant count detection system 1 may be realized by hardware (for example, a hard-wired electronic circuit or the like) that realizes each functional component, or a combination of hardware and software (for example, : It may be realized by a combination of an electronic circuit and a program for controlling it.
- hardware for example, a hard-wired electronic circuit or the like
- software for example, : It may be realized by a combination of an electronic circuit and a program for controlling it.
- FIG. 2 is a diagram conceptually showing the system configuration of the number of occupants detection system 1.
- the occupant count detection system 1 includes an information processing device 20, an imaging device 30, a vehicle detection sensor 40, and a light projector 50. Further, to the information processing device 20, a display device 22 for displaying the result of counting the number of occupants by the counting unit 130 is connected.
- the imaging device 30 corresponds to the imaging unit 110 of the number of occupants detection system 1.
- the imaging device 30 is connected to the information processing device 20 via a network. Although not illustrated, a plurality of imaging devices 30 installed in different places can be connected to the information processing device 20.
- the vehicle detection sensor 40 is a sensor for detecting a vehicle V that is about to pass in front of the imaging device 30 (for measuring the timing of taking an image).
- the vehicle detection sensor 40 may be provided separately from the imaging device 30, or may be incorporated in the imaging device 30.
- the light projector 50 is provided to clearly capture a person in the vehicle.
- the light projector 50 may be provided separately from the imaging device 30, or may be incorporated in the imaging device 30.
- the light projector 50 irradiates light (for example, an infrared ray or the like) to the vehicle V which is a subject in conjunction with the imaging timing of the imaging device 30.
- one projector 50 common to a plurality of lanes may be provided, or a dedicated projector 50 may be provided to each of the plurality of lanes. In the latter case, all the light projectors 50 may be controlled to emit light in response to the detection of the vehicle V by the vehicle detection sensor 40, or to the vehicle V measured by the vehicle detection sensor 40.
- the projectors 50 of the lanes corresponding to the distance of may be controlled to emit light.
- FIG. 3 is a block diagram conceptually showing the hardware configuration of the information processing apparatus 20.
- the information processing apparatus 20 includes a bus 201, a processor 202, a memory 203, a storage device 204, an input / output interface 205, and a network interface 206.
- the bus 201 is a data transmission path through which the processor 202, the memory 203, the storage device 204, the input / output interface 205, and the network interface 206 mutually transmit and receive data.
- the method of connecting the processor 202, the memory 203, the storage device 204, the input / output interface 205, the network interface 206, etc. to one another is not limited to the bus connection.
- the processor 202 is an arithmetic device such as a central processing unit (CPU) or a graphics processing unit (GPU).
- the memory 203 is a main storage device implemented using a random access memory (RAM), a read only memory (ROM), and the like.
- the storage device 204 is an auxiliary storage device implemented using a hard disk drive (HDD), a solid state drive (SSD), a memory card, and the like.
- the storage device 204 stores a program module for realizing the image correction unit 120 and the count unit 130, and a program module for realizing a function of acquiring an image generated by the imaging device 30.
- the processor 202 reads out each program module into the memory 203 and executes the program module to realize functions corresponding to each program module.
- the input / output interface 205 is an interface for connecting the information processing apparatus 20 and peripheral devices.
- a device display device 22 for display output such as a liquid crystal display (LCD) or a cathode ray tube (CRT) display, a device for input such as a keyboard or a mouse, or a touch panel in which these are integrated
- the information processing apparatus 20 can be connected via the input / output interface 205.
- the network interface 206 is an interface for connecting the information processing apparatus 20 to various networks such as a local area network (LAN) and a wide area network (WAN). As shown in FIG. 2, the information processing device 20 can be connected to a network via the network interface 206 to communicate with the imaging device 30 and other terminals (not shown). For example, the information processing device 20 can communicate with the imaging device 30 via the network interface 206 and can acquire an image generated by the imaging device 30. Further, in this case, the information processing apparatus 20 is communicably connected to an information processing apparatus (not shown) for the administrator via the network interface 206. Then, the detection result of the number of occupants by the counting unit 130 is transmitted to the information processing apparatus (not shown) for the manager.
- the method of connecting the information processing apparatus 20 to various networks may be wireless connection or wired connection.
- FIGS. 2 and 3 are merely examples, and the hardware configuration of the present invention is not limited to the examples of FIGS. 2 and 3.
- the information processing device 20 and the imaging device 30 may be integrated.
- FIG. 4 is a flowchart illustrating the flow of processing in the number of occupants detection system 1 according to the first embodiment.
- the imaging unit 110 images a vehicle traveling on a road, and generates an image including the vehicle as a subject (S102).
- the imaging unit 110 can detect the presence of a vehicle attempting to pass in front of the imaging unit 110 based on the output signal from the vehicle detection sensor 40, and can determine the timing for taking an image. .
- the image correction unit 120 determines parameters used in the correction process on the image generated in the process of S102 (S104).
- the image correction unit 120 is, for example, based on an output signal (information indicating the distance to the vehicle) from a distance measurement unit (not shown) that measures the distance to the vehicle, the vehicle included as a subject in the image It is possible to identify the running lane and to determine the parameters used for the correction process.
- the image correction unit 120 may use the vehicle detection sensor 40 as the above-described distance measurement unit.
- a distance sensor or the like for measuring the distance to the vehicle is provided as a distance measuring means separately from the vehicle detection sensor 40, and the image correction unit 120 uses the output signal from the distance sensor to detect the lane on which the vehicle is traveling. May be identified.
- the image correction unit 120 identifies the lane in which the vehicle is traveling by referring to a table as shown in FIG. 5 based on the distance measured by the distance measurement means, and performs correction processing. You can decide which parameters to use.
- FIG. 5 is a diagram showing an example of a table used when the image correction unit 120 determines parameters for correction processing.
- FIG. 5 illustrates a table in which the distance to the vehicle, information (lane identification information) indicating each of the plurality of lanes, and the correction processing parameter are stored in association with each other.
- the "distance to vehicle" itself can be used instead of the lane identification information.
- the "lane identification information” exemplified in FIG. 5 may not be present.
- the image correction unit 120 can identify a corresponding row from the table based on the distance to the vehicle indicated by the information acquired from the distance measurement unit, and read out the correction processing parameter stored in the row.
- the image correction unit 120 identifies the lane in which the vehicle is traveling as the “central lane”. Then, it is possible to read out the correction processing parameter associated with the "center lane”.
- the image correction unit 120 may determine the parameter according to the distance to the vehicle measured by the distance measurement unit without specifying the lane in which the vehicle is traveling.
- the image correction unit 120 acquires information indicating the distance from the distance measurement means to the vehicle, and uses a function that calculates parameters with the distance as an argument, and a table that stores corresponding parameters defined for each distance. The parameter according to the distance which the information acquired from the distance measurement means shows can be determined.
- the image correction unit 120 can also determine the degree of blurring of the image by analyzing the image generated by the imaging unit 110, and determine the parameters according to the degree of blurring of the image. For example, the image correction unit 120 can obtain information on spatial frequency of an image by analysis, and determine a correction parameter based on the information.
- the image correction unit 120 transforms the blur function of the image into a spatial frequency component by Fourier transform. It can be decomposed to derive a Wiener filter for blur reduction as shown in the following equation.
- H indicates the Fourier transform of the blur function of the image
- H * indicates the complex conjugate of the Fourier transform H
- ⁇ indicates a constant determined by the SN (Signal to Noise) ratio of the image signal.
- the above equation is stored, for example, in a predetermined storage area such as the memory 203 or the storage device 204, and the image correction unit 120 can read the equation from the storage area to determine the parameter.
- the image correction unit 120 can obtain information indicating the blur of the subject calculated using an autocorrelation function as information indicating the degree of blur of the image, and can determine the parameter for the correction process. .
- the image correction unit 120 substitutes the direction and amount of blurring of the object in the image that can be calculated using the autocorrelation function, using a predetermined function that derives a parameter that cancels out the blurring.
- the parameters of can be determined.
- the above-described function is stored in a predetermined storage area such as the memory 203 or the storage device 204, for example, and the image correction unit 120 can read the function from the storage area to determine a parameter.
- the image correction unit 120 uses the method described above for each vehicle, and performs correction processing according to the position of each vehicle.
- the parameters for can be determined. For example, it is assumed that an image including two vehicles (first and second vehicles) traveling on different lanes as objects is generated by the imaging unit 110.
- the image correction unit 120 can determine a plurality of different parameters corresponding to the lane or position where each vehicle is traveling or the degree of blur of each vehicle as the parameters used for the correction process. Specifically, the image correction unit 120 determines a first parameter for reducing the blur of the first vehicle based on the position where the first vehicle travels, and the second vehicle travels.
- a second parameter for reducing blurring of the second vehicle is determined. Further, when three or more vehicles traveling on different lanes are captured in the image, the image correction unit 120 can determine three or more parameters.
- the image correction unit 120 may use a known image processing algorithm for recognizing an object (vehicle) on the image, and an image feature amount (for example, a size on the image) of the vehicle. It is possible to determine that a plurality of vehicles traveling on different lanes are included in the image using known image processing algorithms that estimate the position of the upper vehicle (traveling lane).
- the image correction unit 120 compares the timing when the vehicle detection sensor 40 detects a plurality of vehicles with the timing of shooting by the imaging device 30 (imaging unit 110) and the imaging range of the imaging device 30. It is possible to determine whether or not a plurality of vehicles are included in the image generated by the photographing.
- the image correction unit 120 executes a correction process for reducing the blur of the subject on the image generated in the process of S102 (S106).
- the image correction unit 120 executes correction processing on the image acquired in S102 using the respective parameters, and a plurality of corrections are performed according to the respective parameters.
- the image correction unit 120 can generate three or more correction images using three or more parameters.
- the counting unit 130 processes the corrected image generated in the process of S106 and counts the number of occupants of the vehicle (S108).
- the counting unit 130 processes the plurality of correction images to count the number of occupants of the vehicle.
- an image including two vehicles (first and second vehicles) traveling on different lanes as subjects is acquired, and the first vehicle is blurred. It is assumed that a first corrected image with reduced and a second corrected image with reduced blurring of the second vehicle are generated.
- the counting unit 130 can count the number of occupants of the first vehicle using the first corrected image, and can count the number of occupants of the second vehicle using the second corrected image.
- the image correction unit 120 counts the number of occupants of each vehicle using three or more correction images. Can.
- the counting unit 130 outputs the result of counting the number of occupants of the vehicle (S110).
- the counting unit 130 can display a screen as illustrated in FIG. 6 on the display device 22 connected to the information processing device 20.
- FIG. 6 is a diagram showing an example of a screen on which the counting result of the number of occupants by the counting unit 130 is output.
- FIG. 6 exemplifies a screen that displays the number of occupants of the vehicle counted by the counting unit 130 together with the number plate of the license plate of the vehicle.
- the number plate of the license plate of the vehicle can be acquired as text information or the like by analyzing an image in which the license plate of the vehicle is captured, which is captured by the imaging unit 110 or another imaging device (not shown).
- the counting unit 130 uses the number of occupants in the information of the number of occupants of the vehicle. May include specific additional information indicating that the number is less than the prescribed number. Whether the number of occupants of the vehicle is equal to or greater than the prescribed number is, for example, by comparing the information regarding the prescribed number of people stored in advance in the memory 203 with the number of occupants of the vehicle counted based on the image Can be determined. Then, the information processing apparatus 20 adds a predetermined mark M as shown in FIG.
- the information processing apparatus 20 may display information on a vehicle whose number of occupants is less than a predetermined value by distinguishing it from information on other vehicles by changing a character color, a background color, and the like according to the presence or absence of additional information. it can. According to such a screen, the manager can easily grasp the presence of a vehicle traveling with the number of crew members less than the prescribed number of people in the HOV lane or the HOT lane.
- information processing device 20 when additional information is added to the result of counting the number of occupants output from counting section 130, information processing device 20 is configured to update the display of the screen and output a predetermined buzzer sound. It may be As a result, a person who operates the information processing apparatus 20 can easily notice the presence of a vehicle traveling on the HOV lane or the HOT lane with the number of occupants less than the prescribed number.
- the focus distance of the imaging unit 110 is at the central portion of the plurality of lanes (for example, lane boundary portion if the number of lanes is even, lane located at the center if the number of lanes is odd)
- the maximum value of the amount of blur of the vehicle shown in the image is suppressed, so that it is possible to reduce the processing amount of the overall blur correction processing.
- the focus of the imaging unit 110 is fixed to the central portion (for example, lane boundary) of the two lanes is exemplified. explain. FIG.
- FIG. 7 is a diagram conceptually showing the configuration of the first specific example.
- the shaded area in FIG. 7 indicates the focus distance (depth of field DOF) of the imaging device 30 (imaging unit 110). An object located outside the depth of field DOF is captured in a blurred state.
- two parameters for correction processing optimized for each of two lanes are prepared in the memory 203 in advance.
- the parameter for correction processing corresponding to each of the two lanes can be determined based on, for example, the difference between the average traveling position of the vehicle in each lane and the focus distance of the imaging unit 110.
- the parameter of the lane on the back side with respect to the position of the imaging unit 110 is a parameter that cancels out the blurring of the image caused by the position of the object being behind the focus position (near the lane boundary) Prepared as.
- the parameters of the lane on the front side with respect to the position of the imaging unit 110 are prepared as parameters for canceling out the blurring of the image caused by the position of the object being on the front side of the focused position (near the lane boundary). Ru.
- the imaging unit 110 is not focused on either lane. Therefore, even if the vehicle travels on either lane, the contour of the subject (vehicle and the occupant of the vehicle) may be blurred in the image generated by the imaging unit 110.
- the amount of blurring (the degree of blurring) can be reduced as compared with the case where one of the lanes is focused. For example, when the vehicle travels in the first lane, the center boundary (that is, the central portion of a plurality of lanes) is more than when the focus distance of the imaging unit 110 is adjusted to the other second lane. The deviation from the focus distance of the imaging unit 110 is smaller when it is adjusted to the vicinity. As a result, the amount of blurring of the subject in the image is reduced. This has the advantage that the image acquired by the imaging unit 110 can be clearly corrected with a small amount of processing.
- FIG. 8 is a diagram conceptually showing the configuration of the second specific example.
- the shaded area in FIG. 8 indicates the focus distance (depth of field DOF) of the imaging device 30 (imaging unit 110). An object located outside the depth of field DOF is captured in a blurred state.
- the lane to which the focus of the imaging unit 110 is fixed can be determined based on, for example, the statistical value of the traffic volume of each lane.
- the image correction unit 120 performs processing to confirm whether the subject (vehicle or the occupant of the vehicle) is blurred. .
- the image correction unit 120 can determine whether or not the image is blurred, for example, by the following process. As an example, when the image correction unit 120 decomposes the image generated by the imaging unit 110 into spatial frequency components by Fourier transform, if a distribution with few low frequency components and many high frequency components is obtained, It can be determined that is not blurred.
- the image correction unit 120 can determine that the image is not blurred when the full width at half maximum of the autocorrelation function of the image is equal to or less than a predetermined threshold.
- a blur function for example, a point spread function etc.
- an impulse that is, a delta function
- a waveform function close to the impulse half width is less than a predetermined threshold
- the subject may be blurred due to the difference in the seat position of the vehicle.
- the amount of deviation from the focus distance of the imaging unit 110 differs between the seat position on the driver's seat side and the seat position on the passenger seat side.
- the degree of blurring of the contour of the subject changes depending on the difference in the amount of deviation from the focus distance.
- a case is shown in which the correction process is performed using the parameter in consideration of the difference.
- the parameter corresponding to the position used by the image correction unit 120 for the correction process is configured by a plurality of parameters corresponding to the position in the vehicle.
- the parameter for correction processing is a first in-vehicle position parameter for reducing the blur of the subject in the image based on the driver's seat side, and reduces the blur of the subject in the image based on the passenger seat side And a second in-vehicle position parameter.
- the image correction unit 120 when the image correction unit 120 specifies a lane in which the vehicle is traveling, the image correction unit 120 reads a parameter set (a first in-vehicle position parameter and a second in-vehicle position parameter) corresponding to the lane.
- This parameter set is stored, for example, in the memory 203 or the storage device 204.
- the image correction unit 120 performs a correction process on the image using each of the read first in-vehicle position parameter and the read second in-vehicle position parameter.
- a plurality of corrected images based on the plurality of parameters corresponding to the in-vehicle position are generated for one image captured at a certain timing.
- the counting unit 130 counts the number of occupants of the vehicle using a plurality of images generated using the first in-vehicle position parameter and the second in-vehicle position parameter described above.
- the counting unit 130 can count the number of occupants of the vehicle using a plurality of correction images as described below. First, the counting unit 130 counts the number of occupants for each of a plurality of correction images generated by correcting one image captured at a certain timing based on the correction processing parameter according to the position in the vehicle. Do. Next, the counting unit 130 integrates the number of occupants counted using each corrected image to determine the final number of occupants of the vehicle counted from one image.
- the counting unit 130 has substantially the same position (a plurality of correction images In the case where the difference in position between them is equal to or less than a predetermined threshold), these persons are judged as the same person and counted as one person.
- the counting unit 130 has different positions (plurality When the difference in position between the corrected images in (1) exceeds a predetermined threshold), these persons are determined as different persons and counted separately.
- the image correction unit 120 detects the reference position and the reference direction of the vehicle from each of the plurality of corrected images, and the detected reference position is the origin, and the detected reference direction is the x axis direction and the y axis direction.
- the two-dimensional coordinate system can be determined for each image to determine the positional relationship of a person between a plurality of corrected images.
- FIG. 9 is a view showing an example of a vehicle coordinate system set to the corrected image F generated by the image correction unit 120. As shown in FIG.
- the rear end of the bumper attached to the back of the body of the vehicle is taken as the reference point, and the longitudinal direction and height direction of the vehicle are taken as the reference direction.
- a vehicle coordinate system is defined in which the rear end of the bumper is the origin, the longitudinal direction of the vehicle is the x axis, and the height direction is the y axis.
- the reference point and the reference direction are not limited to the illustrated example.
- the reference position may be a predetermined portion such as a front pillar, a center pillar, a rear pillar, a side mirror, or the like.
- the reference direction may be set to any direction on the image.
- the image correction unit 120 can specify the position coordinates of the person area B detected from the image in the vehicle coordinate system as illustrated.
- a plurality of correction images are generated by performing correction processing on an image using a plurality of parameters in consideration of differences in seat positions in a vehicle.
- FIG. 10 is a block diagram conceptually showing the functional configuration of the number of occupants detection system 1 of the second embodiment. As shown in FIG. 10, the number of occupants detection system 1 of this embodiment further includes a control unit 140 in addition to the configuration of the first embodiment.
- control unit 140 can switch the lane in which the imaging unit 110 is focused based on the traffic volume for a predetermined time of each of the plurality of lanes.
- the control unit 140 can calculate the traffic volume for a predetermined time for each lane using the image generated by the imaging unit 110, the output of the vehicle detection sensor 40, or the like.
- the control unit 140 can calculate the traffic volume for each lane for a predetermined time as follows, using the distance to the vehicle measured using the vehicle detection sensor 40 or the like. First, the control unit 140 refers to a predetermined table (example: FIG. 5) that defines the correspondence between the distance to the vehicle and the traveling lane, and identifies the lane in which the vehicle is traveling.
- a predetermined table (example: FIG. 5) that defines the correspondence between the distance to the vehicle and the traveling lane, and identifies the lane in which the vehicle is traveling.
- control unit 140 accumulates the number of times each lane is specified in a predetermined storage area such as the memory 203.
- information indicating the traffic volume for each lane for a predetermined time can be stored in a predetermined storage area.
- control unit 140 may calculate the traffic volume for each lane for a predetermined time based on the analysis result of the image generated by the imaging unit 110 or the like. Specifically, the control unit 140 captures an image using a known image processing algorithm that estimates the position (traveling lane) of the vehicle in the real space from the image feature amount (for example, the size on the image) of the vehicle. A traveling lane of the vehicle included in the image generated by the unit 110 or the like can be identified. And the control part 140 can calculate the traffic volume for every lane of predetermined time by counting the number of vehicles specified by each lane within predetermined time, respectively. The predetermined time can be determined arbitrarily.
- control unit 140 may be configured to switch lanes to focus the imaging unit 110 according to date or time. Specifically, the lane to be focused for each time zone is determined based on the result of examining in advance the change in traffic volume of each lane. Then, the information indicating the lane determined in this manner is prepared in, for example, the memory 203 or the like in a state in which the information indicating the time zone is linked. After acquiring the current time, the control unit 140 can transmit an instruction to focus on the lane corresponding to the current time to the imaging unit 110 by referring to the information prepared in the memory 203.
- the hardware configuration of this embodiment is the same as that of the first embodiment (example: FIGS. 2 and 3).
- the storage device 204 of the information processing apparatus 20 further stores a program module for realizing the function of the control unit 140 described above.
- the processor 202 of the information processing apparatus 20 executes the program module to realize the function of the control unit 140 described above.
- FIGS. 11 and 12 are flowcharts illustrating the flow of processing in the number of occupants detection system 1 according to the first embodiment.
- a flow is described in which the control unit 140 controls a lane in which the imaging unit 110 is focused based on the traffic volume for a predetermined time of each of the plurality of lanes.
- a flow is described in which the control unit 140 controls the lane in which the imaging unit 110 is focused in accordance with the date or time.
- control unit 140 controls a lane in which the imaging unit 110 focuses on the basis of the traffic volume for a predetermined time of each of the plurality of lanes.
- the control unit 140 acquires information indicating the traffic volume of each lane in a predetermined time (S202).
- the control unit 140 can, for example, count the number of passing vehicles for each predetermined time for each lane based on the analysis result of the imaging unit 110 or the output signal of the vehicle detection sensor 40. Further, the control unit 140 may communicate with an external device (not shown) to obtain the traffic volume of each lane at a predetermined time from the external device. Then, the control unit 140 compares the traffic volumes of the lanes in the predetermined time acquired in the process of S202, and identifies the lane with the largest traffic volume in the predetermined time (S204).
- control unit 140 transmits, to the imaging unit 110, a control instruction to focus on the lane specified in the process of S204 (S206).
- the imaging unit 110 controls the focus mechanism in accordance with the control instruction from the control unit 140, and focuses on the lane indicated by the control instruction (S208).
- the control unit 140 acquires the current time by synchronizing with an NTP (Network Time Protocol) server (not shown) or the like (S302). Then, based on the current time acquired in the process of S302, the control unit 140 specifies a lane to be focused on, for example, with reference to a table as shown in FIG. 13 (S304).
- FIG. 13 is a diagram illustrating an example of a table that associates and stores a time zone and a lane for which focusing is to be performed. Since traffic conditions may be affected by the day of the week or the weather, multiple tables may be prepared for each day of the week or weather. In addition, for example, it is expected that traffic volume will increase during long holidays such as Golden Week and Obon.
- the control unit 140 transmits, to the imaging unit 110, a control instruction to focus on the lane specified in the process of S304 (S306).
- the imaging unit 110 controls the focusing mechanism according to the control instruction from the control unit 140, and focuses on the lane indicated by the control instruction (S308).
- the correction processing for reducing the blur of the subject as described in the second specific example of the first embodiment is performed on the image. It may be performed.
- the correction process using a plurality of parameters according to the position in the vehicle as described in the third specific example of the first embodiment may be executed.
- the focus of the imaging unit 110 is controlled to be matched with a lane with a large traffic volume based on the traffic volume for a predetermined time or the statistics of the traffic volume by date or time.
- the execution frequency of the correction process on the image can be reduced, and the overall processing amount can be reduced.
- the imaging device 30 imaging unit 110
- the imaging device 30 may be provided in a gantry or the like as illustrated in FIG. .
- the distance from the imaging device 30 to the vehicle varies depending on the lane in which the vehicle travels, so the subject may appear blurred.
- the correction processing for reducing the blur of the subject is executed using the parameter according to the position where the vehicle is traveling, and the corrected image in which the subject is clearly shown By generating, the number of occupants of the vehicle can be accurately counted based on the corrected image.
- the image correction means executes the correction process by using the first parameter according to the position where one vehicle travels, when a plurality of vehicles traveling in different lanes are shown in the image.
- the counting means counts the number of occupants of the one vehicle using the first corrected image, and counts the number of occupants of the other vehicle using the second corrected image.
- the image correction means determines the parameter based on at least one of spatial frequency of the image and information indicating blur of the subject calculated using an autocorrelation function. 1. Or 2. The number of occupants detection system described in. 4. The image correction means determines the parameter based on the distance to the vehicle measured by the distance measurement means for measuring the distance to the vehicle. 1. Or 2. The number of occupants detection system described in. 5.
- a storage unit configured to store information in which the information indicating each of the plurality of lanes is associated with the parameter;
- the image correction means identifies a lane in which the vehicle travels based on the distance to the vehicle, and executes the correction process using the parameter corresponding to the identified lane. 1.
- the occupant count detection system according to any one of the above. 6.
- the focus distance of the imaging means is fixed at a distance corresponding to one of the plurality of lanes. 1.
- the focus distance of the imaging means is fixed at a distance corresponding to the central portion of the plurality of lanes. 1.
- the control device further includes control means for switching a lane in which the imaging means is focused based on the traffic volume of each of the plurality of lanes. 1. To 5. The occupant count detection system according to any one of the above. 9. The control device further comprises control means for switching a lane in which the imaging means is brought into focus according to a date or time. 1. To 5. The occupant count detection system according to any one of the above. 10.
- the parameter according to the position includes a plurality of different parameters according to the position in the vehicle,
- the image correction unit generates a plurality of corrected images based on the image by performing the correction process on the image using a plurality of different parameters according to the position in the vehicle.
- the counting means counts the number of occupants of the vehicle using the plurality of correction images. 1. To 9.
- the computer is A correction process for reducing the blur of an object captured in the image, using a parameter according to the position where the vehicle travels, with respect to the image generated by the imaging means for imaging a vehicle traveling on a road having a plurality of lanes Generating to generate a corrected image based on the image, Counting the number of occupants of the vehicle using the corrected image; How to detect the number of crew including that. 13.
- the computer When a plurality of vehicles traveling on different lanes are shown in the image, a first correction image is generated by executing the correction process using the first parameter corresponding to the position where one vehicle travels.
- a second correction image is generated by executing the correction process using a second second parameter corresponding to a position at which another vehicle travels;
- the number of occupants of the one vehicle is counted using the first corrected image, and the number of occupants of the other vehicle is counted using the second corrected image.
- 12. including. The method of detecting the number of occupants according to 14.
- the computer The parameter is determined based on at least one of spatial frequency of the image and information indicating blur of the subject calculated using an autocorrelation function. 12. including. Or 13.
- the computer is determined based on the distance to the vehicle measured by distance measuring means for measuring the distance to the vehicle. 12. including. Or 13.
- the computer The lane in which the vehicle travels is identified based on the distance to the vehicle, and the parameter corresponding to the identified lane is stored as information indicating each of the plurality of lanes and the parameter.
- the focus distance of the imaging means is fixed at a distance corresponding to one of the plurality of lanes. 12. including. To 16.
- the focus distance of the imaging means is fixed at a distance corresponding to the central portion of the plurality of lanes. 12. including. To 16.
- the computer Switching the lane on which the imaging unit is to be focused based on the traffic volume of each of the plurality of lanes; 12. including. To 16.
- the parameter according to the position includes a plurality of different parameters according to the position in the vehicle,
- the computer A plurality of corrected images based on the image are generated by performing the correction process on the image using a plurality of different parameters according to the position in the vehicle. Counting the number of occupants of the vehicle using the plurality of corrected images; 12. including. To 20.
- the occupant count detection method according to any one of the above. 22.
- the computer is Image a vehicle traveling on a road with multiple lanes, Measure the distance to the vehicle, According to the information indicating the measured distance, blurring of the subject appearing in the image is reduced, and the number of occupants of the vehicle is counted using the image. How to detect the number of crew including that. 23. 12. on the computer To 22.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
乗員数検知システム(1)は、複数のレーンを有する道路を走行する車両を撮像する撮像部(110)により生成された画像に対して、車両が走行する位置に応じたパラメータを用いて当該画像に写る被写体のボケを低減する補正処理を実行することにより、画像に基づく補正画像を生成する画像補正部(120)と、画像補正部(120)により生成された補正画像を用いて車両の乗員数をカウントするカウント部(130)と、を備える。
Description
本発明は、車両の乗員数を把握する技術に関する。
車両の乗員数を把握したいというニーズがある。例えば、欧米では、HOV(High-Occupancy Vehicle)レーンやHOT(High-Occupancy Toll)レーンといった、登場人数が一定数以上の車両が優遇される専用レーンがあり、このようなレーンを走行する車両の乗員数を把握したいというニーズがある。
上記ニーズに対し、例えば、下記特許文献に記載されるような技術がある。下記特許文献1および特許文献2には、道路の脇に設置した撮像装置によって車両を被写体として含む画像を取得し、当該画像を解析することによって、車両の乗員数を検知する技術が開示されている。
従来のシステムでは、複数のレーンを有する道路で車両の乗員を検知するためには、個々のレーン専用のカメラを設置する必要がある。しかしながら、機器の設置スペースといった設置環境の制約やシステム導入コストの観点から、1台のカメラで複数のレーンをカバーする技術が望まれる。しかし、1台のカメラで複数のレーンをカバーしようとした場合、複数のレーンの一部または全部に対してカメラのフォーカスが合わせられず、被写体(車両および当該車両の乗員)の輪郭がぼやけてしまい、乗員数を正確に検知できないという問題がある。
本発明の目的は、1台のカメラが複数のレーンを対象として撮影した画像を用いて車両の乗員数を検知することを可能とする技術を提供することにある。
本発明によれば、
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成する画像補正手段と、
前記補正画像を用いて前記車両の乗員数をカウントするカウント手段と、
を備える乗員数検知システムが提供される。
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成する画像補正手段と、
前記補正画像を用いて前記車両の乗員数をカウントするカウント手段と、
を備える乗員数検知システムが提供される。
本発明によれば、
コンピュータが、
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成し、
前記補正画像を用いて前記車両の乗員数をカウントする、
ことを含む乗員数検知方法が提供される。
コンピュータが、
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成し、
前記補正画像を用いて前記車両の乗員数をカウントする、
ことを含む乗員数検知方法が提供される。
本発明によれば、コンピュータに、上述の乗員数検知方法を実行させるプログラムが提供される。
本発明によれば、1台のカメラが複数のレーンを対象として撮影した画像を用いて車両の乗員数を検知することが可能となる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
[第1実施形態]
〔機能構成〕
図1は、第1実施形態の乗員数検知システム1の機能構成を概念的に示すブロック図である。図1に示されるように、乗員数検知システム1は、撮像部110、画像補正部120、およびカウント部130を含んで構成される。
〔機能構成〕
図1は、第1実施形態の乗員数検知システム1の機能構成を概念的に示すブロック図である。図1に示されるように、乗員数検知システム1は、撮像部110、画像補正部120、およびカウント部130を含んで構成される。
撮像部110は、カメラ等の撮像装置である。撮像部110は、複数のレーンを有する道路を走行する車両を撮像し、当該車両および車両の乗員を被写体として含む画像を生成する。撮像部110は、例えば、図示しない車両検知用のセンサと連動することにより、車両を撮像範囲に含めることができる。また、撮像部110は、車両の乗員数を正確に把握可能とするために、所定のフレームレートで連続的に車両を撮像して複数枚の画像を生成するように構成されていてもよい。
画像補正部120は、撮像部110により生成された画像を取得する。そして、画像補正部120は、撮像部110により生成された画像に対して、画像に写る被写体のボケを低減する補正処理を実行し、当該画像に基づく補正画像を生成する。この補正処理は、所謂ボケ補正(Deblur)技術を用いた処理であり、例えば、以下の文献[1]および[2]等に開示される技術を利用して実現可能である。下記文献等に開示される技術を用いることにより、画像補正部120は、例えば、ピントのずれによる被写体のボケや当該被写体のモーションブラー(車両の進行方向のブレ)を補正することができる。
[1] TSUMURAYA, F., MIURA, N., AND BABA, N. 1994. Iterative blind deconvolution method using Lucy's algorithm. Astron. Astrophys. 282, 2 (Feb), 699-708.
[2] Hradis Michal, Kotera Jan, Zemcik Pavel and Sroubek Filip, Convolutional Neural Networks for Direct Text Deblurring, Proceedings of BMVC 2015, Swansea, The British Machine Vision Association and Society for Pattern Recognition, 2015, ISBN 1-901725-53-7.
また、補正処理は、画像の被写体である車両が走行する位置に応じたパラメータを用いて実行される。このパラメータによって、画像に対する補正のかかり具合が決定される。
[1] TSUMURAYA, F., MIURA, N., AND BABA, N. 1994. Iterative blind deconvolution method using Lucy's algorithm. Astron. Astrophys. 282, 2 (Feb), 699-708.
[2] Hradis Michal, Kotera Jan, Zemcik Pavel and Sroubek Filip, Convolutional Neural Networks for Direct Text Deblurring, Proceedings of BMVC 2015, Swansea, The British Machine Vision Association and Society for Pattern Recognition, 2015, ISBN 1-901725-53-7.
また、補正処理は、画像の被写体である車両が走行する位置に応じたパラメータを用いて実行される。このパラメータによって、画像に対する補正のかかり具合が決定される。
カウント部130は、画像補正部120により生成された補正画像を用いて、当該補正画像の被写体である車両の乗員数をカウントする。カウント部130は、例えば、上記特許文献1または特許文献2に開示される技術を利用して、車両を被写体として含む画像を基に、当該車両の乗員数をカウントすることができる。画像補正部120とカウント部130とを合わせて画像処理部と呼ぶこともできる。
以上、本発明に係る乗員数検知システム1は、レーン毎にカメラ等の撮像部110を設けていない。この場合、複数のレーンのうちの一部または全部のレーンにおいて、走行中の被写体(車両および乗員)に対して撮像部110のフォーカスが合わず、被写体がボケた状態の画像が出来上がってしまう可能性がある。そこで、本実施形態で説明したように、車両が走行している位置に応じたパラメータを用いて、被写体のボケを低減する補正処理が実行される。これにより、撮像部110のフォーカス距離から離れることによってボケてしまった被写体が明確になる。なお、被写体のボケを低減する補正処理について、例えば個人認証に利用できるほどの高精度な処理は必ずしも必要ではなく、人物(例えば人物の顔部分)とそれ以外の領域を判別できる程度の精度が担保されれば十分である。そして、このように補正された画像を用いて、当該画像に被写体として含まれる車両の乗員数のカウント処理が実行される。このような構成により、1台の撮像装置で複数のレーンを対象として、車両の乗員数を検知することが可能となる。また、システムで必要となる撮像装置の個数を減らし、設置環境の制約(例えば、土地の広さ等)を緩和する効果、及び、システムに必要なコストを低減させる効果も見込める。
以下、第1実施形態をより詳細に説明する。
〔ハードウエア構成〕
乗員数検知システム1の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、乗員数検知システム1の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
乗員数検知システム1の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、乗員数検知システム1の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図2は、乗員数検知システム1のシステム構成を概念的に示す図である。図2に示されるように、乗員数検知システム1は、情報処理装置20、撮像装置30、車両検知用センサ40、および、投光器50を含んで構成される。また、情報処理装置20には、カウント部130による乗員数のカウント結果を表示するためのディスプレイ装置22が接続されている。
撮像装置30は、乗員数検知システム1の撮像部110に相当する。撮像装置30は、ネットワークを介して情報処理装置20と接続されている。なお図示していないが、それぞれ異なる場所に設置された複数の撮像装置30が情報処理装置20に接続され得る。
車両検知用センサ40は、撮像装置30の前方を通過しようとする車両Vを検知するため(画像を撮るタイミングを計るため)のセンサである。車両検知用センサ40は、撮像装置30とは別に設けられていてもよいし、撮像装置30に組み込まれていてもよい。
投光器50は、車両内の人物を鮮明に撮影するために設けられる。投光器50は、撮像装置30とは別に設けられていてもよいし、撮像装置30に組み込まれていてもよい。投光器50は、撮像装置30の撮像タイミングに連動して、被写体である車両Vに光(例えば、赤外線など)を照射する。乗員数検知システム1において、複数のレーンで共通の投光器50が1つ備えられていてもよいし、複数のレーンそれぞれに専用の投光器50が備えられていてもよい。後者の場合、車両検知用センサ40によって車両Vが検知されたことに応じて全ての投光器50が光を照射するように制御されてもよいし、車両検知用センサ40によって測定された車両Vまでの距離に対応するレーンの投光器50が光を照射するように制御されてもよい。
図3は、情報処理装置20のハードウエア構成を概念的に示すブロック図である。情報処理装置20は、バス201、プロセッサ202、メモリ203、ストレージデバイス204、入出力インタフェース205、及びネットワークインタフェース206を含んで構成される。
バス201は、プロセッサ202、メモリ203、ストレージデバイス204、入出力インタフェース205、及びネットワークインタフェース206が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ202、メモリ203、ストレージデバイス204、入出力インタフェース205、及びネットワークインタフェース206などを互いに接続する方法は、バス接続に限定されない。
プロセッサ202は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などの演算装置である。メモリ203は、RAM(Random Access Memory)やROM(Read Only Memory)などを用いて実現される主記憶装置である。ストレージデバイス204は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカードなどを用いて実現される補助記憶装置である。
ストレージデバイス204は、画像補正部120およびカウント部130を実現するプログラムモジュール、並びに、撮像装置30で生成された画像を取得する機能を実現するプログラムモジュールを記憶している。プロセッサ202は、これら各プログラムモジュールをメモリ203に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
入出力インタフェース205は、情報処理装置20と周辺機器とを接続するためのインタフェースである。例えば、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイといった表示出力用のデバイス(ディスプレイ装置22)や、キーボードやマウスといった入力用のデバイス、または、これらが一体となったタッチパネルなどが、入出力インタフェース205を介して情報処理装置20に接続され得る。
ネットワークインタフェース206は、情報処理装置20をLAN(Local Area Network)やWAN(Wide Area Network)などの各種ネットワークに接続するためのインタフェースである。図2に示されるように、情報処理装置20は、ネットワークインタフェース206を介してネットワークに接続して、撮像装置30や図示しない他の端末と通信することができる。例えば、情報処理装置20は、ネットワークインタフェース206を介して撮像装置30と通信し、撮像装置30で生成された画像を取得することができる。またこの場合において、情報処理装置20は、ネットワークインタフェース206を介して管理者用の情報処理装置(図示せず)と通信可能に接続される。そして、カウント部130による乗員数の検知結果が当該管理者用の情報処理装置(図示せず)に送信される。なお、情報処理装置20が各種ネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
なお、図2および図3の構成はあくまで一例であり、本発明のハードウエア構成は図2および図3の例に限定されない。例えば、情報処理装置20と撮像装置30は一体化されていてもよい。
〔動作例〕
図4を用いて、第1実施形態の乗員数検知システム1における処理の流れを説明する。図4は、第1実施形態の乗員数検知システム1における処理の流れを例示するフローチャートである。
図4を用いて、第1実施形態の乗員数検知システム1における処理の流れを説明する。図4は、第1実施形態の乗員数検知システム1における処理の流れを例示するフローチャートである。
まず、撮像部110が、道路を走行する車両を撮像し、当該車両を被写体として含む画像を生成する(S102)。なお、撮像部110は、例えば、車両検知用センサ40からの出力信号に基づいて、撮像部110の前方を通過しようとする車両の存在を検知して、画像を撮るタイミングを判断することができる。
次いで、画像補正部120は、S102の処理で生成された画像に対する補正処理で用いるパラメータを決定する(S104)。
画像補正部120は、例えば、車両までの距離を測定する距離測定手段(図示せず)からの出力信号(車両までの距離を示す情報)に基づいて、画像に被写体として含まれている車両が走行しているレーンを特定し、補正処理に使うパラメータを決定することができる。この場合、画像補正部120は、車両検知用センサ40を上述の距離測定手段として用いてもよい。また、車両検知用センサ40とは別に車両までの距離を測る距離センサなどを距離測定手段として設け、画像補正部120は、当該距離センサからの出力信号を用いて、車両が走行しているレーンを特定してもよい。特に限定されないが、一例として、画像補正部120は、距離測定手段により測定した距離を基に図5に示すようなテーブルを参照することにより車両が走行しているレーンを特定し、補正処理に使うパラメータを決定することができる。
図5は、画像補正部120が補正処理用のパラメータを決定する際に使用するテーブルの一例を示す図である。図5では、車両までの距離と、複数のレーンの各々を示す情報(レーン識別情報)と、補正処理用パラメータとを、互いに関連付けて記憶するテーブルが例示されている。なお、図5の例において、「車両までの距離」そのものをレーン識別情報の代わりに使用することもできる。この場合、図5に例示される「レーン識別情報」はなくてもよい。画像補正部120は、距離測定手段から取得した情報が示す車両までの距離を基にテーブルの中から該当する行を特定し、当該行に格納されている補正処理用パラメータを読み出すことができる。具体的な例として、距離測定手段から取得した情報が示す車両までの距離がd1以上d2未満である場合、画像補正部120は、車両が走行しているレーンを「中央レーン」と特定して、「中央レーン」に関連付けられた補正処理用パラメータを読み出すことができる。
その他にも、画像補正部120は、車両が走行しているレーンを特定することなく、距離測定手段によって測定された車両までの距離に応じてパラメータを決定してもよい。この場合、画像補正部120は、距離測定手段から車両までの距離を示す情報を取得し、距離を引数としてパラメータを算出する関数や、対応するパラメータを距離別に定義する記憶するテーブルなどを用いて、距離測定手段から取得した情報が示す距離に応じたパラメータを決定することができる。
また、画像補正部120は、撮像部110により生成された画像を解析することによって、当該画像のボケ具合を判別し、その画像のボケ具合に応じたパラメータを決定することもできる。例えば、画像補正部120は、画像の空間周波数の情報を解析によって取得し、それらの情報に基づいて補正用のパラメータを決定することができる。特に限定されないが、画像補正部120は、例えば、点広がり関数(Point Spread Function)といった画像のボケの性質を表わすボケ関数が既知の場合に、当該画像のボケ関数をフーリエ変換によって空間周波数成分に分解して、下記の式に示すような、ボケ低減用のウィナーフィルタを導出することができる。
なお、上記の式において、Hは画像のボケ関数のフーリエ変換を示し、H*は当該フーリエ変換Hの複素共役を示し、Γは画像信号のSN(Signal to Noise)比によって決まる定数を示す。なお、上記の式は、例えば、メモリ203やストレージデバイス204といった所定の記憶領域に記憶されており、画像補正部120は当該記憶領域から式を読み出してパラメータを決定することができる。
その他にも、画像補正部120は、自己相関関数を用いて算出される前記被写体のブレを示す情報を、画像のボケ具合を示す情報として取得し、補正処理用のパラメータを決定することができる。この場合、画像補正部120は、自己相関関数を用いて算出可能な画像内の物体のブレの方向と量を代入することで当該ブレを打ち消すパラメータを導出する所定の関数を用いて、補正用のパラメータを決定することができる。なお、上述の関数は、例えば、メモリ203やストレージデバイス204といった所定の記憶領域に記憶されており、画像補正部120は当該記憶領域から関数を読み出してパラメータを決定することができる。
ここで、S102で取得された画像に複数の車両が被写体として含まれている場合、画像補正部120は、それぞれの車両について上述したような方法を用い、それぞれの車両の位置に応じた補正処理用のパラメータを決定することができる。例えば、それぞれ異なるレーンを走行している2台の車両(第1の車両および第2の車両)を被写体として含む画像が撮像部110で生成されたとする。この場合、画像補正部120は、各車両が走行しているレーンや位置、又は、各車両のボケ具合に応じた、互いに異なる複数のパラメータを補正処理に使うパラメータとして決定することができる。具体的には、画像補正部120は、第1の車両が走行する位置に基づいて、第1の車両のボケを低減するための第1のパラメータを決定すると共に、第2の車両が走行する位置に基づいて、第2の車両のボケを低減するための第2のパラメータを決定する。また、それぞれ異なるレーンを走行している3台以上の車両が画像に写っている場合、画像補正部120は、3つ以上のパラメータを決定することができる。なお、特に限定されないが、画像補正部120は、画像上の物体(車両)を認識する既知の画像処理アルゴリズム、及び、該車両の画像特徴量(例えば、画像上の大きさなど)から実空間上の車両の位置(走行レーン)を推定する既知の画像処理アルゴリズムを用いて、それぞれ異なるレーンを走行する複数台の車両が画像に含まれていることを判断することができる。その他にも、画像補正部120は、車両検知用センサ40が複数の車両を検知したタイミングと、撮像装置30(撮像部110)による撮影のタイミング並びに撮像装置30の撮像範囲とを比較することによって、その撮影によって生成される画像に複数台の車両が含まれるか否かを判別することができる。
そして、画像補正部120は、S104の処理で決定したパラメータを用いて、S102の処理で生成された画像に対して、被写体のボケを低減する補正処理を実行する(S106)。ここで、S104で異なる複数のパラメータが決定されている場合、画像補正部120は、それぞれのパラメータを用いてS102で取得した画像に対して補正処理を実行し、それぞれのパラメータによって補正された複数の画像を生成する。例えば、S102の処理で、それぞれ異なるレーンを走行している2台の車両(第1の車両および第2の車両)を被写体として含む画像が取得されたとする。この場合、画像補正部120は、一上述の第1のパラメータ及び第2のパラメータをそれぞれ用いて補正処理を行う。これにより、S102の処理で取得された画像を基とした、2つの補正画像(第1の補正画像および第2の補正画像)が生成される。なお、それぞれ異なるレーンを走行している3台以上の車両が画像に写っている場合、画像補正部120は、3つ以上のパラメータを用いて3つ以上の補正画像を生成することができる。
そして、カウント部130は、S106の処理で生成された補正画像を処理して、車両の乗員数をカウントする(S108)。ここで、カウント部130は、S106で複数の補正画像が生成されている場合、複数の補正画像をそれぞれ処理して、車両の乗員数をカウントする。例えば、S106の処理において、上述したように、それぞれ異なるレーンを走行している2台の車両(第1の車両および第2の車両)を被写体として含む画像が取得され、第1の車両のボケを低減した第1の補正画像と、第2の車両のボケを低減した第2の補正画像が生成されたとする。この場合、カウント部130は、第1の補正画像を用いて第1の車両の乗員数をカウントすると共に、第2の補正画像を用いて第2の車両の乗員数をカウントすることができる。なお、それぞれ異なるレーンを走行している3台以上の車両が画像に写っている場合、画像補正部120は、3つ以上の補正画像をそれぞれ用いて、各車両の乗員数をそれぞれカウントすることができる。
そして、カウント部130は、車両の乗員数をカウントした結果を出力する(S110)。例えば、カウント部130は、情報処理装置20に接続されたディスプレイ装置22上に図6に示されるような画面を表示することができる。
図6は、カウント部130による乗員数のカウント結果を出力する画面の一例を示す図である。図6では、車両のナンバープレートの番号と共に、カウント部130でカウントされた車両の乗員数を表示する画面が例示されている。なお、車両のナンバープレートの番号は、撮像部110または図示しない別の撮像装置によって撮像された、車両のナンバープレートが写っている画像を解析することによって、テキスト情報などとして取得することができる。
ここで、カウント部130は、ある車両が走行しているレーンがHOVレーンやHOTレーンであって、その車両の乗員数が規定人数未満である場合、当該車両の乗員数の情報に、乗員数が規定人数未満であることを示す特定の付加情報を含めてよい。カウント部130は、例えば、メモリ203に予め格納されて規定人数に関する情報と、画像を基にカウントした車両の乗員数とを比較することで、車両の乗員数が規定人数以上であるか否かを判別することができる。そして、情報処理装置20は、例えば、付加情報の有無に従って図6に示すような所定のマークMを付与して、乗員数が規定未満である車両に関する情報がその他の車両に関する情報と区別して表示するように構成されていてもよい。その他にも、情報処理装置20は、付加情報の有無に従って文字色や背景色などを変えることによって、乗員数が規定未満である車両に関する情報を、その他の車両に関する情報と区別して表示することができる。このような画面によれば、管理者は、HOVレーンやHOTレーンを規定人数未満の乗員数で走行している車両の存在を容易に把握できる。その他にも、カウント部130から出力される乗員数のカウント結果に付加情報が付与されている場合、情報処理装置20が、画面の表示を更新すると共に所定のブザー音を出力するように構成されていてもよい。これにより、情報処理装置20を操作する人物が、規定人数未満の乗員数でHOVレーンやHOTレーンを走行している車両の存在に気づき易くなる。
〔具体例〕
以下、本実施形態の乗員数検知システム1の具体的な具体例を説明する。
以下、本実施形態の乗員数検知システム1の具体的な具体例を説明する。
<第1具体例>
複数のレーンを有する道路において、撮像部110のフォーカス距離を複数のレーンの中央部分(例えば、レーンの数が偶数であれば車線境界部分、レーンの数が奇数であれば中央に位置するレーン)に対応する距離に固定すれば、画像に写る車両のボケ量の最大値が抑制されるため、全体的なボケ補正処理の処理量を低減させることが可能となる。本具体例では、説明を簡潔にするため、2つのレーンを有する道路において、撮像部110のフォーカスが当該2つのレーンの中央部分(例えば、車線境界線)に固定されているケースについて例示的に説明する。図7は、第1具体例の構成を概念的に示す図である。図7中の斜線領域は、撮像装置30(撮像部110)のフォーカス距離(被写界深度DOF)を示す。被写界深度DOFの範囲外に位置する被写体はぼやけた状態で撮像されることになる。
複数のレーンを有する道路において、撮像部110のフォーカス距離を複数のレーンの中央部分(例えば、レーンの数が偶数であれば車線境界部分、レーンの数が奇数であれば中央に位置するレーン)に対応する距離に固定すれば、画像に写る車両のボケ量の最大値が抑制されるため、全体的なボケ補正処理の処理量を低減させることが可能となる。本具体例では、説明を簡潔にするため、2つのレーンを有する道路において、撮像部110のフォーカスが当該2つのレーンの中央部分(例えば、車線境界線)に固定されているケースについて例示的に説明する。図7は、第1具体例の構成を概念的に示す図である。図7中の斜線領域は、撮像装置30(撮像部110)のフォーカス距離(被写界深度DOF)を示す。被写界深度DOFの範囲外に位置する被写体はぼやけた状態で撮像されることになる。
本具体例では、例えば、2つのレーンそれぞれについて最適化された、補正処理用の2つのパラメータが、メモリ203に予め用意される。2つのレーンそれぞれに対応する補正処理用のパラメータは、例えば、各レーンでの平均的な車両の走行位置と、撮像部110のフォーカス距離との差分に基づいて決定することができる。具体的には、撮像部110の位置を基準として奥側のレーンのパラメータは、被写体の位置がフォーカスの合う位置(車線境界線付近)よりも奥側にあることで生じる画像のボケを打ち消すパラメータとして用意される。また、撮像部110の位置を基準として手前側のレーンのパラメータは、被写体の位置がフォーカスの合う位置(車線境界線付近)よりも手前側にあることで生じる画像のボケを打ち消すパラメータとして用意される。
本具体例の場合、どちらのレーンにも撮像部110のフォーカスが合っていない。そのため、車両がどちらのレーンを走行していたとしても、撮像部110により生成される画像において被写体(車両および車両の乗員)の輪郭がぼやけてしまう可能性がある。しかしながら、本具体例の場合、いずれかのレーンにフォーカスを合わせた場合と比較して、ボケ量(ボケ具合)を小さくすることができる。例えば、車両が第1のレーンを走行していた場合、撮像部110のフォーカス距離が他方の第2のレーンに合わせられている場合よりも、中央境界線(すなわち、複数のレーンの中央部分)付近に合わせられている方が、撮像部110のフォーカス距離からのずれが小さくなる。そのため、結果として、画像内での被写体のボケ量が小さくなる。これにより、撮像部110により取得された画像を少ない処理量で明確に補正できるという利点がある。
<第2具体例>
本具体例では、撮像部110のフォーカス距離が、複数のレーンの中で予め決められた1つのレーンに対応する距離に固定されるケースについて例示的に説明する。具体的には、2つのレーンを有する道路において、撮像部110のフォーカスが当該2つのレーンうちのいずれか一方に固定されているケースについて例示的に説明する。図8は、第2具体例の構成を概念的に示す図である。図8中の斜線領域は、撮像装置30(撮像部110)のフォーカス距離(被写界深度DOF)を示す。被写界深度DOFの範囲外に位置する被写体はぼやけた状態で撮像されることになる。
本具体例では、撮像部110のフォーカス距離が、複数のレーンの中で予め決められた1つのレーンに対応する距離に固定されるケースについて例示的に説明する。具体的には、2つのレーンを有する道路において、撮像部110のフォーカスが当該2つのレーンうちのいずれか一方に固定されているケースについて例示的に説明する。図8は、第2具体例の構成を概念的に示す図である。図8中の斜線領域は、撮像装置30(撮像部110)のフォーカス距離(被写界深度DOF)を示す。被写界深度DOFの範囲外に位置する被写体はぼやけた状態で撮像されることになる。
本具体例において、フォーカスが固定されている方のレーンを走行する車両を撮像する場合には、ある程度明瞭な画像が取得できるため、多くの場合において補正処理は実行しなくてもよい。一方で、フォーカスが固定されていない方のレーンを走行する車両が撮像された場合には、被写体のボケを低減する補正処理が必要となる可能性が高い。ここで、撮像部110のフォーカスをどちらのレーンに固定するかについては、例えば、それぞれのレーンの交通量の統計値に基づいて決定することができる。統計的に交通量の多い方のレーンに撮像部110のフォーカスを固定することにより、画像に対する補正処理の実行頻度を下げ、全体的な処理量を低減させることができる。また、この場合において、画像補正部120は、撮像部110のフォーカスを固定したレーンを走行する車両が撮像された場合、被写体(車両または車両の乗員)がボケていないかを確認する処理を行う。画像補正部120は、具体的には、例えば次に示すような処理によって、画像がボケているか否かを判断することができる。一例として、画像補正部120は、撮像部110により生成された画像をフーリエ変換によって空間周波数成分に分解した結果として、低周波成分が少なく高周波成分が多い分布が得られた場合には、当該画像がボケていないと判断することができる。他の例として、画像補正部120は、画像の自己相関関数の半値幅が所定の閾値以下である場合に、当該画像がボケていないと判断することができる。その他の例として、画像補正部120は、画像のボケ関数(例えば、点広がり関数など)を推定した結果、インパルス(すなわち、デルタ関数)あるいはインパルスに近い波形の関数(半値幅が所定の閾値以下の関数)が得られた場合に、当該画像がボケていないと判断することができる。なお、これらの処理の処理量は、被写体のボケを低減する補正処理の処理量よりも小さい。そのため、本具体例における全体的な処理量は、全てのレーンに補正処理を行う場合(例えば、第1具体例のケース)よりも小さくなる。
なお、3つ以上のレーンを有する道路においては、撮像部110のフォーカス距離を中央側に位置するレーンに対応する距離に固定することにより、上述の第1具体例で説明したような効果も得られる。
<第3具体例>
車両の座席位置の違いによって被写体がボケてしまう可能性もある。例えば、運転席側の座席位置と助手席側の座席位置とで撮像部110のフォーカス距離からのズレ量が異なる。そして、このフォーカス距離からのズレ量の違いによって、被写体(車両内の人物)の輪郭のボケ具合が変わってくる。ここでは、この違い考慮したパラメータを用いて補正処理を実行するケースを例示する。
車両の座席位置の違いによって被写体がボケてしまう可能性もある。例えば、運転席側の座席位置と助手席側の座席位置とで撮像部110のフォーカス距離からのズレ量が異なる。そして、このフォーカス距離からのズレ量の違いによって、被写体(車両内の人物)の輪郭のボケ具合が変わってくる。ここでは、この違い考慮したパラメータを用いて補正処理を実行するケースを例示する。
本具体例では、画像補正部120が補正処理に用いる、位置に応じたパラメータは、車両内の位置に応じた複数のパラメータにより構成される。例えば、補正処理用のパラメータは、運転席側を基準として画像内の被写体のボケを低減するための第1の車両内位置パラメータと、助手席側を基準として画像内の被写体のボケを低減するための第2の車両内位置パラメータと、を含んで構成される。
本具体例において、画像補正部120は、車両が走行しているレーンを特定した場合、そのレーンに対応するパラメータセット(第1の車両内位置パラメータおよび第2の車両内位置パラメータ)を読み出す。このパラメータセットは、例えば、メモリ203やストレージデバイス204に記憶されている。そして、画像補正部120は、読み出した第1の車両内位置パラメータおよび第2の車両内位置パラメータをそれぞれ用いて画像に対して補正処理を実行する。これにより、あるタイミングで撮像された1枚の画像に対して、車両内位置に応じた複数のパラメータそれぞれに基づく複数の補正画像が生成される。
本具体例において、カウント部130は、上述の第1の車両内位置パラメータと第2の車両内位置パラメータをそれぞれ用いて生成された複数の画像を用いて、車両の乗員数をカウントする。
具体的には、カウント部130は、以下のように、複数の補正画像を用いて車両の乗員数をカウントすることができる。まず、カウント部130は、あるタイミングで撮像された1枚の画像を車両内の位置に応じた補正処理用パラメータに基づいて補正することによって生成された複数の補正画像それぞれについて、乗員数をカウントする。次に、カウント部130は、それぞれの補正画像を用いてカウントされた乗員数を統合して、1枚の画像からカウントされる最終的な車両の乗員数を決定する。例えば、カウント部130は、ある1枚の補正画像で検知された人物と他の補正画像で検知された人物についてそれぞれの画像中での位置を比較した結果、位置が略等しい(複数の補正画像間での位置の差分が所定の閾値以下である)場合、これらの人物を同一人物として判断し1人とカウントする。また、カウント部130は、ある1枚の補正画像で検知された人物と他の補正画像で検知された人物についてそれぞれの画像中での位置を比較した結果、これらの人物の位置が異なる(複数の補正画像間での位置の差分が所定の閾値を超える)場合、これらの人物を別人物として判断し、それぞれ個別にカウントする。
なお、特に限定されないが、画像補正部120は、複数の補正画像各々から車両の基準箇所及び基準方向を検出し、検出した基準箇所を原点、検出した基準方向をx軸方向及びy軸方向とした2次元座標系(車両座標系)を画像毎に定めて、複数の補正画像間での人物の位置関係を判断することができる。以下、図9を用いて基準箇所及び基準方向の一例を説明する。図9は、画像補正部120により生成された補正画像Fに設定される車両座標系の一例を示す図である。図示される例では、車両のボディーのうしろに取り付けられたバンパーの後方端部を基準箇所とし、車両の前後方向及び高さ方向を基準方向としている。そして、バンパーの後方端部を原点とし、車両の前後方向をx軸とし、高さ方向をy軸とした車両座標系が定められている。なお、基準箇所および基準方向は図示される例に限定されない。例えば、基準箇所は、フロントピラー、センタピラー、リアピラー、サイドミラー等の所定の部位であってもよい。また、基準方向は、画像上で任意の方向に設定され得る。画像補正部120は、図示されるような車両座標系において、画像から検出された人物領域Bの位置座標を特定することができる。
本実施形態では、車両内での座席位置の違いを考慮した複数のパラメータを用いて画像に対して補正処理を実行することにより、複数の補正画像が生成される。このようにすることで、車両内の座席位置の違いによって被写体の輪郭が不鮮明となることを解消し、車両の乗員数を正確にカウントすることが可能となる。
[第2実施形態]
第1実施形態の第2具体例において、所定のレーンに撮像部110のフォーカスを固定する具体例について説明した。本実施形態では、所定の条件に基づいて撮像部110のフォーカスを制御する処理部を更に備える構成について説明する。
第1実施形態の第2具体例において、所定のレーンに撮像部110のフォーカスを固定する具体例について説明した。本実施形態では、所定の条件に基づいて撮像部110のフォーカスを制御する処理部を更に備える構成について説明する。
〔機能構成〕
図10は、第2実施形態の乗員数検知システム1の機能構成を概念的に示すブロック図である。図10に示されるように、本実施形態の乗員数検知システム1は、第1実施形態の構成に加えて、制御部140を更に備える。
図10は、第2実施形態の乗員数検知システム1の機能構成を概念的に示すブロック図である。図10に示されるように、本実施形態の乗員数検知システム1は、第1実施形態の構成に加えて、制御部140を更に備える。
一例として、制御部140は、複数のレーンそれぞれの所定時間の交通量に基づいて、撮像部110のフォーカスを合わせるレーンを切り替えることができる。この場合、制御部140は、撮像部110で生成された画像、或いは、車両検知用センサ40の出力などを用いて、所定時間の交通量をレーン毎に算出することができる。一例として、制御部140は、車両検知用センサ40などを用いて測定される車両までの距離を用いて、以下のように所定時間のレーン毎の交通量を算出することができる。まず、制御部140は、車両までの距離と走行レーンとの対応関係を定義する所定のテーブル(例:図5)を参照し、当該車両が走行しているレーンを特定する。そして、制御部140は、各レーンが特定された回数をメモリ203などの所定の記憶領域に蓄積する。これらの処理を所定時間継続することによって、所定時間のレーン毎の交通量を示す情報を所定の記憶領域に記憶させることができる。また、他の例として、制御部140は、撮像部110などにより生成された画像の解析結果に基づいて、所定時間のレーン毎の交通量を算出してもよい。具体的には、制御部140は、車両の画像特徴量(例えば、画像上の大きさなど)から実空間上の車両の位置(走行レーン)を推定する既知の画像処理アルゴリズムを用いて、撮像部110などにより生成された画像に含まれる車両の走行レーンを特定することができる。そして、制御部140は、所定時間内に各レーンで特定された車両の数をそれぞれカウントすることによって、所定時間のレーン毎の交通量を算出することができる。なお、所定時間は任意に決定することができる。
その他の例として、制御部140は、日付または時刻に応じて撮像部110のフォーカスを合わせるレーンを切り替えるように構成されていてもよい。具体的には、各レーンの交通量の変化を事前に調査した結果に基づいて、時間帯毎にフォーカスを合わせるべきレーンが決定される。そして、このように決定されたレーンを示す情報が時間帯を示す情報と紐付けられた状態で、例えば、メモリ203等に用意される。制御部140は、現在時刻を取得した上でメモリ203に用意された情報を参照し、現在時刻に対応するレーンにフォーカスを合わせる指示を、撮像部110に送信することができる。
〔ハードウエア構成〕
本実施形態のハードウエア構成は、第1実施形態と同様(例:図2および図3)である。本実施形態では、情報処理装置20のストレージデバイス204は、上述の制御部140の機能を実現するプログラムモジュールを更に記憶している。情報処理装置20のプロセッサ202がこのプログラムモジュールを実行することによって、上述の制御部140の機能が実現される。
本実施形態のハードウエア構成は、第1実施形態と同様(例:図2および図3)である。本実施形態では、情報処理装置20のストレージデバイス204は、上述の制御部140の機能を実現するプログラムモジュールを更に記憶している。情報処理装置20のプロセッサ202がこのプログラムモジュールを実行することによって、上述の制御部140の機能が実現される。
〔動作例〕
図11および図12を用いて、本実施形態の乗員数検知システム1の処理の流れを説明する。図11および図12は、第1実施形態の乗員数検知システム1における処理の流れを例示するフローチャートである。図11のフローチャートでは、制御部140が複数のレーンそれぞれの所定時間の交通量に基づいて、撮像部110のフォーカスを合わせるレーンを制御する流れが記載されている。また、図12のフローチャートでは、制御部140が日付または時刻に応じて撮像部110のフォーカスを合わせるレーンを制御する流れが記載されている。
図11および図12を用いて、本実施形態の乗員数検知システム1の処理の流れを説明する。図11および図12は、第1実施形態の乗員数検知システム1における処理の流れを例示するフローチャートである。図11のフローチャートでは、制御部140が複数のレーンそれぞれの所定時間の交通量に基づいて、撮像部110のフォーカスを合わせるレーンを制御する流れが記載されている。また、図12のフローチャートでは、制御部140が日付または時刻に応じて撮像部110のフォーカスを合わせるレーンを制御する流れが記載されている。
まず、制御部140が複数のレーンそれぞれの所定時間の交通量に基づいて、撮像部110のフォーカスを合わせるレーンを制御する流れを説明する。
まず、制御部140は、所定時間における各レーンの交通量を示す情報を取得する(S202)。制御部140は、例えば、撮像部110の画像を解析結果や、車両検知用センサ40の出力信号に基づいて、所定時間毎の車両の通行数をレーン毎に集計することができる。また、制御部140は、図示しない外部装置と通信して、所定時間における各レーンの交通量を当該外部装置から取得してもよい。そして、制御部140は、S202の処理で取得した、所定時間における各レーンの交通量を比較して、所定時間において最も交通量の多いレーンを特定する(S204)。そして、制御部140は、S204の処理で特定されたレーンにフォーカスを合わせる制御指示を、撮像部110に向けて送信する(S206)。撮像部110は、制御部140からの制御指示に従ってフォーカス機構を制御して、制御指示で示されたレーンにフォーカスを合わせる(S208)。
次に、制御部140が時間帯に応じて撮像部110のフォーカスを合わせるレーンを制御する流れを説明する。
まず、制御部140は、図示しないNTP(Network Time Protocol)サーバと同期するなどして、現在時刻を取得する(S302)。そして、制御部140は、S302の処理で取得した現在時刻を基に、例えば図13に示されるようなテーブルを参照して、フォーカスを合わせるべきレーンを特定する(S304)。図13は、時間帯とフォーカスを合わせるべきレーンとを対応付けて記憶するテーブルの一例を示す図である。交通の状態は曜日や天候に影響を受け得るため、曜日別または天候別に複数のテーブルが用意されていてもよい。また、例えば、ゴールデンウィークやお盆時期といった長期休暇期間などには交通量が増加することが予想される。そこで、このような長期休暇期間時に利用されるテーブルが更に用意されていてもよい。そして、制御部140は、S304の処理で特定されたレーンにフォーカスを合わせる制御指示を、撮像部110に向けて送信する(S306)。撮像部110は、制御部140からの制御指示に従ってフォーカス機構を制御して、制御指示で示されたレーンにフォーカスを合わせる(S308)。その後、撮像部110によって各レーンを走行する車両の画像が生成されると、その画像に対して、第1実施形態の第2具体例で説明したような、被写体のボケを低減する補正処理が実行されてもよい。このとき、第1実施形態の第3具体例で説明したような、車両内の位置に応じた複数のパラメータを用いた補正処理が実行されてもよい。
以上、本実施形態では、所定時間の交通量や日時または時刻別の交通量の統計に基づいて、撮像部110のフォーカスが交通量の多いレーンに合うように制御される。これにより、画像に対する補正処理の実行頻度を下げ、全体的な処理量を低減させることができる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。例えば、上述の各実施形態では、路側に撮像装置30(撮像部110)が設けられる例を示したが、撮像装置30は、図14に示されるように、ガントリーなどに設けられていてもよい。この構成においても、車両が走行するレーンによって撮像装置30から車両までの距離に違いが生じるため、被写体がボケて写る可能性がある。この場合に、上述の各実施形態で説明したように、車両が走行している位置に応じたパラメータを用いて、被写体のボケを低減する補正処理を実行して被写体が明確に写る補正画像を生成することによって、当該補正画像を基に車両の乗員数を正確にカウントすることができる。
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成する画像補正手段と、
前記補正画像を用いて前記車両の乗員数をカウントするカウント手段と、
を備える乗員数検知システム。
2.
前記画像補正手段は、前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
前記カウント手段は、前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
1.に記載の乗員数検知システム。
3.
前記画像補正手段は、前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
1.または2.に記載の乗員数検知システム。
4.
前記画像補正手段は、前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
1.または2.に記載の乗員数検知システム。
5.
前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部を備え、
前記画像補正手段は、前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを用いて前記補正処理を実行する、
1.乃至4.のいずれか1つに記載の乗員数検知システム。
6.
前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
1.乃至5.のいずれか1つに記載の乗員数検知システム。
7.
前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
1.乃至5.のいずれか1つに記載の乗員数検知システム。
8.
前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
1.乃至5.のいずれか1つに記載の乗員数検知システム。
9.
日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
1.乃至5.のいずれか1つに記載の乗員数検知システム。
10.
前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
前記画像補正手段は、前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
前記カウント手段は、前記複数の補正画像を用いて前記車両の乗員数をカウントする、
1.乃至9.のいずれか1つに記載の乗員数検知システム。
11.
複数のレーンを有する道路を走行する車両を撮像する撮像手段と、
前記車両までの距離を測定する距離測定手段と、
前記撮像手段により生成された画像を処理する画像処理手段と、を備え
前記画像処理手段は、前記距離測定手段から前記距離を示す情報を取得し、取得した前記情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
乗員数検知システム。
12.
コンピュータが、
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成し、
前記補正画像を用いて前記車両の乗員数をカウントする、
ことを含む乗員数検知方法。
13.
前記コンピュータが、
前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
ことを含む12.に記載の乗員数検知方法。
14.
前記コンピュータが、
前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
ことを含む12.または13.に記載の乗員数検知方法。
15.
前記コンピュータが、
前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
ことを含む12.または13.に記載の乗員数検知方法。
16.
前記コンピュータが、
前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部から読み出し、読み出したパラメータを用いて前記補正処理を実行する、
ことを含む12.乃至15.のいずれか1つに記載の乗員数検知方法。
17.
前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
ことを含む12.乃至16.のいずれか1つに記載の乗員数検知方法。
18.
前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
ことを含む12.乃至16.のいずれか1つに記載の乗員数検知方法。
19.
前記コンピュータが、
前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える、
ことを含む12.乃至16.のいずれか1つに記載の乗員数検知方法。
20.
前記コンピュータが、
日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える、
ことを含む12.乃至16.のいずれか1つに記載の乗員数検知方法。
21.
前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
前記コンピュータが、
前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
前記複数の補正画像を用いて前記車両の乗員数をカウントする、
ことを含む12.乃至20.のいずれか1つに記載の乗員数検知方法。
22.
コンピュータが、
複数のレーンを有する道路を走行する車両を撮像し、
前記車両までの距離を測定し、
前記測定した距離を示す情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
ことを含む乗員数検知方法。
23.
コンピュータに、12.乃至22.のいずれか1つに記載の乗員数検知方法を実行させるプログラム。
1.
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成する画像補正手段と、
前記補正画像を用いて前記車両の乗員数をカウントするカウント手段と、
を備える乗員数検知システム。
2.
前記画像補正手段は、前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
前記カウント手段は、前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
1.に記載の乗員数検知システム。
3.
前記画像補正手段は、前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
1.または2.に記載の乗員数検知システム。
4.
前記画像補正手段は、前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
1.または2.に記載の乗員数検知システム。
5.
前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部を備え、
前記画像補正手段は、前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを用いて前記補正処理を実行する、
1.乃至4.のいずれか1つに記載の乗員数検知システム。
6.
前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
1.乃至5.のいずれか1つに記載の乗員数検知システム。
7.
前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
1.乃至5.のいずれか1つに記載の乗員数検知システム。
8.
前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
1.乃至5.のいずれか1つに記載の乗員数検知システム。
9.
日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
1.乃至5.のいずれか1つに記載の乗員数検知システム。
10.
前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
前記画像補正手段は、前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
前記カウント手段は、前記複数の補正画像を用いて前記車両の乗員数をカウントする、
1.乃至9.のいずれか1つに記載の乗員数検知システム。
11.
複数のレーンを有する道路を走行する車両を撮像する撮像手段と、
前記車両までの距離を測定する距離測定手段と、
前記撮像手段により生成された画像を処理する画像処理手段と、を備え
前記画像処理手段は、前記距離測定手段から前記距離を示す情報を取得し、取得した前記情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
乗員数検知システム。
12.
コンピュータが、
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成し、
前記補正画像を用いて前記車両の乗員数をカウントする、
ことを含む乗員数検知方法。
13.
前記コンピュータが、
前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
ことを含む12.に記載の乗員数検知方法。
14.
前記コンピュータが、
前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
ことを含む12.または13.に記載の乗員数検知方法。
15.
前記コンピュータが、
前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
ことを含む12.または13.に記載の乗員数検知方法。
16.
前記コンピュータが、
前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部から読み出し、読み出したパラメータを用いて前記補正処理を実行する、
ことを含む12.乃至15.のいずれか1つに記載の乗員数検知方法。
17.
前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
ことを含む12.乃至16.のいずれか1つに記載の乗員数検知方法。
18.
前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
ことを含む12.乃至16.のいずれか1つに記載の乗員数検知方法。
19.
前記コンピュータが、
前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える、
ことを含む12.乃至16.のいずれか1つに記載の乗員数検知方法。
20.
前記コンピュータが、
日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える、
ことを含む12.乃至16.のいずれか1つに記載の乗員数検知方法。
21.
前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
前記コンピュータが、
前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
前記複数の補正画像を用いて前記車両の乗員数をカウントする、
ことを含む12.乃至20.のいずれか1つに記載の乗員数検知方法。
22.
コンピュータが、
複数のレーンを有する道路を走行する車両を撮像し、
前記車両までの距離を測定し、
前記測定した距離を示す情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
ことを含む乗員数検知方法。
23.
コンピュータに、12.乃至22.のいずれか1つに記載の乗員数検知方法を実行させるプログラム。
この出願は、2017年7月19日に出願された日本出願特願2017-140226号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
Claims (23)
- 複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成する画像補正手段と、
前記補正画像を用いて前記車両の乗員数をカウントするカウント手段と、
を備える乗員数検知システム。 - 前記画像補正手段は、前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
前記カウント手段は、前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
請求項1に記載の乗員数検知システム。 - 前記画像補正手段は、前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
請求項1または2に記載の乗員数検知システム。 - 前記画像補正手段は、前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
請求項1または2に記載の乗員数検知システム。 - 前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部を備え、
前記画像補正手段は、前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを用いて前記補正処理を実行する、
請求項1乃至4のいずれか1項に記載の乗員数検知システム。 - 前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
請求項1乃至5のいずれか1項に記載の乗員数検知システム。 - 前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
請求項1乃至5のいずれか1項に記載の乗員数検知システム。 - 前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
請求項1乃至5のいずれか1項に記載の乗員数検知システム。 - 日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える制御手段を更に備える、
請求項1乃至5のいずれか1項に記載の乗員数検知システム。 - 前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
前記画像補正手段は、前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
前記カウント手段は、前記複数の補正画像を用いて前記車両の乗員数をカウントする、
請求項1乃至9のいずれか1項に記載の乗員数検知システム。 - 複数のレーンを有する道路を走行する車両を撮像する撮像手段と、
前記車両までの距離を測定する距離測定手段と、
前記撮像手段により生成された画像を処理する画像処理手段と、を備え
前記画像処理手段は、前記距離測定手段から前記距離を示す情報を取得し、取得した前記情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
乗員数検知システム。 - コンピュータが、
複数のレーンを有する道路を走行する車両を撮像する撮像手段により生成された画像に対して、前記車両が走行する位置に応じたパラメータを用いて前記画像に写る被写体のボケを低減する補正処理を実行することにより、前記画像に基づく補正画像を生成し、
前記補正画像を用いて前記車両の乗員数をカウントする、
ことを含む乗員数検知方法。 - 前記コンピュータが、
前記画像に異なるレーンを走行する複数の車両が写っている場合、一の車両が走行する位置に応じた第一の前記パラメータを用いて前記補正処理を実行することにより第一の補正画像を生成し、他の車両が走行する位置に応じた第二の前記パラメータを用いて前記補正処理を実行することにより第二の補正画像を生成し、
前記第一の補正画像を用いて前記一の車両の乗員数をカウントし、前記第二の補正画像を用いて前記他の車両の乗員数をカウントする、
ことを含む請求項12に記載の乗員数検知方法。 - 前記コンピュータが、
前記画像の空間周波数および自己相関関数を用いて算出される前記被写体のブレを示す情報の少なくともいずれか一方に基づいて前記パラメータを決定する、
ことを含む請求項12または13に記載の乗員数検知方法。 - 前記コンピュータが、
前記車両までの距離を測定する距離測定手段により測定された前記車両までの距離に基づいて前記パラメータを決定する、
ことを含む請求項12または13に記載の乗員数検知方法。 - 前記コンピュータが、
前記車両までの距離に基づいて前記車両が走行するレーンを特定し、特定された前記レーンに対応する前記パラメータを前記複数のレーンの各々を示す情報と前記パラメータとが対応付けられた情報を記憶する記憶部から読み出し、読み出したパラメータを用いて前記補正処理を実行する、
ことを含む請求項12乃至15のいずれか1項に記載の乗員数検知方法。 - 前記撮像手段のフォーカス距離が、前記複数のレーンの中で予め定められた一のレーンに対応する距離に固定されている、
ことを含む請求項12乃至16のいずれか1項に記載の乗員数検知方法。 - 前記撮像手段のフォーカス距離が、前記複数のレーンの中央部分に対応する距離に固定されている、
ことを含む請求項12乃至16のいずれか1項に記載の乗員数検知方法。 - 前記コンピュータが、
前記複数のレーンそれぞれの交通量に基づいて、前記撮像手段のフォーカスを合わせるレーンを切り替える、
ことを含む請求項12乃至16のいずれか1項に記載の乗員数検知方法。 - 前記コンピュータが、
日付又は時刻に応じて前記撮像手段のフォーカスを合わせるレーンを切り替える、
ことを含む請求項12乃至16のいずれか1項に記載の乗員数検知方法。 - 前記位置に応じたパラメータは、前記車両内の位置に応じて異なる複数のパラメータを含み、
前記コンピュータが、
前記画像に対して、前記車両内の位置に応じて異なる複数のパラメータを用いて前記補正処理を実行することにより、前記画像に基づく複数の補正画像を生成し、
前記複数の補正画像を用いて前記車両の乗員数をカウントする、
ことを含む請求項12乃至20のいずれか1項に記載の乗員数検知方法。 - コンピュータが、
複数のレーンを有する道路を走行する車両を撮像した画像を取得し、
前記車両までの距離を測定し、
前記測定した距離を示す情報に応じて前記画像に写る被写体のボケを低減し、前記画像を用いて前記車両の乗員数をカウントする、
ことを含む乗員数検知方法。 - コンピュータに、請求項12乃至22のいずれか1項に記載の乗員数検知方法を実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/631,535 US11482018B2 (en) | 2017-07-19 | 2017-10-26 | Number-of-occupants detection system, number-of-occupants detection method, and program |
JP2019530354A JP6820074B2 (ja) | 2017-07-19 | 2017-10-26 | 乗員数検知システム、乗員数検知方法、およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-140226 | 2017-07-19 | ||
JP2017140226 | 2017-07-19 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019016971A1 true WO2019016971A1 (ja) | 2019-01-24 |
Family
ID=65015584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/038639 WO2019016971A1 (ja) | 2017-07-19 | 2017-10-26 | 乗員数検知システム、乗員数検知方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11482018B2 (ja) |
JP (1) | JP6820074B2 (ja) |
WO (1) | WO2019016971A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020191508A (ja) * | 2019-05-20 | 2020-11-26 | パナソニックi−PROセンシングソリューションズ株式会社 | 車両監視システムおよび車両監視方法 |
CN112270206A (zh) * | 2020-09-25 | 2021-01-26 | 桂林理工大学 | 车辆检测计数方法、系统、储存介质及计算机设备 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2017444732B2 (en) * | 2017-12-28 | 2022-04-07 | Nec Corporation | Information processing apparatus, information processing method, and program |
JP6995720B2 (ja) * | 2018-09-11 | 2022-01-17 | 本田技研工業株式会社 | 表示システム、表示制御方法、およびプログラム |
US11308316B1 (en) * | 2021-09-02 | 2022-04-19 | Invision Ai, Inc. | Road side vehicle occupancy detection system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010224712A (ja) * | 2009-03-23 | 2010-10-07 | Mitsubishi Electric Corp | 交通流計測装置 |
WO2014061195A1 (ja) * | 2012-10-19 | 2014-04-24 | 日本電気株式会社 | 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4389371B2 (ja) * | 2000-09-28 | 2009-12-24 | 株式会社ニコン | 画像修復装置および画像修復方法 |
US6578869B2 (en) * | 2001-03-26 | 2003-06-17 | Trw Inc. | Vehicle occupant position sensor utilizing image focus attributes |
DE10202163A1 (de) | 2002-01-22 | 2003-07-31 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Bildverarbeitung sowie Nachtsichtsystem für Kraftfahrzeuge |
ATE321689T1 (de) * | 2002-04-19 | 2006-04-15 | Iee Sarl | Sicherheitsvorrichtung für ein fahrzeug |
US20080294012A1 (en) * | 2007-05-22 | 2008-11-27 | Kurtz Andrew F | Monitoring physiological conditions |
US20090195651A1 (en) * | 2008-01-31 | 2009-08-06 | Leonard Robert C | Method of providing safety enforcement for school buses |
US8194995B2 (en) * | 2008-09-30 | 2012-06-05 | Sony Corporation | Fast camera auto-focus |
US20130314536A1 (en) * | 2009-03-02 | 2013-11-28 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
US9998697B2 (en) * | 2009-03-02 | 2018-06-12 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
US10091439B2 (en) * | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
US20130278771A1 (en) * | 2011-06-10 | 2013-10-24 | Flir Systems, Inc. | Systems and methods for monitoring vehicle wheel assembly |
US10338385B2 (en) * | 2011-12-14 | 2019-07-02 | Christopher V. Beckman | Shifted reality display device and environmental scanning system |
US20170257414A1 (en) * | 2012-01-26 | 2017-09-07 | Michael Edward Zaletel | Method of creating a media composition and apparatus therefore |
US8731245B2 (en) * | 2012-03-07 | 2014-05-20 | Xerox Corporation | Multiple view transportation imaging systems |
JP6074182B2 (ja) * | 2012-07-09 | 2017-02-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム |
JP6089577B2 (ja) * | 2012-10-19 | 2017-03-08 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP6281492B2 (ja) | 2012-10-26 | 2018-02-21 | 日本電気株式会社 | 乗車人数計測装置、方法およびプログラム |
US9036040B1 (en) * | 2012-12-20 | 2015-05-19 | United Services Automobile Association (Usaa) | Vehicle identification number capture |
US9124762B2 (en) * | 2012-12-20 | 2015-09-01 | Microsoft Technology Licensing, Llc | Privacy camera |
US9083850B1 (en) * | 2013-06-29 | 2015-07-14 | Securus Technologies, Inc. | Video blurring in a secure environment |
JP6224362B2 (ja) * | 2013-07-05 | 2017-11-01 | シャープ株式会社 | 撮像装置 |
WO2015099135A1 (ja) * | 2013-12-26 | 2015-07-02 | ホヤ レンズ タイランド リミテッド | 累進屈折力レンズを製造するための方法、プログラム及び装置並びに累進屈折力レンズの製造方法及びレンズ供給システム |
US9633267B2 (en) * | 2014-04-04 | 2017-04-25 | Conduent Business Services, Llc | Robust windshield detection via landmark localization |
US10311722B2 (en) * | 2014-04-14 | 2019-06-04 | Licensys Australasia Pty Ltd | Vehicle identification and/or monitoring system |
JP6577703B2 (ja) * | 2014-08-05 | 2019-09-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
US9710729B2 (en) * | 2014-09-04 | 2017-07-18 | Xerox Corporation | Domain adaptation for image classification with class priors |
KR20160036242A (ko) * | 2014-09-25 | 2016-04-04 | 현대자동차주식회사 | 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법 |
KR101822890B1 (ko) * | 2015-01-22 | 2018-01-29 | 엘지전자 주식회사 | 차량의 전방 촬영 카메라 모듈 |
EP3295298A4 (en) * | 2015-05-14 | 2018-11-21 | Gatekeeper Inc. | Apparatus, systems and methods for enhanced visual inspection of vehicle interiors |
US10878249B2 (en) * | 2015-10-07 | 2020-12-29 | Accenture Global Solutions Limited | Border inspection with aerial cameras |
US10068171B2 (en) * | 2015-11-12 | 2018-09-04 | Conduent Business Services, Llc | Multi-layer fusion in a convolutional neural network for image classification |
US10690495B2 (en) * | 2016-03-14 | 2020-06-23 | Canon Kabushiki Kaisha | Ranging apparatus and moving object capable of high-accuracy ranging |
US9918042B2 (en) * | 2016-04-29 | 2018-03-13 | Getgo, Inc. | Performing electronic conferencing operations using electronic portals at different locations |
US10068140B2 (en) * | 2016-12-02 | 2018-09-04 | Bayerische Motoren Werke Aktiengesellschaft | System and method for estimating vehicular motion based on monocular video data |
US20180270413A1 (en) * | 2017-03-15 | 2018-09-20 | Kabushiki Kaisha Toshiba | Processing apparatus and processing system |
US9953210B1 (en) * | 2017-05-30 | 2018-04-24 | Gatekeeper Inc. | Apparatus, systems and methods for improved facial detection and recognition in vehicle inspection security systems |
-
2017
- 2017-10-26 JP JP2019530354A patent/JP6820074B2/ja active Active
- 2017-10-26 US US16/631,535 patent/US11482018B2/en active Active
- 2017-10-26 WO PCT/JP2017/038639 patent/WO2019016971A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010224712A (ja) * | 2009-03-23 | 2010-10-07 | Mitsubishi Electric Corp | 交通流計測装置 |
WO2014061195A1 (ja) * | 2012-10-19 | 2014-04-24 | 日本電気株式会社 | 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020191508A (ja) * | 2019-05-20 | 2020-11-26 | パナソニックi−PROセンシングソリューションズ株式会社 | 車両監視システムおよび車両監視方法 |
JP7444423B2 (ja) | 2019-05-20 | 2024-03-06 | i-PRO株式会社 | 車両監視システムおよび車両監視方法 |
CN112270206A (zh) * | 2020-09-25 | 2021-01-26 | 桂林理工大学 | 车辆检测计数方法、系统、储存介质及计算机设备 |
CN112270206B (zh) * | 2020-09-25 | 2022-09-13 | 桂林理工大学 | 车辆检测计数方法、系统、储存介质及计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
US11482018B2 (en) | 2022-10-25 |
US20200234067A1 (en) | 2020-07-23 |
JPWO2019016971A1 (ja) | 2020-07-27 |
JP6820074B2 (ja) | 2021-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6820074B2 (ja) | 乗員数検知システム、乗員数検知方法、およびプログラム | |
US9846802B2 (en) | Passenger counting system, passenger counting method and passenger counting program | |
JP5482737B2 (ja) | 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム | |
JP6820075B2 (ja) | 乗員数検知システム、乗員数検知方法、およびプログラム | |
US11283995B2 (en) | Image display apparatus | |
US9798936B2 (en) | System and method for detecting obstacles using a single camera | |
EP3199914B1 (en) | Imaging device | |
US20190135197A1 (en) | Image generation device, image generation method, recording medium, and image display system | |
JP7048157B2 (ja) | 解析装置、解析方法及びプログラム | |
CN110199318B (zh) | 驾驶员状态推定装置以及驾驶员状态推定方法 | |
US20060115144A1 (en) | Image information processing system, image information processing method, image information processing program, and automobile | |
JP2016111509A (ja) | 車両用画像処理装置、車両用画像処理方法およびプログラム | |
JP2006221467A (ja) | 視界不良評価方法および視界不良評価装置 | |
JP2018103974A (ja) | 画像表示制御装置 | |
JP6798609B2 (ja) | 映像解析装置、映像解析方法およびプログラム | |
JP2011209070A (ja) | 画像処理装置 | |
JP4661578B2 (ja) | 移動体認識装置 | |
JP6169446B2 (ja) | 視線検出装置 | |
JP2012167983A (ja) | 霧検出装置 | |
JP2015207879A (ja) | 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置 | |
JPWO2020059064A1 (ja) | 算出装置、情報処理方法およびプログラム | |
JP2019020171A (ja) | 車幅検出装置、車幅検出方法、およびプログラム | |
US20240015269A1 (en) | Camera system, method for controlling the same, storage medium, and information processing apparatus | |
US20240112307A1 (en) | Image processing device and image display device | |
JP2022123912A (ja) | 視線検出装置、視線検出システム、及び視線検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17918416 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019530354 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17918416 Country of ref document: EP Kind code of ref document: A1 |