WO2014199817A1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
WO2014199817A1
WO2014199817A1 PCT/JP2014/063918 JP2014063918W WO2014199817A1 WO 2014199817 A1 WO2014199817 A1 WO 2014199817A1 JP 2014063918 W JP2014063918 W JP 2014063918W WO 2014199817 A1 WO2014199817 A1 WO 2014199817A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
resizing
unit
detected
Prior art date
Application number
PCT/JP2014/063918
Other languages
English (en)
French (fr)
Inventor
富井直輝
内藤丈嗣
阪本禎宏
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to SG11201501530WA priority Critical patent/SG11201501530WA/en
Publication of WO2014199817A1 publication Critical patent/WO2014199817A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles

Definitions

  • the present invention relates to a technique for processing a frame image of a target area captured by a camera and detecting a plurality of types of objects having different sizes.
  • Patent Literature 1 describes a traffic flow measuring device that processes a frame image obtained by imaging an intersection and counts the number of vehicles for each branch direction (straight, right, left).
  • the accuracy can be ensured if the resolution of the image is not appropriate for the detected object. Can not.
  • the appropriate range of the resolution of the image for that object varies depending on the size of the object to be detected or tracked, the moving speed, etc.
  • a system for detecting and tracking a plurality of types of objects having different sizes and moving speeds for example, detecting and tracking a plurality of types of objects such as an automobile (four-wheeled vehicle), a motorcycle (two-wheeled vehicle), and a pedestrian at an intersection).
  • the image resolution is set to an appropriate range for any type of object, the image resolution for other types of objects may be out of the appropriate range. The accuracy of detection and tracking cannot be ensured for objects of a type whose image resolution is out of the proper range.
  • the range of image resolution appropriate for the object has a certain range (the appropriate image resolution is not a specific value).
  • An object of the present invention is to provide a technique capable of accurately detecting and tracking a plurality of types of objects having different sizes and moving speeds.
  • the image processing apparatus of the present invention is configured as follows in order to achieve the above-described object.
  • the frame image of the target area captured by the camera is input to the image input unit.
  • a plurality of processing regions that define the types of objects (vehicles, pedestrians, etc.) that are detection targets are set.
  • Each processing region may or may not overlap with another processing region.
  • the resizing processing unit generates, for each processing area, a resizing image obtained by converting the image of the processing area into an image having a resolution corresponding to the type of object to be detected.
  • the object detection unit processes the resizing image generated by the resizing processing unit to detect the type of object that is the detection target.
  • the processing region is changed to the type of object to be detected.
  • a resizing image with a corresponding resolution is generated, and the resizing image is processed to detect an object. Therefore, even when a plurality of types of objects having different sizes, moving speeds, and the like are detected and tracked, detection and tracking can be performed with accuracy for each type of object.
  • the resizing processing unit may generate a resizing image having a preset number of pixels for each processing region. In this case, if the size of the processing area set on the frame image is determined so as to have a resolution corresponding to the type of object to be detected set in the processing area in the generated resizing image. Good.
  • the resizing processing unit may be configured to generate an image having a resolution determined in advance for each processing region.
  • the resolution can be set regardless of the size of the processing area set on the frame image.
  • the number of pixels of the resizing image generated for each processing region is not uniform.
  • an object map generation unit that generates an object map indicating a change in position on the target area as time elapses may be provided. As a result, a change in position (movement trajectory) with time can be obtained for each detected object.
  • frame images captured by a plurality of cameras having different angles with respect to the target area may be input to the image input unit, and a resizing processing unit and an object detection unit may be provided for each camera.
  • a resizing processing unit and an object detection unit may be provided for each camera.
  • an object map generator for each camera.
  • an integration unit that integrates the object map generated by the object map generation unit provided for each camera in units of detected objects may be provided. Thereby, the object detected from the frame image of a some camera can be processed as one object.
  • the type of object to be detected may be a vehicle (automobile or motorcycle), a pedestrian, or the like.
  • FIG. 1 is a block diagram showing a configuration of a main part of the image processing apparatus according to this example.
  • the image processing apparatus 1 according to this example includes a control unit 2, an image input unit 3, an image processing processor 4, and an output unit 5.
  • the image processing apparatus 1 according to this example detects and tracks vehicles and pedestrians at intersections.
  • the types of objects to be detected are two types: vehicles (automobiles (four-wheeled vehicles) and motorcycles (two-wheeled vehicles)) and pedestrians.
  • the control unit 2 controls the operation of each part of the main body of the image processing apparatus 1. Further, an integration process (a configuration corresponding to the integration unit in the present invention) and an output signal generation process described later are performed.
  • the image input unit 3 receives the frame image of the intersection imaged by the two connected video cameras 10 and 11.
  • the frame rate of the video cameras 10 and 11 is several tens of frames / sec (for example, 30 frames / sec).
  • the image processor 4 processes a frame image input from one video camera 10 to detect and track a vehicle to be detected and a pedestrian, and the other video camera. 11, a second image processing unit 42 that processes the frame image input from 11 to detect and track a vehicle to be detected and a pedestrian. Details of the image processor 4 will be described later.
  • the image processor 4 corresponds to a computer that executes the image processing method according to the present invention.
  • the image processor 4 corresponds to a computer that executes the image processing program according to the present invention.
  • the output unit 5 outputs a signal (an output signal generated by the control unit 2) based on a processing result related to detection and tracking of the vehicle to be detected and the pedestrian. For example, the output unit 5 outputs a passing signal (passing pulse) of a vehicle or a pedestrian to a signal control device (not shown) that controls a signal lamp installed at an intersection. Further, the output unit 5 may be configured to count and output the number of vehicles by the branch direction (straight forward, right turn, left turn) at the intersection with respect to a device that monitors traffic at the intersection. That is, a signal output from the output unit 5 (an output signal generated by the control unit 2) may be determined according to a device that inputs the signal and an application.
  • each video camera 10 and 11 uses a wide-angle lens as an imaging lens so that the entire intersection can be accommodated in the imaging area.
  • the video cameras 10 and 11 are provided with an image sensor of megapixels (for example, vertical ⁇ horizontal is about 1300 ⁇ 1000). As is apparent from FIG. 2, the angles of the video cameras 10 and 11 with respect to the intersection are different.
  • the two video cameras 10 are vehicles (ordinary cars), pedestrians, etc. that are located behind a large vehicle (such as a bus or a truck) captured by one video camera 10 (or 11). Even when the camera is hidden and is not imaged, the other video camera 11 (or 10) is installed so that the vehicle, a pedestrian, and the like can image. In other words, if there is an environment in which all objects located in the imaging area can be imaged without being hidden by other objects, one camera may be installed at the intersection. Further, three or more cameras may be installed at the intersection.
  • a case where two video cameras 10 and 11 are installed will be described as an example.
  • the image input unit 3 inputs a first image input unit (not shown) that inputs an intersection frame image captured by one video camera 10 and a second image input unit inputs an intersection frame image captured by the other video camera 11. And an image input unit (not shown).
  • the image input unit 3 includes an image memory (not shown) that temporarily stores the input frame image.
  • FIG. 3 is a functional block diagram showing a functional configuration of the image processor.
  • the image processor 4 includes a first image processing unit 41 and a second image processing unit 42.
  • the first image processing unit 41 and the second image processing unit 42 have the same functional configuration.
  • the first image processing unit 41 processes the frame image of the intersection imaged by one video camera 10, and the second image processing unit 42 processes the frame image of the intersection imaged by the other video camera 11.
  • the second image processing unit 42 (or the first image processing unit 41) can be omitted. If there are three or more video cameras installed at the intersection, the image processing processor 4 includes image processing units as many as the number of video cameras.
  • the first image processing unit 41 includes a resizing processing function unit 411, a vehicle detection processing function unit 412, a vehicle tracking processing function unit 413, a vehicle determination processing function unit 414, a pedestrian detection processing function unit 415, A pedestrian tracking processing function unit 416 and a pedestrian determination processing function unit 417 are provided.
  • FIG. 4 is a diagram showing a frame image of an intersection captured by one video camera. As shown in FIG. 4, a plurality of processing areas are set for the frame image captured by the video camera 10.
  • the two processing areas 100 and 101 are areas where the types of objects to be detected are determined as vehicles (hereinafter referred to as vehicle detection processing areas 100 and 101).
  • vehicle detection processing areas 100 and 101 are areas where the types of objects to be detected are determined as vehicles (hereinafter referred to as vehicle detection processing areas 100 and 101).
  • the four processing areas 110 to 113 are areas in which the types of objects to be detected are defined as pedestrians (hereinafter referred to as pedestrian detection processing areas 110 to 113).
  • the vehicle detection processing area 100 is an area covering the inside of the intersection, and the vehicle detection processing area 101 covers the vicinity of the stop line on the opposite side to the installation side of the video camera 10 that captured the frame image. It is an area.
  • the vehicle detection processing area 100 and the vehicle detection processing area 101 are an example in which a part thereof overlaps.
  • the four pedestrian detection processing areas 110 to 113 are areas that cover pedestrian crossings provided at intersections. The pedestrian detection processing areas 110 to 113 do not overlap with the other pedestrian detection processing areas 110 to 113. However, a part of the pedestrian detection areas 110 to 113 overlaps with the vehicle detection processing areas 100 and 101.
  • the resizing processing function unit 411 has an image with a preset number of pixels for each of the vehicle detection processing areas 100 and 101 and the pedestrian detection processing areas 110 to 113 (in this example, a VGA image of 640 ⁇ 480 pixels). Resizing process to convert to.
  • the image generated by the resizing process is referred to as a resizing image.
  • the resolution of the resizing images in the vehicle detection processing areas 100 and 101 is within an appropriate range for vehicle detection.
  • the resolution of the resizing image in the pedestrian detection processing areas 110 to 113 is within an appropriate range for detection of pedestrians.
  • the vehicle detection processing areas 100 and 101 are set so that the resolution of the generated resizing image falls within an appropriate range in vehicle detection, and the pedestrian detection processing areas 110 to 113 are generated.
  • the resolution of the resizing image is set so as to be within an appropriate range in detecting a pedestrian.
  • This resizing process may be performed using a method such as a known nearest neighbor interpolation (nearest neighbor), bilinear interpolation (bilinear interpolation), or bicubic interpolation (bicubic interpolation).
  • FIG. 5A is a diagram showing a resizing image related to the vehicle detection processing area 100
  • FIG. 5B is a diagram showing a resizing image related to the pedestrian detection processing area 110.
  • the resizing image resolution for the vehicle detection processing areas 100 and 101 only falls within the resolution range suitable for vehicle detection, and the resizing image resolutions of these two areas are the same. Not that. Similarly, the resolution of the resizing image relating to the pedestrian detection processing areas 110 to 113 only falls within the resolution range suitable for detection of the pedestrian, and the resizing images of these four areas have the same resolution. It doesn't mean that.
  • the vehicle detection processing function unit 412 detects a vehicle that has been picked up by processing resizing images for the vehicle detection processing regions 100 and 101 whose detection targets are vehicles.
  • the vehicle detection processing function unit 412 detects a vehicle being imaged using known pattern matching or the like.
  • the vehicle tracking processing function unit 413 For each vehicle detected by the vehicle detection processing function unit 412, the vehicle tracking processing function unit 413 corresponds to the vehicle ID, detection time (frame image capturing time), position (coordinates indicating the position on the intersection), and state. Generate the attached object map. In this object map, since the position of the detected vehicle is set to the position on the intersection, it is possible to identify a vehicle located in a portion where the two vehicle detection processing areas 100 and 101 overlap. Therefore, the same vehicle detected in the resizing image related to the vehicle detection processing area 100 and the resizing image related to the vehicle detection processing area 101 can be detected as one vehicle.
  • the vehicle determination processing function unit 414 determines the state of each vehicle for which an object map has been generated by the vehicle tracking processing function unit 413 based on the movement trajectory of the vehicle obtained from the object map already generated for the vehicle.
  • the vehicle state to be determined here is before the intersection inflow, in the intersection, and in the intersection outflow.
  • the pedestrian detection processing function unit 415 detects pedestrians that are picked up by processing resizing images for the pedestrian detection processing areas 110 to 113 whose detection target is a pedestrian.
  • the pedestrian detection processing function unit 415 detects a pedestrian being imaged using a known pattern matching or the like.
  • the pedestrian tracking processing function unit 416 for each pedestrian detected by the pedestrian detection processing function unit 415, the pedestrian ID, detection time (frame image capturing time), and position (coordinates indicating the position on the intersection). An object map in which is associated is generated. Also in this object map, since the position of the detected pedestrian is set to the position on the intersection, it is possible to identify a pedestrian located in a portion where a plurality of pedestrian detection processing areas 110 to 113 overlap.
  • FIG. 4 is an example in which the pedestrian detection processing areas 110 to 113 do not overlap.
  • the pedestrian determination processing function unit 417 is based on the movement trajectory of the pedestrian obtained from the object map already generated for the pedestrian. Determine the state.
  • the pedestrian status to be judged here is pedestrians outside the pedestrian crossing (pedestrians who have not crossed the pedestrian crossing due to traffic lights etc.), pedestrians in the middle (pedestrians crossing the center of the pedestrian crossing), It is a pedestrian who has not reached the center (a pedestrian who has not reached the center of the pedestrian crossing)
  • the second image processing unit 42 also has a resizing processing function unit 421, a vehicle detection processing function unit 422, and a vehicle tracking process in the same manner as the first image processing unit 41 described above.
  • a functional unit 423, a vehicle determination processing function unit 424, a pedestrian detection processing function unit 425, a pedestrian tracking processing function unit 426, and a pedestrian determination processing function unit 427 are provided.
  • the units 427 are respectively the resizing processing function unit 411, the vehicle detection processing function unit 412, the vehicle tracking processing function unit 413, the vehicle determination processing function unit 414, and the pedestrian detection process included in the first image processing unit 41 described above. Since it is the same functional block as the function unit 415, the pedestrian tracking processing function unit 416, and the pedestrian determination processing function unit 417, description thereof is omitted here.
  • the settings of the vehicle detection processing areas 100 and 101 and the pedestrian detection processing areas 110 to 113 for the frame image captured by one video camera 10 and the setting of the processing area for the frame image captured by the other video camera 11 are as follows. Are done individually. Even if the number of processing areas set for the frame image captured by one video camera 10 and the number of processing areas set for the frame image captured by the other video camera 11 are different. There is no particular problem.
  • FIG. 6A is a diagram showing an object map for the vehicle.
  • FIG. 6B is a diagram illustrating an object map for a pedestrian. This object map is generated for each detected vehicle or pedestrian.
  • FIG. 6A is an object map of a vehicle assigned ID “p0001”.
  • the object map includes, for each resizing image in which the vehicle is detected, the imaging time (the imaging time of the frame image used for generating the resizing image), and the position of the vehicle on the intersection. , And records in which the vehicle states determined by the vehicle determination processing function unit 414 are associated with each other are accumulated in a time series. Therefore, from this object map, the change (movement trajectory) of the position on the intersection with the passage of time is obtained for the corresponding vehicle. For this reason, it can be obtained from which direction the corresponding vehicle enters the intersection, and which direction (right turn, left turn, straight travel) the passing direction is. That is, the branching rate of the vehicle at the intersection can be obtained.
  • FIG. 6B is an object map of a pedestrian assigned ID “q0001”. As described above, from this object map, a change in the position on the intersection with the passage of time can be obtained for the corresponding direction person. For this reason, it can be obtained in which direction the corresponding pedestrian crosses the pedestrian crossing.
  • FIG. 7 is a flowchart showing the operation of the image processing apparatus.
  • the image input unit 3 includes an image memory (not shown) that stores the input frame image.
  • the image processing apparatus 1 performs image processing on the frame image stored in the image memory (s1).
  • the first image processing unit 41 processes a frame image captured by one video camera 10
  • the second image processing unit 42 processes a frame image captured by the other video camera 11.
  • the processes in the first image processing unit 41 and the second image processing unit 42 are performed in parallel.
  • FIG. 8 is a flowchart showing the image processing according to s1.
  • the first image processing unit 41 is an unprocessed frame image stored in the image memory, and the frame image at the earliest time in time (the oldest frame image in time) is used as the processing target frame image. Select and capture (s11). The first image processing unit 41 selects a frame image to be processed from frame images captured by one video camera 10.
  • the resizing processing function unit 411 performs resizing processing on the processing target frame image captured in s11 (s12).
  • the resizing processing function unit 411 has an image with a preset number of pixels (640 ⁇ 480 in this example) for each of the vehicle detection processing regions 100 and 101 and the pedestrian detection processing regions 110 to 113 shown in FIG. Resizing processing for conversion into a VGA image of pixels) is performed.
  • the first image processing unit 41 performs processing for detecting the vehicle imaged by the vehicle detection processing function unit 412 for each resizing image in the vehicle detection processing regions 100 and 101 (s13).
  • the imaged vehicle is detected by a known method such as pattern matching.
  • coordinate data indicating the position on the intersection is acquired for the detected vehicle.
  • the first image processing unit 41 uses both the resizing image for the vehicle detection processing region 100 and the resizing image for the vehicle detection processing region 101.
  • An identification process for extracting the detected vehicle is performed (s14).
  • s14 is a process of associating one-to-one with a vehicle located in an overlapping area where the vehicle detection processing area 100 and the vehicle detection processing area 101 overlap on the intersection. That is, this is a process for detecting a vehicle located in an overlapping area where the vehicle detection processing area 100 and the vehicle detection processing area 101 overlap on the intersection as one vehicle.
  • This identification process is performed using the position of the vehicle on the intersection acquired in s13.
  • the vehicle tracking processing function unit 413 generates an object map for each vehicle detected this time (s15). In s15, for each vehicle detected this time, a record in which the imaging time of the frame image to be processed selected in s11 is associated with the position on the intersection acquired in s13 is generated. The record generated here is not associated with the state of the vehicle shown in FIG. Further, the vehicle tracking processing function unit 413 determines whether or not an ID has already been assigned to the vehicle for each record generated this time. Vehicles to which no ID is assigned at this time are detected in the vehicle detection processing regions 100 and 101 between the time when the frame image that was the previous processing target is captured and the time when the frame image that is the current processing target is captured. The vehicle has entered the vehicle detection processing areas 100 and 101 from the outside, and the object map shown in FIG. 6A is not generated at this time.
  • the vehicle tracking processing function unit 413 assigns an ID to a vehicle to which no ID is assigned at this time, and generates an object map (an object map in which only the record generated this time is registered) shown in FIG. To do.
  • an object map is generated by adding the record generated this time to the object map of the corresponding vehicle (the current map is generated for the object map of the corresponding vehicle). Add a record.)
  • Whether the ID is assigned can be determined based on the vehicle position on the intersection acquired in s13 and the temporal change in the vehicle position on the intersection obtained from the object map of the vehicle assigned the ID at this time. .
  • the first image processing unit 41 determines the state of the vehicle (before entering the intersection, inside the intersection, and flowing out of the intersection) for each vehicle detected by the vehicle determination processing function unit 414 this time, and the state is determined in s15. It is registered in the record additionally registered in the generated object map of the corresponding vehicle (s16).
  • the first image processing unit 41 performs processing for detecting a pedestrian captured by the pedestrian detection processing function unit 415 for each resizing image in the pedestrian detection processing areas 110 to 113 (s17).
  • the imaged pedestrian is detected by a known method such as pattern matching.
  • coordinate data indicating the position on the intersection is acquired for the detected pedestrian.
  • the first image processing unit 41 extracts the pedestrians detected from the resizing images of the plurality of pedestrian detection processing areas 110 to 113 for the pedestrians detected by the pedestrian tracking processing function unit 416 in s17. Processing is performed (s18).
  • s18 is a process of associating one-to-one with a pedestrian located in an overlapping area where a plurality of pedestrian detection processing areas 110 to 113 overlap on the intersection. In other words, this is a process for detecting a pedestrian located in an overlapping area where a plurality of pedestrian detection processing areas 110 to 113 overlap at the intersection as one pedestrian. This identification process is performed using the position of the pedestrian on the intersection acquired in s17.
  • the pedestrian tracking processing function unit 416 generates an object map for each pedestrian detected this time (s19). In s19, for each pedestrian detected this time, a record in which the imaging time of the processing target frame image selected in s11 is associated with the position on the intersection acquired in s17 is generated. The record generated here is not associated with the pedestrian state shown in FIG. In addition, the pedestrian tracking processing function unit 416 determines whether or not an ID has already been assigned to the pedestrian for each record generated this time. At this time, the pedestrian to whom no ID is assigned is the pedestrian detection processing area 110 between the imaging time of the frame image that was the previous processing target and the imaging time of the frame image that was the current processing target. A pedestrian who has entered the pedestrian detection processing areas 110 to 113 from outside the above-113, and the object map shown in FIG. 6B is not generated at this time.
  • the pedestrian tracking processing function unit 416 assigns an ID to a pedestrian not assigned an ID at this time, and the object map shown in FIG. 6B (an object map in which only the record generated this time is registered). Is generated. On the other hand, for a pedestrian whose ID has already been assigned at this time, an object map is generated by adding the record generated this time to the corresponding pedestrian object map. Whether or not the ID is given is a temporal change in the position of the pedestrian on the intersection acquired in s17 and the position of the pedestrian on the intersection obtained from the object map of the pedestrian assigned the ID at this time. It can be done based on.
  • the first image processing unit 41 for each pedestrian detected by the pedestrian determination processing function unit 417 this time, the state of the pedestrian (a pedestrian outside the pedestrian crossing, a central passing pedestrian, a central unachieved pedestrian). Is registered in the record additionally registered in the object map of the corresponding pedestrian generated in s19 (s20).
  • the processing relating to s13 to s16 and the processing relating to s17 to s20 are the difference between whether the object is a vehicle or a pedestrian, and the processes are substantially the same.
  • the order of executing the processes related to s13 to s16 and the processes related to s17 to s20 is the reverse order (the process related to s13 to s16 is executed after executing the process related to s17 to s20). It may be.
  • the first image processing unit 41 may be configured to process the processes related to s13 to s16 and the processes related to s17 to s20 in parallel.
  • the resizing image of each processing area 100, 101, 110 to 113 generated in s12 is an image having the same number of pixels (here, a VGA image), an object (vehicle or vehicle) corresponding to the resizing image is used.
  • the processing program related to the detection of pedestrians can be made substantially the same. More specifically, this can be dealt with by changing parameters relating to pattern matching or the like due to the difference in the type of object (vehicle or pedestrian) to be detected.
  • the integration process related to s2 is a process of integrating the object map generated by the first image processing unit 41 and the object map generated by the second image processing unit 42 in the image processing related to s1. Specifically, an object (vehicle and pedestrian) detected by both the first image processing unit 41 and the second image processing unit is detected as one object, and the first image processing unit 41, Or it is the process which detects the object (a vehicle and a pedestrian) detected only by one side of the 2nd image process part as one object.
  • the object map generated by the first image processing unit 41 and the object map generated by the second image processing unit 42 are integrated to obtain one object map for each detected object.
  • the video cameras 10 (or 11) captures an image of a large vehicle (such as a bus or truck)
  • the video camera 10 (or 11) takes a vehicle (ordinary car) or a pedestrian that was not imaged because it is located behind it.
  • You can also get an object map. Thereby, oversight of an object (a vehicle or a pedestrian) can be prevented.
  • the control unit 2 In the image processing apparatus 1, the control unit 2 generates an output signal based on the processing result of the integration process related to s2, performs an output process for outputting the output signal from the output unit 5 (s3), and returns to s1.
  • This output signal is, for example, a signal that is output to a signal control device that controls a signal lamp installed at an intersection, and is a pulse signal that indicates the passage of a vehicle or a pedestrian. Further, it may be a signal output to a device for monitoring traffic at an intersection, and may be a digital signal obtained by measuring the number of vehicles at the intersection according to the branch direction (straight, right turn, left turn).
  • the image processing device is exemplified by a vehicle at an intersection and a device that detects a pedestrian, but the vehicle may be distinguished by an automobile (four-wheeled vehicle) and a motorcycle (two-wheeled vehicle). .
  • the vehicle detection processing area and the motorcycle detection processing area may be set to frame images captured by the video cameras 10 and 11.
  • a bicycle may be added as the type of object to be detected.
  • the bicycle detection processing area may be set to a frame image captured by the video cameras 10 and 11.
  • the image processor 4 may include a detection processing function unit, a tracking processing function unit, and a determination processing function unit for each type of object to be detected and tracked.
  • the present invention is not limited to the above example, and can be used as an apparatus for detecting a plurality of types of objects having different sizes.
  • the imaging areas of the video cameras 10 and 11 are not limited to intersections, but may be other places such as station platforms.
  • the resizing image generated for each of the vehicle detection processing regions 100 and 101 and the pedestrian detection processing regions 110 to 113 is a VGA image.
  • the number of pixels of the sizing image may be different.
  • the resolution of the resizing image generated for each processing region is within the appropriate range for the detection target object set for the processing region.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

　大きさや、移動速度等が異なる複数種類のオブジェクトについて、検出や追跡が精度よく行える技術を提供する。　ビデオカメラ（１０、１１）で撮像した対象エリアのフレーム画像を画像入力部（３）に入力する。画像処理プロセッサ（４）は、画像入力部（３）に入力されたフレーム画像上に、検出対象であるオブジェクトの種類を定めた複数の処理領域毎に、その処理領域の画像を、検出対象であるオブジェクトの種類に応じた解像度の画像に変換したリサイジング画像を生成する。さらに、画像処理プロセッサ（４）は、生成したリサイジング画像を処理し、検出対象である種類のオブジェクトを検出する。

Description

画像処理装置、画像処理方法、および画像処理プログラム
　この発明は、カメラで撮像した対象エリアのフレーム画像を処理し、大きさが異なる複数種類のオブジェクトを検出する技術に関する。
　従来、カメラで撮像したフレーム画像を処理し、このフレーム画像に撮像されている人や車両等のオブジェクトの検出や、検出したオブジェクトの追跡（トラッキング）を行う画像処理装置がある。例えば、特許文献１には、交差点を撮像したフレーム画像を処理し、分岐方向別（直進、右折、左折）に車両台数を計数する交通流計測装置が記載されている。
　また、交差点において計数した分岐方向別（直進、右折、左折）の車両台数や、横断歩道を通行している歩行者の有無等を用いて、この交差点に設置されている信号灯機を制御することも行われている。
特開２００５－１９０１４２号公報
　しかしながら、カメラで撮像したフレーム画像を処理して、撮像されているオブジェクトを検出したり、追跡したりする場合、画像の解像度が検出するオブジェクトに対して適正でないと、その精度を確保することができない。一方で、検出したり、追跡したりするオブジェクトの大きさや、移動速度等によって、そのオブジェクトに対する画像の解像度の適正範囲（精度を十分に確保できる範囲）が異なる。
　したがって、大きさや移動速度が異なる複数種類のオブジェクトについて、検出や追跡を行うシステム（例えば、交差点において自動車（四輪車）、バイク（二輪車）、歩行者等の複数種類のオブジェクトを検出し追跡するシステム、）では、画像の解像度を、いずれかの種類のオブジェクトに対して適正な範囲に設定すると、他の種類のオブジェクトに対する画像の解像度が適正な範囲から外れてしまうことがある。画像の解像度が適正な範囲から外れた種類のオブジェクトについては、検出や追跡にかかる精度を確保することができない。
　このように、従来の装置では、大きさや、移動速度等が異なる複数種類のオブジェクトについて、検出や追跡を精度よく行うことが困難であった。
　なお、オブジェクトの種類毎に、そのオブジェクトに対して適正な画像の解像度の範囲は、ある程度の幅がある（適正な画像の解像度は、特定の値ではない。）。
　この発明の目的は、大きさや、移動速度等が異なる複数種類のオブジェクトについて、検出や追跡が精度よく行える技術を提供することにある。
　この発明の画像処理装置は、上述の目的を達するために、以下のように構成している。
　画像入力部には、カメラで撮像した対象エリアのフレーム画像が入力される。画像入力部に入力されたフレーム画像上には、検出対象であるオブジェクトの種類（車両、歩行者等）を定めた複数の処理領域が設定されている。各処理領域は、他の処理領域とその一部が重なっていてもよいし、重なっていなくてもよい。
　リサイジング処理部は、処理領域毎に、その処理領域の画像を、検出対象であるオブジェクトの種類に応じた解像度の画像に変換したリサイジング画像を生成する。
　そして、オブジェクト検出部は、リサイジング処理部が生成したリサイジング画像を処理し、検出対象である種類のオブジェクトを検出する。
　このように、カメラで撮像したフレーム画像を直接処理してオブジェクトを検出するのではなく、検出対象であるオブジェクトの種類を定めた処理領域毎に、その処理領域について検出対象であるオブジェクトの種類に応じた解像度のリサイジング画像を生成し、このリサイジング画像を処理してオブジェクトを検出する。したがって、大きさや、移動速度等が異なる複数種類のオブジェクトについて検出や追跡を行う場合であっても、オブジェクトの種類毎に検出や追跡が精度よく行える。
　また、オブジェクトの種類毎に、カメラを設置する必要がないので、システムの大型化やコストアップが抑えられる。
　また、リサイジング処理部は、処理領域毎に、予め設定した画素数のリサイジング画像を生成する構成としてもよい。この場合には、フレーム画像上に設定する処理領域の大きさを、生成されるリサイジング画像において、その処理領域に定めた検出対象のオブジェクトの種類に応じた解像度になるように定めておけばよい。
　なお、リサイジング処理部は、処理領域毎に、その処理領域について予め定められている解像度の画像を生成する構成であってもよい。この場合には、フレーム画像上に設定する処理領域の大きさに関係なく解像度を設定できる。但し、各処理領域について生成されるリサイジング画像の画素数は均一にならない。
　また、オブジェクト検出部が検出したオブジェクト毎に、時間経過にともなう対象エリア上の位置の変化を示すオブジェクトマップを生成するオブジェクトマップ生成部を備えてもよい。これにより、検出したオブジェクト毎に、時間経過にともなう位置の変化（移動軌跡）を得ることができる。
　また、画像入力部に、対象エリアに対するアングルが異なる複数のカメラで撮像したフレーム画像を入力し、リサイジング処理部、およびオブジェクト検出部を、カメラ毎に設けてもよい。これにより、あるカメラのフレーム画像において、手前に位置するオブジェクトの影になって撮像されなかったオブジェクトの見逃しが防止できる。
　また、オブジェクトマップ生成部についても、カメラ毎に設けるのが好ましい。この場合、カメラ毎に設けたオブジェクトマップ生成部が生成したオブジェクトマップを検出したオブジェクト単位で統合する統合部を備えればよい。これにより、複数のカメラのフレーム画像から検出されたオブジェクトを、１つのオブジェクトとして処理できる。
　また、対象エリアは、交差点とする場合には、検出するオブジェクトの種類を、車両（自動車やバイク）や歩行者等にすればよい。また、オブジェクト検出部の検出結果に基づき、対象エリアである交差点における車両、または人の通過を示す出力信号を出力する構成とすればよい。これにより、交通量に応じた信号灯機の制御が行える。
　この発明によれば、大きさや、移動速度等が異なる複数種類のオブジェクトについて、検出や追跡が精度よく行える。
画像処理装置の主要部の構成を示すブロック図である。 交差点におけるビデオカメラの設置例を示す図である。 画像処理プロセッサの機能構成を示す機能ブロック図である。 ビデオカメラが撮像した交差点のフレー無画像を示す図である。 リサイジング画像を示す図である。 オブジェクトマップを示す図である。 画像処理装置の動作を示すフローチャートである。 画像処理を示すフローチャートである。
　以下、この発明の実施形態である画像処理装置について説明する。
　図１は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。この例にかかる画像処理装置１は、制御部２と、画像入力部３と、画像処理プロセッサ４と、出力部５と、を備えている。この例にかかる画像処理装置１は、交差点における車両、および歩行者の検出、および追跡を行う。この例は、説明を簡単にするため、検出するオブジェクトの種類を車両（自動車（四輪車）、およびバイク（二輪車））と、歩行者との２種類にしている。
　制御部２は、画像処理装置１本体各部の動作を制御する。また、後述する統合処理（この発明で言う統合部に相当する構成）や出力信号生成処理を行う。
　画像入力部３は、接続されている２台のビデオカメラ１０、１１が撮像した交差点のフレーム画像が入力される。ビデオカメラ１０、１１のフレームレートは、数十フレーム／ｓｅｃ（例えば、３０フレーム／ｓｅｃ）である。
　画像処理プロセッサ４は、一方のビデオカメラ１０から入力されたフレーム画像を処理して、検出対象である車両、および歩行者の検出、追跡を行う第１の画像処理部４１と、他方のビデオカメラ１１から入力されたフレーム画像を処理して、検出対象である車両、および歩行者の検出、追跡を行う第２の画像処理部４２と、を備えている。画像処理プロセッサ４の詳細については、後述する。この画像処理プロセッサ４が、この発明にかかる画像処理方法を実行するコンピュータに相当する。また、この画像処理プロセッサ４が、この発明にかかる画像処理プログラムを実行させるコンピュータに相当する。
　出力部５は、検出対象である車両、および歩行者の検出、追跡にかかる処理結果に基づく信号（制御部２が生成した出力信号）を出力する。例えば、出力部５は、交差点に設置されている信号灯機を制御する信号制御装置（不図示）に対して、車両や歩行者の通過信号（通過パルス）を出力する。また、出力部５は、交差点の交通量をモニタリングする装置に対して、交差点における車両の分岐方向別（直進、右折、左折）の台数を計数して出力する構成であってもよい。すなわち、出力部５から出力する信号（制御部２が生成する出力信号）は、その信号を入力する装置や、用途に応じて決定すればよい。
　２台のビデオカメラ１０、１１は、図２に示すように、交差点を対向して撮像する向きに設置している。また、各ビデオカメラ１０、１１は交差点全体を撮像エリア内に収められるように、撮像レンズとして広角レンズを使用している。また、ビデオカメラ１０、１１は、メガピクセル（例えば、縦×横が１３００×１０００程度）の撮像素子を備えている。図２から明らかなように、交差点に対するビデオカメラ１０、１１のアングルは異なっている。
　なお、２台のビデオカメラ１０は、一方のビデオカメラ１０（または１１）において、大型車両（バスやトラック等）が撮像されたときに、その背後に位置する車両（普通自動車）や歩行者等が隠れて撮像されないときでも、他方のビデオカメラ１１（または１０）において、その車両や歩行者等が撮像できるように設置している。言い換えれば、他のオブジェクトによって隠れが生じることなく、撮像エリア内に位置する全てのオブジェクトが撮像できる環境であれば、交差点に設置するカメラは１台であってもよい。また、交差点に設置するカメラは３台以上であってもよい。ここでは、上述したように、２台のビデオカメラ１０、１１を設置している場合を例にして説明する。
　画像入力部３は、一方のビデオカメラ１０が撮像した交差点のフレーム画像を入力する第１の画像入力部（不図示）と、他方のビデオカメラ１１が撮像した交差点のフレーム画像を入力する第２の画像入力部（不図示）と、を備えている。画像入力部３には、入力されたフレーム画像を一時的に記憶する画像メモリ（不図示）を備えている。
　図３は、画像処理プロセッサの機能構成を示す機能ブロック図である。画像処理プロセッサ４は、第１の画像処理部４１と、第２の画像処理部４２とを備えている。第１の画像処理部４１と、第２の画像処理部４２とは、同じ機能構成である。第１の画像処理部４１は、一方のビデオカメラ１０が撮像した交差点のフレーム画像を処理し、第２の画像処理部４２は、他方のビデオカメラ１１が撮像した交差点のフレーム画像を処理する。
　なお、交差点に設置しているビデオカメラ１０（または１１）が１台である場合には、第２の画像処理部４２（または、第１の画像処理部４１）を不要にできる。また、交差点に設置しているビデオカメラが３台以上であれば、画像処理プロセッサ４は、ビデオカメラの台数分の画像処理部を備える。
　第１の画像処理部４１は、リサイジング処理機能部４１１と、車両検出処理機能部４１２と、車両追跡処理機能部４１３と、車両判定処理機能部４１４と、歩行者検出処理機能部４１５と、歩行者追跡処理機能部４１６と、歩行者判定処理機能部４１７と、を備えている。
　リサイジング処理機能部４１１は、画像入力部３の第１の画像入力部に入力されたフレーム画像に対して設定されている処理領域毎に、解像度を変換したリサイジング画像を生成するリサイジング処理を行う。図４は、一方のビデオカメラが撮像した交差点のフレーム画像を示す図である。図４に示すように、ビデオカメラ１０が撮像したフレーム画像に対して、複数の処理領域が設定されている。図４に示す例では、２つの処理領域１００、１０１は、検出対象のオブジェクトの種類を車両と定めた領域（以下、車両検出処理領域１００、１０１と言う。）である。また、４つの処理領域１１０～１１３は、検出する対象のオブジェクトの種類を歩行者と定めた領域（以下、歩行者検出処理領域１１０～１１３と言う。）である。
　図４に示すように、車両検出処理領域１００は交差点内をカバーする領域であり、車両検出処理領域１０１は、フレーム画像を撮像したビデオカメラ１０の設置側と反対側の停止線付近をカバーする領域である。図４では、車両検出処理領域１００と、車両検出処理領域１０１とは、その一部が重複している例である。また、４つの歩行者検出処理領域１１０～１１３は、それぞれ交差点に設けられている横断歩道をカバーする領域である。歩行者検出処理領域１１０～１１３は、他の歩行者検出処理領域１１０～１１３と重複していない。但し、歩行者検出領域１１０～１１３は、その一部が車両検出処理領域１００、１０１と重複している。
　リサイジング処理機能部４１１は、車両検出処理領域１００、１０１、および歩行者検出処理領域１１０～１１３毎に、予め設定している画素数の画像（この例では、６４０×４８０画素のＶＧＡ画像）に変換するリサイジング処理を行う。このリサイジング処理により生成した画像を、ここではリサイジング画像と言う。車両検出処理領域１００、１０１のリサイジング画の解像度は、車両の検出における適正な範囲内である。また、歩行者検出処理領域１１０～１１３のリサイジング画像の解像度は、歩行者の検出における適正な範囲内である。言い換えれば、車両検出処理領域１００、１０１は、生成されるリサイジング画像の解像度が車両の検出において適正な範囲に収まるように設定しており、歩行者検出処理領域１１０～１１３は、生成されるリサイジング画像の解像度が歩行者の検出において適正な範囲内に収まるように設定している。このリサイジング処理は、公知の最近傍補間（ニアレストネイバー）、双一次補間（バイリニア補間）、または双三次補間（バイキュービック補間）等の方法を利用して行えばよい。図５（Ａ）は、車両検出処理領域１００にかかるリサイジング画像を示す図であり、図５（Ｂ）は、歩行者検出処理領域１１０にかかるリサイジング画像を示す図である。
　なお、車両検出処理領域１００、１０１にかかるリサイジング画像の解像度は、車両の検出に適した解像度の範囲内に収まるだけであって、これら２つの領域のリサイジング画像の解像度が同じであるということではない。同様に、歩行者検出処理領域１１０～１１３にかかるリサイジング画像の解像度は、歩行者の検出に適した解像度の範囲内に収まるだけであって、これら４つの領域のリサイジング画像の解像度が同じであるということではない。
　車両検出処理機能部４１２は、検出対象が車両である車両検出処理領域１００、１０１について、それぞれリサイジング画像を処理して撮像されている車両を検出する。車両検出処理機能部４１２は、公知のパターンマッチング等を利用して撮像されている車両を検出する。
　車両追跡処理機能部４１３は、車両検出処理機能部４１２が検出した車両毎に、その車両のＩＤ、検出時刻（フレーム画像の撮像時刻）、位置（交差点上の位置を示す座標）、状態を対応付けたオブジェクトマップを生成する。このオブジェクトマップでは、検出した車両の位置を交差点上の位置にしているので、２つの車両検出処理領域１００、１０１が重複している部分に位置する車両の同定が行える。したがって、車両検出処理領域１００にかかるリサイジング画像、および車両検出処理領域１０１にかかるリサイジング画像において検出された同じ車両を、１台の車両として検出できる。
　車両判定処理機能部４１４は、車両追跡処理機能部４１３でオブジェクトマップが生成された車両毎に、その車両についてすでに生成されているオブジェクトマップから得られる車両の移動軌跡に基づいて状態を判定する。ここで判定する車両の状態は、交差点流入前、交差点内、および交差点流出である。
　歩行者検出処理機能部４１５は、検出対象が歩行者である歩行者検出処理領域１１０～１１３について、それぞれリサイジング画像を処理して撮像されている歩行者を検出する。歩行者検出処理機能部４１５は、公知のパターンマッチング等を利用して撮像されている歩行者を検出する。
　歩行者追跡処理機能部４１６は、歩行者検出処理機能部４１５が検出した歩行者毎に、その歩行者のＩＤ、検出時刻（フレーム画像の撮像時刻）、位置（交差点上の位置を示す座標）を対応付けたオブジェクトマップを生成する。このオブジェクトマップでも、検出した歩行者の位置を交差点上の位置にしているので、複数の歩行者検出処理領域１１０～１１３が重複している部分に位置する歩行者の同定が行える。
　なお、図４に示した例は、歩行者検出処理領域１１０～１１３が重複していない例である。
　歩行者判定処理機能部４１７は、歩行者追跡処理機能部４１６でオブジェクトマップが生成された歩行者毎に、その歩行者についてすでに生成されているオブジェクトマップから得られる歩行者の移動軌跡に基づいて状態を判定する。ここで判定する歩行者の状態は、横断歩道外歩行者（信号待ち等で横断歩道を横断していない歩行者）、中央通過歩行者（横断歩道の中央に達した横断中の歩行者）、中央未達歩行者（横断歩道の中央に達していない横断中の歩行者）である。
　また、図３に示すように、第２の画像処理部４２も、上述した第１の画像処理部４１と同様に、リサイジング処理機能部４２１と、車両検出処理機能部４２２と、車両追跡処理機能部４２３と、車両判定処理機能部４２４と、歩行者検出処理機能部４２５と、歩行者追跡処理機能部４２６と、歩行者判定処理機能部４２７と、を備えている。リサイジング処理機能部４２１、車両検出処理機能部４２２、車両追跡処理機能部４２３、車両判定処理機能部４２４、歩行者検出処理機能部４２５、歩行者追跡処理機能部４２６、および歩行者判定処理機能部４２７は、それぞれ、上述した、第１の画像処理部４１が備えるリサイジング処理機能部４１１、車両検出処理機能部４１２、車両追跡処理機能部４１３、車両判定処理機能部４１４、歩行者検出処理機能部４１５、歩行者追跡処理機能部４１６、および歩行者判定処理機能部４１７と同じ機能ブロックであるので、ここでは説明を省略する。
　なお、一方のビデオカメラ１０が撮像したフレーム画像に対する車両検出処理領域１００、１０１、および歩行者検出処理領域１１０～１１３の設定と、他方のビデオカメラ１１が撮像したフレーム画像に対する処理領域の設定とは、個別に行っている。また、一方のビデオカメラ１０が撮像したフレーム画像に対して設定した処理領域の個数と、他方のビデオカメラ１１が撮像したフレーム画像に対して設定した処理領域の個数と、が相違していても特に問題はない。
　ここで図６を参照して、画像処理プロセッサ４で生成するオブジェクトマップについて、簡単に説明しておく。
　図６（Ａ）は、車両にかかるオブジェクトマップを示す図である。図６（Ｂ）は、歩行者にかかるオブジェクトマップを示す図である。このオブジェクトマップは、検出した車両や歩行者毎に生成される。図６（Ａ）は、ＩＤ「ｐ０００１」を付与した車両のオブジェクトマップである。図６（Ａ）に示すように、オブジェクトマップには、その車両を検出したリサイジング画像毎に、撮像時刻（リサイジング画像の生成に用いたフレーム画像の撮像時刻）、交差点上の車両の位置、および車両判定処理機能部４１４が判定した当該車両の状態を対応づけたレコードが時系列に蓄積的に登録されている。したがって、このオブジェクトマップから、該当する車両について、時間経過にともなう、交差点上における位置の変化（移動軌跡）が得られる。このため、該当する車両がどの方向から交差点に進入し、通過方向がどの方向（右折、左折、直進）であったか等を得ることができる。すなわち、交差点における、車両の分岐率等を得ることができる。
　また、図６（Ｂ）に示す歩行者にかかるオブジェクトマップも、上述の車両にかかるオブジェクトマップと同様である。図６（Ｂ）は、ＩＤ「ｑ０００１」を付与した歩行者のオブジェクトマップである。上述したように、このオブジェクトマップから、該当する方向者について、時間経過にともなう、交差点上における位置の変化が得られる。このため、該当する歩行者がどの方向に横断歩道をわたっているのかを得ることができる。
　以下、この例にかかる画像処理装置１の動作について説明する。図７は、この画像処理装置の動作を示すフローチャートである。
　上述したように、一方のビデオカメラ１０が交差点を撮像したフレーム画像を画像入力部３（第１の画像入力部）に入力しており、他方のビデオカメラ１１が交差点を撮像したフレーム画像を画像入力部３（第２の画像入力部）に入力している。画像入力部３は、入力されたフレーム画像を記憶する画像メモリ（不図示）を備えている。
　画像処理装置１は、画像メモリに記憶しているフレーム画像に対する画像処理を行う（ｓ１）。ｓ１では、第１の画像処理部４１が一方のビデオカメラ１０が撮像したフレーム画像を処理し、第２の画像処理部４２が他方のビデオカメラ１１が撮像したフレーム画像を処理する。第１の画像処理部４１と、第２の画像処理部４２とにおける処理は、並行して行われている。
　また、第１の画像処理部４１が実行する画像処理と、第２の画像処理部４２が実行する画像処理とは、処理対象の画像が異なるだけで、実質的に同じ処理である。ここでは、ｓ１にかかる画像処理を、第１の画像処理部４１を例にして説明する。図８は、このｓ１にかかる画像処理を示すフローチャートである。
　第１の画像処理部４１は、画像メモリに記憶している未処理のフレーム画像であって、時間的に最もはやい時刻のフレーム画像（時間的に最も古いフレーム画像）を処理対象のフレーム画像として選択し取り込む（ｓ１１）。第１の画像処理部４１は、一方のビデオカメラ１０が撮像したフレーム画像の中から、処理対象のフレーム画像を選択する。
　第１の画像処理部４１は、ｓ１１で取り込んだ処理対象のフレーム画像に対して、リサイジング処理機能部４１１が、リサイジング処理を行う（ｓ１２）。リサイジング処理機能部４１１は、図４に示した車両検出処理領域１００、１０１、および歩行者検出処理領域１１０～１１３毎に、予め設定している画素数の画像（この例では、６４０×４８０画素のＶＧＡ画像）に変換するリサイジング処理を行う。
　第１の画像処理部４１は、車両検出処理領域１００、１０１にかかるリサイジング画像毎に、車両検出処理機能部４１２で撮像されている車両を検出する処理を行う（ｓ１３）。ｓ１３では、パターンマッチング等の公知の手法により、撮像されている車両を検出する。また、ｓ１３では、検出した車両について、交差点上の位置を示す座標データを取得する。
　第１の画像処理部４１は、車両追跡処理機能部４１３がｓ１３で検出した車両について、車両検出処理領域１００にかかるリサイジング画像、および車両検出処理領域１０１にかかるリサイジング画像の両方の画像から検出された車両を抽出する同定処理を行う（ｓ１４）。ｓ１４は、交差点上において、車両検出処理領域１００と車両検出処理領域１０１とが重なっている重複領域に位置する車両を１対１で対応づける処理である。すなわち、交差点上において、車両検出処理領域１００と車両検出処理領域１０１とが重なっている重複領域に位置する車両を１台の車両として検出するための処理である。この同定処理は、ｓ１３で取得した交差点上の車両の位置を用いて行う。
　車両追跡処理機能部４１３は、今回検出した車両毎に、オブジェクトマップを生成する（ｓ１５）。ｓ１５では、今回検出した車両毎に、ｓ１１で選択した処理対象のフレーム画像の撮像時刻と、ｓ１３で取得した交差点上の位置と、を対応付けたレコードを生成する。ここで生成したレコードには、図６（Ａ）に示した車両の状態が対応付けられていない。また、車両追跡処理機能部４１３は、今回生成したレコード毎に、その車両に対してすでにＩＤが付与されているかどうかを判定する。この時点でＩＤが付与されていない車両は、前回の処理対象であったフレーム画像の撮像時刻から、今回の処理対象であったフレーム画像の撮像時刻までの間に、車両検出処理領域１００、１０１外から車両検出処理領域１００、１０１内に進入した車両であり、この時点では図６（Ａ）に示したオブジェクトマップが生成されていない。
　車両追跡処理機能部４１３は、この時点でＩＤが付与されていない車両については、ＩＤを付与し、図６（Ａ）に示したオブジェクトマップ（今回生成したレコードのみを登録したオブジェクトマップ）を生成する。一方、この時点でＩＤがすでに付与されている車両については、該当する車両のオブジェクトマップに、今回生成したレコードを追加したオブジェクトマップを生成する（該当する車両のオブジェクトマップに対して、今回生成したレコードを追加する。）。ＩＤが付与されているかどうかは、ｓ１３で取得した交差点上の車両位置と、この時点でＩＤが付与されている車両のオブジェクトマップから得られる交差点上の車両位置の時間的変化とに基づいて行える。
　さらに、第１の画像処理部４１は、車両判定処理機能部４１４が今回検出した車両毎に、その車両の状態（交差点流入前、交差点内、交差点流出）を判定し、その状態を、ｓ１５で生成した該当する車両のオブジェクトマップに追加登録したレコードに登録する（ｓ１６）。
　また、第１の画像処理部４１は、歩行者検出処理領域１１０～１１３にかかるリサイジング画像毎に、歩行者検出処理機能部４１５で撮像されている歩行者を検出する処理を行う（ｓ１７）。ｓ１７では、パターンマッチング等の公知の手法により、撮像されている歩行者を検出する。また、ｓ１７では、検出した歩行者について、交差点上の位置を示す座標データを取得する。
　第１の画像処理部４１は、歩行者追跡処理機能部４１６がｓ１７で検出した歩行者について、複数の歩行者検出処理領域１１０～１１３にかかるリサイジング画像から検出された歩行者を抽出する同定処理を行う（ｓ１８）。ｓ１８は、交差点上において、複数の歩行者検出処理領域１１０～１１３が重なっている重複領域に位置する歩行者を１対１で対応づける処理である。すなわち、交差点上において、複数の歩行者検出処理領域１１０～１１３が重なっている重複領域に位置する歩行者を１人の歩行者として検出するための処理である。この同定処理は、ｓ１７で取得した交差点上の歩行者の位置を用いて行う。
　なお、図４に示す例では、歩行者検出処理領域１１０～１１３は、他の歩行者検出処理領域１１０～１１３と重複していないので、このｓ１８にかかる処理を不要にしてもよい。
　歩行者追跡処理機能部４１６は、今回検出した歩行者毎に、オブジェクトマップを生成する（ｓ１９）。ｓ１９では、今回検出した歩行者毎に、ｓ１１で選択した処理対象のフレーム画像の撮像時刻と、ｓ１７で取得した交差点上の位置と、を対応付けたレコードを生成する。ここで生成したレコードには、図６（Ｂ）に示した歩行者の状態が対応付けられていない。また、歩行者追跡処理機能部４１６は、今回生成したレコード毎に、その歩行者に対してすでにＩＤが付与されているかどうかを判定する。この時点でＩＤが付与されていない歩行者は、前回の処理対象であったフレーム画像の撮像時刻から、今回の処理対象であったフレーム画像の撮像時刻までの間に、歩行者検出処理領域１１０～１１３外から歩行者検出処理領域１１０～１１３内に進入した歩行者であり、この時点においては図６（Ｂ）に示したオブジェクトマップが生成されていない。
　歩行者追跡処理機能部４１６は、この時点でＩＤが付与されていない歩行者については、ＩＤを付与し、図６（Ｂ）に示したオブジェクトマップ（今回生成したレコードのみを登録したオブジェクトマップ）を生成する。一方、この時点でＩＤがすでに付与されている歩行者については、該当する歩行者のオブジェクトマップに、今回生成したレコードを追加したオブジェクトマップを生成する。ＩＤが付与されているかどうかは、ｓ１７で取得した交差点上の歩行者の位置と、この時点でＩＤが付与されている歩行者のオブジェクトマップから得られる交差点上の歩行者の位置の時間的変化とに基づいて行える。
　さらに、第１の画像処理部４１は、歩行者判定処理機能部４１７が今回検出した歩行者毎に、その歩行者の状態（横断歩道外歩行者、中央通過歩行者、中央未達歩行者）を判定し、その状態を、ｓ１９で生成した該当する歩行者のオブジェクトマップに追加登録したレコードに登録する（ｓ２０）。
　ｓ１３～ｓ１６にかかる処理と、ｓ１７～ｓ２０にかかる処理とは、その対象が車両であるか、歩行者であるかの違いであって、そのプロセスは実質的に同じである。また、ｓ１３～ｓ１６にかかる処理と、ｓ１７～ｓ２０にかかる処理とを実行する順番は、上記と逆の順番（ｓ１７～ｓ２０にかかる処理の実行後、ｓ１３～ｓ１６にかかる処理を実行する。）にしてもよい。また、第１の画像処理部４１が、ｓ１３～ｓ１６にかかる処理と、ｓ１７～ｓ２０にかかる処理とを並列処理する構成であってもよい。
　さらに、ｓ１２で生成する各処理領域１００、１０１、１１０～１１３のリサイジング画像は、その画素数が同じである画像（ここでは、ＶＧＡ画像）にしているので、リサイジング画像に対するオブジェクト（車両や、歩行者）の検出等にかかる処理プログラムも略同じにできる。具体的には、検出するオブジェクト（車両、または歩行者）の種類の相違による、パターンマッチング等にかかるパラメータの変更で対応できる。
　図７に戻って、画像処理装置１は、上述したｓ１にかかる画像処理を完了すると、制御部２が統合処理を行う（ｓ２）。ｓ２にかかる統合処理は、ｓ１にかかる画像処理で、第１の画像処理部４１が生成したオブジェクトマップと、第２の画像処理部４２が生成したオブジェクトマップと、を統合する処理である。具体的には、第１の画像処理部４１、および第２の画像処理部の両方で検出されたオブジェクト（車両、および歩行者）を１つのオブジェクトとして検出し、第１の画像処理部４１、または第２の画像処理部の一方でのみ検出されたオブジェクト（車両、および歩行者）を１つのオブジェクトとして検出する処理である。すなわち、第１の画像処理部４１が生成したオブジェクトマップと、第２の画像処理部４２が生成したオブジェクトマップと、を統合し、検出されたオブジェクト毎に、１つのオブジェクトマップを得る処理である。これにより、一方のビデオカメラ１０（または１１）において、大型車両（バスやトラック等）が撮像されたときに、その背後に位置するために撮像されなかった車両（普通自動車）や歩行者にかかるオブジェクトマップも取得できる。これにより、オブジェクト（車両、または歩行者）の見逃しが防止できる。
　画像処理装置１は、制御部２がｓ２にかかる統合処理の処理結果に基づく出力信号を生成し、この出力信号を出力部５から出力する出力処理を行い（ｓ３）、ｓ１に戻る。この出力信号は、例えば、交差点に設置されている信号灯機を制御する信号制御装置に対して出力される信号であって、車両や歩行者の通過を示すパルス信号である。また、交差点の交通量をモニタリングする装置に対して出力される信号であって、交差点における車両の分岐方向別（直進、右折、左折）の台数を計測したディジタル信号であってもよい。
　なお、上記の説明では、この発明にかかる画像処理装置を交差点における車両、および歩行者を検出する装置を例にしたが、車両を自動車（四輪車）とバイク（二輪車）で区別してもよい。この場合、図４に示した車両検出処理領域１００、１０１にかえて、自動車検出処理領域、およびバイク検出処理領域をビデオカメラ１０、１１が撮像したフレーム画像に設定する構成とすればよい。また、検出するオブジェクトの種類として、自転車を追加してもよい。この場合には、自転車検出処理領域をビデオカメラ１０、１１が撮像したフレーム画像に設定する構成とすればよい。また、画像処理プロセッサ４は、検出、追跡するオブジェクトの種類毎に、検出処理機能部、追跡処理機能部、判定処理機能部を備えればよい。
　また、本発明は、上記の例に限らず、大きさが異なる複数種類のオブジェクトを検出する装置としても利用できる。また、ビデオカメラ１０、１１の撮像エリアも、交差点に限らず、駅ホーム等の他の場所であってもよい。
　また、上記の例では、車両検出処理領域１００、１０１、および歩行者検出処理領域１１０～１１３毎に、生成されるリサイジング画像がＶＧＡ画像であるとしたが、各処理領域について生成されるリサイジング画像の画素数が異なっていてもよい。但し、各処理領域について生成されたリサイジング画像の解像度は、その処理領域に対して設定した検出対象のオブジェクトに対して適正な範囲内である。
　１…画像処理装置
　２…制御部
　３…画像入力部
　４…画像処理プロセッサ
　５…出力部
　１０、１１…ビデオカメラ
　１００、１０１…車両検出処理領域
　１１０～１１３…歩行者検出処理領域
　４１…第１の画像処理部
　４２…第２の画像処理部
　４１１、４２１…リサイジング処理機能部
　４１２、４２２…車両検出処理機能部
　４１３、４２３…車両追跡処理機能部
　４１４、４２４…車両判定処理機能部
　４１５、４２５…歩行者検出処理機能部
　４１６、４２６…歩行者追跡処理機能部
　４１７、４２７…歩行者判定処理機能部

Claims (10)

  1. 　カメラで撮像した対象エリアのフレーム画像を入力する画像入力部と、
    　前記画像入力部に入力されたフレーム画像上に、検出対象であるオブジェクトの種類を定めた複数の処理領域毎に、その処理領域の画像を、検出対象であるオブジェクトの種類に応じた解像度の画像に変換したリサイジング画像を生成するリサイジング処理部と、
    　前記リサイジング処理部が生成したリサイジング画像を処理し、検出対象である種類のオブジェクトを検出するオブジェクト検出部と、を備えた画像処理装置。
  2. 　前記リサイジング処理部は、前記処理領域毎に、予め設定した画素数のリサイジング画像を生成する、請求項１に記載の画像処理装置。
  3. 　前記オブジェクト検出部が検出したオブジェクト毎に、時間経過にともなう前記対象エリア上の位置の変化を示すオブジェクトマップを生成するオブジェクトマップ生成部を備えた、請求項１、または２に記載の画像処理装置。
  4. 　前記画像入力部には、前記対象エリアに対するアングルが異なる複数のカメラで撮像したフレーム画像が入力され、
    　前記リサイジング処理部、および前記オブジェクト検出部を、前記カメラ毎に設けた請求項１～３のいずれかに記載の画像処理装置。
  5. 　前記画像入力部には、前記対象エリアに対するアングルが異なる複数のカメラで撮像したフレーム画像が入力され、
    　前記リサイジング処理部、前記オブジェクト検出部、およびオブジェクトマップ生成部を、それぞれ前記カメラ毎に設け、
    　前記カメラ毎に設けた前記オブジェクトマップ生成部が生成したオブジェクトマップを検出したオブジェクト単位で統合する統合部を備えた請求項１～３のいずれかに記載の画像処理装置。
  6. 　前記対象エリアは、交差点である、請求項１～５のいずれかに記載の画像処理装置。
  7. 　前記画像入力部に入力されたフレーム画像上に設定した処理領域は、検出対象であるオブジェクトの種類が車両、または人である、請求項６に記載の画像処理装置。
  8. 　前記オブジェクト検出部の検出結果に基づき、対象エリアである交差点における車両、または人の通過を示す出力信号を出力する出力部を備えた、請求項６、または７に記載の画像処理装置。
  9. 　コンピュータが、画像入力部に入力された、カメラで撮像した対象エリアのフレーム画像を処理する画像処理方法であって、
    　前記画像入力部に入力されたフレーム画像上に、検出対象であるオブジェクトの種類を定めた複数の処理領域毎に、その処理領域の画像を、検出対象であるオブジェクトの種類に応じた解像度の画像に変換したリサイジング画像を生成するリサイジング処理ステップと、
    　前記リサイジング処理ステップで生成したリサイジング画像を処理し、検出対象である種類のオブジェクトを検出するオブジェクト検出ステップと、をコンピュータが実行する画像処理方法。
  10. 　画像入力部に入力された、カメラで撮像した対象エリアのフレーム画像をコンピュータに処理させる画像処理プログラムであって、
    　前記画像入力部に入力されたフレーム画像上に、検出対象であるオブジェクトの種類を定めた複数の処理領域毎に、その処理領域の画像を、検出対象であるオブジェクトの種類に応じた解像度の画像に変換したリサイジング画像を生成するリサイジング処理ステップと、
    　前記リサイジング処理ステップで生成したリサイジング画像を処理し、検出対象である種類のオブジェクトを検出するオブジェクト検出ステップと、をコンピュータに実行させる画像処理プログラム。
PCT/JP2014/063918 2013-06-14 2014-05-27 画像処理装置、画像処理方法、および画像処理プログラム WO2014199817A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
SG11201501530WA SG11201501530WA (en) 2013-06-14 2014-05-27 Image processing device, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-125311 2013-06-14
JP2013125311A JP2015002401A (ja) 2013-06-14 2013-06-14 画像処理装置、画像処理方法、および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2014199817A1 true WO2014199817A1 (ja) 2014-12-18

Family

ID=52022116

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/063918 WO2014199817A1 (ja) 2013-06-14 2014-05-27 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (3)

Country Link
JP (1) JP2015002401A (ja)
SG (1) SG11201501530WA (ja)
WO (1) WO2014199817A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11123439B2 (en) 2015-06-22 2021-09-21 Bayer Pharma Aktiengesellschaft Antibody drug conjugates (ADCS) and antibody prodrug conjugates (APDCS) with enzymatically cleavable groups
JP6975483B1 (ja) * 2020-06-29 2021-12-01 ナカシャ クリエイテブ株式会社 物体情報処理装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427343A (zh) * 2015-11-18 2016-03-23 中国科学院信息工程研究所 一种基于dm8148开发板的运动目标检测与跟踪方法
JP7150447B2 (ja) * 2018-02-28 2022-10-11 株式会社小松製作所 情報提示装置および情報提示方法
CN110378854B (zh) * 2019-07-17 2021-10-26 上海商汤智能科技有限公司 机器人图像增强方法及装置
JP6989572B2 (ja) * 2019-09-03 2022-01-05 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 捜査支援システム、捜査支援方法およびコンピュータプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190142A (ja) * 2003-12-25 2005-07-14 Foundation For The Promotion Of Industrial Science 交差点交通量計測装置および交差点交通量計測方法
JP2009055139A (ja) * 2007-08-23 2009-03-12 Hitachi Kokusai Electric Inc 人物追跡システム、人物追跡装置および人物追跡プログラム
JP2011013838A (ja) * 2009-06-30 2011-01-20 Sumitomo Electric Ind Ltd 移動体検出装置、移動体検出方法及びコンピュータプログラム
JP2012222762A (ja) * 2011-04-14 2012-11-12 Hitachi Automotive Systems Ltd 画像処理装置
JP2012533922A (ja) * 2009-07-17 2012-12-27 サムスン エレクトロニクス カンパニー リミテッド 映像処理方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190142A (ja) * 2003-12-25 2005-07-14 Foundation For The Promotion Of Industrial Science 交差点交通量計測装置および交差点交通量計測方法
JP2009055139A (ja) * 2007-08-23 2009-03-12 Hitachi Kokusai Electric Inc 人物追跡システム、人物追跡装置および人物追跡プログラム
JP2011013838A (ja) * 2009-06-30 2011-01-20 Sumitomo Electric Ind Ltd 移動体検出装置、移動体検出方法及びコンピュータプログラム
JP2012533922A (ja) * 2009-07-17 2012-12-27 サムスン エレクトロニクス カンパニー リミテッド 映像処理方法及び装置
JP2012222762A (ja) * 2011-04-14 2012-11-12 Hitachi Automotive Systems Ltd 画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11123439B2 (en) 2015-06-22 2021-09-21 Bayer Pharma Aktiengesellschaft Antibody drug conjugates (ADCS) and antibody prodrug conjugates (APDCS) with enzymatically cleavable groups
JP6975483B1 (ja) * 2020-06-29 2021-12-01 ナカシャ クリエイテブ株式会社 物体情報処理装置
JP2022011202A (ja) * 2020-06-29 2022-01-17 ナカシャ クリエイテブ株式会社 物体情報処理装置

Also Published As

Publication number Publication date
JP2015002401A (ja) 2015-01-05
SG11201501530WA (en) 2015-04-29

Similar Documents

Publication Publication Date Title
WO2014199817A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR101997436B1 (ko) 차량 모션 데이터를 사용하는 자동차 카메라에 의한 오브젝트 위치 측정
JP6197291B2 (ja) 複眼カメラ装置、及びそれを備えた車両
US9592764B2 (en) Redundant object detection for driver assistance systems
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
JP6014440B2 (ja) 移動物体認識装置
CN107845290B (zh) 交叉路口警报方法、处理系统、交叉路口警报系统及车辆
US20120044352A1 (en) Vehicle periphery monitoring device
CN104506800B (zh) 一种多方向电警摄像机场景合成及综合监控方法和装置
US11295145B2 (en) Object detection using vehicular vision system
JP2008152736A (ja) 監視システム、監視装置及び監視方法
JP2002366937A (ja) 車外監視装置
CN112513873A (zh) 根据摄像机图像识别行人的运动意图
US11288569B2 (en) Vehicle driving assist system with enhanced data processing
US11745749B2 (en) Vehicular system for testing performance of object detection algorithms
CN106650730A (zh) 汽车变道过程中的转向灯检测方法和系统
KR101288264B1 (ko) 다차로 속도감지 시스템 및 그 방법
JP2018073275A (ja) 画像認識装置
EP3349201B1 (en) Parking assist method and vehicle parking assist system
JP2016021712A (ja) 画像処理装置、及び、運転支援システム
JP2004258981A (ja) 車両監視方法およびその装置
JP5587068B2 (ja) 運転支援装置及び方法
JP5487648B2 (ja) 移動物体計測システム、移動物体計測装置、移動物体計測方法及びプログラム
JP7021899B2 (ja) 画像生成装置および画像生成方法
JP5774414B2 (ja) 車両検知装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14810614

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14810614

Country of ref document: EP

Kind code of ref document: A1