WO2021161655A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2021161655A1
WO2021161655A1 PCT/JP2020/047353 JP2020047353W WO2021161655A1 WO 2021161655 A1 WO2021161655 A1 WO 2021161655A1 JP 2020047353 W JP2020047353 W JP 2020047353W WO 2021161655 A1 WO2021161655 A1 WO 2021161655A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
image
region
unit
image processing
Prior art date
Application number
PCT/JP2020/047353
Other languages
English (en)
French (fr)
Inventor
琢馬 大里
遠藤　健
フェリペ ゴメズカバレロ
永崎　健
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to DE112020005046.7T priority Critical patent/DE112020005046T5/de
Publication of WO2021161655A1 publication Critical patent/WO2021161655A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an image processing device.
  • Patent Document 1 As a background technology in this technical field, there is Japanese Patent No. 5678702 (Patent Document 1).
  • the publication describes as a problem "to provide a vehicle peripheral monitoring device that suppresses a decrease in the calculation accuracy of the distance between an object and a vehicle based on an image captured by a single camera” as a solution.
  • a distance calculation unit that calculates the distance between an object in real space corresponding to an image portion extracted from the captured image and the vehicle based on an image captured by a single camera mounted on the vehicle, and the image portion.
  • the present invention relates to a vehicle peripheral monitoring device including an object type determination unit for determining the type of an object in the real space corresponding to the above, and the distance calculation unit is a real space corresponding to the image portion or the image portion in a predetermined period.
  • the distance calculation unit is a real space corresponding to the image portion or the image portion in a predetermined period.
  • the vehicle peripheral monitoring device described in Patent Document 1 it is possible to provide a vehicle peripheral monitoring device that suppresses a decrease in calculation accuracy of the distance between an object and a vehicle based on an image captured by a single camera. ..
  • the correlation between the distance from the vehicle in the real space set assuming the type of the object and the size of the image portion in the captured image is extracted from the captured image according to the conditions.
  • the first distance calculation process that calculates the distance between the object and the vehicle by applying the size of the image part of the object, and the object and the object based on the change in the size of the image part of the object extracted from the time-series captured images.
  • a method of switching the second distance calculation process for calculating the distance to the vehicle is described.
  • the method shown by the second distance calculation process uses a change in the appearance of the target object on the image, that is, a change in the relative positional relationship with the sensor, and therefore TTC (Time To Collision). : It is known to be excellent in estimating collision prediction time). Since accurate estimation of TTC is indispensable for vehicle control, it is desirable that this method is adopted in as many scenes as possible. However, according to Patent Document 1, the method is switched on the condition that "the shape change of the image portion or the object in the real space corresponding to the image portion in a predetermined period is determined and the shape change exceeds a predetermined level". , When the first distance calculation process is executed, the accuracy of TTC is lowered.
  • An object of the present invention is to provide an image processing device capable of estimating TTC between an object and a vehicle with high accuracy.
  • the present invention has an object detection unit that detects an object from an image, a region separation unit that separates an image region that detects the object into a plurality of partial regions, and the separated plurality of partial regions.
  • a region selection unit that selects a partial region to be used for calculating the enlargement ratio from, and a TTC calculation unit that calculates the collision prediction time until the object collides with the target object from the enlargement ratio calculated using the selected partial region.
  • the present invention it is possible to provide an image processing device capable of estimating the TTC between the target object and the vehicle with high accuracy.
  • the explanatory view which shows the schematic structure of the vehicle-mounted camera system in Example 1.
  • the explanatory view which shows the structure of the object detection apparatus in Example 1.
  • FIG. Explanatory drawing of object detection using a bird's-eye view image.
  • Explanatory drawing which shows an example of output from an input image to an area selection part.
  • Explanatory drawing which shows the relative position with respect to an object at 2 time, and an example of a captured image.
  • the explanatory view which shows the structure of the object detection apparatus in Example 2.
  • FIG. The flowchart which shows the processing example of the image processing part in Example 2.
  • the explanatory view which shows the structure of the object detection apparatus in Example 3.
  • FIG. The flowchart which shows the processing example of the image processing part in Example 3.
  • Explanatory drawing which shows the example of area selection using an optical flow (judgment example using a short-time optical flow).
  • Explanatory drawing which shows the example of area selection using an optical flow (judgment example using a long-time optical flow).
  • the explanatory view which shows the structure of the object detection apparatus in Example 4.
  • FIG. The flowchart which shows the processing example of the image processing part in Example 4.
  • FIG. Explanatory drawing which shows an example of a stereo area and a monocular area in a stereo camera.
  • the explanatory view which shows the structure of the object detection apparatus in Example 5.
  • the flowchart which shows the processing example of the image processing part in Example 5.
  • Example 1 An outline of the in-vehicle camera system equipped with the object detection device according to the first embodiment will be described with reference to FIG.
  • the camera 101 is mounted on the vehicle 100.
  • An object detection device 102 is mounted on the camera 101, and for example, the distance to an object in front and the relative speed are measured and transmitted to the vehicle control unit 103.
  • the vehicle control unit 103 controls the brake accelerator 105 and the steering 104 from the distance and the relative speed received from the object detection device 102.
  • the camera 101 includes the object detection device 102 shown in FIG.
  • the object detection device 102 includes an image sensor 201, a memory 202, a CPU 203, an image processing unit (image processing device) 204, an external output unit 205, and the like. Each component constituting the object detection device 102 is communicably connected via a communication line 206.
  • the image processing unit (image processing device) 204 includes an object detection unit 241, an area separation unit 242, an area selection unit 243, and a TTC calculation unit 244.
  • the CPU 203 executes the arithmetic processing described below according to the instructions of the program stored in the memory 202.
  • the image taken by the image sensor 201 (the image of the periphery of the vehicle 100) is transmitted to the image processing unit 204, the object detection unit 241 detects the object, and the object detection results obtained for each calculation cycle are compared with each other. , Track the same object in association with each other.
  • the region on the image of the target object (detection object) is divided into a plurality of regions by the region separation unit 242. Among the plurality of divided regions, an region satisfying a predetermined condition is selected by the region selection unit 243. The selected region is passed to the TTC calculation unit 244, and the TTC is calculated by the relative change in the size of the region (that is, the enlargement ratio).
  • the calculated TTC is transmitted from the external output unit 205 to the outside of the object detection device 102, and in the case of the above-mentioned in-vehicle camera system, the vehicle control unit 103 uses the vehicle control unit 103 to determine vehicle control such as the accelerator / brake 105 and the steering 104. NS.
  • the object detection unit 241 detects and tracks an object using the image captured by the image sensor 201.
  • a means for detecting an object using an image for example, a method using a difference in a bird's-eye view image is known. In this method, as shown in FIG. 3, an object is detected using two images 301 and 302 captured in time series. Of the two images 301 and 302, the previously captured image 301 is converted into a bird's-eye view image, and at the same time, the change in appearance due to the movement of the vehicle is calculated from information such as the vehicle speed, and it is predicted that the image will be captured in the current frame. Image 304 is generated.
  • the difference image 306 is created by comparing the predicted image 304 with the image 305 obtained by converting the image 302 actually captured in the current frame into a bird's-eye view image.
  • the difference image 306 has a difference value in each pixel, and a region without a difference is represented by black and a region with a difference is represented by white. If there is no error in the prediction, the same image will be obtained for the road surface and no difference will occur, but a difference will occur in the region where the obstacle (three-dimensional object or the like) 303 exists. An object can be detected by detecting this difference.
  • the object detected in the current frame is compared with the object detected in the past frame by the correlation of the position and texture on the image, and when it is judged to be the same object, the same object is tracked on the image by associating it. Can be done. Needless to say, the means for detecting and tracking an object from an image is not limited to this.
  • the region separation unit 242 separates the imaged region (image region) of the detected object (object being tracked on the image) into a plurality of regions (partial regions).
  • regions Various methods can be considered for the separation means. For example, when the target is a pedestrian, the detection area can be simply divided into upper and lower (two) areas.
  • the area selection unit 243 selects an area to be passed to the TTC calculation unit 244 (that is, used for the enlargement ratio calculation) from the plurality of separated areas (partial areas).
  • the TTC calculation unit 244 calculates the TTC from the enlargement ratio of the object (described later).
  • the upper area corresponding to the upper body is selected from the areas divided into the upper and lower parts.
  • FIG. 4 An example of the output so far is shown in Fig. 4.
  • the image 401 captured by the image sensor 201 is used as an input, and the object detection unit 241 detects the object 402 from the image 401.
  • the area separation unit 242 separates the area (image area) of the object 402 into the upper body area 403 and the lower body area 404, and the area selection unit 243 selects the upper body area 403 and outputs it to the TTC calculation unit 244.
  • the TTC calculation unit 244 calculates the TTC, which is the collision prediction time until the collision with the target object, from the enlargement ratio of the image area (partial area) received from the area selection unit 243.
  • TTC the collision prediction time until the collision with the target object
  • FIG. 5 shows bird's-eye views 505 and 506 showing the positional relationship between the images 501 and 502 captured at 2 hours, the own vehicle 504 at that time, and the object (object) 503. It can be seen that at time t, the distance from the object 503 is smaller than that at time t-1, and the size of the object 503 on the image is enlarged accordingly.
  • the actual height of the object 503 is H [mm]
  • the height of the object 503 on the screen is h [px]
  • the distance between the own vehicle 504 and the object 503 is Z [mm]
  • the own vehicle 504 and the object Assuming that the relative velocity of 503 is rv [mm / s], the focal length of the camera is f [mm], and the processing cycle is S [sec], the following equations (1) to (4) hold. [Number 1] [Number 2] [Number 3] [Number 4]
  • the calculation accuracy of TTC depends on the enlargement ratio ⁇ . Also, in this example, we focused on the height of the object, but since the same formula holds for the length of an arbitrary part, the same formula is applied not only to the height but also when the enlargement ratio of the entire image area is ⁇ . Is self-evident. Further, the enlargement ratio ⁇ calculated using the selected region means the rate of change in the size of the region, and may be 100% or more, or less than 100% (in this case, the reduction ratio). There may be).
  • the TTC calculated by the TTC calculation unit 244 as described above is transmitted from the external output unit 205 to the vehicle control unit 103 outside the object detection device 102, and is used by the vehicle control unit 103 for determining vehicle control.
  • the image processing unit (image processing device) 204 of the present embodiment has an object detection unit 241 that detects an object from an image and a region that separates the image region that detects the object into a plurality of partial regions. From the separation unit 242, the area selection unit 243 that selects the partial area used for the enlargement ratio calculation from the separated plurality of partial areas, and the enlargement ratio calculated using the selected partial area, the target object A TTC calculation unit 244 for calculating a collision prediction time (TTC) until a collision is provided.
  • TTC collision prediction time
  • the image processing unit (image processing device) 204 capable of estimating the TTC between the target object and the vehicle with high accuracy is provided. Can be provided.
  • Example 2 (Example of region selection for a specific type of target object)]
  • Example 2 is a modification of the first embodiment, and when the type of the object to be detected by the object detection unit 241 is identified, the region is selected.
  • An embodiment in which unit 243 changes the selection condition according to the type of the object is shown. By giving a region that is expected to have little deformation for each type of object as prior knowledge, it is possible to select an appropriate region according to the result of identification.
  • FIG. 6 shows the configuration of the object detection device 102 in the second embodiment.
  • the image processing unit 204 of the object detection device 102 is for reference to the object identification unit 245 that identifies the type of the object detected by the object detection unit 241 and the area separation unit 242 and the area selection unit 243 in the configuration of the first embodiment.
  • FIG. 7 shows an example of a flowchart of the image processing unit 204, particularly the area separation unit 242 and the area selection unit 243 in this embodiment.
  • the object detection unit 241 detects an object from the image (S701), and the object identification unit 245 identifies the type of the object (pedestrian, bicycle, automobile, etc.) based on the object detection result (S702).
  • the region separation unit 242 and the region selection unit 243 refer to the deformation small area database 246 of the region where the deformation is expected to be small according to the identification result of S702, and separate the region where the deformation is expected to be small from the image region.
  • the region separation condition determination (S703) and the region selection condition determination (S705) are executed so that they can be selected. For example, when identified as a pedestrian, the head and torso areas are separated and selected, and when identified as a bicycle, the upper body and tire areas above the saddle are separated and selected.
  • a deformable small area database 246 registers an object that is unlikely to be deformed and is likely to exist in the vicinity of the target under specific conditions, searches for the imaged region of the object, and registers the registered object.
  • a process of separating and selecting the region may be performed. For example, if it is identified as a pedestrian and its width is greater than or equal to the threshold, it searches for strollers and suitcases, and if they are in the vicinity, separates and selects them.
  • a method such as searching for a school bag and separating and selecting it if it is in the vicinity can be considered.
  • the region separation unit 242 separates the regions according to the region separation conditions determined in S703 (S704), and the region selection unit 243 selects the regions according to the region selection conditions determined in S705 (S706).
  • the TTC calculation unit 244 calculates the TTC from the enlargement ratio calculated using the image area received from the area selection unit 243 (S707).
  • the area separation unit 242 and the area selection unit 243 are specific areas on the image according to the type of the detected object. (For example, a region where deformation is expected to be small for each type of detected object) is separated and selected.
  • an image processing unit (image processing device) 204 that realizes more stable TTC calculation when the type of the target object is identified.
  • the third embodiment is a modification of the first embodiment, in which the region separation unit 242 separates the imaging region of the object according to the magnitude of the deformation, and the region selection unit 243 selects a region determined to have a small deformation. show. Since the magnitude of deformation is determined for the entire detected area of the object, it is possible to select an appropriate area for any target object without the need for object identification processing or prior knowledge.
  • FIG. 8 shows the configuration of the object detection device 102 in the third embodiment.
  • the image processing unit 204 of the object detection device 102 adds an optical flow calculation unit 247 that calculates an optical flow for the entire area (image area) in which the object is detected by the object detection unit 241 to the configuration of the first embodiment. ing.
  • FIG. 9 shows an example of a flowchart of the image processing unit 204, particularly the area separation unit 242 and the area selection unit 243 in this embodiment.
  • the object detection unit 241 detects an object from the image (S901).
  • the object detection result is obtained for each processing cycle.
  • the optical flow calculation unit 247 calculates the optical flow in the object detection region for each processing cycle (S902).
  • the optical flow is a tracking result of a sufficiently small local region, and can represent a time-series movement for each local region in the entire region where an object is detected.
  • the region separation unit 242 separates the entire region where the object is detected based on the calculation result of S902 (tracking result of the local region) (S903).
  • the region selection unit 243 selects the region separated in S903 (in other words, the optical flow calculated in S902) from the viewpoint of a short-time optical flow or a long-time optical flow (S904, S905).
  • the straight line in the region that can be expressed only by the enlargement / reduction change. Converges to a vanishing point 803.
  • the straight line does not pass through the vanishing point 803.
  • the region selection unit 243 can select a region (partial region) with small deformation by selecting a local region belonging to a straight line that converges to the vanishing point 803 by using this property.
  • the optical flow 807 in the region that can be expressed only by the enlargement / reduction change becomes a straight line, and the movement amount for each processing cycle is stable. ..
  • the optical flow 808 in a region including deformation other than enlargement / reduction, such as the tip of a pedestrian's hand takes a trajectory other than a straight line, and the direction and the amount of movement greatly change for each processing cycle.
  • the region selection unit 243 can select a region (partial region) with small deformation by selecting a region in which the optical flow stably draws a linear trajectory by using this property.
  • the TTC calculation unit 244 calculates the TTC from the enlargement ratio calculated using the image area received from the area selection unit 243 (S906).
  • the area separation unit 242 and the optical flow calculation unit 247 are separate blocks here, the area separation unit 242 is provided with the optical flow calculation unit 247, and the above-mentioned optical flow calculation is performed in the area separation unit 242. Of course, it is also good.
  • the area selection unit 243 determines the optical flow in the image region in which the object being tracked on the image is captured. It is used to select a partial region to be used for calculating the enlargement ratio.
  • an image processing unit (image processing device) 204 capable of selecting a region having a small time-series deformation and calculating TTC for an arbitrary object.
  • Example 4 (Example of region selection for an object in which repeated motion occurs)]
  • Example 4 is a modification of Example 1, and shows an example that is effective when the target is a repetitive motion such as a pedestrian. For example, since the walking motion is a repetition of a certain pattern, a time occurs in which the same pose is taken at regular intervals.
  • the area selection unit 243 extracts two times of the same pose from the object detection area including the past object detection results instead of the fixed two-time object detection result, and selects the area. The area of the selected area can be maximized.
  • FIG. 12 shows the configuration of the object detection device 102 in the fourth embodiment.
  • the image processing unit 204 of the object detection device 102 calculates the similarity between the two hours of the object detected by the object detection unit 241 (the object being tracked on the image) in the configuration of the first embodiment. Part 248 is added.
  • FIG. 13 shows a flowchart of the image processing unit 204, particularly the area separation unit 242 and the area selection unit 243 in this embodiment.
  • the object detection unit 241 detects an object from the image (S1301).
  • the object detection result (image area) is stored in the memory 202 or the like.
  • t be the current time and k be the past time.
  • the similarity calculation unit 248 first, the time k is set to t-1 (S1302), and the similarity of the objects at the time t and the time k is calculated with reference to the stored object detection result (S1303).
  • Various known methods can be considered as the similarity calculation means. It is determined whether or not the similarity calculated in S1303 is equal to or higher than the preset threshold value (S1304), and if the similarity is less than the threshold value, the time k is set to k-1 assuming that the poses are different (S1305).
  • the similarity is calculated again (S1303).
  • the purpose is to determine two times that are the same pose, for example, the past object detection results are saved as much as the memory allows, all the object detection results and the similarity are calculated, and the highest similarity is obtained.
  • a high time may be set as the time k.
  • the area separation unit 242 and the area selection unit 243 also obtain the object detection results at time t and time k. At the same time (that is, from the image regions captured in the past), region separation and selection are performed (S1306).
  • the TTC calculation unit 244 calculates the TTC from the enlargement ratio calculated using the image area received from the area selection unit 243 (S1307).
  • the area selection unit 243 is the image region captured in the past with respect to the object being tracked on the image.
  • a partial area used for calculating the enlargement ratio is selected from the above.
  • the past object detection result (the image region of the detected / tracked object captured in the past). ) Can be used to widely select a region that does not deform, and the TTC accuracy can be improved.
  • the fifth embodiment is a modification of the first embodiment, and shows an example effective when distance measuring sensors other than the camera (monocular camera) 101 can be used at the same time.
  • FIG. 14 shows the monitoring area.
  • the distance to the target object is measured by the principle of triangulation, but one camera (here, the camera 1001 or the camera) Triangulation cannot be used in the regions (also referred to as monocular regions) 1004 and 1005 that can be monitored only in 1002), and it is necessary to calculate the TTC by a method as in this embodiment.
  • a distance-measurable sensor such as a millimeter-wave radar or LiDAR and a monocular camera
  • TTC is simultaneously performed by a plurality of means including the monocular camera and other distance measuring sensors. Can be calculated.
  • FIG. 15 shows the configuration of the object detection device 102 in the fifth embodiment.
  • the image processing unit 204 of the object detection device 102 uses a sensor (hereinafter referred to as another sensor) capable of measuring a distance from the image area where the object is detected by the object detection unit 241 to TTC.
  • a small deformation area that extracts a region suitable for enlargement ratio calculation from the image area where the object is detected by the other sensor TTC calculation possibility judgment unit 249 and the object detection unit 241.
  • An extraction unit 250 and a deformation small area determination result database 251 that stores and stores the area extracted by the deformation small area extraction unit 250 as a deformation small area are added.
  • FIG. 16 shows a flowchart of the image processing unit 204, particularly the area separation unit 242 and the area selection unit 243 in this embodiment.
  • the object detection unit 241 detects an object from the image (S1601).
  • the other sensor TTC calculation possibility determination unit 249 determines whether or not the area where the object is detected by the object detection unit 241 is an area that can be simultaneously observed by the monocular camera and other sensors, for example, a stereo camera. It is determined whether or not the TTC can be calculated by another sensor (S1602).
  • the other sensor TTC calculation possibility determination unit 249 determines that the area where the object is detected by the object detection unit 241 is an area that can be simultaneously observed by the monocular camera and other sensors, for example, a stereo camera (S1602). : Yes)
  • TTC calculation by other sensors is performed (S1603). For example, since a stereo camera can directly measure a distance, the TTC can be calculated using the distance.
  • the region separation unit 242 separates the object region (image region) imaged by the monocular camera into several regions (S1604), and the region selection unit 243 uses the separated plurality of regions to calculate the enlargement ratio.
  • a region is selected (S1605), and the TTC calculation unit 244 performs TTC calculation using the enlargement ratio of the selected region (S1606).
  • the TTC (S1606) calculated by the monocular camera (using the magnification) is compared with the TTC (S1603) calculated by another sensor, for example, a stereo camera, and the other sensor, for example, a stereo camera.
  • the region where a value close to the TTC calculated by (a value closer than a preset threshold value) can be calculated has little deformation and is suitable for calculating the enlargement ratio (small deformation region). (S1607), and stored and stored as a small deformation area in the deformation small area determination result database 251 so that it can be selected by TTC calculation using the subsequent enlargement ratio (S1608).
  • the other sensor TTC calculation possibility determination unit 249 determines that the area where the object is detected by the object detection unit 241 is not an area that can be simultaneously observed by the monocular camera and other sensors, for example, a stereo camera (S1602: No), since the TTC cannot be calculated by the other sensor and the TTC can be calculated only by the enlargement ratio, the TTC calculation by the other sensor is not performed, and the above-mentioned S1604, S1605, and S1606 are performed.
  • the area separation unit 242 and the area selection unit 243 use the deformation small area stored and stored in the deformation small area determination result database 251. Region separation and selection is performed (S1604, S1605).
  • the image processing unit (image processing apparatus) 204 of the fifth embodiment extracts the TTC-matched region when the region selection unit 243 can simultaneously calculate the TTC by a plurality of means. Then, when the TTC can be calculated only by the enlargement ratio, the saved small deformation area is selected as the partial area used for the enlargement ratio calculation.
  • a common monitoring area can be used to select an area suitable for TTC calculation using the magnification, and the target object is only a monocular camera. Even when moving to the monitoring area, the area that does not deform can be accurately selected by using the past area selection result, and the TTC accuracy can be improved.
  • the present invention has been described above.
  • the accuracy of TTC can be improved as compared with the conventional case. Therefore, the present invention is particularly suitable for application to a collision damage mitigation brake in a situation where high precision TTC is required, for example, at an intersection.
  • the present invention is not limited to the above-described examples, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
  • each of the above configurations may be configured so that a part or all of them may be configured by hardware or may be realized by executing a program on a processor.
  • control lines and information lines indicate those that are considered necessary for explanation, and not all the control lines and information lines on the product are shown. In practice, it can be considered that almost all configurations are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

対象物体と車両間のＴＴＣを高精度に推定することのできる画像処理装置を提供する。画像から物体を検知する物体検知部２４１と、前記物体を検知した画像領域を複数の部分領域に分離する領域分離部２４２と、前記分離した複数の部分領域から拡大率算出に用いる部分領域を選択する領域選択部２４３と、前記選択された部分領域を用いて算出した拡大率から、対象となる前記物体と衝突するまでの衝突予測時間（ＴＴＣ）を算出するＴＴＣ算出部２４４と、を備える。

Description

画像処理装置
　本発明は、画像処理装置に関する。
　本技術分野の背景技術として、特許第５６８７７０２号公報（特許文献１）がある。該公報には、課題として「単一のカメラによる撮像画像に基づく、物体と車両間の距離の算出精度が低下することを抑制した車両周辺監視装置を提供すること」と記載され、解決手段として「車両に搭載された単一のカメラによる撮像画像に基づいて、該撮像画像から抽出した画像部分に対応する実空間上の物体と前記車両間の距離を算出する距離算出部と、前記画像部分に対応する実空間上の物体の種別を判定する物体種別判定部とを備えた車両周辺監視装置に関する。そして、前記距離算出部は、所定期間における前記画像部分又は前記画像部分に対応する実空間上の物体の形状変化を判定し、前記形状変化が所定レベルを超えるときは、前記物体の種別を想定して設定された実空間上の前記車両からの距離と前記撮像画像での画像部分の大きさとの相関関係に、前記撮像画像から抽出された前記物体の画像部分の大きさを適用して、前記物体と前記車両との距離を算出する第１距離算出処理を実行し、前記形状変化が前記所定レベル以下であるときには、前記カメラによる時系列の撮像画像から抽出した前記物体の画像部分の大きさの変化に基づいて、前記物体と前記車両との距離を算出する第２距離算出処理を実行する」と記載されている。
特許第５６８７７０２号公報
　特許文献１に記載の車両周辺監視装置によれば、単一のカメラによる撮像画像に基づく、物体と車両間の距離の算出精度が低下することを抑制した車両周辺監視装置を提供することができる。該特許文献１においては、条件に応じて、物体の種別を想定して設定された実空間上の車両からの距離と撮像画像での画像部分の大きさとの相関関係に撮像画像から抽出された物体の画像部分の大きさを適用して物体と車両との距離を算出する第１距離算出処理と、時系列の撮像画像から抽出した前記物体の画像部分の大きさの変化に基づいて物体と車両との距離を算出する第２距離算出処理を切り替える手法が記載されている。
　ここで第２距離算出処理によって示された手法は、対象となる物体の画像上での見え方の変化、すなわちセンサとの相対的な位置関係の変化を用いているため、ＴＴＣ（Ｔｉｍｅ　Ｔｏ　Ｃｏｌｌｉｓｉｏｎ：衝突予測時間）の推定に優れていることが知られている。車両制御のためにはＴＴＣの精度の良い推定が不可欠であるため、できるだけ多くのシーンにおいて本手法が採用されることが望ましい。しかし、特許文献１によれば、「所定期間における画像部分又は画像部分に対応する実空間上の物体の形状変化を判定し、形状変化が所定レベルを超える」ことを条件に手法を切り替えており、第１距離算出処理が実行された場合にはＴＴＣの精度が低下する。
　本発明の目的は、対象物体と車両間のＴＴＣを高精度に推定することのできる画像処理装置を提供することである。
　上記目的を達成するために、本発明は、画像から物体を検知する物体検知部と、前記物体を検知した画像領域を複数の部分領域に分離する領域分離部と、前記分離した複数の部分領域から拡大率算出に用いる部分領域を選択する領域選択部と、前記選択された部分領域を用いて算出した拡大率から、対象となる前記物体と衝突するまでの衝突予測時間を算出するＴＴＣ算出部と、を備える。
　本発明によれば、対象物体と車両間のＴＴＣを高精度に推定することのできる画像処理装置を提供することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
実施例１における車載カメラシステムの概略構成を示す説明図。 実施例１における物体検知装置の構成を示す説明図。 俯瞰画像を用いた物体検知の説明図。 入力画像から領域選択部までの出力の例を示す説明図。 ２時刻における物体との相対位置と撮像画像の例を示す説明図。 実施例２における物体検知装置の構成を示す説明図。 実施例２における画像処理部の処理例を示すフローチャート。 実施例３における物体検知装置の構成を示す説明図。 実施例３における画像処理部の処理例を示すフローチャート。 オプティカルフローを用いた領域選択の例（短時間オプティカルフローを用いた判定例）を示す説明図。 オプティカルフローを用いた領域選択の例（長時間オプティカルフローを用いた判定例）を示す説明図。 実施例４における物体検知装置の構成を示す説明図。 実施例４における画像処理部の処理例を示すフローチャート。 ステレオカメラにおけるステレオ領域と単眼領域の例を示す説明図。 実施例５における物体検知装置の構成を示す説明図。 実施例５における画像処理部の処理例を示すフローチャート。
　以下、図面を用いて本発明の実施例を説明する。
［実施例１］
　図１を用いて、実施例１における物体検知装置を搭載した車載カメラシステムの概要を説明する。当該車載カメラシステムにおいて、車両１００にカメラ１０１が搭載される。カメラ１０１には物体検知装置１０２が搭載されており、例えば前方の物体までの距離や相対速度を計測して車両制御部１０３に送信する。車両制御部１０３は、物体検知装置１０２から受け取った距離や相対速度からブレーキ・アクセル１０５、ステアリング１０４を制御する。
　カメラ１０１は、図２に示す物体検知装置１０２を備えている。物体検知装置１０２は、撮像素子２０１、メモリ２０２、ＣＰＵ２０３、画像処理部（画像処理装置）２０４、外部出力部２０５などを備える。物体検知装置１０２を構成する各構成要素は、通信ライン２０６を介して通信可能に接続されている。画像処理部（画像処理装置）２０４は、物体検知部２４１、領域分離部２４２、領域選択部２４３、ＴＴＣ算出部２４４を有する。ＣＰＵ２０３は、メモリ２０２に格納されているプログラムの指示に従って、以下で説明する演算処理を実行する。
　撮像素子２０１で撮影された画像（車両１００の周辺を撮像した画像）は画像処理部２０４に送信され、物体検知部２４１において物体を検知し、演算周期ごとに得られる物体検知結果同士を比較し、同一物体を対応付けて追跡する。前記対象物体（検知物体）の撮像されている画像上の領域は、領域分離部２４２において複数に分割される。前記複数に分割された領域のうち所定の条件を満たす領域が領域選択部２４３によって選択される。選択された領域はＴＴＣ算出部２４４に受け渡され、領域の大きさの相対変化（すなわち、拡大率）によってＴＴＣが算出される。算出されたＴＴＣは外部出力部２０５より物体検知装置１０２の外部に送信され、前述の車載カメラシステムであれば、車両制御部１０３においてアクセル・ブレーキ１０５、ステアリング１０４などの車両制御の判断に利用される。
　以下、画像処理部２０４の構成要素について説明する。
（物体検知部２４１）
　物体検知部２４１においては、撮像素子２０１で撮影された画像を用いて物体の検知と追跡を行う。画像を用いた物体の検知手段については、例えば俯瞰画像の差分を用いた手法が公知である。この手法では、図３に示す通り、時系列に撮像した２枚の画像３０１、３０２を用いて物体の検知を行う。２枚の画像３０１、３０２のうち過去に撮像された画像３０１を俯瞰画像に変換すると同時に、車速などの情報から車両の運動による見え方の変化を算出し、今フレームで撮像されると予測される画像３０４を生成する。予測した画像３０４と実際に今フレームで撮像された画像３０２を俯瞰画像に変換した画像３０５を比較し、差分画像３０６を作成する。差分画像３０６は各画素における差分の値を持っており、差分のない領域が黒、差分がある領域が白で表される。予測に誤差がなければ、道路面については同一の画像となり差分が発生しないが、障害物（立体物など）３０３の存在する領域には差分が発生する。この差分を検出することによって物体を検知することができる。今フレームで検知された物体は過去フレームで検知された物体と画像上での位置やテクスチャの相関によって比較され、同一物体と判断された場合に対応付けることで画像上において同一物体の追跡を行うことができる。なお、画像から物体を検知および追跡する手段についてはこれに限られないことは勿論である。
（領域分離部２４２）
　領域分離部２４２においては、前記の検出した物体（画像上において追跡している物体）の撮像されている領域（画像領域）を複数の領域（部分領域）に分離する。分離手段については様々な手法が考えられるが、例えば対象が歩行者であった場合は、検知領域を単純に上下（２つ）の領域に分割することができる。
（領域選択部２４３）
　領域選択部２４３においては、分離された複数の領域（部分領域）のうちＴＴＣ算出部２４４に受け渡す（すなわち、拡大率算出に用いる）領域を選択する。ここでＴＴＣ算出部２４４においては、物体の拡大率からＴＴＣを算出する（後で説明）。拡大率を精度良く算出するためには、画像上での見え方の変化が、距離の変化に起因する拡大縮小以外にはないことが望ましい。対象が歩行者であれば、歩行時の足の動きなどが含まれる領域は不適であるため、本実施例では、上下２つに分割された領域のうち、上半身に当たる上部領域を選択する。
　ここまでの出力の例を図４に示した。撮像素子２０１で撮影された画像４０１を入力とし、物体検知部２４１において、画像４０１から物体４０２を検知する。領域分離部２４２において、上半身領域４０３と下半身領域４０４に物体４０２の領域（画像領域）を分離し、領域選択部２４３において、上半身領域４０３を選択してＴＴＣ算出部２４４に出力している。
（ＴＴＣ算出部２４４）
　ＴＴＣ算出部２４４においては、領域選択部２４３から受け取った画像領域（部分領域）の拡大率から、対象物体と衝突するまでの衝突予測時間であるＴＴＣを算出する。時刻ｔと時刻ｔ－１に検知した物体について考える。図５に、２時刻において撮像された画像５０１、５０２とその際の自車５０４と対象物（物体）５０３の位置関係を示す俯瞰図５０５、５０６を示した。時刻ｔにおいては時刻ｔ－１より物体５０３との距離が小さくなっており、それに伴い画像上での物体５０３の大きさが拡大していることがわかる。このとき、物体５０３の実際の高さをＨ［ｍｍ］、物体５０３の画面上での高さをｈ［ｐｘ］、自車５０４と物体５０３の距離をＺ［ｍｍ］、自車５０４と物体５０３の相対速度をｒｖ［ｍｍ／ｓ］、カメラの焦点距離をｆ［ｍｍ］、処理周期をＳ［ｓｅｃ］とすると、以下の式（１）～（４）が成り立つ。
［数１］
Figure JPOXMLDOC01-appb-I000001
［数２］
Figure JPOXMLDOC01-appb-I000002
［数３］
Figure JPOXMLDOC01-appb-I000003
［数４］
Figure JPOXMLDOC01-appb-I000004
　ここで、画像上での拡大率α＝ｈｔ／ｈｔ－１とおくと、以下の式（５）が得られる。
［数５］
Figure JPOXMLDOC01-appb-I000005
　処理周期Ｓは正確な値が得られるため、ＴＴＣの算出精度は拡大率αに依存する。また、本例では物体の高さに着目したが、任意の部分の長さについて同様の式が成り立つため、高さに限らず、画像領域全体の拡大率をαとおいた場合にも同様の式が成立することは自明である。また、選択された領域を用いて算出される拡大率αは、領域の大きさの変化率を意味しており、１００％以上の場合もあるし、１００％未満（この場合、縮小率ということがある）の場合もあり得る。
　正確な拡大率αを算出するためには、距離の変化による拡大縮小以外の見え方の変化のない領域をできる限り広く確保する必要があるが、本実施例においては、前述した領域分離部２４２及び領域選択部２４３によって実現される。
　上記のようにＴＴＣ算出部２４４で算出されたＴＴＣは、外部出力部２０５から物体検知装置１０２の外部の車両制御部１０３に送信され、車両制御部１０３において車両制御の判断に利用される。
　以上で説明したように、本実施例の画像処理部（画像処理装置）２０４は、画像から物体を検知する物体検知部２４１と、前記物体を検知した画像領域を複数の部分領域に分離する領域分離部２４２と、前記分離した複数の部分領域から拡大率算出に用いる部分領域を選択する領域選択部２４３と、前記選択された部分領域を用いて算出した拡大率から、対象となる前記物体と衝突するまでの衝突予測時間（ＴＴＣ）を算出するＴＴＣ算出部２４４と、を備える。
　上記した画像処理部（画像処理装置）２０４によれば、実施例１の車載カメラシステムにおいて、対象物体と車両間のＴＴＣを高精度に推定することのできる画像処理部（画像処理装置）２０４を提供することができる。
［実施例２（特定種別の対象物体に対する領域選択の実施例）］　実施例２は実施例１の変形例であり、物体検知部２４１で検知する物体の種別が識別されているとき、領域選択部２４３が物体の種別に応じて選択条件を変更する実施例を示す。物体の種別ごとに変形が少ないと予想される領域を事前知識として与えておくことで、識別の結果に応じて適切な領域を選択することができる。
　実施例２における物体検知装置１０２の構成を図６に示す。物体検知装置１０２の画像処理部２０４は、実施例１の構成に、物体検知部２４１で検知する物体の種別を識別する物体識別部２４５と、領域分離部２４２および領域選択部２４３の参照のための、変形が小さいと予想される領域の情報を保存・格納した変形小領域データベース２４６とを追加している。
　本実施例における画像処理部２０４、特に、領域分離部２４２、領域選択部２４３のフローチャートの一例を図７に示した。
　物体検知部２４１において、画像から物体を検知し（Ｓ７０１）、その物体検知結果に対して、物体識別部２４５において、物体の種別（歩行者、自転車、自動車など）を識別する（Ｓ７０２）。領域分離部２４２および領域選択部２４３において、Ｓ７０２の識別結果に応じて、変形が小さいと予想される領域の変形小領域データベース２４６を参照し、画像領域から変形が少ないと予想される領域を分離および選択できるよう、領域分離条件の決定（Ｓ７０３）及び領域選択条件の決定（Ｓ７０５）を実行する。例えば歩行者と識別されたときには、頭部や胴体の領域を分離および選択する、自転車と識別されたときには、サドルより上の上半身部分やタイヤ部分の領域を分離および選択する、などの例が考えられる。あるいは、変形小領域データベース２４６には特定の条件下で対象の周辺に存在する可能性の高い変形しにくい物体を登録しておき、該物体の撮像されている領域を探索し、登録された物体（変形しにくい物体）があった場合に、その領域を分離および選択する処理を実施してもよい。例えば歩行者と識別されかつ幅が閾値以上であった場合には、ベビーカーやスーツケースを探索し、それらが周辺にあれば、分離および選択する。
子どもと識別されたときには、ランドセルを探索し、それが周辺にあれば、分離および選択する、などの手法が考えられる。領域分離部２４２において、Ｓ７０３で決定された領域分離条件に応じた領域を分離し（Ｓ７０４）、領域選択部２４３において、Ｓ７０５で決定された領域選択条件に応じた領域を選択する（Ｓ７０６）。ＴＴＣ算出部２４４において、領域選択部２４３から受け取った画像領域を用いて算出した拡大率から、ＴＴＣを算出する（Ｓ７０７）。
　以上で説明したように、本実施例２の画像処理部（画像処理装置）２０４は、前記領域分離部２４２および前記領域選択部２４３は、前記検知した物体の種別に応じた画像上の特定領域（例えば、検知した物体の種別ごとに変形が少ないと予想される領域）を分離および選択する。
　本実施例２によれば、対象物体の種別が識別されているときに、より安定なＴＴＣ算出を実現する画像処理部（画像処理装置）２０４を提供することができる。
［実施例３（任意の対象物体に対する領域選択の実施例）］
　実施例３は実施例１の変形例であり、領域分離部２４２で物体の撮像領域を変形の大きさによって分離し、領域選択部２４３では変形が小さいと判断された領域を選択する実施例を示す。物体の検知された全領域に対して変形の大小を判定するため、物体の識別処理や事前知識を必要とせず、任意の対象物体に対して適切な領域を選択することができる。
　実施例３における物体検知装置１０２の構成を図８に示す。物体検知装置１０２の画像処理部２０４は、実施例１の構成に、物体検知部２４１で物体の検知された全領域（画像領域）に対してオプティカルフローを算出するオプティカルフロー算出部２４７を追加している。
　本実施例における画像処理部２０４、特に、領域分離部２４２、領域選択部２４３のフローチャートの一例を図９に示した。
　物体検知部２４１において、画像から物体を検知する（Ｓ９０１）。物体検知結果は処理周期ごとに得られる。オプティカルフロー算出部２４７においては、処理周期ごとの物体検知領域においてオプティカルフローを算出する（Ｓ９０２）。オプティカルフローとは、十分小さな局所領域の追跡結果であり、物体を検知した全領域においてそれぞれの局所領域ごとに時系列の移動を表すことができる。領域分離部２４２においては、Ｓ９０２の算出結果（局所領域の追跡結果）に基づいて、物体を検知した全領域を分離する（Ｓ９０３）。領域選択部２４３においては、Ｓ９０３で分離した領域（換言すれば、Ｓ９０２にて算出したオプティカルフロー）を短時間のオプティカルフローあるいは長時間のオプティカルフローという観点から選択する（Ｓ９０４、Ｓ９０５）。
　まず、図１０を用いて、短時間のオプティカルフローを用いた判定例について述べる。時刻ｔ－１における撮像領域８０１と時刻ｔにおける撮像領域８０２に対してオプティカルフローを算出し、２時刻において対応付いた局所領域ごとに直線を引いたとき、拡大縮小変化だけで表現できる領域における直線はある消失点８０３に収束する。このとき、歩行者の足の先端のように拡大縮小以外の変形が支配的な領域８０４においては、直線は消失点８０３を通らない。領域選択部２４３においては、この性質を用いて、消失点８０３に収束する直線に属する局所領域を選択することで、変形の小さい領域（部分領域）を選択することができる。
　次に、図１１を用いて、長時間のオプティカルフローを用いた判定例について述べる。任意の時刻ｔ－ｋにおける撮像領域８０５から時刻ｔにおける撮像領域８０２までのオプティカルフローを用いると、拡大縮小変化だけで表現できる領域におけるオプティカルフロー８０７は直線となり、処理周期ごとの移動量も安定する。このとき、歩行者の手の先端のように拡大縮小以外の変形を含む領域におけるオプティカルフロー８０８は、直線以外の軌道をとり、処理周期ごとに方向や移動量が大きく変化する。領域選択部２４３においては、この性質を用いて、オプティカルフローが安定に直線軌道を描く領域を選択することで、変形の小さい領域（部分領域）を選択することができる。
　そして、ＴＴＣ算出部２４４において、領域選択部２４３から受け取った画像領域を用いて算出した拡大率から、ＴＴＣを算出する（Ｓ９０６）。
　なお、ここでは、領域分離部２４２とオプティカルフロー算出部２４７を別ブロックとしているが、領域分離部２４２にオプティカルフロー算出部２４７を設け、領域分離部２４２内で上述したオプティカルフロー算出を実施してもよいことは勿論である。
　以上で説明したように、本実施例３の画像処理部（画像処理装置）２０４は、前記領域選択部２４３は、前記画像上において追跡している物体の撮像されている画像領域におけるオプティカルフローを用いて、前記拡大率算出に用いる部分領域を選択する。
　本実施例３によれば、任意の物体に対して、時系列の変形の小さい領域を選択し、ＴＴＣを算出することのできる画像処理部（画像処理装置）２０４を提供することができる。
［実施例４（繰り返しモーションの発生する物体に対する領域選択の実施例）］
　実施例４は実施例１の変形例であり、対象が歩行者などの繰り返しのモーションであるときに有効な実施例を示す。例えば歩行モーションはある一定パターンの繰り返しであるため、一定時間ごとに同一のポーズを取る時刻が発生する。本実施例においては、決まった２時刻の物体検知結果でなく、過去の物体検知結果を含む物体検知領域から同一のポーズである２時刻を抽出し、領域選択することで、領域選択部２４３によって選択される領域の面積を最大化することができる。
　実施例４における物体検知装置１０２の構成を図１２に示す。物体検知装置１０２の画像処理部２０４は、実施例１の構成に、物体検知部２４１で検知された物体（画像上において追跡している物体）の２時刻間の類似度を算出する類似度算出部２４８を追加している。
　本実施例における画像処理部２０４、特に、領域分離部２４２、領域選択部２４３のフローチャートを図１３に示した。
　物体検知部２４１において、画像から物体を検知する（Ｓ１３０１）。物体検知結果（画像領域）はメモリ２０２などに保存されている。ここで、現在時刻をｔ、過去時刻をｋとする。類似度算出部２４８において、まず時刻ｋをｔ－１とし（Ｓ１３０２）、保存されている物体検知結果を参照して、時刻ｔと時刻ｋにおける物体の類似度を算出する（Ｓ１３０３）。類似度算出手段については公知の様々な手法が考えられる。Ｓ１３０３で算出した類似度が予め設定した閾値以上であるか否かを判定し（Ｓ１３０４）、類似度が閾値未満であった場合、ポーズが違うものとして時刻ｋをｋ－１に設定し（Ｓ１３０５）、再度、類似度を算出する（Ｓ１３０３）。ここでは同一ポーズである２時刻を決定することが目的であるから、例えばメモリの許す限り過去の物体検知結果を保存しておき、すべての物体検知結果と類似度を算出し、最も類似度の高い時刻を時刻ｋとして設定してもよい。類似度が閾値以上であった場合、つまり、同一のポーズであると判断できる時刻ｋを発見できたとき、領域分離部２４２および領域選択部２４３において、時刻ｔと時刻ｋの物体検知結果をもとに（すなわち、過去撮像された画像領域の中から）領域の分離および選択を実施する（Ｓ１３０６）。
　そして、ＴＴＣ算出部２４４において、領域選択部２４３から受け取った画像領域を用いて算出した拡大率から、ＴＴＣを算出する（Ｓ１３０７）。
　以上で説明したように、本実施例４の画像処理部（画像処理装置）２０４は、前記領域選択部２４３は、前記画像上において追跡している物体に対して、過去撮像された画像領域の中から、前記拡大率算出に用いる部分領域を選択する。
　本実施例４によれば、直近の２フレームで撮像された対象物体において変形する領域が支配的であった場合にも、過去の物体検知結果（過去に撮像された検知・追跡物体の画像領域）を用いることで変形しない領域を広く選択することができ、ＴＴＣ精度を向上することができる。
［実施例５（センサフュージョンを用いた領域選択の実施例）］
　実施例５は実施例１の変形例であり、カメラ（単眼カメラ）１０１以外の測距可能なセンサが同時に利用可能であるときに有効な実施例を示す。例えばステレオカメラと単眼カメラの例について、図１４にその監視領域を示す。２台のカメラ１００１、１００２で監視可能な領域（ステレオ領域ともいう）１００３においては三角測量の原理によって対象となる物体までの距離を計測するが、１台のカメラ（ここでは、カメラ１００１またはカメラ１００２）でのみ監視可能な領域（単眼領域ともいう）１００４、１００５においては三角測量が使えず、本実施例のような手法でＴＴＣを算出する必要がある。同様にミリ波レーダーやＬｉＤＡＲといった測距可能なセンサと単眼カメラを同時に用いた場合、複数センサで同時に観測可能な領域と、単眼カメラでのみ観測可能な領域が存在する。このように、単眼カメラ以外の測距可能なセンサ（ステレオカメラ、ミリ波レーダー、ＬｉＤＡＲなど）が同時に利用可能であるとき、単眼カメラとそれ以外の測距可能なセンサを含む複数手段で同時にＴＴＣを算出可能である。
　実施例５における物体検知装置１０２の構成を図１５に示す。物体検知装置１０２の画像処理部２０４は、実施例１の構成に、物体検知部２４１で物体の検知された画像領域から、単眼カメラ以外の測距可能なセンサ（以下、他センサという）でＴＴＣを算出可能か否かを判断する他センサＴＴＣ算出可否判断部２４９と、物体検知部２４１で物体の検知された画像領域から、変形が少なく、拡大率算出に適した領域を抽出する変形小領域抽出部２５０と、変形小領域抽出部２５０で抽出した領域を変形小領域として保存・格納する変形小領域判定結果データベース２５１とを追加している。
　本実施例における画像処理部２０４、特に、領域分離部２４２、領域選択部２４３のフローチャートを図１６に示した。
　物体検知部２４１において、画像から物体を検知する（Ｓ１６０１）。他センサＴＴＣ算出可否判断部２４９において、物体検知部２４１で物体の検知された領域が、単眼カメラとそれ以外の他センサ、例えばステレオカメラで同時に観測可能な領域か否かを判断することにより、他センサでＴＴＣを算出可能か否かを判断する（Ｓ１６０２）。他センサＴＴＣ算出可否判断部２４９において、物体検知部２４１で物体の検知された領域が、単眼カメラとそれ以外の他センサ、例えばステレオカメラで同時に観測可能な領域であると判断されたとき（Ｓ１６０２：Ｙｅｓ）、他センサによるＴＴＣ算出を実施する（Ｓ１６０３）。例えばステレオカメラでは直接距離を測距可能であるため、距離を用いてＴＴＣが算出可能である。次に、領域分離部２４２において、単眼カメラで撮像された物体領域（画像領域）をいくつかの領域に分離し（Ｓ１６０４）、領域選択部２４３において、分離した複数の領域から拡大率算出に用いる領域を選択し（Ｓ１６０５）、ＴＴＣ算出部２４４において、選択した領域の拡大率を用いたＴＴＣ算出を実施する（Ｓ１６０６）。変形小領域抽出部２５０において、単眼カメラによって（拡大率を用いて）算出されたＴＴＣ（Ｓ１６０６）を他センサ、例えばステレオカメラによって算出されたＴＴＣ（Ｓ１６０３）と比較し、他センサ、例えばステレオカメラによって算出されたＴＴＣと近い値（予め設定した閾値より近い値）を算出できた領域（すなわち、ＴＴＣの整合のとれる領域）は変形が少なく、拡大率の算出に適した領域（変形小領域）であるとして抽出し（Ｓ１６０７）、それ以降の拡大率を用いたＴＴＣ算出で選択できるように、変形小領域判定結果データベース２５１に変形小領域として保存・格納する（Ｓ１６０８）。
　他センサＴＴＣ算出可否判断部２４９において、物体検知部２４１で物体の検知された領域が、単眼カメラとそれ以外の他センサ、例えばステレオカメラで同時に観測可能な領域でないと判断されたとき（Ｓ１６０２：Ｎｏ）、他センサでＴＴＣを算出不可、且つ、拡大率によるＴＴＣの算出のみが可能であるため、他センサによるＴＴＣ算出を実施せず、前述のＳ１６０４、Ｓ１６０５、Ｓ１６０６を実施する。このとき（すなわち、拡大率によるＴＴＣの算出のみが可能になったとき）、領域分離部２４２および領域選択部２４３において、変形小領域判定結果データベース２５１に保存・格納された変形小領域を用いて領域の分離および選択を実施する（Ｓ１６０４、Ｓ１６０５）。
　以上で説明したように、本実施例５の画像処理部（画像処理装置）２０４は、前記領域選択部２４３は、複数手段で同時にＴＴＣを算出可能であるとき、ＴＴＣの整合のとれる領域を抽出して変形小領域として保存しておき、前記拡大率によるＴＴＣの算出のみが可能になったときは、前記拡大率算出に用いる部分領域として前記保存された変形小領域を選択する。
　本実施例５によれば、複数センサのデータが利用可能である場合に共通の監視領域を用いて拡大率を用いたＴＴＣ算出に適した領域を選択でき、対象となる物体が単眼カメラのみの監視領域に移動した場合においても、過去の領域選択結果を用いることで変形しない領域を精度よく選択することができ、ＴＴＣ精度を向上することができる。
　以上、本発明の実施例を説明した。上記の実施例では、ＴＴＣの精度を従来より向上させることができる。よって、本発明は高精度なＴＴＣが要求される場面、例えば、交差点での衝突被害軽減ブレーキへの適用に特に好適である。なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１００　車両、１０１　カメラ、１０２　物体検知装置、１０３　車両制御部、２０１　撮像素子、２０２　メモリ、２０３　ＣＰＵ、２０４　画像処理部（画像処理装置）、２０５　外部出力部、２０６　通信ライン、２４１　物体検知部、２４２　領域分離部、２４３　領域選択部、２４４　ＴＴＣ算出部、２４５　物体識別部（実施例２）、２４６　変形小領域データベース（実施例２）、２４７　オプティカルフロー算出部（実施例３）、２４８　類似度算出部（実施例４）、２４９　他センサＴＴＣ算出可否判断部（実施例５）、２５０　変形小領域抽出部（実施例５）、２５１　変形小領域判定結果データベース（実施例５）

Claims (5)

  1. 　画像から物体を検知する物体検知部と、
    　前記物体を検知した画像領域を複数の部分領域に分離する領域分離部と、
    　前記分離した複数の部分領域から拡大率算出に用いる部分領域を選択する領域選択部と、
    　前記選択された部分領域を用いて算出した拡大率から、対象となる前記物体と衝突するまでの衝突予測時間を算出するＴＴＣ算出部と、を備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記領域分離部および前記領域選択部は、前記検知した物体の種別に応じた画像上の特定領域を分離および選択することを特徴とする画像処理装置。
  3. 　請求項１に記載の画像処理装置であって、
    　前記領域選択部は、前記画像上において追跡している物体の撮像されている画像領域におけるオプティカルフローを用いて、前記拡大率算出に用いる部分領域を選択することを特徴とする画像処理装置。
  4. 　請求項１に記載の画像処理装置であって、
    　前記領域選択部は、前記画像上において追跡している物体に対して、過去撮像された画像領域の中から、前記拡大率算出に用いる部分領域を選択することを特徴とする画像処理装置。
  5. 　請求項１に記載の画像処理装置であって、
    　前記領域選択部は、複数手段で同時に前記衝突予測時間を算出可能であるとき、前記衝突予測時間の整合のとれる領域を抽出して変形小領域として保存しておき、前記拡大率による前記衝突予測時間の算出のみが可能になったときは、前記拡大率算出に用いる部分領域として前記保存された変形小領域を選択することを特徴とする画像処理装置。
PCT/JP2020/047353 2020-02-12 2020-12-18 画像処理装置 WO2021161655A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112020005046.7T DE112020005046T5 (de) 2020-02-12 2020-12-18 Bildverarbeitungsvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020021886A JP7309630B2 (ja) 2020-02-12 2020-02-12 画像処理装置
JP2020-021886 2020-02-12

Publications (1)

Publication Number Publication Date
WO2021161655A1 true WO2021161655A1 (ja) 2021-08-19

Family

ID=77292355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047353 WO2021161655A1 (ja) 2020-02-12 2020-12-18 画像処理装置

Country Status (3)

Country Link
JP (1) JP7309630B2 (ja)
DE (1) DE112020005046T5 (ja)
WO (1) WO2021161655A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157581A (ja) * 2007-12-26 2009-07-16 Toyota Central R&D Labs Inc 歩行者検出装置
JP2012098776A (ja) * 2010-10-29 2012-05-24 Daihatsu Motor Co Ltd 運転支援装置
JP2016009331A (ja) * 2014-06-24 2016-01-18 本田技研工業株式会社 車両周辺監視装置
WO2016152807A1 (ja) * 2015-03-20 2016-09-29 株式会社デンソー 衝突余裕時間算出装置及び衝突回避システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012029382A1 (ja) 2010-08-31 2012-03-08 本田技研工業株式会社 車両周辺監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009157581A (ja) * 2007-12-26 2009-07-16 Toyota Central R&D Labs Inc 歩行者検出装置
JP2012098776A (ja) * 2010-10-29 2012-05-24 Daihatsu Motor Co Ltd 運転支援装置
JP2016009331A (ja) * 2014-06-24 2016-01-18 本田技研工業株式会社 車両周辺監視装置
WO2016152807A1 (ja) * 2015-03-20 2016-09-29 株式会社デンソー 衝突余裕時間算出装置及び衝突回避システム

Also Published As

Publication number Publication date
JP7309630B2 (ja) 2023-07-18
JP2021128470A (ja) 2021-09-02
DE112020005046T5 (de) 2022-08-11

Similar Documents

Publication Publication Date Title
US10762643B2 (en) Method for evaluating image data of a vehicle camera
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
JP5944781B2 (ja) 移動体認識システム、移動体認識プログラム、及び移動体認識方法
JP5999127B2 (ja) 画像処理装置
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
CN102194239B (zh) 用于处理图像数据的方法和系统
JP5353455B2 (ja) 周辺監視装置
JP5178276B2 (ja) 画像認識装置
JP2009169776A (ja) 検出装置
US9098750B2 (en) Gradient estimation apparatus, gradient estimation method, and gradient estimation program
JP4937844B2 (ja) 歩行者検出装置
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
JP2010079582A (ja) 物体を検出する装置、方法及びプログラム
Lim et al. Real-time forward collision warning system using nested Kalman filter for monocular camera
JP6677474B2 (ja) 周辺認識装置
Dinesh Kumar et al. Stereo camera and LIDAR sensor fusion-based collision warning system for autonomous vehicles
JP7195200B2 (ja) 車載装置、車載システムおよび周辺監視方法
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
CN110944895B (zh) 用于根据由车辆的摄像机所拍摄的图像序列来求取光流的方法和设备
Michalke et al. Towards a closer fusion of active and passive safety: Optical flow-based detection of vehicle side collisions
Lu et al. Forward vehicle collision warning based on quick camera calibration
KR20220097682A (ko) 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템 및 방법
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20918379

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20918379

Country of ref document: EP

Kind code of ref document: A1