WO2016039077A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2016039077A1
WO2016039077A1 PCT/JP2015/072987 JP2015072987W WO2016039077A1 WO 2016039077 A1 WO2016039077 A1 WO 2016039077A1 JP 2015072987 W JP2015072987 W JP 2015072987W WO 2016039077 A1 WO2016039077 A1 WO 2016039077A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
processing
distance
vehicle
Prior art date
Application number
PCT/JP2015/072987
Other languages
English (en)
French (fr)
Inventor
英彰 城戸
春樹 的野
永崎　健
晋司 掛川
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP15839643.2A priority Critical patent/EP3193134B1/en
Priority to JP2016547792A priority patent/JP6279090B6/ja
Priority to US15/500,127 priority patent/US10247551B2/en
Priority to CN201580038805.8A priority patent/CN106662441B/zh
Publication of WO2016039077A1 publication Critical patent/WO2016039077A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Definitions

  • the present invention relates to an image processing apparatus, and more particularly to an image processing apparatus that processes images captured by a plurality of cameras mounted on a vehicle such as an automobile to recognize an environment around the vehicle.
  • a system that detects a vehicle existing around a vehicle based on an image obtained from a camera (an in-vehicle camera) mounted on the vehicle such as an automobile and uses the detection result for driver assistance. Yes.
  • a camera an in-vehicle camera mounted on the vehicle such as an automobile
  • ACC inter-vehicle maintenance system
  • a collision avoidance system that alerts the driver with an alarm or the like, and reduces the injury to the occupant with an automatic brake or the like when a collision becomes unavoidable.
  • Patent Document 1 discloses a technique for measuring an accurate distance to an object by improving distance accuracy when measuring a distance to the object reflected in an image. .
  • the image processing apparatus disclosed in Patent Document 1 extracts one image object region including an image of an object from one image of a pair of images captured in the same direction at the same time by a pair of imaging elements, On the other hand, for each of a plurality of image components constituting the image object region, a background degree that is an accuracy of whether the image is an object image component part or a background image component part is calculated, and the background degree is used to calculate the inside of the other image.
  • a conventional image processing apparatus used for an object (particularly vehicle) detection technique using a stereo camera apparatus generally has an apparatus configuration as shown in FIG. That is, as shown in FIG. 7, the conventional image processing apparatus 50 ′ mainly includes a right image acquisition unit 501 ′, a left image acquisition unit 502 ′, and a parallax information acquisition unit 503 ′ that constitute the image processing unit 52 ′. , A vehicle detection unit 504 ′, a distance calculation unit 505 ′, a collation processing unit 506 ′, a relative speed calculation unit 507 ′, and a calculation result output unit 508 ′ constituting the arithmetic processing unit 53 ′.
  • the left image acquisition unit 502 ′ and the right image acquisition unit 501 ′ acquire images from a pair of left and right cameras mounted on the vehicle.
  • the parallax information acquisition unit 503 ′ calculates the parallax by collating the two images captured by the left and right cameras, and outputs a parallax image.
  • the parallax information (parallax image) obtained from the calculation result and the left and right images (the left image and the right image captured by the left and right cameras) or one of the images is obtained by the vehicle detection unit 504 ′. Is detected and recognized, and the position (position in the image) of the vehicle candidate group is output.
  • the distance calculation unit 505 ′ calculates and outputs the distance to the vehicle (distance of the vehicle candidate group) using the detection result of the vehicle (position of the vehicle candidate group), parallax information (parallax image), and the like. .
  • the calculation result is recorded in the registration table 509 ′.
  • the position information of the vehicle detected between frames for example, the position and distance of the vehicle candidate group of a certain frame T and the past frame T-1) and information on how the image is viewed by the matching processing unit 506 ′. Is used to associate the detection result in a certain frame with the detection result in the next frame. When there is no past information, the matching process by the matching processing unit 506 ′ is not performed.
  • the relative speed calculation unit 507 ′ uses the correspondence between frames recognized by the matching processing unit 506 ′ (that is, the position and distance of the vehicle candidate group associated between the frames), and the rate of change in distance. Is recognized and the relative speed of the vehicle is calculated, and the relative speed obtained in the frame is recorded in the registration table 509 ′ together with information such as the position and distance of the vehicle. Note that the relative speed can be obtained from the enlargement ratio, and in this case, either the right image or the left image may be used. Then, the calculation result output unit 508 ′ outputs the calculation result to a control processing unit or the like. Note that the position and distance of the vehicle candidate group measured in a certain frame, the relative speed, and the like recorded in the registration table 509 ′ are used for processing in the next frame.
  • This collation range is performed within a predetermined mad range, but the processing becomes heavy because the above-described fine region collation is performed over the entire target image to be stereoscopically viewed.
  • this processing is performed by an element that performs image processing exclusively, but it is known that the calculation load is still large.
  • the image processing by the conventional image processing apparatus 50 ′ will be described in more detail in time series.
  • the process in the image processing unit 52 ′ is set to the S1 ′ series, and the process in the arithmetic processing unit 53 ′ is set to S2 ′.
  • the series first, in the image processing unit 52 ′ (S1 ′ series), the right image input process S501 ′ from the right camera and the left image input process S502 ′ from the left camera are performed, and both images are accumulated.
  • the parallax calculation process S503 ′ is performed.
  • parallax calculation processing S503 ′ right and left or one of the images and the corresponding parallax information (parallax image) are obtained.
  • the processing result in the parallax calculation processing S503 ′ is transferred to the arithmetic processing unit 53 ′ at timing T1 ′, and the arithmetic processing unit 53 ′ (S2 ′ series) waits for the end of the transfer, and then detects and recognizes the vehicle. 'I do. After that, distance calculation processing S505 ′, collation processing S506 ′, relative speed calculation processing S507 ′, and calculation result output processing S508 ′ are performed.
  • the delay in response from the image input from the camera to the calculation result output is not limited to simply communicating with the vehicle control device or the like using the stereo camera device alone, but in combination with other sensors Even in a sensor fusion system such as that provided to a vehicle, there may be a problem that the difference in response between sensors becomes large, and the integration of the information becomes difficult.
  • the present invention has been made in view of the above problems, and its object is to suppress a delay in response from image input from a camera to calculation result output while maintaining recognition accuracy such as distance. Another object of the present invention is to provide an image processing apparatus capable of meeting mutually contradictory requirements such as recognition accuracy improvement, calculation load reduction (processing efficiency improvement) and response speed improvement.
  • an image processing apparatus processes a plurality of images captured in synchronization with a plurality of cameras and measures a relative distance or a relative speed to an object shown in the images.
  • An image processing apparatus that performs tracking processing for obtaining current position information of the target object based on any one of the plurality of images and past position information of the target object
  • An object tracking unit ; a first distance calculating unit that calculates a relative distance to the object based on the current position information and at least two images of the plurality of images; and Based on the parallax information obtained from the at least two images, the object detection unit that detects the object by obtaining the current position information of the object, and the object based on the detection result of the object Relative to
  • a second distance calculation unit that calculates separation, current position information obtained by the object tracking unit, current position information obtained by the object detection unit, and a relative distance calculated by the first distance calculation unit
  • a correction processing unit that corrects at least one of the current position information and the relative distance based on at
  • the processing start timing of the first distance calculation unit is set before the processing end timing of the target object detection unit, in particular, before the processing start timing of the target object detection unit.
  • FIG. 1 is a system configuration diagram schematically showing a system configuration of a stereo camera system to which Embodiment 1 of an image processing apparatus according to the present invention is applied.
  • FIG. 2 is an internal configuration diagram schematically showing an internal configuration of the image processing apparatus shown in FIG. 1.
  • the internal block diagram which shows the internal structure of the image processing apparatus shown in FIG. 2 is a timing chart for explaining processing contents of the image processing apparatus shown in FIG. 1 in time series.
  • 9 is a timing chart for explaining processing contents of the image processing apparatus according to the second embodiment of the present invention in time series.
  • 9 is a timing chart for explaining processing contents of the image processing apparatus according to the third embodiment of the present invention in time series.
  • the internal block diagram which shows the internal structure of the conventional image processing apparatus.
  • the schematic diagram which illustrates typically the general processing content of a parallax information acquisition part.
  • FIG. 1 schematically shows a system configuration of a stereo camera system to which Embodiment 1 of an image processing apparatus according to the present invention is applied.
  • the illustrated stereo camera system 1 is mounted on a vehicle V such as an automobile, for example, and is mainly synchronized with a stereo camera device 11 composed of a plurality of (two in this embodiment) cameras and each camera of the stereo camera device 11.
  • the image processing device 10 that processes a plurality of images captured in this manner, and various devices mounted on the vehicle V based on the control signal generated by the image processing device 10 (for example, the accelerator 13, the brake 14, the speaker 15, And a control device 12 for controlling the steering 16 and the like.
  • the stereo camera device 11 is installed toward the front of the vehicle V, for example, in front of the upper portion of the windshield in front of the vehicle V, and the image processing device 10, the control device 12, the accelerator 13, The brake 14 and the speaker 15 are communicably connected.
  • the stereo camera device 11 includes a right camera 11a and a left camera 11b as a pair of imaging means for capturing an image of the front of the vehicle V and acquiring image information.
  • Each of the right camera 11a and the left camera 11b has an image sensor such as a CCD, and is installed so as to image the front of the vehicle V from a position separated from each other in the vehicle width direction (left-right direction) (FIG. 2). reference).
  • the image processing apparatus 10 is an apparatus for recognizing an environment outside the vehicle based on image information of an imaging target area ahead of the vehicle V acquired in a time series with a predetermined cycle by the stereo camera apparatus 11. For example, a white line on a road Recognize various objects such as pedestrians, vehicles, other three-dimensional objects, signals, signs, lighting lamps, etc., generate control signals based on the recognition results, and output them to the control device 12. Based on the control signal received from the image processing apparatus 10, the control device 12 adjusts the accelerator 13, the brake 14, the steering 16, and the like of the vehicle V (own vehicle).
  • the image processing apparatus 10 and the control apparatus 12 may be incorporated in the stereo camera apparatus 11 so that the stereo camera apparatus 11 itself may also perform processing, or may be incorporated in an integrated controller or the like.
  • FIG. 2 schematically shows the internal configuration of the image processing apparatus shown in FIG.
  • the illustrated image processing apparatus 10 mainly includes an image input interface 21, an image processing unit 22, an arithmetic processing unit 23, a storage unit 24, a CAN interface 25, and a control processing unit 26.
  • the bus 20 is communicably connected.
  • the image input interface 21 controls the imaging of the stereo camera device 11 and captures images captured by the stereo camera device 11 (each camera 11a, 11b).
  • the images of the cameras 11a and 11b captured through the image input interface 21 are transferred through the bus 20, processed by the image processing unit 22 and the arithmetic processing unit 23, and image data that is a result during processing or a final result. And the like are stored in the storage unit 24.
  • the image processing unit 22 compares the right image obtained from the image sensor of the right camera 11a of the stereo camera device 11 with the left image obtained from the image sensor of the left camera 11b, and applies the image to the image sensor.
  • Image correction such as device-specific deviation correction and noise interpolation is performed and stored in the storage unit 24. Further, a mutually corresponding portion is calculated between the right image and the left image, and disparity information is calculated to generate a disparity image (disparity information), which is similarly stored in the storage unit 24.
  • the arithmetic processing unit 23 uses various images and parallax information (distance information for each point on the image) stored in the storage unit 24 to recognize various objects necessary to perceive the environment around the vehicle V. I do.
  • various objects include people, vehicles, other obstacles, traffic lights, signs, vehicle tail lamps, head rides, and the like.
  • the control processing unit 26 generates a control signal for controlling braking or the like of the vehicle V using the recognition result stored in the storage unit 24, and the control signal related to the control policy of the vehicle V and object recognition.
  • a part of the recognition result is transmitted to the in-vehicle network CAN 27 via the CAN interface 25 and is transferred to the control device 12 and the like therefrom.
  • FIG. 3 shows the internal configuration of the image processing apparatus shown in FIG. 2 more specifically.
  • a case where the presence of a preceding vehicle existing in front of the vehicle V as an object is detected and the relative distance and speed from the vehicle V to the preceding vehicle are recognized will be specifically described.
  • the image processing apparatus 10 mainly includes a right image acquisition unit 101, a left image acquisition unit 102, a parallax information acquisition unit 103, and a vehicle tracking that form an arithmetic processing unit 23.
  • Unit 104 first distance calculation unit 105, relative speed calculation unit 106, vehicle detection unit 107, second distance calculation unit 108, correction processing unit 109, and calculation result output unit 110.
  • the first recognition process means a process for detecting for the first time from a state in which the target vehicle has not been detected in the past.
  • the right image acquisition unit 101 and the left image acquisition unit 102 acquire the right image and the left image captured by the right camera 11a and the left camera 11b from the storage unit 24.
  • the right image acquisition unit 101 and the left image acquisition unit 102 may acquire the right image and the left image directly from the stereo camera device 11 (each camera 11a, 11b) via the image input interface 21.
  • the parallax information acquisition unit 103 performs parallax calculation using the right image and the left image acquired by the right image acquisition unit 101 and the left image acquisition unit 102, and generates a parallax image (parallax information).
  • the vehicle detection unit 107 uses these results to determine the current position information of the vehicle shown in the image (in the image). (Location information) is detected and the vehicle is detected and recognized.
  • the second distance calculation unit 108 calculates the distance to the preceding vehicle using the detection result.
  • the vehicle detection unit 107 and the second distance calculation unit 108 register the position information and distance information, which are the calculation results, in the registration table 111 as the storage unit 24 in order to use the information as past position information of the object.
  • the vehicle tracking unit 104 has already been registered in the registration table 111 with the right image after the right image acquisition unit 101 has acquired the right image in order to improve the processing efficiency.
  • a vehicle tracking process for obtaining current position information (position information in the image) of the preceding vehicle is performed using the detected result (that is, past position information of the object).
  • the vehicle tracking unit 104 searches the vicinity of the position included in the detected result using the information of the right image, and specifies the position of the preceding vehicle in the current frame.
  • the first distance calculation unit 105 calculates the distance to the preceding vehicle using the position information obtained by the vehicle tracking unit 104 and the parallax image (parallax information) generated by the parallax information acquisition unit 103. Then, the relative speed calculation unit 106 calculates the relative speed of the preceding vehicle using the calculation result by the first distance calculation unit 105 and the calculation result calculated by the first distance calculation unit 105 in the past. Then, the calculation result output unit 110 outputs the calculation result by the first distance calculation unit 105 and the calculation result by the relative speed calculation unit 106 to the control processing unit 26 via the storage unit 24 and the like.
  • the vehicle tracking unit 104 is the vehicle detection unit of the current frame, like the matching processing unit 506 ′ of the conventional image processing apparatus 50 ′ described with reference to FIGS.
  • the position of the object (preceding vehicle) in the current frame is specified in the processing of itself from the past information already registered in the registration table 111.
  • the vehicle detection / recognition process by the vehicle detection unit 107 uses a dictionary (image case dictionary) in which a large number of vehicle image cases are registered in order to recognize vehicle images in various designs and various external environments. And recognize. Therefore, although the processing accuracy is good, the calculation amount tends to be large and the processing time tends to be long. On the other hand, in the vehicle tracking process by the vehicle tracking unit 104, since an image of a vehicle that has already been detected is tracked with respect to the periphery thereof, the calculation amount is reduced, and the processing time from image input to calculation result output is reduced. Can be very short.
  • the vehicle detection unit 107 uses the result of the parallax calculation by the parallax information acquisition unit 103 as described above.
  • the position of the preceding vehicle in the frame is obtained and the preceding vehicle is detected and recognized, and the second distance calculation unit 108 calculates the distance to the preceding vehicle using the detection result.
  • the vehicle tracking unit 104 has already obtained the position of the object (preceding vehicle) in the current frame, and the first distance calculation unit 105 has already obtained the distance to the object (preceding vehicle).
  • the correction processing unit 109 compares the results of the vehicle detection unit 107 and the second distance calculation unit 108 with the results of the vehicle tracking unit 104 and the first distance calculation unit 105, and determines which position information and distance information in the next frame. Decide what to use. For example, the correction processing unit 109 can prioritize one of the information and use it in the next frame, or use the internal dividing point of the position obtained by both in the next frame. However, the correction method is particularly limited. Not.
  • the correction processing unit 109 can also correct the result obtained by the relative speed calculation unit 106 based on the result of the second distance calculation unit 108 and the result of the first distance calculation unit 105.
  • the correction processing unit 109 uses the obtained results (position information, distance information, relative speed information, etc.) in the registration table 111 for use as past position information of the object in the vehicle tracking process in the next frame. save.
  • the image processing by the image processing apparatus 10 will be described in more detail in time series.
  • the process in the image processing unit 22 is the S1 series and the process in the arithmetic processing unit 23 is the S2 series.
  • a right image input process S101 from the right camera 11a and a left image input process S102 from the left camera 11b are performed, and at the stage where both images are accumulated, the parallax calculation process S103 is performed. I do.
  • As a result of the parallax calculation process S103 left and right images or one of the images and the corresponding parallax information (parallax image) are obtained.
  • the processing result in the parallax calculation processing S103 is transferred to the arithmetic processing unit 23 at timing T1.
  • the processing flow so far is the same as the processing flow of the conventional image processing apparatus 50 ′ described with reference to FIG.
  • the right image input process S101 ends before the timing T1, which is the transfer timing of the process result in the parallax calculation process S103 (the timing after the process end timing of the parallax calculation process S103).
  • timing T0 image-only data that does not include stereoscopic data (parallax information) is transferred from the image processing unit 22 (S1 series) to the arithmetic processing unit 23 (S2 series). Since a vehicle that has already been detected once can be tracked using only an image, the arithmetic processing unit 23 (S2 series) performs a left image input process S102 and a parallax calculation process in the image processing unit 22 (S1 series).
  • the vehicle tracking process S104 for obtaining the position of the vehicle in the current frame is performed. Thereafter, the first distance calculation process S105 and the relative speed calculation process S106 are performed using the disparity information transferred at the timing T1 after the parallax calculation process S103, and at this stage, the first distance calculation process S105 and the relative speed calculation process are performed.
  • a calculation result output process S110 for outputting a calculation result by the speed calculation process S106 is performed. Thereby, the delay from the image input to the calculation result output to the control processing unit 26 or the like is suppressed.
  • the vehicle detection / recognition process S107 is performed using the parallax information, and the second distance calculation process S108 is performed to calculate the distance to the preceding vehicle using the detection result.
  • the correction process S109 for determining the position to be used in the next frame is performed, and the process in this frame is performed. Ends.
  • the image processing in the image processing apparatus 10 is subdivided and reconfigured by dividing it into a monocular processing flow and a stereoscopic processing flow.
  • the process start timing of the vehicle tracking unit 104 is set before the process end timing of the parallax information acquisition unit 103, particularly before the process start timing of the parallax information acquisition unit 103, and the first distance calculation
  • the processing start timing of the unit 105 is set before the processing end timing of the vehicle detection unit 107, particularly before the processing start timing of the vehicle detection unit 107, and before the vehicle detection / recognition processing S107 by the vehicle detection unit 107 ends.
  • FIG. 5 illustrates processing contents of the image processing apparatus according to the second embodiment of the present invention in time series.
  • the image processing apparatus of the second embodiment is different from the image processing apparatus 10 of the first embodiment described above mainly in the distance calculation processing method by the first distance calculation unit and the processing start / end timing. That is, the apparatus configuration of the image processing apparatus according to the second embodiment is the same as the apparatus configuration of the image processing apparatus 10 according to the first embodiment, and thus detailed description thereof will be omitted.
  • image processing by the image processing apparatus will be described. The processing contents will be specifically described.
  • the image does not include stereoscopic data (disparity information) at timing T0A before the timing T1A that is the transfer timing of the processing result in the parallax calculation processing S103A and after the right image input processing S101A ends. Only the data (right image) is transferred from the image processing unit 22 (S1A series) to the arithmetic processing unit 23 (S2A series), and a vehicle tracking process S104A for obtaining the position of the vehicle in the current frame is performed.
  • image-only data (left image alone or both right and left images) including no disparity information is sent to the image processing unit 22 (S1A series).
  • image processing unit 22 (S1A series).
  • arithmetic processing unit 23 (S2A series).
  • the distance measurement and the relative speed measurement can be performed by limiting the calculation range based on the same principle as described with reference to FIG. 8 if there is a right image and a left image, and is generally shorter than the parallax calculation process S103A. It can be implemented in processing time.
  • the first distance calculation process S105A and the relative speed calculation process S106A are performed using the position information obtained in the vehicle tracking process S104A and the right image and the left image transferred at the timings T0A and T2A.
  • a calculation result output process S110A for outputting a calculation result by the first distance calculation process S105A and the relative speed calculation process S106A is performed. Thereby, the processing time from the image input to the calculation result output to the control processing unit 26 or the like can be further shortened.
  • the vehicle detection / recognition process S107A is performed using the disparity information in the frame transferred at timing T1A after the end timing of the parallax calculation process S103A, and the distance to the preceding vehicle is calculated using the detection result.
  • the second distance calculation process S108A is performed, and the correction process S109A for determining the position to be used in the next frame is performed based on the result of the vehicle tracking process S104A described above and the result of the vehicle detection / recognition process S107A. To do.
  • the processing start timing of the first distance calculation unit is set before the processing end timing of the parallax information acquisition unit, and the timing is the transfer timing of the processing result in the parallax calculation processing S103A.
  • Each image is transferred when the image input process from each camera is completed before T1A, and before the process in the parallax calculation process S103A is completed, the vehicle tracking process S104A is completed and When each image is transferred, the first distance calculation process S105A and the relative speed calculation process S106A are started, thereby further delaying the response from the image input to the calculation result output while maintaining the recognition accuracy of the distance and the like. It can be shortened.
  • FIG. 6 illustrates processing contents of the third embodiment of the image processing apparatus according to the present invention in time series.
  • the image processing apparatus according to the third embodiment is different from the image processing apparatus according to the second embodiment in that the arithmetic processing by the arithmetic processing unit is mainly performed using two CPUs. That is, the apparatus configuration of the image processing apparatus according to the third embodiment is the same as the apparatus configuration of the image processing apparatus according to the first and second embodiments, and thus detailed description thereof will be omitted.
  • image processing by the image processing apparatus will be described. The processing contents of will be specifically described.
  • Monocular vehicle tracking processing and related processing and stereoscopic vehicle detection / recognition processing and related processing use different data, and the vehicle tracking processing does not require stereo information, and Since the processes are independent of each other, the vehicle tracking process and the vehicle detection / recognition process in the arithmetic processing unit 23 can be performed independently by the two CPUs.
  • the process in the image processing unit 22 is an S1B series
  • the process in the arithmetic processing unit 23 is an S2aB series and an S2bB series that run on each CPU assuming two CPUs.
  • the image processing unit 22 (S1B series) performs a right image input process S101B, a left image input process S102B, and a parallax calculation process S103B.
  • the processing result (parallax information) is transferred to the S2bB sequence of the arithmetic processing unit 23.
  • Timing T0B timing after acquiring one image
  • timing T2B timing after acquiring both images
  • Data of only the image not including the parallax information is transferred from the image processing unit 22 (S1B sequence) to the S2aB sequence of the arithmetic processing unit 23.
  • the vehicle tracking process S104B and the first distance calculation process S105B are performed.
  • the relative speed calculation process S106B and the calculation result output process S110B are performed.
  • the results of the vehicle tracking process S104B and the like are transferred from the S2aB series of the arithmetic processing unit 23 to the S2bB series.
  • the vehicle detection / recognition process S107B and the second distance calculation process S108B are performed using the disparity information in the frame transferred at the timing T1B after the end timing of the parallax calculation process S103B. To implement. Thereafter, based on the result of the vehicle detection / recognition process S107B and the result of the vehicle tracking process S104B transferred from the S2aB series, the correction process S109B for determining the position to be used in the next frame is performed.
  • the vehicle tracking process in the arithmetic processing unit 23 and the related process, the vehicle detection / recognition process, and the related process are performed by each of the two CPUs.
  • the vehicle tracking process S104B takes time, and the calculation result from the vehicle tracking Even if the processing time until output becomes long and the execution of the vehicle detection / recognition process is delayed in the case of one CPU, the vehicle detection / recognition process can be performed in parallel with the vehicle tracking process. Therefore, the processing time (processing cycle) of the entire image processing by the image processing apparatus can be shortened, and the processing efficiency can be effectively increased.
  • the right image is acquired before the left image and the vehicle tracking process is performed using the right image.
  • the left image is acquired before the right image.
  • the vehicle tracking process may be performed using the left image.
  • the present invention is not limited to the first to third embodiments described above, and includes various modifications.
  • the first to third embodiments described above are described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.

Abstract

　距離等の認識精度を維持しながら、カメラからの画像入力から算出結果出力までの応答の遅延を抑制でき、認識精度向上と計算負荷低減（処理効率向上）や応答速度向上といった、互いに矛盾する要求に応えることのできる画像処理装置を提供する。　左右の画像のいずれかと対象物の過去の位置情報とに基づき求められる現在の位置情報と左右の画像とに基づいて対象物までの相対距離を算出する第１距離算出部（１０５）の処理（Ｓ１０５）の開始タイミングが、左右の画像から得られる視差情報に基づいて対象物の現在の位置情報を求めて対象物を検知する対象物検知部（１０７）の処理（Ｓ１０７）の終了タイミングよりも前に設定されている。

Description

画像処理装置
　本発明は、画像処理装置に係り、例えば自動車等の車両に搭載された複数のカメラで撮像された画像を処理して車両周囲の環境を認識する画像処理装置に関する。
　従来、自動車等の車両に搭載されたカメラ（車載カメラ）から得られる画像に基づいて当該車両の周囲に存在する車両を検知し、その検知結果をドライバーの運転支援に利用するシステムが開発されている。そのようなシステムの一例として、例えば、自車周囲に存在する車両との車間距離を自動的に維持する車間維持システム（ＡＣＣ）や、自車周囲に存在する車両等との衝突可能性が生じた際に警報等でドライバーに注意を促し、さらに衝突が避けられない状況になった際に自動ブレーキ等で乗員に対する傷害を軽減する衝突回避システムなどが知られている。
　特に、複数のカメラからなるステレオカメラ装置を利用する場合には、カメラで撮像された画像に寄る視覚的な情報とその画像に映る対象物の距離に関する情報とを同時に取得でき、車両周囲の様々な対象物（人、車両、立体物、路面、路面標識、看板標識など）を詳細に把握できるため、運転支援時の安全性の向上にも寄与すると考えられている。
　上記した車間維持システムや衝突回避システムの中核を成す画像処理を用いた物体検知技術については、精度向上のための試みが継続して行われているが、その一方で、車載装置として利用し得る計算リソースには限界があり、また早い応答速度が求められている。そのため、当該分野では、検知精度向上と計算負荷低減や応答速度向上といった、互いに矛盾する要求に応える技術の開発が望まれている。
　このような要請に対し、特許文献１には、画像に映る対象物までの距離を測定する際に、距離精度を向上させて当該対象物までの正確な距離を測定する技術が開示されている。
　特許文献１に開示されている画像処理装置は、一対の撮像素子で同時刻に同方向を撮像した一対の画像の一方の画像から対象物の画像を含む一方画像対象物領域を抽出し、その一方画像対象物領域を構成する複数の画像構成部分についてそれぞれ対象物画像構成部分と背景画像構成部分のいずれであるかの確度である背景度を算出し、その背景度を用いて他方の画像内から一方画像対象物領域と類似した画像を有する他方画像対象物領域を抽出して、一方画像対象物領域と他方画像対象物領域との視差を算出する装置である。
特開２０１３－１０４７４０号公報
　ところで、ステレオカメラ装置を利用した物体（特に車両）検知技術に用いる従来の画像処理装置は、一般に図７に示すような装置構成を有している。すなわち、従来の画像処理装置５０'は、図７に示すように、主に、画像処理部５２'を構成する右画像取得部５０１'と左画像取得部５０２'と視差情報取得部５０３'と、演算処理部５３'を構成する車両検知部５０４'と距離算出部５０５'と照合処理部５０６'と相対速度算出部５０７'と算出結果出力部５０８'と、を備えている。
　この従来の画像処理装置５０'では、まず、左画像取得部５０２'及び右画像取得部５０１'によって、車両に搭載された左右一対のカメラから画像を取得する。次に、視差情報取得部５０３'によって、左右のカメラで撮像された２つの画像を互いに照合して視差を計算し、視差画像を出力する。次に、車両検知部５０４'によって、計算結果から得られた視差情報（視差画像）と左右の画像（左右のカメラで撮像された左画像と右画像）または一方の画像を使用して、画像に映る車両の検知・認識を行い、車両候補群の位置（画像中の位置）を出力する。次に、距離算出部５０５'によって、車両の検知結果（車両候補群の位置）と視差情報（視差画像）などを用いて、前記車両までの距離（車両候補群の距離）を算出・出力する。なお、その計算結果は登録テーブル５０９'に記録される。次に、照合処理部５０６'によって、フレーム間の検知された車両の位置情報（例えば、あるフレームＴとその過去のフレームＴ－１の車両候補群の位置及び距離）や画像の見え方の情報を用いて、あるフレームでの検知結果とその次のフレームでの検知結果の対応付けを行う。なお、過去の情報が無い場合には当該照合処理部５０６'による照合処理は実施されない。次に、相対速度算出部５０７'によって、照合処理部５０６'により認識されたフレーム間の対応（すなわち、フレーム間で対応付けられた車両候補群の位置及び距離）を使用し、距離の変化率を認識して前記車両の相対速度を算出すると共に、そのフレームで求まった相対速度を車両の位置及び距離などの情報とともに登録テーブル５０９'に記録する。なお、相対速度は、拡大率から求めることも可能であるため、その場合には、右画像または左画像のどちらかを用いてもよい。そして、算出結果出力部５０８'によって、その計算結果を制御処理部などに出力する。なお、登録テーブル５０９'に記録された、あるフレームで計測された車両候補群の位置及び距離、相対速度などは、次のフレームでの処理に用いられる。
　上記した視差情報取得部５０３'による視差算出処理では、図８に示すように、左右の画像での視差算出処理の対象エリアを領域５１１'と領域５１４'とした場合、領域５１１'をある一定のサイズの小領域に分割し、着目する小領域に対応する部分を領域５１４'の中から探す。具体的には、領域５１１'上の着目する小領域と同じサイズの領域５１２'を領域５１４'から切り出し、この切出し範囲を矢印５１３'方向（横方向）にシフトして、最も良く照合する場所を探す。この照合範囲は、予め定められたｍａｄの範囲内で行うが、上記した細かな領域の照合を、立体視したい対象画像の全面に亘って行うために処理が重くなる。一般には、この処理は、画像処理を専用に行う素子で行うが、それでもその計算負荷が大きいことが知られている。
　従来の画像処理装置５０'による画像処理を時系列でより詳細に説明すると、図９に示すように、画像処理部５２'におけるプロセスをＳ１'系列とし、演算処理部５３'におけるプロセスをＳ２'系列とした場合、まず、画像処理部５２'（Ｓ１'系列）において、右カメラからの右画像入力処理Ｓ５０１'と左カメラからの左画像入力処理Ｓ５０２'を行い、双方の画像が集積された段階で、視差算出処理Ｓ５０３'を行う。この視差算出処理Ｓ５０３'の結果、左右または一方の画像とそれに対応する視差情報（視差画像）が得られる。この視差算出処理Ｓ５０３'での処理結果を、タイミングＴ１'で演算処理部５３'に転送し、演算処理部５３'（Ｓ２'系列）では、その転送終了を待って、車両検知・認識処理Ｓ５０４'を行う。その後に、距離算出処理Ｓ５０５'、照合処理Ｓ５０６'、相対速度算出処理Ｓ５０７'、算出結果出力処理Ｓ５０８'が行われることとなる。
　しかしながら、上記した従来の画像処理装置５０'では、図８に基づき説明したように、視差情報取得部５０３'による視差算出処理Ｓ５０３'に要する時間があり、また、車両検知部５０４'による車両検知・認識処理Ｓ５０４'自身も画像処理と認識を多用するため、全体としての処理時間が長くなる傾向がある。その結果、算出結果出力までの応答速度が遅くなる、すなわち応答性能が劣化するといった問題が生じ得る。
　また、カメラからの画像入力から算出結果出力までの応答の遅延は、単にステレオカメラ装置単体を用いて車両制御装置などへ通信するときだけでなく、他のセンサと組み合わせて車両周囲の情報を当該車両に提供するようなセンサフュージョンシステムにおいても、センサ間の応答の違いが大きくなり、その情報の統合が困難となるという問題も生じ得る。
　本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、距離等の認識精度を維持しながら、カメラからの画像入力から算出結果出力までの応答の遅延を抑制でき、認識精度向上と計算負荷低減（処理効率向上）や応答速度向上といった、互いに矛盾する要求に応えることのできる画像処理装置を提供することである。
　上記する課題を解決するために、本発明に係る画像処理装置は、複数のカメラで同期して撮像された複数の画像を処理して前記画像に映る対象物までの相対距離もしくは相対速度を計測する画像処理装置であって、前記複数の画像のうちのいずれか一つの画像と前記対象物の過去の位置情報とに基づいて、前記対象物の現在の位置情報を求める追跡処理を実施する対象物追跡部と、前記現在の位置情報と前記複数の画像のうちの少なくとも二つの画像とに基づいて、前記対象物までの相対距離を算出する第１距離算出部と、前記複数の画像のうちの少なくとも二つの画像から得られる視差情報に基づいて、前記対象物の現在の位置情報を求めて前記対象物を検知する対象物検知部と、前記対象物の検知結果に基づいて前記対象物までの相対距離を算出する第２距離算出部と、前記対象物追跡部により求められる現在の位置情報と前記対象物検知部により求められる現在の位置情報及び前記第１距離算出部により算出される相対距離と前記第２距離算出部により算出される相対距離の少なくとも一方に基づいて、前記現在の位置情報及び前記相対距離の少なくとも一方を補正する補正処理部と、を備え、前記第１距離算出部の処理開始タイミングは、前記対象物検知部の処理終了タイミングよりも前に設定されていることを特徴とする。
　本発明によれば、第１距離算出部の処理開始タイミングは、前記対象物検知部の処理終了タイミングよりも前に設定されている、特に前記対象物検知部の処理開始タイミングの以前に設定され、対象物検知部による対象物検知・認識処理の終了前や開始前に、複数の画像のうちのいずれか一つの画像と予め記憶された対象物の過去の位置情報とに基づいて求められる対象物の現在の位置情報を用いて対象物までの相対距離を算出することにより、距離等の認識精度を維持しながら、カメラからの画像入力から算出結果出力までの応答の遅延を効果的に抑制することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係る画像処理装置の実施形態１が適用されたステレオカメラシステムのシステム構成を概略的に示すシステム構成図。 図１に示す画像処理装置の内部構成を概略的に示す内部構成図。 図２に示す画像処理装置の内部構成を示す内部構成図。 図１に示す画像処理装置の処理内容を時系列で説明するタイミングチャート。 本発明に係る画像処理装置の実施形態２の処理内容を時系列で説明するタイミングチャート。 本発明に係る画像処理装置の実施形態３の処理内容を時系列で説明するタイミングチャート。 従来の画像処理装置の内部構成を示す内部構成図。 視差情報取得部の一般的な処理内容を模式的に説明する模式図。 従来の画像処理装置による処理内容を時系列で説明するタイミングチャート。
　以下、本発明に係る画像処理装置の実施形態を図面を参照して説明する。
［実施形態１］
　図１は、本発明に係る画像処理装置の実施形態１が適用されたステレオカメラシステムのシステム構成を概略的に示したものである。図示するステレオカメラシステム１は、例えば自動車等の車両Ｖに搭載され、主に、複数（本実施形態では、２つ）のカメラからなるステレオカメラ装置１１と、ステレオカメラ装置１１の各カメラで同期して撮像された複数の画像を処理する画像処理装置１０と、画像処理装置１０で生成された制御信号に基づいて車両Ｖに搭載された各種装置（例えば、アクセル１３、ブレーキ１４、スピーカ１５、ステアリング１６など）を制御する制御装置１２と、から構成されている。
　ステレオカメラ装置１１は、例えば車両Ｖの前方のフロントガラスの上部の手前に、車両Ｖの前方に向かって設置されており、車内ネットワークを介して、画像処理装置１０や制御装置１２、アクセル１３、ブレーキ１４、スピーカ１５などと通信可能に接続されている。このステレオカメラ装置１１は、車両Ｖの前方を撮像して画像情報を取得する一対の撮像手段としての右カメラ１１ａと左カメラ１１ｂを備えている。右カメラ１１ａと左カメラ１１ｂはそれぞれ、ＣＣＤなどの撮像素子を有しており、互いに車幅方向（左右方向）に離間した位置から車両Ｖの前方を撮像するように設置されている（図２参照）。
　画像処理装置１０は、ステレオカメラ装置１１で所定の周期で時系列的に取得した車両Ｖの前方の撮影対象領域の画像情報に基づいて車外の環境を認識する装置であり、例えば、道路の白線、歩行者、車両、その他の立体物、信号、標識、点灯ランプなどの各種対象物を認識し、その認識結果に基づいて制御信号を生成して制御装置１２へ出力する。制御装置１２は、画像処理装置１０から受信した制御信号に基づいて、当該車両Ｖ（自車両）のアクセル１３やブレーキ１４、ステアリング１６などの調整を行うようになっている。
　なお、画像処理装置１０や制御装置１２は、ステレオカメラ装置１１内に組み込まれて当該スレテオカメラ装置１１自身が処理を兼ねてもよいし、統合コントローラ内等に組み込まれてもよい。
　図２は、図１に示す画像処理装置の内部構成を概略的に示したものである。図示する画像処理装置１０は、主に、画像入力インタフェース２１と、画像処理部２２と、演算処理部２３と、記憶部２４と、ＣＡＮインタフェース２５と、制御処理部２６とを有し、各部がバス２０を介して通信可能に接続されている。
　画像入力インタフェース２１は、ステレオカメラ装置１１の撮像を制御し、ステレオカメラ装置１１（の各カメラ１１ａ、１１ｂ）で撮像した画像を取り込むためのものである。この画像入力インタフェース２１を通して取り込まれた各カメラ１１ａ、１１ｂの画像は、バス２０を通して転送され、画像処理部２２や演算処理部２３で処理されると共に、処理途中の結果や最終結果となる画像データなどが記憶部２４に記憶されるようになっている。
　画像処理部２２は、ステレオカメラ装置１１の右カメラ１１ａの撮像素子から得られる右画像と、左カメラ１１ｂの撮像素子から得られる左画像とを比較し、それぞれの画像に対して、撮像素子に起因するデバイス固有の偏差の補正やノイズ補間などの画像補正を行い、これを記憶部２４に記憶する。また、右画像と左画像の間で相互に対応する箇所を計算し、視差情報を計算して視差画像（視差情報）を生成し、同様に、これを記憶部２４に記憶する。
　演算処理部２３は、記憶部２４に蓄えられた画像および視差情報（画像上の各点に対する距離情報）を使用し、車両Ｖの周辺の環境を知覚するために必要な、各種対象物の認識を行う。ここで、各種対象物としては、人、車両、その他の障害物、信号機、標識、車両のテールランプやヘッドライド、などが挙げられる。これらの認識結果や中間的な計算結果の一部は、同様に記憶部２４に記憶される。
　制御処理部２６は、記憶部２４に蓄えられた認識結果等を用いて車両Ｖの制動等を制御する制御信号を生成するものであり、その車両Ｖの制御方針に関する制御信号や対象物認識の認識結果の一部は、ＣＡＮインタフェース２５を介して車載ネットワークＣＡＮ２７に伝送され、そこから前記制御装置１２等に転送される。
　図３は、図２に示す画像処理装置の内部構成をより具体的に示したものである。なお、以下では、対象物として当該車両Ｖの前方に存在する先行車両の存在を検知し、当該車両Ｖからその先行車両までの相対的な距離や速度を認識する場合について具体的に説明する。
　図示するように、前記画像処理装置１０は、主に、画像処理部２２を構成する右画像取得部１０１と左画像取得部１０２と視差情報取得部１０３と、演算処理部２３を構成する車両追跡部１０４と第１距離算出部１０５と相対速度算出部１０６と車両検知部１０７と第２距離算出部１０８と補正処理部１０９と算出結果出力部１１０と、を備えている。
　前記画像処理装置１０による認識処理（車両検知処理）の処理内容は、１回目における認識処理と２回目以降における認識処理とで異なるため、１回目における認識処理と２回目以降における認識処理とに分けて説明する。ここで、１回目における認識処理とは、対象とする車両が過去に検知されていない状態から初めて検知する処理を意味している。
　１回目における認識処理では、まず、右画像取得部１０１及び左画像取得部１０２は、右カメラ１１ａ及び左カメラ１１ｂで撮像された右画像及び左画像を記憶部２４から取得する。なお、右画像取得部１０１及び左画像取得部１０２は、画像入力インタフェース２１を介してステレオカメラ装置１１（の各カメラ１１ａ、１１ｂ）から直接的に右画像及び左画像を取得してもよい。次に、視差情報取得部１０３は、右画像取得部１０１及び左画像取得部１０２で取得された右画像及び左画像を使用して視差計算を行い、視差画像（視差情報）を生成する。視差情報取得部１０３による視差計算の結果、画像と視差情報（ステレオ情報）が得られるので、車両検知部１０７は、これらの結果を使用して画像に映る車両の現在の位置情報（画像中の位置情報）を求めて当該車両の検知・認識を行う。第２距離算出部１０８は、その検知結果を用いて先行車両までの距離を算出する。車両検知部１０７や第２距離算出部１０８は、対象物の過去の位置情報として利用するために、その算出結果である位置情報や距離情報を記憶部２４としての登録テーブル１１１に登録する。
　一方、２回目以降における認識処理では、処理の効率化を図るべく、右画像取得部１０１にて右画像を取得した後に、車両追跡部１０４は、その右画像とすでに登録テーブル１１１に登録された検知済みの結果（すなわち、対象物の過去の位置情報）を使用して、先行車両の現在の位置情報（画像中の位置情報）を求める車両追跡処理を行う。詳細には、車両追跡部１０４は、右画像の情報を用いて検知済みの結果に含まれる位置の付近を探索し、先行車両の現在のフレームにおける位置を特定する。次に、第１距離算出部１０５は、車両追跡部１０４にて求められた位置情報と視差情報取得部１０３にて生成された視差画像（視差情報）とを用いて先行車両までの距離を算出し、相対速度算出部１０６は、第１距離算出部１０５による算出結果と当該第１距離算出部１０５により過去に算出された算出結果とを用いて先行車両の相対速度を算出する。そして、算出結果出力部１１０は、第１距離算出部１０５による算出結果や相対速度算出部１０６による算出結果を、記憶部２４等を介して制御処理部２６へ出力する。
　すなわち、この２回目以降における認識処理では、車両追跡部１０４が、図７及び図９に基づき説明した従来の画像処理装置５０'の照合処理部５０６'のように、現在のフレームの車両検知部５０４'による検知結果を受け取るのではなく、すでに登録テーブル１１１に登録された過去の情報から自身の処理の中で現在のフレームにおける対象物（先行車両）の位置を特定するようになっている。
　一般に、車両検知部１０７による車両検知・認識処理では、様々なデザインや様々な外界環境下での車両の映像を認識するため、車両の画像事例を大量に登録した辞書（画像事例辞書）を使用して認識を行う。そのため、処理精度は良いが、計算量が大きくなり、処理時間が長くなる傾向がある。一方で、車両追跡部１０４による車両追跡処理は、既に一度検知した車両の画像を事例として、その周辺に対して追跡を行うため、計算量が小さくなり、画像入力から算出結果出力までの処理時間を非常に短くすることができる。
　第１距離算出部１０５や相対速度算出部１０６にて距離計測や相対速度計測を行った後に、上記したように、車両検知部１０７は、視差情報取得部１０３による視差計算の結果を使用して当該フレームにおける先行車両の位置を求めて当該先行車両の検知・認識を行い、第２距離算出部１０８は、その検知結果を用いて先行車両までの距離を算出する。ここで、車両追跡部１０４でも現在のフレームでの対象物（先行車両）の位置が既に求められ、第１距離算出部１０５でも前記対象物（先行車両）までの距離が既に求められているため、車両検知部１０７や第２距離算出部１０８の結果と車両追跡部１０４や第１距離算出部１０５の結果とが存在するが、双方の結果は必ずしも一致しない。そこで、補正処理部１０９は、車両検知部１０７や第２距離算出部１０８の結果と車両追跡部１０４や第１距離算出部１０５の結果とを比較し、次のフレームでどの位置情報や距離情報を使用するかを決定する。例えば、補正処理部１０９は、どちらかの情報を優先して次のフレームで使用したり、双方で得られた位置の内分点を次のフレームで使用できるが、その補正方法は、特に限定されない。また、補正処理部１０９は、第２距離算出部１０８の結果と第１距離算出部１０５の結果に基づき、相対速度算出部１０６で求められた結果を補正することも可能である。補正処理部１０９は、次のフレームでの車両追跡処理などにおいて対象物の過去の位置情報などとして使用するため、求められた結果（位置情報や距離情報、相対速度情報など）を登録テーブル１１１に保存する。
　上記した画像処理装置１０による画像処理を時系列でより詳細に説明すると、図４に示すように、画像処理部２２におけるプロセスをＳ１系列とし、演算処理部２３におけるプロセスをＳ２系列とした場合、まず、画像処理部２２（Ｓ１系列）において、右カメラ１１ａからの右画像入力処理Ｓ１０１と左カメラ１１ｂからの左画像入力処理Ｓ１０２を行い、双方の画像が集積された段階で、視差算出処理Ｓ１０３を行う。この視差算出処理Ｓ１０３の結果、左右または一方の画像とそれに対応する視差情報（視差画像）が得られる。この視差算出処理Ｓ１０３での処理結果を、タイミングＴ１で演算処理部２３に転送する。なお、ここまでの処理フローは、図９に基づき説明した従来の画像処理装置５０'の処理フローと同様である。
　一方、本実施形態では、視差算出処理Ｓ１０３での処理結果の転送タイミング（視差算出処理Ｓ１０３の処理終了タイミングの以後のタイミング）であるタイミングＴ１よりも前であって、右画像入力処理Ｓ１０１が終了した後のタイミングＴ０で、立体視データ（視差情報）を含まない、画像のみのデータを画像処理部２２（Ｓ１系列）から演算処理部２３（Ｓ２系列）に転送する。既に一度検知された車両については、画像のみを使用した車両追跡が可能であるため、演算処理部２３（Ｓ２系列）では、画像処理部２２（Ｓ１系列）における左画像入力処理Ｓ１０２と視差算出処理Ｓ１０３の時間を使って、現在のフレームにおける車両の位置を求める車両追跡処理Ｓ１０４を行う。その後、視差算出処理Ｓ１０３の以後のタイミングＴ１で転送されてくる視差情報を使用して、第１距離算出処理Ｓ１０５及び相対速度算出処理Ｓ１０６を実施し、この段階で第１距離算出処理Ｓ１０５や相対速度算出処理Ｓ１０６による算出結果を出力する算出結果出力処理Ｓ１１０を行う。これにより、画像入力から制御処理部２６等への算出結果出力までの遅延が抑制される。
　算出結果出力処理Ｓ１１０により算出結果を出力した後に、視差情報を使用して車両検知・認識処理Ｓ１０７を行い、その検知結果を用いて先行車両までの距離を算出する第２距離算出処理Ｓ１０８を行い、先に述べた車両追跡処理Ｓ１０４などの結果と車両検知・認識処理Ｓ１０７などの結果とに基づき、次のフレームで使用する位置などを決定する補正処理Ｓ１０９を実施して、このフレームでの処理が終了する。
　このように、本実施形態１では、画像処理装置１０における画像処理を細分化し、単眼系の処理フローと立体系の処理フローとに分割して構成し直し、ＣＰＵなどの計算リソースの効率的な配分を行うことで、距離等の認識精度を維持しながら、画像入力から算出結果出力までの応答の遅延を効果的に短縮することができる。
　具体的には、車両追跡部１０４の処理開始タイミングを、視差情報取得部１０３の処理終了タイミングよりも前、特に視差情報取得部１０３の処理開始タイミングの以前に設定し、かつ、第１距離算出部１０５の処理開始タイミングを、車両検知部１０７の処理終了タイミングよりも前、特に車両検知部１０７の処理開始タイミングの以前に設定し、車両検知部１０７による車両検知・認識処理Ｓ１０７の終了前や開始前に、左右の画像のいずれかと予め登録テーブル１１１に記憶された車両の過去の位置情報とに基づいて求められる車両の現在の位置情報を用いて先行車両までの相対距離などを算出して出力することにより、距離等の認識精度を維持しながら、カメラからの画像入力から算出結果出力までの応答の遅延を効果的に抑制することができる。
［実施形態２］
　図５は、本発明に係る画像処理装置の実施形態２の処理内容を時系列で説明したものでる。本実施形態２の画像処理装置は、上記した実施形態１の画像処理装置１０に対し、主に第１距離算出部による距離算出処理の処理方法と処理開始・終了タイミングが相違している。すなわち、本実施形態２の画像処理装置の装置構成は、実施形態１の画像処理装置１０の装置構成と同様であるため、その詳細な説明は省略し、以下では、画像処理装置による画像処理の処理内容を具体的に説明する。
　本実施形態２では、図５に示すように、画像処理部２２におけるプロセスをＳ１Ａ系列とし、演算処理部２３におけるプロセスをＳ２Ａ系列とした場合、上記した実施形態１と同様、まず、画像処理部２２（Ｓ１Ａ系列）において、右カメラ１１ａからの右画像入力処理Ｓ１０１Ａと左カメラ１１ｂからの左画像入力処理Ｓ１０２Ａを行い、双方の画像が集積された段階で、視差算出処理Ｓ１０３Ａを行う。この視差算出処理Ｓ１０３Ａの結果、左右または一方の画像とそれに対応する視差情報（視差画像）が得られる。この視差算出処理Ｓ１０３Ａでの処理結果を、タイミングＴ１Ａで演算処理部２３に転送する。
　また、視差算出処理Ｓ１０３Ａでの処理結果の転送タイミングであるタイミングＴ１Ａよりも前であって、右画像入力処理Ｓ１０１Ａが終了した後のタイミングＴ０Ａで、立体視データ（視差情報）を含まない、画像のみのデータ（右画像）を画像処理部２２（Ｓ１Ａ系列）から演算処理部２３（Ｓ２Ａ系列）に転送し、現在のフレームにおける車両の位置を求める車両追跡処理Ｓ１０４Ａを行う。
　更に、左画像入力処理Ｓ１０２Ａが終了した後のタイミングＴ２Ａで、視差情報を含まない画像のみのデータ（左画像のみ、もしくは、右画像と左画像の双方の画像）を画像処理部２２（Ｓ１Ａ系列）から演算処理部２３（Ｓ２Ａ系列）に転送する。距離計測及び相対速度計測は、右画像と左画像があれば、図８に基づき説明したのと同じ原理で計算範囲を限定することで実施可能であり、且つ、一般に視差算出処理Ｓ１０３Ａよりも短い処理時間で実施可能である。そこで、車両追跡処理Ｓ１０４Ａにて求められた位置情報とタイミングＴ０Ａ、Ｔ２Ａで転送されてくる右画像及び左画像とを用いて第１距離算出処理Ｓ１０５Ａ及び相対速度算出処理Ｓ１０６Ａを実施し、その後、第１距離算出処理Ｓ１０５Ａや相対速度算出処理Ｓ１０６Ａによる算出結果を出力する算出結果出力処理Ｓ１１０Ａを行う。これにより、画像入力から制御処理部２６等への算出結果出力までの処理時間を更に短縮することができる。
　その後、視差算出処理Ｓ１０３Ａの終了タイミング以後のタイミングＴ１Ａで転送されてくる当該フレームでの視差情報を使用して車両検知・認識処理Ｓ１０７Ａを行い、その検知結果を用いて先行車両までの距離を算出する第２距離算出処理Ｓ１０８Ａを行い、先に述べた車両追跡処理Ｓ１０４Ａなどの結果と車両検知・認識処理Ｓ１０７Ａなどの結果に基づき、次のフレームで使用する位置などを決定する補正処理Ｓ１０９Ａを実施する。
　このように、本実施形態２では、第１距離算出部の処理開始タイミングを、視差情報取得部の処理終了タイミングよりも前に設定し、視差算出処理Ｓ１０３Ａでの処理結果の転送タイミングであるタイミングＴ１Ａよりも前の、各カメラからの画像入力処理が終了した段階で各画像を転送し、視差算出処理Ｓ１０３Ａでの処理が終了する前であって、車両追跡処理Ｓ１０４Ａが終了し且つ各カメラから各画像が転送された段階で、第１距離算出処理Ｓ１０５Ａや相対速度算出処理Ｓ１０６Ａを開始することで、距離等の認識精度を維持しながら、画像入力から算出結果出力までの応答の遅延を更に短縮することができる。
［実施形態３］
　図６は、本発明に係る画像処理装置の実施形態３の処理内容を時系列で説明したものでる。本実施形態３の画像処理装置は、上記した実施形態２の画像処理装置に対し、主に演算処理部による演算処理を２つのＣＰＵを利用して実施する点が相違している。すなわち、本実施形態３の画像処理装置の装置構成は、実施形態１、２の画像処理装置の装置構成と同様であるため、その詳細な説明は省略し、以下では、画像処理装置による画像処理の処理内容を具体的に説明する。
　単眼系の車両追跡処理及びそれに関連する処理と立体系の車両検知・認識処理及びそれに関連する処理とは別々のデータを利用しており、車両追跡処理はステレオ情報が不要であること、及び、各処理が互いに独立であることから、演算処理部２３における車両追跡処理等と車両検知・認識処理等とは、２つのＣＰＵでそれぞれ独立して実施することができる。
　本実施形態３では、図６に示すように、画像処理部２２におけるプロセスをＳ１Ｂ系列とし、演算処理部２３におけるプロセスを、２つのＣＰＵを仮定してそれぞれのＣＰＵで動くＳ２ａＢ系列、Ｓ２ｂＢ系列とし、上記した実施形態１、２と同様、まず、画像処理部２２（Ｓ１Ｂ系列）において、右画像入力処理Ｓ１０１Ｂと左画像入力処理Ｓ１０２Ｂと視差算出処理Ｓ１０３Ｂを行う。そして、この視差算出処理Ｓ１０３Ｂが終了したタイミングＴ１Ｂで、その処理結果（視差情報）を演算処理部２３のＳ２ｂＢ系列に転送する。
　右画像入力処理Ｓ１０１Ｂが終了した後のタイミングＴ０Ｂ（一方の画像を取得した後のタイミング）と、左画像入力処理Ｓ１０２Ｂが終了した後のタイミングＴ２Ｂ（双方の画像を取得した後のタイミング）で、視差情報を含まない画像のみのデータを画像処理部２２（Ｓ１Ｂ系列）から演算処理部２３のＳ２ａＢ系列に転送し、演算処理部２３のＳ２ａＢ系列では、車両追跡処理Ｓ１０４Ｂと第１距離算出処理Ｓ１０５Ｂと相対速度算出処理Ｓ１０６Ｂと算出結果出力処理Ｓ１１０Ｂとを実施する。その後、算出結果出力処理Ｓ１１０Ｂが終了した以後の適宜のタイミングＴ３Ｂで、車両追跡処理Ｓ１０４Ｂ等の結果を演算処理部２３のＳ２ａＢ系列からＳ２ｂＢ系列に転送する。
　一方、演算処理部２３のＳ２ｂＢ系列では、視差算出処理Ｓ１０３Ｂの終了タイミング後のタイミングＴ１Ｂで転送されてくるそのフレームでの視差情報を使用して車両検知・認識処理Ｓ１０７Ｂと第２距離算出処理Ｓ１０８Ｂを実施する。その後、車両検知・認識処理Ｓ１０７Ｂなどの結果とＳ２ａＢ系列から転送されてくる車両追跡処理Ｓ１０４Ｂなどの結果に基づき、次のフレームで使用する位置などを決定する補正処理Ｓ１０９Ｂを実施する。
　このように、本実施形態３では、演算処理部２３における車両追跡処理及びそれに関連する処理と車両検知・認識処理及びそれに関連する処理を２つのＣＰＵのそれぞれで実施し、車両追跡部及び第１距離算出部などによる処理と対象物検知部及び第２距離算出部などによる処理とを時間的に並行して実施することで、仮に車両追跡処理Ｓ１０４Ｂ等に時間を要し、車両追跡から算出結果出力までの処理時間が長くなり、１ＣＰＵの場合では車両検知・認識処理の実行が遅延する場合であっても、車両検知・認識処理などを車両追跡処理などと並列して実施できる。そのため、画像処理装置による画像処理全体の処理時間（処理サイクル）を短縮でき、その処理効率を効果的に高めることができる。
　なお、上記した実施形態１～３では、左画像の前に右画像を取得し、その右画像を用いて車両追跡処理を実施する形態について説明したが、右画像の前に左画像を取得し、その左画像を用いて車両追跡処理を実施してもよいことは勿論である。
　なお、本発明は上記した実施形態１～３に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態１～３は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１…ステレオカメラシステム、１０…画像処理装置、１１…ステレオカメラ装置、１１ａ…右カメラ、１１ｂ…左カメラ、１２…制御装置、２０…バス、２１…画像入力インタフェース２１、２２…画像処理部、２３…演算処理部、２４…記憶部、２５…ＣＡＮインタフェース、２６…制御処理部、２７…車載ネットワークＣＡＮ、１０１…右画像取得部、１０２…左画像取得部、１０３…視差情報取得部、１０４…車両追跡部（対象物追跡部）、１０５…第１距離算出部、１０６…相対速度算出部、１０７…車両検知部（対象物検知部）、１０８…第２距離算出部、１０９…補正処理部、１１０…算出結果出力部、１１１…登録テーブル

Claims (11)

  1. 　複数のカメラで同期して撮像された複数の画像を処理して前記画像に映る対象物までの相対距離もしくは相対速度を計測する画像処理装置であって、
    　前記複数の画像のうちのいずれか一つの画像と前記対象物の過去の位置情報とに基づいて、前記対象物の現在の位置情報を求める追跡処理を実施する対象物追跡部と、
    　前記現在の位置情報と前記複数の画像のうちの少なくとも二つの画像とに基づいて、前記対象物までの相対距離を算出する第１距離算出部と、
    　前記複数の画像のうちの少なくとも二つの画像から得られる視差情報に基づいて、前記対象物の現在の位置情報を求めて前記対象物を検知する対象物検知部と、
    　前記対象物の検知結果に基づいて前記対象物までの相対距離を算出する第２距離算出部と、
    　前記対象物追跡部により求められる現在の位置情報と前記対象物検知部により求められる現在の位置情報及び前記第１距離算出部により算出される相対距離と前記第２距離算出部により算出される相対距離の少なくとも一方に基づいて、前記現在の位置情報及び前記相対距離の少なくとも一方を補正する補正処理部と、を備え、
    　前記第１距離算出部の処理開始タイミングは、前記対象物検知部の処理終了タイミングよりも前に設定されていることを特徴とする画像処理装置。
  2. 　前記第１距離算出部の処理開始タイミングは、前記対象物検知部の処理開始タイミングの以前に設定されていることを特徴とする、請求項１に記載の画像処理装置。
  3. 　前記画像処理装置は、前記第１距離算出部の算出結果を外部へ出力する算出結果出力部を更に備えることを特徴とする、請求項１に記載の画像処理装置。
  4. 　前記対象物追跡部は、前記補正処理部により補正された前記現在の位置情報及び前記相対距離の少なくとも一方を前記対象物の過去の位置情報として用いて前記追跡処理を実施することを特徴とする、請求項１に記載の画像処理装置。
  5. 　前記画像処理装置は、前記複数の画像のうちの少なくとも二つの画像から前記視差情報を取得する視差情報取得部を更に備え、
    　前記対象物追跡部の処理開始タイミングは、前記視差情報取得部の処理終了タイミングよりも前に設定されていることを特徴とする、請求項１に記載の画像処理装置。
  6. 　前記対象物追跡部の処理開始タイミングは、前記視差情報取得部の処理開始タイミングの以前に設定されていることを特徴とする、請求項５に記載の画像処理装置。
  7. 　前記第１距離算出部の処理開始タイミングは、前記視差情報取得部の処理終了タイミングの以後に設定されていることを特徴とする、請求項５に記載の画像処理装置。
  8. 　前記第１距離算出部の処理開始タイミングは、前記視差情報取得部の処理終了タイミングよりも前に設定されていることを特徴とする、請求項５に記載の画像処理装置。
  9. 　前記対象物追跡部及び前記第１距離算出部による処理と前記対象物検知部及び前記第２距離算出部による処理とが並行して実施されるようになっていることを特徴とする、請求項１に記載の画像処理装置。
  10. 　前記画像処理装置は、前記第１距離算出部により算出される相対距離に基づいて前記対象物の相対速度を算出する相対速度算出部を更に備えることを特徴とする、請求項１に記載の画像処理装置。
  11. 　前記補正処理部は、前記第１距離算出部により算出される相対距離と前記第２距離算出部により算出される相対距離とに基づいて、前記対象物の相対速度を補正することを特徴とする、請求項１０に記載の画像処理装置。
PCT/JP2015/072987 2014-09-11 2015-08-17 画像処理装置 WO2016039077A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15839643.2A EP3193134B1 (en) 2014-09-11 2015-08-17 Image processing device
JP2016547792A JP6279090B6 (ja) 2014-09-11 2015-08-17 画像処理装置
US15/500,127 US10247551B2 (en) 2014-09-11 2015-08-17 Vehicle image processing device for environment recognition
CN201580038805.8A CN106662441B (zh) 2014-09-11 2015-08-17 图像处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014185577 2014-09-11
JP2014-185577 2014-09-11

Publications (1)

Publication Number Publication Date
WO2016039077A1 true WO2016039077A1 (ja) 2016-03-17

Family

ID=55458835

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/072987 WO2016039077A1 (ja) 2014-09-11 2015-08-17 画像処理装置

Country Status (5)

Country Link
US (1) US10247551B2 (ja)
EP (1) EP3193134B1 (ja)
JP (1) JP6279090B6 (ja)
CN (1) CN106662441B (ja)
WO (1) WO2016039077A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6920159B2 (ja) * 2017-09-29 2021-08-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
JP6620175B2 (ja) * 2018-01-19 2019-12-11 本田技研工業株式会社 距離算出装置及び車両制御装置
JP7042185B2 (ja) * 2018-07-27 2022-03-25 日立Astemo株式会社 距離算出装置
JP7291505B2 (ja) * 2019-03-19 2023-06-15 株式会社Subaru 車外環境検出装置
CN114071132B (zh) * 2022-01-11 2022-05-13 浙江华睿科技股份有限公司 一种信息延时的检测方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024807A (ja) * 2000-07-07 2002-01-25 National Institute Of Advanced Industrial & Technology 物体運動追跡手法及び記録媒体
JP2003061075A (ja) * 2001-08-09 2003-02-28 Matsushita Electric Ind Co Ltd 物体追跡装置、物体追跡方法および侵入者監視システム
JP2008236642A (ja) * 2007-03-23 2008-10-02 Hitachi Ltd 物体追跡装置
WO2013080745A1 (ja) * 2011-11-30 2013-06-06 日立オートモティブシステムズ株式会社 物体検知装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10141913A (ja) * 1996-11-07 1998-05-29 Komatsu Ltd 移動体の位置、速度計測装置
JP5068782B2 (ja) * 2009-03-25 2012-11-07 富士フイルム株式会社 距離測定方法および装置
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
JP5414714B2 (ja) * 2011-03-04 2014-02-12 日立オートモティブシステムズ株式会社 車戴カメラ及び車載カメラシステム
JP5472538B2 (ja) * 2011-06-14 2014-04-16 日産自動車株式会社 距離計測装置及び環境地図生成装置
JP5587852B2 (ja) * 2011-11-11 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及び画像処理方法
JP5587930B2 (ja) * 2012-03-09 2014-09-10 日立オートモティブシステムズ株式会社 距離算出装置及び距離算出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024807A (ja) * 2000-07-07 2002-01-25 National Institute Of Advanced Industrial & Technology 物体運動追跡手法及び記録媒体
JP2003061075A (ja) * 2001-08-09 2003-02-28 Matsushita Electric Ind Co Ltd 物体追跡装置、物体追跡方法および侵入者監視システム
JP2008236642A (ja) * 2007-03-23 2008-10-02 Hitachi Ltd 物体追跡装置
WO2013080745A1 (ja) * 2011-11-30 2013-06-06 日立オートモティブシステムズ株式会社 物体検知装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3193134A4 *
SHIN'ICHI GOTO ET AL.: "Zen Hoi Stereo Gazo ni yoru Nigan Stereo to Motion Stereo o Heiyo shita 3 Jigen Keisoku", ITE TECHNICAL REPORT, vol. 34, no. 34, 31 August 2010 (2010-08-31), pages 81 - 84, XP009500946 *

Also Published As

Publication number Publication date
EP3193134A1 (en) 2017-07-19
CN106662441B (zh) 2019-06-18
US20180321030A1 (en) 2018-11-08
CN106662441A (zh) 2017-05-10
JPWO2016039077A1 (ja) 2017-04-27
JP6279090B6 (ja) 2018-06-27
EP3193134A4 (en) 2018-05-16
US10247551B2 (en) 2019-04-02
EP3193134B1 (en) 2022-10-12
JP6279090B2 (ja) 2018-02-14

Similar Documents

Publication Publication Date Title
US10486712B2 (en) Evacuation control apparatus and evacuation control method
JP6279090B6 (ja) 画像処理装置
US10688997B2 (en) Lane merging determination apparatus
JP6222785B2 (ja) 操舵支援装置
JP4211809B2 (ja) 物体検出装置
US9623869B2 (en) Vehicle driving support control apparatus
JP6152673B2 (ja) 車線変更支援装置
JPWO2016039077A6 (ja) 画像処理装置
US9574538B2 (en) Idling stop control system for vehicle
JP6313198B2 (ja) 車両制御装置
JP5545022B2 (ja) 障害物認識装置
US10871565B2 (en) Object detection apparatus and object detection method
US10252715B2 (en) Driving assistance apparatus
WO2016194900A1 (ja) 車両制御装置、及び車両制御方法
WO2018123641A1 (ja) 走行可能領域検出装置及び走行支援システム
JP2018060422A (ja) 物体検出装置
JP2013161190A (ja) 物体認識装置
US11332135B2 (en) Driving assistance device, driving assistance method, and computer program
JP2012164275A (ja) 画像認識装置
JP2006298254A (ja) 走行支援装置
JP5717416B2 (ja) 運転支援制御装置
WO2020039837A1 (ja) 画像処理装置
JP5104604B2 (ja) 衝突判断装置
JP2014123301A (ja) 白線検出装置
JP2005234999A (ja) 車両用運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15839643

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016547792

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15500127

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015839643

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015839643

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE