WO2022130780A1 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- WO2022130780A1 WO2022130780A1 PCT/JP2021/039003 JP2021039003W WO2022130780A1 WO 2022130780 A1 WO2022130780 A1 WO 2022130780A1 JP 2021039003 W JP2021039003 W JP 2021039003W WO 2022130780 A1 WO2022130780 A1 WO 2022130780A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- camera
- image processing
- deterioration state
- regions
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 95
- 230000006866 deterioration Effects 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 75
- 238000000605 extraction Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Definitions
- the present invention relates to an image processing device that performs identification processing in an in-vehicle camera.
- ACC Adaptive Cruise Control
- AEBS Automatic Emergency Braking System
- the deterioration of the recognition performance (discrimination performance) due to the deterioration of the imaging environment such as raindrops and backlight affects the stable operation of the driving support control, so the process of interrupting the driving support control has been performed.
- the result of stereo processing is used when determining the degree of deterioration of an image, but the recognition processing is fixed by one camera and processed. Therefore, the recognition performance largely depends on the deterioration state of the camera image on one side, and the problem is that the robustness is lowered.
- the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image processing apparatus capable of improving discrimination performance and improving robustness.
- the image processing apparatus of the present invention determines an object detection unit that detects an object included in the image and a type of the detected object based on each image from the first camera and the second camera.
- the deterioration state of the object identification unit specified by using either the image from the first camera or the image from the second camera, and the image from the first camera and the image from the second camera.
- the object identification unit has a deterioration state determination unit for determining whether to use an image from the first camera or an image from the second camera based on the deterioration state. It is characterized by.
- the identification performance can be improved by determining an image suitable for the identification process and switching the image to perform the identification process.
- the block diagram which shows the schematic structure of the in-vehicle stereo camera apparatus which includes the image processing apparatus which concerns on embodiment of this invention.
- the flow diagram explaining the content of the stereo camera processing which is the basis of embodiment of this invention.
- the block diagram which shows the functional block composition of the arithmetic processing part of the image processing apparatus which concerns on embodiment of this invention.
- the figure which shows the result of the object detection process The figure which shows the area division result for performing the left-right camera deterioration state determination processing.
- a flow chart of the left and right camera deterioration state determination process The figure explaining the content of the identification area setting process.
- a flow chart of another example of the left / right camera switching process The figure of each processing stage of the identification process.
- FIG. 1 is a block diagram schematically showing an overall configuration of an in-vehicle stereo camera device including an image processing device according to the present embodiment.
- the in-vehicle stereo camera device 100 of the present embodiment is a device mounted on a vehicle and recognizes the outside environment of the vehicle based on image information of a shooting target area around the vehicle, for example, in front of the vehicle.
- the in-vehicle stereo camera device 100 recognizes, for example, a white line on a road, a pedestrian, a vehicle, other three-dimensional objects, a traffic light, a sign, a lighting lamp, and the like, and the vehicle (own vehicle) equipped with the in-vehicle stereo camera device 100. Make adjustments such as brake and steering adjustments.
- the in-vehicle stereo camera device 100 is composed of two (pair) cameras 101 and 102 (left camera 101 and right camera 102) arranged on the left and right (side by side) for acquiring image information, and an image pickup element of the cameras 101 and 102. It is provided with an image processing device 110 that processes each image of the above.
- the image processing device 110 is configured as a computer including a processor such as a CPU (Central Processing Unit), a memory such as a ROM (Read Only Memory), a RAM (Random Access Memory), and an HDD (Hard Disk Drive). Each function of the image processing device 110 is realized by the processor executing the program stored in the ROM.
- RAM stores data including intermediate data of operations performed by a program executed by a processor.
- the image processing device 110 has an image input interface 103 for controlling the imaging of the cameras 101 and 102 and capturing the captured images.
- the image captured through the image input interface 103 is sent data through the internal bus 109 and processed by the image processing unit 104 and the arithmetic processing unit 105, and the result in the process of processing and the image data which is the final result are stored in the storage unit. It is stored in 106.
- the image processing unit 104 includes a first image (also referred to as a left image or a left camera image) obtained from the image pickup element of the camera 101 and a second image (both a right image and a right camera image) obtained from the image pickup element of the camera 102.
- a first image also referred to as a left image or a left camera image
- a second image both a right image and a right camera image
- each image is corrected for device-specific deviations caused by the image pickup element, image correction such as noise interpolation, and stored in the storage unit 106.
- the points corresponding to each other are calculated between the first and second images, the parallax information is calculated, and this is stored in the storage unit 106 in the same manner as before.
- the arithmetic processing unit 105 recognizes various objects necessary for perceiving the environment around the vehicle by using the image and the parallax information (distance information for each point on the image) stored in the storage unit 106.
- Various objects include people, cars, other obstacles, traffic lights, signs, car tail lamps and headlights.
- a part of these recognition results and intermediate calculation results is recorded in the storage unit 106 as before. After recognizing various objects on the captured image, the control policy of the vehicle is calculated using these recognition results.
- the vehicle control policy obtained as a result of the calculation and a part of the object recognition result are transmitted to the in-vehicle network CAN111 through the CAN interface 107, whereby the vehicle is braked. Further, regarding these operations, the control processing unit 108 monitors whether each processing unit has caused an abnormal operation, whether an error has occurred during data transfer, and the like, which is a mechanism for preventing the abnormal operation. ing.
- the image processing unit 104 is an image input interface 103 which is an input / output unit between the control processing unit 108, the storage unit 106, the arithmetic processing unit 105, and the image pickup element via the internal bus 109, and the external in-vehicle network CAN 111. It is connected to the CAN interface 107 which is an input / output unit of.
- the control processing unit 108, the image processing unit 104, the storage unit 106, the arithmetic processing unit 105, and the input / output units 103 and 107 are composed of a single computer unit or a plurality of computer units.
- the storage unit 106 is composed of, for example, a memory for storing image information obtained by the image processing unit 104, image information created as a result of scanning by the arithmetic processing unit 105, and the like.
- the input / output unit 107 with the external vehicle-mounted network CAN111 outputs the information output from the vehicle-mounted stereo camera device 100 to the control system of the own vehicle via the vehicle-mounted network CAN111.
- FIG. 2 shows the processing flow in the vehicle-mounted stereo camera device 100 (that is, the content of the stereo camera processing that is the basis of the present embodiment).
- images are imaged by the left and right cameras 101 and 102, and image processing S203 such as correction for absorbing the peculiar habit of the image sensor for each of the image data 121 and 122 captured by each is image processing S203.
- the processing result is stored in the image buffer 126.
- the image buffer 126 is provided in the storage unit 106 of FIG.
- the two corrected images are collated with each other, thereby obtaining parallax information of the images (left and right images) obtained by the left and right cameras.
- the parallax of the left and right images makes it clear where and where a certain point of interest on the target object corresponds to on the images of the left and right cameras, and the distance to the target object can be obtained by the principle of triangulation. It is the parallax processing S204 that performs this.
- the image processing S203 and the parallax processing S204 are performed by the image processing unit 104 of FIG. 1, and the finally obtained image and the parallax information are stored in the storage unit 106.
- the object detection process S205 for detecting an object (three-dimensional object) in a three-dimensional space is performed (details will be described later). Further, various recognition processes S206 are performed using the stored image and parallax information (details will be described later).
- the object to be recognized includes a person, a car, other three-dimensional objects, a sign, a traffic light, a tail lamp, and the like, and the details of the recognition process are determined by the characteristics of the object and the restrictions such as the processing time applied on the system.
- the vehicle control process S207 issues a warning to the occupants, for example, braking of the own vehicle, adjustment of the steering angle, and the like.
- a control policy for braking or avoidance control of the target object is determined, and the result is output as own vehicle control information or the like through the CAN interface 107 (S208).
- the object detection process S205, various recognition processes S206, and the vehicle control process S207 are performed by the arithmetic processing unit 105 of FIG. 1, and the output process to the vehicle-mounted network CAN 111 is performed by the CAN interface 107.
- Each of these processing means is configured, for example, by a single computer unit or a plurality of computer units so that data can be exchanged with each other.
- the parallax or distance of each pixel of the left and right images is obtained by the discriminant processing S204, grouped as an object (three-dimensional object) in a three-dimensional space by the object detection processing S205, and various recognition processes are performed based on the position and region on the image. S206 is carried out.
- the various recognition processes S206 it is necessary that the object area on the image and the image of the object to be recognized match.
- a stereo camera it may not be possible to completely match the object area on the image to be recognized due to the brightness of the external environment, the variation in imaging performance between cameras, the occlusion generated by foreign matter on the glass surface, and the like. This is the same even when a radar such as a millimeter wave is combined with an image sensor such as a camera.
- FIG. 3 shows the functional block configuration of the arithmetic processing unit of the image processing apparatus related to the present embodiment.
- the arithmetic processing unit 105 of the image processing device 110 includes an object detection unit 301, a deterioration state determination unit 302, and an object identification unit 303.
- the object detection process S205 is performed by the object detection unit 301
- the various recognition processes S206 are performed by the deterioration state determination unit 302 and the object identification unit 303.
- the object detection unit 301 performs the object (three-dimensional object) detection process performed in the object detection process S205, and calculates the area (object area) in which the object is included in the images obtained by the left and right cameras.
- FIG. 4 shows the result of the object detection process S205 on the camera image.
- the object area 401 which is the result of the object detection process S205, is obtained for each object having a height on the road surface such as pedestrians, vehicles, trees, and street lights existing in the three-dimensional space, and is projected as an area on the image.
- the object region 401 may be a rectangle as shown in FIG. 4, or may be an amorphous region obtained from parallax or a distance. It is generally treated as a rectangle in order to facilitate the handling by a computer in the subsequent processing. In this example, the object area 401 will be treated as a rectangle, and the details of each process will be described using a vehicle as an example of the object area 401.
- the deterioration state determination unit 302 compares the image conditions of the left and right cameras with respect to the left and right camera images, and calculates the deterioration state of which camera image is suitable for use in the recognition process (identification process).
- the camera angle of view used for the recognition process is divided (divided) into a plurality of areas, and the degree of deterioration is calculated and compared for each divided area of the corresponding left and right camera images. , The deterioration state is determined, and the result is given to each divided area.
- FIG. 5 an example (501) in which the screen is divided into 25 rectangular areas that are not evenly divided will be described, but when actually performing the processing, any arbitrary other than the rectangle is described.
- the shape and the number of divisions may be used, or the entire screen may be treated as one area without division.
- the division method for example, it is conceivable to divide the area finely (small) near the center of the screen corresponding to the vehicle traveling path, and to divide the area large near the edge of the screen. Further, the divided state of the area is not fixed, but may be changed as appropriate depending on the traveling situation. For example, if the outside environment is sunny, the number of divisions should be reduced as image deterioration is unlikely to occur, and if it rains, the number of divisions should be within the range allowed by the actual processing time to specify the deteriorated part in detail. It is possible to increase it.
- FIG. 6 shows a processing flow for determining the deterioration state of the left and right cameras when comparing the number of left and right edge extractions. The left and right edge extraction and comparison processing are repeated for the number of divided regions (for the number of region divisions).
- Edge extraction of the area (image) divided by the left and right images is performed (S601, S602), and the right image (specifically, the right divided area image) or the left image (specifically, the left divided area image) is obtained from the number of edge extractions of the left and right camera images. It is determined whether or not the image is deteriorated (S603, S604, S605), and when only the right image is deteriorated (the number of edge extractions is small), the information that the right image is deteriorated is given to the divided region (S606). Similarly, when only the left image is deteriorated (the number of edge extractions is small), the information on the deterioration of the left image is added to the divided region (S607).
- the left and right images are divided into the divided areas. Information that they are equivalent is given (S608).
- the edge extraction condition is compared between the left and right images (left and right divided area images) (S603, S604, S605), and the number of edge extractions of the right camera image is smaller than the number of edge extractions of the left camera image.
- the number of edge extractions of the left camera image is smaller than the number of edge extractions of the left camera image by a predetermined threshold value or more, it is determined that the image of the right camera is deteriorated, and information of deterioration of the right image is added to the divided region (S606). Similarly, when the image of the left camera is deteriorated, the information of the deterioration of the left image is added to the divided area (S607). If the degree of deterioration of the left and right camera images is about the same, more specifically, if the difference between the number of edge extractions of the right camera image and the number of edge extractions of the left camera image is less than a predetermined threshold, information that the left and right images are equivalent is given to the divided area. (S608). As for the left and right image equivalence, this is given even when neither the left and right camera images are deteriorated.
- the object identification unit 303 receives the result of the object detection unit 301 and the result of the deterioration state determination unit 302 as inputs, performs identification processing on the object (three-dimensional object) detected by the object detection unit 301, and types the object (three-dimensional object). To identify.
- an area for performing the identification process is set based on the object area calculated by the object detection unit 301 (object detection process S205).
- object detection process S205 an area for performing the identification process is set based on the object area calculated by the object detection unit 301 (object detection process S205).
- it can be detected on the image so as to include the entire object to be identified as in the result (502) detected as the object area of the vehicle in FIG. 5, it can be used as it is as an area to be subjected to the identification process. ..
- the object detection result (703) in FIG. 7 raindrops and the like may overlap the target, and the entire target may not be detected on the image. In this state, even if the identification area is set and the identification process is performed, the identification performance does not improve.
- the identification area (itself is an object itself) is used on the premise that the identification target is a vehicle. (Sometimes called an area) is set. That is, when the size of the detected object area does not satisfy the vehicle size, the identification area (702) is set so as to expand the object area so as to be the vehicle size.
- an object (three-dimensional object) is compared between the identification area calculated by the identification area setting process S211 and the deterioration state calculated by the deterioration state determination unit 302 (left / right camera deterioration state determination process S210).
- Is determined for each identification by the right camera 102 (image from) or the left camera 101 (image from) (in other words, the image from the right camera 102 is used for the identification process for specifying the type of the object. Alternatively, it is determined which of the images from the left camera 101 is used).
- FIG. 8 shows a specific processing flow for left / right camera switching determination.
- the image switching determination S802 for identification processing is executed. From the deterioration state of the left and right camera images held by the overlapping area, the number of areas where the right camera image is deteriorated (the number of right deteriorated areas) and the area where the left camera image is deteriorated in the overlapping area.
- FIG. 9 shows another processing flow of a specific left / right camera switching determination.
- the ratio to the area (identification area overlap ratio) is calculated (S902).
- the image switching determination S903 for identification processing is executed.
- the left / right switching priority (left switching priority, right switching priority) is calculated for the identification area for each object by adding the areas individually (S904).
- the left switching priority (corresponding to the degree of deterioration of the right camera image) and the right switching priority (corresponding to the degree of deterioration of the left camera image) are compared (S905), and the left / right switching is determined.
- the left switching priority is equal to or higher than the right switching priority
- the left image switching is executed (S906), and if the left switching priority is less than the right switching priority, the left and right image switching is not executed (that is, the object identification process in the subsequent stage). Use the right image that is the default in) (S907).
- a value (edge extraction number, etc.) calculated by the deterioration state determination unit 302 (left and right camera deterioration state determination process S210) can be used. Further, the calculation may be simplified by setting a positive predetermined value when the right camera image is deteriorated and a negative predetermined value when the left camera image is deteriorated.
- the overlap ratio is used as a weight (relative to the deteriorated state).
- the number of areas where the right camera image is determined to be deteriorated is the number of areas where the left camera image is determined to be deteriorated. Even if it is less than (see the example shown in FIG. 8), if the overlap ratio of the area determined to be deteriorated in the right camera image is large with respect to the identification area, the priority of switching to the left camera image is high.
- the coordinate value of the identification area set in the right camera coordinate system is used. Is converted to the corresponding coordinate value of the left camera.
- the relationship between the coordinate system of the right camera and the left camera can be calculated from the relationship between the focal lengths of the left and right cameras, the internal parameters consisting of the origin of the image, and the external parameters consisting of the position and orientation. Further, in the case of parallel stereo, coordinate conversion is also possible by translational movement using the parallax value.
- the coordinates of the identification area in the right camera coordinate system are converted (coordinate conversion) into the coordinate system of the left camera, and the area of the left camera image corresponding to the area set in the right camera image is set. Since the present embodiment is based on the right camera, the processing content is as described above, but when the left camera is used as a reference, the reverse processing (that is, the right based on the left camera coordinate system) is performed. Camera coordinate system conversion processing) will be performed.
- FIG. 10 shows the processing result when the present embodiment is applied to the object detection result (703) of FIG. 7.
- the object detection result (703) detected from the right camera image (1001) captured by the right camera 102 and the left camera image (1002) captured by the left camera 101 cannot correctly detect the area of the vehicle.
- the left-right deterioration state for each area (divided area) calculated by the left-right camera deterioration state determination process S210 is 1003, and the shaded area indicates the area where the right camera image is deteriorated.
- the area (702) is set by the identification area setting process S211 for the object detection result (703), and the area (ratio) in which the right camera image is deteriorated is set with respect to the set area (702).
- the left image is switched by the left / right camera switching process S212. Then, the image of the area (1004) in which the area (702) set by the identification area setting process S211 is coordinate-converted by the left camera coordinate system conversion process S213 is identified by the identification process S214.
- the identification process S214 the image of the area set by the identification area setting process S211 or the image of the identification area of the left camera coordinate-converted by the left camera coordinate system conversion process S213 (see 1004 in FIG. 10) is input.
- the identification process for identifying the type of the detected object is performed using either the image of the identification area from the right camera 102 or the image of the identification area from the left camera 101. ..
- Examples of the identification process include the following techniques. Template matching that compares the identification area with the template that has the recognition target likeness prepared in advance.
- the edge shape or the like may be recognized by an artificially determined threshold value determination.
- a discriminative model that matches the input source of the discriminative process such as a discriminative model learned from the image of the right camera and a discriminative model trained by the left camera, can be prepared.
- a threshold value adjusted to the camera may be prepared.
- the image processing device 110 of the present embodiment is detected by the object detection unit 301 that detects an object included in the image based on each image from the first camera and the second camera.
- the object identification unit 303 that identifies (identifies) the type of the object using either the image from the first camera or the image from the second camera, the image from the first camera, and the second camera. It has a deterioration state determination unit 302 for determining each deterioration state of the image from the camera, and the object identification unit 303 is based on the deterioration state from the image from the first camera or the second camera. Decide which of the images to use.
- the deterioration state of the left and right images is calculated, and the identification process for the target is continued by appropriately selecting (switching) an image that is more useful for performing the identification process.
- the deterioration state determination unit 302 divides the image from the first camera or the image from the second camera into a plurality of regions, and determines the deterioration state in each of the plurality of regions (for each region). do.
- the object identification unit 303 may use an image from the first camera or an image from the first camera based on the deterioration state in each of the plurality of regions and the degree of overlap between the detected object and the plurality of regions (each of them). Which of the images from the second camera is used is determined.
- the object identification unit 303 performs coordinate conversion between the image from the first camera and the image from the second camera, and performs a process of identifying the type of the object in the image after the coordinate conversion.
- the identification performance can be improved by determining an image suitable for the identification process and switching the image to perform the identification process.
- the vehicle-mounted stereo camera device 100 composed of two cameras has been described as an example in the above-described embodiment, it goes without saying that the number of cameras may be three or more.
- the present invention is not limited to the above-described embodiment, but includes various modified forms.
- the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
- each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a storage device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
- SSD Solid State Drive
- control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all control lines and information lines in the product. In practice, it can be considered that almost all configurations are interconnected.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
識別性能を向上させることができ、ロバスト性を高めることのできる画像処理装置を提供する。第1カメラおよび第2カメラからの各画像に基づいて、当該画像に含まれる物体を検出する物体検出部301と、前記検出された物体の種別を、前記第1カメラからの画像または前記第2カメラからの画像のいずれか一方を用いて特定(識別)する物体識別部303と、前記第1カメラからの画像および前記第2カメラからの画像のそれぞれの劣化状態を判定する劣化状態判定部302と、を有し、前記物体識別部303は、前記劣化状態に基づいて、前記第1カメラからの画像または前記第2カメラからの画像のいずれを用いるかを決定する。
Description
本発明は、車載カメラにおける識別処理を行う画像処理装置に関する。
運転支援制御技術の進歩により、ACC(Adaptive Cruise Control)やAEBS(Autonomous Emergency Braking System)などが普及してきている。運転支援制御技術の普及に伴い、それらの動作精度の向上やある程度の悪環境においても制御を継続できるロバスト性能の向上が必要となっている。
従来、雨滴や逆光などの撮像環境の悪化による認識性能(識別性能)の低下は運転支援制御の安定動作に影響を与えることから、運転支援制御を中断するという処理が行われていた。
これに対して、特許文献1に所載の従来技術では、撮像環境の悪化の度合いを3段階で判定し、悪化度合いが小さい場合には認識処理を行い、運転支援制御を継続しようと試みている。
上記従来技術では、画像の悪化度合いを求める際にステレオ処理の結果を使用しているが、認識処理については片方のカメラで固定して処理を行っている。そのため、認識性能が片側のカメラ画像の悪化状況に大きく依存することになり、ロバスト性が低くなるということが課題となる。
本発明は、上記事情に鑑みてなされたもので、その目的とするところは、識別性能を向上させることができ、ロバスト性を高めることのできる画像処理装置を提供することにある。
上記課題を解決する本発明の画像処理装置は、第1カメラおよび第2カメラからの各画像に基づいて、当該画像に含まれる物体を検出する物体検出部と、前記検出された物体の種別を、前記第1カメラからの画像または前記第2カメラからの画像のいずれか一方を用いて特定する物体識別部と、前記第1カメラからの画像および前記第2カメラからの画像のそれぞれの劣化状態を判定する劣化状態判定部と、を有し、前記物体識別部は、前記劣化状態に基づいて、前記第1カメラからの画像または前記第2カメラからの画像のいずれを用いるかを決定することを特徴とする。
本発明によれば、識別処理に適した画像を判定し、画像を切り替えて識別処理を行うことで、識別性能を向上させることができる。
上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。
本発明の実施形態について図面を用いて以下に説明する。なお、各図において同じ機能を有する部分には同じ符号を付して繰り返し説明は省略する場合がある。
図1は、本実施形態にかかわる画像処理装置を含む車載ステレオカメラ装置の全体構成を概略的に示すブロック図である。本実施形態の車載ステレオカメラ装置100は、車両に搭載され、例えば車両前方等の車両周辺の撮影対象領域の画像情報に基づいて車外環境を認識する装置である。車載ステレオカメラ装置100は、例えば、道路の白線、歩行者、車両、その他の立体物、信号機、標識、点灯ランプなどの認識を行い、当該車載ステレオカメラ装置100を搭載した車両(自車両)のブレーキ、ステアリング調整などの調整を行う。
車載ステレオカメラ装置100は、画像情報を取得する左右に(横並びに)配置された2つの(一対の)カメラ101、102(左カメラ101、右カメラ102)と、カメラ101、102の撮像素子からの各画像を処理する画像処理装置110とを備える。画像処理装置110は、CPU(Central Processing Unit)等のプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等のメモリ等を備えるコンピュータとして構成されている。画像処理装置110の各機能は、ROMに記憶されたプログラムをプロセッサが実行することによって実現される。RAMは、プロセッサが実行するプログラムによる演算の中間データ等を含むデータを格納する。画像処理装置110は、カメラ101、102の撮像を制御して、撮像した画像を取り込むための画像入力インタフェース103を持つ。この画像入力インタフェース103を通して取り込まれた画像は、内部バス109を通してデータが送られ、画像処理部104や、演算処理部105で処理され、処理途中の結果や最終結果となる画像データなどが記憶部106に記憶される。
画像処理部104は、カメラ101の撮像素子から得られる第1の画像(左画像や左カメラ画像ともいう)と、カメラ102の撮像素子から得られる第2の画像(右画像や右カメラ画像ともいう)とを比較して、それぞれの画像に対して、撮像素子に起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行い、これを記憶部106に記憶する。更に、第1および第2の画像の間で、相互に対応する箇所を計算して、視差情報を計算し、先程と同様に、これを記憶部106に記憶する。
演算処理部105は、記憶部106に蓄えられた画像および視差情報(画像上の各点に対する距離情報)を使い、車両周辺の環境を知覚するために必要な、各種物体の認識を行う。各種物体とは、人、車、その他の障害物、信号機、標識、車のテールランプやヘッドライトなどである。これら認識結果や中間的な計算結果の一部が、先程と同様に記憶部106に記録される。撮像した画像に対して各種物体認識を行った後に、これら認識結果を用いて車両の制御方針を計算する。
計算の結果として得られた車両の制御方針や、物体認識結果の一部は、CANインタフェース107を通して、車載ネットワークCAN111に伝えられ、これにより車両の制動が行われる。また、これらの動作について、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないかどうかなどを、制御処理部108が監視しており、異常動作を防ぐ仕掛けとなっている。
上記の画像処理部104は、内部バス109を介して制御処理部108、記憶部106、演算処理部105、および撮像素子との間の入出力部である画像入力インタフェース103と外部の車載ネットワークCAN111との入出力部であるCANインタフェース107に接続されている。制御処理部108、画像処理部104、記憶部106、演算処理部105、および入出力部103、107は、単一または複数のコンピュータユニットにより構成されている。記憶部106は、例えば画像処理部104によって得られた画像情報や、演算処理部105によって走査された結果作られた画像情報等を記憶するメモリ等により構成されている。外部の車載ネットワークCAN111との入出力部107は、車載ステレオカメラ装置100から出力された情報を、車載ネットワークCAN111を介して自車両の制御システムに出力する。
図2に、車載ステレオカメラ装置100内の処理フロー(すなわち、本実施形態の基礎となるステレオカメラ処理の内容)を示す。
まず、S201、S202では、左右のカメラ101、102により画像が撮像され、各々で撮像した画像データ121、122のそれぞれについて、撮像素子が持つ固有の癖を吸収するための補正などの画像処理S203を行う。その処理結果は画像バッファ126に蓄えられる。画像バッファ126は、図1の記憶部106に設けられる。更に、補正された2つの画像を使って、画像同士の照合を行い、これにより左右カメラで得た画像(左右画像)の視差情報を得る。左右画像の視差により、対象物体上のある着目点が、左右カメラの画像上の何処と何処に対応するかが明らかとなり、三角測量の原理によって、対象物体までの距離が得られることになる。これを行うのが視差処理S204である。画像処理S203および視差処理S204は、図1の画像処理部104で行われ、最終的に得られた画像および視差情報は記憶部106に蓄えられる。
上記によって得られた視差画像を用いて、3次元空間上の物体(立体物)を検出する物体検出処理S205を行う(詳細は後で説明)。更に、上記の記憶された画像および視差情報を用いて、各種認識処理S206を行う(詳細は後で説明)。認識対象の物体としては、人、車、その他の立体物、標識、信号機、テールランプなどがあり、認識処理の詳細は対象の特性とシステム上かけられる処理時間などの制約によって決定されている。更に、物体認識の結果と、自車両の状態(速度、舵角など)とを勘案して、車両制御処理S207によって、例えば、乗員に警告を発し、自車両のブレーキングや舵角調整などの制動を行う、あるいは、それによって対象物体の回避制御を行う制御方針を決め、その結果を自車制御情報等としてCANインタフェース107を通して出力する(S208)。物体検出処理S205、各種認識処理S206、および車両制御処理S207は、図1の演算処理部105で行われ、車載ネットワークCAN111への出力処理は、CANインタフェース107にて行われる。これらの各処理各手段は、例えば単一または複数のコンピュータユニットにより構成され、相互にデータを交換可能に構成されている。
前記視差処理S204により左右画像の各画素の視差または距離が得られ、物体検出処理S205で3次元空間上の物体(立体物)としてグルーピングされ、その画像上の位置と領域を基に各種認識処理S206が実施される。この時、各種認識処理S206が安定して物体の認識を行うためには、画像上の物体領域と認識したい対象の映りが一致している必要がある。しかし、ステレオカメラにおいては外環境の明るさやカメラ間の撮像性能のばらつき、ガラス面の異物などによって発生するオクルージョンなどによって、認識したい画像上の物体領域を完全に一致させることができない場合がある。これは、ミリ波などのレーダーと、カメラなどの画像センサを組み合わせた場合でも同様である。
図3に、本実施形態にかかわる画像処理装置の演算処理部の機能ブロック構成を示す。以下ではステレオカメラを前提に構成を述べる。画像処理装置110の演算処理部105は、物体検出部301、劣化状態判定部302、物体識別部303を備える。本実施形態では、前記物体検出処理S205は物体検出部301によって実施され、前記各種認識処理S206は劣化状態判定部302および物体識別部303によって実施される。
(物体検出部)
物体検出部301は、前記物体検出処理S205にて行われる物体(立体物)の検出処理を行い、左右カメラで得た画像に含まれる物体の存在する領域(物体領域)を算出する。
物体検出部301は、前記物体検出処理S205にて行われる物体(立体物)の検出処理を行い、左右カメラで得た画像に含まれる物体の存在する領域(物体領域)を算出する。
図4は、カメラ画像上での物体検出処理S205の結果を示している。物体検出処理S205の結果である物体領域401は、3次元空間上に存在する歩行者、車両、樹木や街灯などの路面上高さを持った物体ごとに得られ、画像上の領域として投影される。物体領域401は、図4のように矩形であっても、視差や距離から得られる不定形の領域であっても構わない。後段の処理において計算機での扱いを容易にするため、一般的には矩形として扱われる。本例では以下、物体領域401は矩形として扱い、物体領域401の一例として車両を用いて各処理の詳細を述べる。
(劣化状態判定部)
劣化状態判定部302は、左右のカメラ画像について左右カメラの映り具合を比較し、どちらのカメラの画像が認識処理(識別処理)に使用するために適しているか、その劣化状態を算出する。
劣化状態判定部302は、左右のカメラ画像について左右カメラの映り具合を比較し、どちらのカメラの画像が認識処理(識別処理)に使用するために適しているか、その劣化状態を算出する。
詳しくは、左右カメラ劣化状態判定処理S210にて、認識処理に用いるカメラ画角内を複数の領域に分割(区分)し、対応する左右カメラ画像の分割した領域ごとに劣化程度を算出・比較し、劣化状態を判定し、その結果を分割した領域ごとに付与する。本実施形態では、図5に示すように画面を等分割ではない25個の矩形領域に分割した例(501)を述べるが、実際に処理を行う際には必要に応じて矩形以外の任意の形および分割数にしてもよく、もしくは分割せずに画面全体を一つの領域として扱ってもよい。分割方法については、例えば自車進行路にあたる画面中心付近では領域を細かく(小さく)分割し、画面端付近では領域を大きく区切るなどすることが考えられる。また、領域の分割状態は固定ではなく、走行状況によって適宜変更することも考えられる。例えば、外環境が晴れているならば、画像劣化は起こりにくいものとして分割数を減らし、雨が降ってきた場合には、劣化部分を細かく特定するために分割数を実機処理時間の許す範囲で増加させることが考えられる。
左右カメラ劣化状態判定処理S210の劣化状態の判定方法として、左右画像でそれぞれのエッジ抽出結果を比較する手法を本例で述べる。ステレオカメラでは右カメラ102と左カメラ101で共通部分を撮影している。そのため、撮影環境が良好な場合には、エッジ抽出の結果は左右画像において同程度になるはずである。図6に、左右エッジ抽出数を比較する場合の左右カメラ劣化状態判定の処理フローを示す。左右エッジ抽出及び比較処理は、分割した領域数分(領域分割数分)の繰り返し処理を行う。左右画像で分割した領域(画像)のエッジ抽出を行い(S601、S602)、左右カメラ画像のエッジ抽出数から右画像(詳しくは右分割領域画像)または左画像(詳しくは左分割領域画像)が劣化しているかを判定し(S603、S604、S605)、右画像のみが劣化している(エッジ抽出数が少ない)場合、分割した領域に右画像劣化という情報を付与する(S606)。同様に左画像のみが劣化している(エッジ抽出数が少ない)場合、分割した領域に左画像劣化の情報を付与する(S607)。また、右画像および左画像の両画像が劣化している(エッジ抽出数が少ない)場合、または、両画像がどちらも劣化していない(エッジ抽出数が多い)場合、分割した領域に左右画像同等という情報を付与する(S608)。言い換えれば、エッジ抽出具合を左右画像(左右分割領域画像)で比較し(S603、S604、S605)、右カメラ画像のエッジ抽出数が左カメラ画像のエッジ抽出数より少ない、詳しくは、右カメラ画像のエッジ抽出数が左カメラ画像のエッジ抽出数より所定閾値以上少ない場合、右カメラの画像が劣化していると判定し、分割した領域に右画像劣化という情報を付与する(S606)。同様に左カメラの画像が劣化している場合には、分割した領域に左画像劣化の情報を付与する(S607)。左右カメラ画像の劣化具合が同程度、詳しくは、右カメラ画像のエッジ抽出数と左カメラ画像のエッジ抽出数との差が所定閾値未満であれば、分割した領域に左右画像同等という情報を付与する(S608)。左右画像同等については、左右カメラ画像がどちらも劣化していない場合にもこれが付与される。
上記以外にも左右カメラ画像の劣化具合の判定には、輝度分布の変化を見ることで、どちらに雨滴が付いているかという判定も可能である。雨滴が付いている場合、水滴の反射により画像はぼやけるため、輝度値が画像全体で大きくなる、といった具合に他の手法を用いてもよい。
(物体識別部)
物体識別部303は、物体検出部301の結果と劣化状態判定部302の結果を入力として、物体検出部301で検出された物体(立体物)に対する識別処理を行い、物体(立体物)の種別を特定する。
物体識別部303は、物体検出部301の結果と劣化状態判定部302の結果を入力として、物体検出部301で検出された物体(立体物)に対する識別処理を行い、物体(立体物)の種別を特定する。
詳しくは、識別領域設定処理S211では、物体検出部301(の物体検出処理S205)によって算出された物体領域を基に識別処理を実施する領域を設定する。図5の車両の物体領域として検出された結果(502)のように、識別する対象の全体を含むように画像上で検出できている場合は、そのまま識別処理にかける領域として使用することができる。しかし、図7の物体検出結果(703)のように、雨滴等が対象に重なってしまい、対象全体を画像上で検出できない場合がある。この状態で、識別領域を設定して識別処理を行っても識別性能が上がらないこととなる。そこで、識別領域設定処理S211では、検出領域が識別対象となる車両の全体を含まないことがあることを想定し、識別対象が車両であるという前提を利用して、識別領域(これ自体を物体領域と呼ぶ場合もある)を設定する。すなわち、検出された物体領域のサイズが車両サイズを満たしていない場合は、車両サイズとなるように物体領域を拡張するように識別領域(702)を設定する。
左右カメラ切替処理S212では、識別領域設定処理S211で算出された識別領域と劣化状態判定部302(の左右カメラ劣化状態判定処理S210)によって算出された劣化状態を比較することで、物体(立体物)毎に右カメラ102(からの画像)で識別するか左カメラ101(からの画像)で識別するかを判定(換言すれば、物体の種別を特定する識別処理に、右カメラ102からの画像または左カメラ101からの画像のいずれを用いるかを決定)する。
図8は、具体的な左右カメラ切替判定の処理フローを示している。まず、重複領域判定S801によって、識別領域設定処理S211によって設定された識別領域と劣化状態判定領域(=左右カメラ画像の複数の分割領域)の重複箇所を求める。そして、識別処理用画像切替判定S802を実行する。重複箇所の領域が保持している左右カメラ画像の劣化状態から、重複箇所の領域において、右カメラ画像が劣化している領域の数(右劣化領域数)と左カメラ画像が劣化している領域の数(左劣化領域数)および左右カメラ画像の劣化状態が同程度の領域の数(左右同等領域数)の和を比較し(S803)、左右の切り替えを判定する。右劣化領域数が左劣化領域数および左右同等領域数の和以上の場合、左画像切替を実行し(S804)、右劣化領域数が左劣化領域数および左右同等領域数の和未満の場合、左右画像切替を実行しない(つまり、後段の物体識別処理にてデフォルトとなっている右画像を使用する)(S805)。
また、図9は、具体的な左右カメラ切替判定の別の処理フローを示している。ここでは、識別領域設定処理S211によって設定された識別領域と各劣化状態判定領域(=左右カメラ画像の複数の分割領域)との重複する面積(領域)を求め(S901)、重複する面積の識別領域に対する割合(識別領域重複割合)を算出する(S902)。
そして、識別処理用画像切替判定S903を実行する。算出された割合(=劣化状態に対する重み)と劣化状態判定領域の結果を(分割領域ごとで)掛け合わせ、識別領域全体について右カメラ画像が劣化している領域と左カメラ画像が劣化している領域とで個別に加算するなどすることで、物体毎の識別領域について左右切替優先度(左切替優先度、右切替優先度)を算出する(S904)。左切替優先度(右カメラ画像の劣化度合いに対応)と右切替優先度(左カメラ画像の劣化度合いに対応)を比較し(S905)、左右の切り替えを判定する。左切替優先度が右切替優先度以上の場合、左画像切替を実行し(S906)、左切替優先度が右切替優先度未満の場合、左右画像切替を実行しない(つまり、後段の物体識別処理にてデフォルトとなっている右画像を使用する)(S907)。
重複割合と掛けあわせる値は、劣化状態判定部302(の左右カメラ劣化状態判定処理S210)によって算出された値(エッジ抽出数など)を用いることができる。また、右カメラ画像が劣化している場合は正の所定値、左カメラ画像が劣化している場合は負の所定値のようにして、演算を簡素化してもよい。
例えば、右カメラ画像が劣化している場合は正の値、左カメラ画像が劣化している場合は負の値となるような数値を算出するようにし、重複割合を(劣化状態に対する)重みとして掛け合わせ、物体毎の識別領域について左右切替優先度を算出・比較することで、右カメラ画像が劣化していると判定された領域数が左カメラ画像が劣化していると判定された領域数よりも少ない場合でも(図8に示した例参照)、右カメラ画像が劣化していると判定された領域の識別領域に対する重複割合が大きい場合には、左カメラ画像への切り替えの優先度が高くなる(つまり、左カメラ101からの画像を用いる)、といった具合である。また、劣化状態判定のために区分した各領域に対して、画像中心になるほど大きく、画像上下端に向かうほど小さくなるような係数を劣化状態に対する重みとして掛け合わせることもできる。これにより、重複領域の割合だけでなく、画像中心に存在する対象、つまり運転支援制御等において識別処理や追跡処理の重要度が高くなる対象について、左右切り替えの優先度を高く算出するようになり、識別処理S214において識別性能をより向上できるような左右カメラ切替を実現することが可能となる。
左カメラ座標系変換処理S213では、前記左右カメラ切替判定で左カメラに切り替える(左カメラ101からの画像を用いる)ことが決定した場合に、右カメラ座標系で設定されている識別領域の座標値を左カメラの対応する座標値へと変換を行う。右カメラと左カメラの座標系の関係は、左右カメラの焦点距離、画像原点からなる内部パラメータ、および位置姿勢からなる外部パラメータの関係から算出可能である。また、並行ステレオの場合、視差値を用いた並進移動によっても座標変換は可能である。これにより、右カメラ座標系にあった識別領域の座標を左カメラの座標系に変換(座標変換)し、右カメラ画像で設定された領域と対応する左カメラ画像の領域を設定する。なお、本実施形態は、右カメラを基準にしているので、上述した処理内容となっているが、左カメラを基準にした場合には逆の処理(すなわち、左カメラ座標系を基準とした右カメラ座標系変換処理)を行うことになる。
図10は、図7の物体検出結果(703)において、本実施形態を適用した場合の処理結果となる。右カメラ102によって撮像された右カメラ画像(1001)と左カメラ101によって撮像された左カメラ画像(1002)から検出された物体検出結果(703)は、車両の領域を正しく検出できていない。左右カメラ劣化状態判定処理S210により算出した領域(分割領域)ごとの左右劣化状態が1003であり、斜線領域が右カメラ画像が劣化した領域を示している。図10に示す例では物体検出結果(703)に対して識別領域設定処理S211により領域(702)が設定され、設定された領域(702)に対して右カメラ画像が劣化した領域(割合)が大きいため、左右カメラ切替処理S212により、左画像切替と判定される。そして、識別領域設定処理S211により設定された領域(702)を左カメラ座標系変換処理S213によって座標変換した領域(1004)の画像が識別処理S214によって識別される。
識別処理S214では、前記識別領域設定処理S211によって設定された領域の画像もしくは、前記左カメラ座標系変換処理S213によって座標変換された左カメラの識別領域の画像(図10の1004参照)を入力として、換言すれば、右カメラ102からの識別領域の画像または左カメラ101からの識別領域の画像のいずれか一方を用いて、検出された物体(立体物)の種別を識別する識別処理を実施する。識別処理には、例えば以下のような技術が挙げられる。あらかじめ用意した認識対象らしさを有するテンプレートと識別領域を比較するテンプレートマッチング。輝度画像やHOGやHaar-Likeといった特徴量と、サポートベクターマシンやAda-Boost、CNNなどのDeepLearningといった機械学習手法を合わせた識別器を利用する手法。また、エッジ形状などを人為的に決めた閾値判定で認識しても良い。また、これらの識別を行う場合には、右カメラの画像で学習した識別モデルと左カメラで学習を行った識別モデルといったように、識別処理の入力元に合わせた識別モデルを用意したり、各カメラに合わせ込んだ閾値を用意してもよい。
以上で説明したように、本実施形態の画像処理装置110は、第1カメラおよび第2カメラからの各画像に基づいて、当該画像に含まれる物体を検出する物体検出部301と、前記検出された物体の種別を、前記第1カメラからの画像または前記第2カメラからの画像のいずれか一方を用いて特定(識別)する物体識別部303と、前記第1カメラからの画像および前記第2カメラからの画像のそれぞれの劣化状態を判定する劣化状態判定部302と、を有し、前記物体識別部303は、前記劣化状態に基づいて、前記第1カメラからの画像または前記第2カメラからの画像のいずれを用いるかを決定する。
すなわち、左右画像の劣化状態を算出し、識別処理を行う上でより有用な画像を適宜選択する(切り替える)ことで対象への識別処理を継続する。
また、前記劣化状態判定部302は、前記第1カメラからの画像または前記第2カメラからの画像を複数の領域に区分し、当該複数の領域のそれぞれにおいて(領域ごとに)前記劣化状態を判定する。
また、前記物体識別部303は、前記複数の領域のそれぞれにおける前記劣化状態および前記検出された物体と前記複数の領域(のそれぞれ)との重なり具合に基づいて、前記第1カメラからの画像または前記第2カメラからの画像のいずれを用いるかを決定する。
また、前記物体識別部303は、前記第1カメラからの画像と前記第2カメラからの画像の間の座標変換を行い、座標変換後の画像において前記物体の種別を識別する処理を行う。
本実施形態によれば、識別処理に適した画像を判定し、画像を切り替えて識別処理を行うことで、識別性能を向上させることができる。
なお、上記した実施形態では、2つのカメラから構成される車載ステレオカメラ装置100を例示して説明したが、カメラは3台以上であってもよいことは勿論である。
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
100 車載ステレオカメラ装置
101 左カメラ
102 右カメラ
103 画像入力インタフェース
104 画像処理部
105 演算処理部
106 記憶部
107 CANインタフェース
108 制御処理部
109 内部バス
110 画像処理装置
111 車載ネットワークCAN
301 物体検出部
302 劣化状態判定部
303 物体識別部
401 物体領域
101 左カメラ
102 右カメラ
103 画像入力インタフェース
104 画像処理部
105 演算処理部
106 記憶部
107 CANインタフェース
108 制御処理部
109 内部バス
110 画像処理装置
111 車載ネットワークCAN
301 物体検出部
302 劣化状態判定部
303 物体識別部
401 物体領域
Claims (10)
- 第1カメラおよび第2カメラからの各画像に基づいて、当該画像に含まれる物体を検出する物体検出部と、
前記検出された物体の種別を、前記第1カメラからの画像または前記第2カメラからの画像のいずれか一方を用いて特定する物体識別部と、
前記第1カメラからの画像および前記第2カメラからの画像のそれぞれの劣化状態を判定する劣化状態判定部と、を有し、
前記物体識別部は、前記劣化状態に基づいて、前記第1カメラからの画像または前記第2カメラからの画像のいずれを用いるかを決定することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記劣化状態判定部は、前記第1カメラからの画像または前記第2カメラからの画像を複数の領域に区分し、当該複数の領域のそれぞれにおいて前記劣化状態を判定することを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置において、
前記劣化状態判定部は、前記第1カメラおよび前記第2カメラを搭載した自車の進行路または外環境に応じて、前記複数の領域のそれぞれの大きさもしくは前記複数の領域の区分数を変更することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記劣化状態判定部は、前記第1カメラからの画像および前記第2カメラからの画像のエッジ抽出数または輝度分布の変化に基づいて、前記第1カメラからの画像および前記第2カメラからの画像のそれぞれの劣化状態を判定することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記物体識別部は、前記検出された物体毎に、前記第1カメラからの画像または前記第2カメラからの画像のいずれを用いるかを決定することを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置において、
前記物体識別部は、前記複数の領域のそれぞれにおける前記劣化状態および前記検出された物体と前記複数の領域との重なり具合に基づいて、前記第1カメラからの画像または前記第2カメラからの画像のいずれを用いるかを決定することを特徴とする画像処理装置。 - 請求項6に記載の画像処理装置において、
前記物体識別部は、前記検出された物体と前記複数の領域とが重なった領域が保持している前記劣化状態から、前記重なった領域において、前記第1カメラからの画像が劣化している領域の数と前記第2カメラからの画像が劣化している領域の数を比較して、前記第1カメラからの画像または前記第2カメラからの画像のいずれを用いるかを決定することを特徴とする画像処理装置。 - 請求項6に記載の画像処理装置において、
前記物体識別部は、前記検出された物体と前記複数の領域とが重なった領域の、前記検出された物体の領域に対する割合を算出し、当該割合を前記劣化状態に対する重みとして使用することを特徴とする画像処理装置。 - 請求項8に記載の画像処理装置において、
前記物体識別部は、劣化状態判定のために区分した前記複数の領域のそれぞれに対して、画像中心になるほど大きく、画像端に向かうほど小さくなるような係数を前記劣化状態に対する重みとして掛け合わせることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記物体識別部は、前記第1カメラからの画像と前記第2カメラからの画像の間の座標変換を行い、座標変換後の画像において前記物体の種別を識別する処理を行うことを特徴とする画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112021005102.4T DE112021005102T5 (de) | 2020-12-14 | 2021-10-21 | Bildverarbeitungsvorrichtung |
JP2022569744A JP7466695B2 (ja) | 2020-12-14 | 2021-10-21 | 画像処理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-207093 | 2020-12-14 | ||
JP2020207093 | 2020-12-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022130780A1 true WO2022130780A1 (ja) | 2022-06-23 |
Family
ID=82059020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/039003 WO2022130780A1 (ja) | 2020-12-14 | 2021-10-21 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7466695B2 (ja) |
DE (1) | DE112021005102T5 (ja) |
WO (1) | WO2022130780A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017092752A (ja) * | 2015-11-12 | 2017-05-25 | トヨタ自動車株式会社 | 撮像システム |
JP2018060422A (ja) * | 2016-10-06 | 2018-04-12 | 株式会社Soken | 物体検出装置 |
WO2019181591A1 (ja) * | 2018-03-22 | 2019-09-26 | 日立オートモティブシステムズ株式会社 | 車載ステレオカメラ |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5172422B2 (ja) | 2008-03-28 | 2013-03-27 | 富士重工業株式会社 | 運転支援システム |
-
2021
- 2021-10-21 JP JP2022569744A patent/JP7466695B2/ja active Active
- 2021-10-21 DE DE112021005102.4T patent/DE112021005102T5/de active Pending
- 2021-10-21 WO PCT/JP2021/039003 patent/WO2022130780A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017092752A (ja) * | 2015-11-12 | 2017-05-25 | トヨタ自動車株式会社 | 撮像システム |
JP2018060422A (ja) * | 2016-10-06 | 2018-04-12 | 株式会社Soken | 物体検出装置 |
WO2019181591A1 (ja) * | 2018-03-22 | 2019-09-26 | 日立オートモティブシステムズ株式会社 | 車載ステレオカメラ |
Also Published As
Publication number | Publication date |
---|---|
DE112021005102T5 (de) | 2023-08-17 |
JP7466695B2 (ja) | 2024-04-12 |
JPWO2022130780A1 (ja) | 2022-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8908924B2 (en) | Exterior environment recognition device and exterior environment recognition method | |
US9224055B2 (en) | Exterior environment recognition device | |
JP5690688B2 (ja) | 外界認識方法,装置,および車両システム | |
JP6313646B2 (ja) | 外界認識装置 | |
US11288833B2 (en) | Distance estimation apparatus and operating method thereof | |
JP6733225B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6119153B2 (ja) | 前方車両検知方法及び前方車両検知装置 | |
JP7206583B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP2008276308A (ja) | 動画像処理装置、動画像処理システムおよびナビゲーション装置 | |
JP6701253B2 (ja) | 車外環境認識装置 | |
US20190019044A1 (en) | Image processing apparatus, imaging device, moving body device control system, image processing method, and program product | |
JP2012243051A (ja) | 環境認識装置および環境認識方法 | |
WO2019085929A1 (zh) | 图像处理方法及其装置、安全驾驶方法 | |
US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
JP7229032B2 (ja) | 車外物体検出装置 | |
JP2016186702A (ja) | 車外環境認識装置 | |
JP7261006B2 (ja) | 車外環境認識装置 | |
WO2022130780A1 (ja) | 画像処理装置 | |
JP5125214B2 (ja) | 障害物検出方法および障害物検出装置 | |
JP2021064316A (ja) | 車外環境認識装置 | |
JP2008276307A (ja) | 動画像処理装置、動画像処理システムおよびナビゲーション装置 | |
JP7379523B2 (ja) | 画像認識装置 | |
JP2021051348A (ja) | 物体距離推定装置及び物体距離推定方法 | |
JP7277666B2 (ja) | 処理装置 | |
JP2016173248A (ja) | 視差値演算装置、物体認識装置、移動体機器制御システム及び視差演算用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21906144 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022569744 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21906144 Country of ref document: EP Kind code of ref document: A1 |