WO2016051981A1 - 車載画像認識装置 - Google Patents

車載画像認識装置 Download PDF

Info

Publication number
WO2016051981A1
WO2016051981A1 PCT/JP2015/073174 JP2015073174W WO2016051981A1 WO 2016051981 A1 WO2016051981 A1 WO 2016051981A1 JP 2015073174 W JP2015073174 W JP 2015073174W WO 2016051981 A1 WO2016051981 A1 WO 2016051981A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
monocular
image processing
vehicle
captured
Prior art date
Application number
PCT/JP2015/073174
Other languages
English (en)
French (fr)
Inventor
永崎　健
春樹 的野
善之 武藤
宏治 土井
雄飛 椎名
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to JP2016551626A priority Critical patent/JP6316976B2/ja
Priority to US15/501,920 priority patent/US10148938B2/en
Priority to EP15847652.3A priority patent/EP3203725B1/en
Publication of WO2016051981A1 publication Critical patent/WO2016051981A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Definitions

  • the present invention relates to an in-vehicle image recognition apparatus.
  • Japanese Patent Application Laid-Open No. 2004-151867 discloses a technique for an in-vehicle image processing apparatus for reducing a processing load for detecting a plurality of objects by generating a processed image having an image quality suitable for detecting each object for each region. It is shown.
  • the in-vehicle image processing apparatus of Patent Document 1 includes an area setting unit that sets an obstacle area and a road surface area based on the position of an object in front of the vehicle detected by a radar apparatus, and a dynamic range and resolution of a front image captured by a camera. And an image generation unit that generates a processed image by adjusting each region.
  • Patent Document 1 uses a radar device for detecting the position of an object in addition to the camera, so that the entire device becomes complicated and cannot be handled by a single camera. Further, when the processed image for each obstacle area and road surface area is generated by the image generation unit, the entire image captured by the camera is used, so that it takes time for the image processing, and the efficiency of the image processing can be improved. It was difficult.
  • the object of the present invention has been made in view of the above-mentioned problems, and the object of the present invention is to provide an in-vehicle image recognition apparatus capable of improving the efficiency of image processing.
  • An in-vehicle image recognition apparatus of the present invention that solves the above-described problem is an in-vehicle image recognition apparatus that recognizes an environment outside a vehicle using captured images captured by a pair of left and right cameras in order to execute a plurality of applications.
  • a stereo vision image area is set in each captured image captured by the pair of left and right cameras based on the type of application executed from among the applications, and a monocular image is captured in the captured image captured by one camera.
  • Stereo vision image data and the monocular image obtained by setting a region, scanning each captured image taken by the pair of left and right cameras along the image scanning line in the left and right direction, and scanning in the stereo vision image region A distribution unit that distributes the monocular image data scanned within the area, and the stereo image using the stereo image data; Stereoscopic image processing unit that performs image processing, monocular image processing unit that performs monocular image processing using the monocular image data, image processing results of the stereoscopic image processing unit, and monocular image processing And an object recognition unit that recognizes an object according to the type of application using the image processing result of the unit.
  • a central processing unit does not impair the performance of image recognition applications such as preceding vehicle recognition, white line recognition, and sign recognition, and various image recognition applications are kept as long as possible. And resource allocation such as image characteristics.
  • image recognition applications such as preceding vehicle recognition, white line recognition, and sign recognition
  • resource allocation such as image characteristics.
  • the block diagram which shows schematic structure of the vehicle-mounted image recognition apparatus of this invention.
  • the flowchart explaining the content of the stereo camera process used as the foundation of this invention. Timing chart of various processes.
  • the flowchart which shows the process sequence of the vehicle-mounted image recognition apparatus concerning this embodiment.
  • the image figure which shows the example of a distribution process.
  • the timing chart of the processing by the present invention The figure which shows an example of the image imaged with the general image pick-up element.
  • FIG. 1 is a block diagram showing the overall configuration of an in-vehicle image recognition apparatus according to the present embodiment.
  • the in-vehicle image recognition apparatus 100 is an apparatus that recognizes an environment outside the vehicle and supports driving of the vehicle by executing a plurality of applications based on images in front of the vehicle.
  • the in-vehicle image recognition apparatus 100 includes a stereo camera 101, an image input interface 102, an image processing unit 104, an arithmetic processing unit 105, a storage unit 106, a control processing unit 108, and a distribution unit 109.
  • the image input interface 102, the image processing unit 104, the arithmetic processing unit 105, the storage unit 106, the control processing unit 108, and the distribution unit 109 are connected to each other via a bus 103.
  • the stereo camera 101 has a left camera 101L and a right camera 101R that are attached to each other at a predetermined interval in the vehicle width direction, and images a state in front of the vehicle.
  • the left camera 101L and the right camera 101R are configured by an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), for example.
  • the image input interface 102 controls imaging of the stereo camera 101 and captures the captured image.
  • the image data captured through the image input interface 102 is output to the image processing unit 104 via the bus 103 and processed there. Then, the result of processing and the final image data are output via the bus 103 and stored in the storage unit 106.
  • the image processing unit 104 compares the left image obtained from the image sensor of the left camera 101L with the right image obtained from the image sensor of the right camera 101R, and a device attributed to the image sensor for each image. Correction of inherent deviation and image correction such as noise interpolation are performed, and the result is output to the storage unit 106 for storage. Further, the image processing unit 104 calculates a location corresponding to each other between the left image and the right image, calculates parallax information, and outputs the result to the storage unit 106 for storage.
  • the arithmetic processing unit 105 recognizes various objects around the vehicle using the image and parallax information (for example, distance information for each point on the image) stored in the storage unit 106.
  • the various objects include people, cars, other obstacles, traffic lights, signs, car tail lamps and headlights.
  • the arithmetic processing unit 105 outputs a part of the recognition result or a part of the calculation result via the bus 103 and stores it in the storage unit 106. Further, the arithmetic processing unit 105 determines a vehicle control policy using recognition results of various objects.
  • the vehicle control policy and part of the object recognition result obtained as a result of the calculation are transmitted to the in-vehicle network CAN 110 through the CAN interface 107, thereby braking the vehicle.
  • the control processing unit 108 monitors whether each processing unit has caused an abnormal operation or whether an error has occurred during data transfer, thereby preventing the abnormal operation. ing.
  • the storage unit 106 stores information related to the operation of the in-vehicle image recognition device 100. For example, the image information obtained by the image processing unit 104, the result scanned by the arithmetic processing unit 105, or the created image information. Memorize etc.
  • the control processing unit 108 performs overall control of the in-vehicle image recognition device 100, for example, outputs a control signal for image processing to the image processing unit 104 to control the operation of the image processing unit 104, or to the arithmetic processing unit 105. A control signal is output to cause the image processing unit 104 to perform arithmetic processing.
  • the image processing unit 104, the arithmetic processing unit 105, the storage unit 106, the control processing unit 108, the image input interface 102, and the CAN interface 107 are configured by a single or a plurality of computer units.
  • the distribution unit 109 based on a request for an image necessary for execution of each application, monocular image data for capturing an image captured by one of the stereo cameras 101 with a plurality of scanning lines, and stereo.
  • the image captured by both cameras 101L and 101R of the camera 101 is distributed to stereo viewing image data captured in a predetermined area.
  • a sign recognition application since it is only necessary to know the presence of a sign, monocular image data is required.
  • a vehicle / pedestrian recognition application detailed information such as distance and position is required, and therefore stereo-viewing image data is required.
  • examples of applications include light distribution control, lane departure warning, interruption vehicle warning, overtaking vehicle warning, lane maintenance running support, and the like.
  • the in-vehicle image recognition apparatus 100 further includes a CAN (Controller Area Network) interface 107.
  • the CAN interface 107 is connected to the input interface 102, the image processing unit 104, the arithmetic processing unit 105, the storage unit 106, the control processing unit 108, and the distribution unit 109 via the bus 103.
  • a part of the vehicle control policy and the object recognition result obtained as a calculation result of the arithmetic processing unit 105 are output to the control system of the host vehicle via the CAN interface 107 and the in-vehicle network CAN 110, thereby controlling the vehicle. Is called.
  • the control processing unit 108 monitors whether each processing unit has caused an abnormal operation or whether an error has occurred during data transfer, thereby preventing the abnormal operation. ing.
  • FIG. 2 is a flowchart for explaining the contents of an existing typical stereo vision image process
  • FIG. 3 is a timing chart of various processes.
  • the in-vehicle stereo camera device 200 captures an image with the left camera 201 and the right camera 202, and performs image processing A205 on each of the image data 203 and 204 captured.
  • image processing A205 a process for correcting an image is performed in order to absorb inherent wrinkles of the image sensor of the left camera 201 and the image sensor of the right camera 202, respectively.
  • the processing result in the image processing A205 is stored in the image buffer 206 as a corrected image.
  • the image buffer 206 is provided in the storage unit 106 of FIG.
  • a parallax process 207 which is a stereo image process is performed.
  • the two corrected images are used to collate each other, thereby obtaining parallax information of the images obtained by the left and right cameras.
  • the parallax between the left and right images makes it clear where and where a certain point of interest on the target object corresponds on the left and right camera images, and the distance to the target can be obtained by the principle of triangulation.
  • the image processing A 205 and the parallax processing 207 are performed by the image processing unit 104 in FIG. 1, and the finally obtained corrected image and parallax information are stored in the storage unit 106.
  • various object recognition 209 is performed using the corrected image and the parallax information.
  • objects to be recognized include people, cars, other three-dimensional objects, signs, traffic lights, and tail lamps.
  • the recognition dictionary 210 is used as necessary.
  • the vehicle control processing 211 is performed in consideration of the object recognition result and the state (speed, rudder angle, etc.) of the host vehicle.
  • the vehicle control processing 211 for example, a warning is issued to the occupant and braking such as braking of the own vehicle or steering angle adjustment is performed, or a policy for performing avoidance control of the object is determined, and the result is sent to the CAN interface. It outputs through 212.
  • Various object recognition 209 and vehicle control processing 211 are performed by the arithmetic processing unit 105 of FIG. 1, and output to the CAN is performed by the CAN interface 107.
  • Each of these processing means is composed of, for example, a single or a plurality of computer units, and is configured to be able to exchange data with each other.
  • FIG. 3 In the timing chart of FIG. 3, two main flows are shown as image processing 301 and calculation processing 302.
  • the flow of the image processing 301 is the processing timing in the image processing unit 104 in FIG. 1, and the flow of the arithmetic processing 302 shows the processing timing in the arithmetic processing unit 105 in FIG.
  • the right image input 303 is performed in the image processing 301. This corresponds to the processing from when the right camera 202 in FIG. 2 captures an image, and then through image processing A 205 to store the image data of the right image in the image buffer 206.
  • the left image input 304 is performed. This corresponds to the processing from when the left camera 201 in FIG. 2 captures an image, through image processing A 205, and to store the image data of the left image in the image buffer 206.
  • the parallax processing 305 is performed. This is because the parallax is calculated by reading the two left and right images from the image buffer 206 in FIG. 2, calculating the parallax by comparing the two images, and storing the calculated parallax information in the storage unit 106. This corresponds to process 207. At this time, the image and the parallax information are aligned in the storage unit 106. Next, the processing shifts to the arithmetic processing unit 105, where various object recognition 307 and vehicle control processing 308 are performed, and the result is output to the CAN.
  • images obtained through parallax processing need to be subjected to image processing suitable for objects ahead so that vehicles and pedestrians in front of the vehicle can be well understood as three-dimensional objects. There arises a situation where the image is not suitable for recognizing an object in the vicinity.
  • FIG. 4 is a flowchart showing a processing procedure of the in-vehicle image recognition apparatus according to the present embodiment.
  • FIG. 5 is an image diagram showing an example of distribution processing. The stereo image area and the monocular view are included in the right captured image. This shows a state where the image area is set.
  • the in-vehicle image recognition apparatus 400 has image sensors 403 and 404 of the captured images captured by the left camera 401 and the right camera 402 in each of the imaging elements of the left camera 401 and the right camera 402.
  • Image processing A405 for absorbing inherent wrinkles is performed.
  • image processing A405 noise interpolation and distortion correction are performed.
  • the distribution unit 109 performs a distribution process 406 for distributing the image data after the image processing A405 to the image buffer ⁇ 407 and the image buffer ⁇ 408.
  • the image data after the image processing A405 is stored in both the image buffers 407 and 408, or stored in only one of them, and an instruction for image processing for the stored image data is performed.
  • each captured image 501 captured by the pair of left and right cameras 401 and 402 is scanned along the image scanning line in the left and right direction, and the preset stereo viewing image area 502 of each captured image 501 is scanned.
  • a process of distributing the stereo vision image data to the monocular image data obtained by scanning the preset monocular image area 503 of the right captured image 501 is performed.
  • the stereo image area 502 is an area for detecting a vehicle or a person by, for example, stereo image processing, and is set in each captured image 501 based on the type of application executed from among a plurality of applications.
  • the monocular image area 503 is an area for detecting a sign on the road surface or a tail lamp of a preceding vehicle ahead of the host vehicle by monocular image processing, for example, and a captured image captured by the right camera 402 as one camera. It is set only in 501. In the present embodiment, the case where the monocular image area 503 is set only in the captured image 501 captured by the right camera 402 has been described, but even if it is set only in the captured image 501 captured by the left camera 401. Good.
  • the stereoscopic image data and monocular image data stored in the image buffer ⁇ 407 and the image buffer ⁇ 408 are used by the image processing unit 104 for image processing B409 and image processing C410.
  • the image buffer ⁇ 407 is an image buffer for accumulating image data for stereo viewing, and subsequent image processing B409 corresponds to conventional parallax processing (stereoscopic image processing) 207. Since it is necessary to see the correlation between the left and right images in the parallax processing, the image buffer ⁇ 407 stores the stereo viewing image data of the stereo viewing image area 502 corresponding to the area to be parallaxed between the left and right images.
  • parallax processing is performed using stereo viewing image data of the left and right stereo viewing image areas 502 accumulated in the image buffer ⁇ 407 (stereo viewing image processing unit).
  • the image buffer ⁇ 408 is an image of several lines necessary for the filter processing from one line as a horizontal image line in order to suppress the data transfer to the image buffer ⁇ 408 and the calculation amount of the subsequent image processing C410.
  • This is a small-capacity line image buffer for storing data.
  • monocular image processing using monocular image data stored in the image buffer ⁇ 408 is performed (monocular image processing unit).
  • the image processing B 409 requires image data with a relatively large capacity, and it takes time for image transfer and processing because the image data is collated.
  • image processing B409 an image subjected to image processing suitable for detection of a vehicle or a person and parallax data are obtained.
  • the image processing C410 performs limited monocular image processing such as contrast conversion and blurring processing on several lines of line image data stored in the line buffer. For example, if the filter size of the blurring process is 3 ⁇ 3, it is only necessary that images for three lines are stored in the image buffer ⁇ 408. By this image processing C410, an image subjected to image processing suitable for detection of a sign or a tail lamp, edge data, and the like are obtained.
  • the image processing C410 can be executed every time one line of line image data is sent to the image buffer ⁇ 408 by the distribution processing 406, there is no waiting time for buffering the entire area of the image, and the pipeline processing is performed.
  • a feature is that sequential image processing can be performed.
  • it is difficult in terms of processing time to repeat the image processing of the small area many times it is necessary to perform processing synthesis assuming the image processing to be applied. Processing synthesis will be described later.
  • various object recognition 411 is performed. Which object recognition uses which image can be determined in advance. For example, since information about a three-dimensional object is important for detection of a vehicle or a person, recognition processing is performed using the result of image processing B409. On the other hand, since the detection of the sign and the detection of the tail lamp can be performed using only the information of the image, not the information of the three-dimensional object, the recognition process is performed using the result of the image processing C410. A recognition dictionary 412 is used for various object recognition 411. At this time, the recognition accuracy can be improved by providing the recognition dictionary 412 with a flag corresponding to the distribution process. Finally, the control processing by the vehicle control processing 413 is performed using the results of the various object recognitions 411, the control policy of the vehicle is determined, and the results are output through the CAN interface 414.
  • the various object recognition 411 and the vehicle control processing 413 send an instruction for reserving the distribution processing in the next imaging cycle to the distribution plan 416 next time.
  • the image buffer ⁇ 408 An instruction to distribute the image data of the line image and activate the image processing C410 associated therewith is sent to the distribution plan 416.
  • the distribution plan 416 creates distribution plan data by the distribution unit 109 based on information from various object recognitions 411 and vehicle control processing 413 (distribution plan unit).
  • the distribution state of the image to each buffer at the time of future imaging such as the next cycle and the subsequent cycle from each application and the image processing at the time of distribution are stored.
  • distribution plan data by the distribution process 406 is created, and it is possible to instruct image processing in consideration of histogram correction at the time of image processing and intentional randomness. For example, contrast correction is important in sign recognition, but it is not easy to obtain an optimal contrast correction parameter.
  • the contrast correction parameter is randomly corrected in a certain range, and the history of the sign detection or the sign recognition result is referred to accordingly, thereby making it possible to make adjustments that increase the accuracy within the period in which the sign is shown. Further, on the assumption that the contrast correction parameter and the accuracy of marker detection are linked by a constant model function, the parameter can be corrected from the derivative value of the function.
  • the captured image illustrated in FIG. 5 is an image diagram of the captured image 501 captured by the right camera 402.
  • the monocular view is used as the sign image area.
  • An image area 503 is set above the captured image 501.
  • the stereo image area 502 is captured as a vehicle / person image area separately from the sign image area. It is set at approximately the center of 501.
  • the stereo viewing image area 502 and the monocular viewing image area 503 each have a rectangular shape and are arranged in an overlapping manner.
  • the sign image area and the vehicle / person image area may or may not overlap.
  • Each captured image 501 shown in FIGS. 5A to 5D is scanned in order from the upper line in the horizontal direction, for example, from the left side to the right side.
  • the image scan line 1 is distributed and stored only in the image buffer ⁇ 408 because the scan data only needs to be transferred for the marker.
  • the scan data is transferred to the image buffer ⁇ 407 and the image buffer ⁇ 408, respectively. That is, the scan data of the image scan line 2 is distributed and stored in each of the image buffer ⁇ 407 and the image buffer ⁇ 408.
  • the image scanning line 3 it is only necessary to transfer the scan data for stereo viewing, and the image data is distributed and stored only in the image buffer ⁇ 407.
  • Detecting area layout can change dynamically. For example, in the example shown in FIG. 5B, the stereo image area 502 is shifted upward from FIG. For example, such a situation may occur when it is necessary to gaze at the upper part of the captured image 501 in stereo, such as when there is a steep slope on the front side. In this case, unlike the previous case, it is necessary to transfer the scan data to the image buffer ⁇ 407 and the image buffer ⁇ 408 on the image scanning line 1. The image scan line 3 does not need to be transferred to both buffers.
  • an image processing application such as monocular human detection or optical flow may be used. It is also possible to set the image scanning line 3 by providing the monocular image area 503 to be used below the captured image 501.
  • the stereo image area 502 may be shifted to the left and right so that the person looks at the target object by performing a cross-over or a run-off according to the vehicle control information. Is possible.
  • the calculation amount of the image processing B409 increases, the same processing can be performed by a monocular application.
  • the distribution processing 406 enables the buffer classification and the image processing to be processed to be specified, so that the application range of the stereo camera can be flexibly constructed, and the processing time can be reduced by adjusting the timing. it can.
  • the distribution process 406 for example, when it is detected that an object such as a child has approached the vehicle from a preset position, the setting of the monocular image area 503 is stopped, and the stereo of the stereo vision image area 502 is stopped. Only image processing B409 using only visual image data may be performed.
  • FIG. 6 is a timing chart of processing according to the present invention.
  • the flow of two systems is shown as image processing 601 and arithmetic processing 602.
  • the flow of the image processing 601 is the processing timing in the image processing unit 104 in FIG. 1
  • the flow of the arithmetic processing 602 shows the processing timing in the arithmetic processing unit 105 in FIG.
  • the right image input 603 is performed in the image processing 601.
  • the image is captured by the right camera 402 in FIG. 4, and then undergoes image processing A405, and the stereo image data in the stereo image area 502 of the right image is stored in the image buffer ⁇ 407 and the right image is stored in the image buffer ⁇ 408.
  • This corresponds to a process of storing monocular image data of the monocular image area 503.
  • the left image input 604 is performed. This corresponds to the processing from when the left camera 401 in FIG. 4 is picked up, to the image processing A 405 thereafter, and to store the stereo viewing image data in the stereo viewing image area 502 of the left image in the image buffer ⁇ 407.
  • the right image input 603 is performed.
  • the data transfer 606 is performed by the distribution processing 406 from the middle stage, and a part of the data is accumulated in the image buffer ⁇ 408.
  • Image processing 609 is performed.
  • the image processing 609 corresponds to the image processing C410 in FIG.
  • contrast adjustment is performed so as to make it easier to detect a three-dimensional object at the front center of the host vehicle, but it is difficult to recognize an object that appears dark in the vicinity. Therefore, for a sign image region that is assumed to be recognized as a sign, for example, a blurring process is relaxed, a contrast adjustment process that brightens a dark object, a color process that emphasizes the color of the sign, or In order to search for the optimum contrast, a process using time-series storage is performed in which a contrast value is set at random and an optimum contrast is determined according to the detection result.
  • the image processing 601 that is, the image processing unit 104, the left image input 604 and the parallax processing 605 are performed.
  • various non-stereoscopic (planar) object recognition such as sign recognition and vehicle tail lamp detection can be performed. it can.
  • image data and parallax data of the entire image area to be recognized (the entire image area for stereo viewing) and parallax data are obtained, and this is processed at the timing 608 when the parallax process 605 ends.
  • the three-dimensional object recognition 611 can be performed.
  • vehicle tail lamp detection can be performed at the timing of various planar object recognition 610 based on image processing, but the distance to the detected tail lamp can be measured at the three-dimensional object recognition 611 stage.
  • efficient processing distribution is possible, and the recognition application can be driven from the image processing unit 104 to the timing gap in the arithmetic processing unit 105, so that overall processing efficiency can be improved.
  • the vehicle control processing 612 performs control processing in response to the results of these various object recognitions 610 and 611.
  • a monocular recognition area (monocular vision image area) will be provided in preparation for recognition of an area where the appearance of an electric bulletin board is assumed over several frames. Setting to the upper level is performed.
  • FIG. 7 shows an example of an image picked up by a general image pickup device.
  • an image obtained by the right image input 603 and subjected to the image processing 609 corresponds to this.
  • the basic process for processing the image buffer is to collect several horizontal lines of the image. For example, filter processing such as blurring processing and edge extraction in units of 3 vertical pixels and 3 horizontal pixels (3 ⁇ 3) is performed at the stage when image data of 3 horizontal lines is recorded in the image buffer. It becomes possible. Filter calculation processing in the image buffer processing includes contrast conversion, image blurring, image sharpening, Hough voting, and the like. However, since it is difficult to repeat these image processing calculations a plurality of times, processing synthesis is performed by integrating the calculation results.
  • Hough voting is a process of estimating that the center of a circle or rectangle exists in the direction of the angle based on the angle of the edge extracted from the image.
  • the process synthesis process from edge extraction by 3 ⁇ 3 filter to Hough voting will be described. It is assumed that the target image from which the edge is extracted and the pixel above it are represented by pij as shown in FIG. At this time, the edge strength in the vertical direction can be calculated by convolution with the filter shown in FIG. Similarly, the edge strength in the horizontal direction is represented by convolution with the filter shown in FIG. At this time, it is possible to estimate that the edge angle with respect to the point of interest p22 is horizontal edge strength / vertical edge strength.
  • edge strength ⁇ obtained by the above calculation procedure within the 3 ⁇ 3 scanning range is stored in the Hough voting space. Record it.
  • the processing synthesis extracts all elements (pixels, pij) used in the calculation process from the filter operation of the image consisting of several stages in this way, and derives a calculation formula obtained as a final result.
  • derivation There are two types of derivation: approximate derivation.
  • Model formula ⁇ ⁇ ak ⁇ pij ⁇ pnm ⁇ / ⁇ ⁇ bk ⁇ pij ⁇ Pnm ⁇ Is the model formula.
  • an approximate value of the calculated amount can be derived for a pixel group ⁇ pij ⁇ within a certain scanning range (for example, 3 ⁇ 3).
  • the problem is how to obtain the coefficients ak and bk. This is a value obtained by an exact solution for a pixel set ⁇ pij ⁇ at an arbitrary position of the learning image and an approximate solution. It is only necessary to compare the obtained values and adjust the ak and bk values so that the error becomes as small as possible. Processing synthesis by this approximate expression has an advantage that the processing amount can be reduced by limiting the order and function form of the model expression.
  • the present invention is not limited to the above-described embodiments, and various design changes can be made without departing from the spirit of the present invention described in the claims. Is something that can be done.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

　画像処理の効率化を図ることができる車載画像認識装置を得ることを課題とする。　上記課題を解決する本発明の車載画像認識装置１００は、左右一対のカメラで撮像した各撮像画像５０１内にステレオ視用画像領域５０２をそれぞれ設定すると共に一方のカメラで撮像した撮像画像５０１内に単眼視用画像領域５０３を設定し、左右一対のカメラで撮像した各撮像画像を左右方向の画像走査ラインに沿ってスキャンしてステレオ視用画像領域５０２内をスキャンしたステレオ視用画像データと単眼視用画像領域５０３内をスキャンした単眼視用画像データとに分配し、ステレオ視用画像データを用いてステレオ視画像処理を行い、単眼視用画像データを用いて単眼視画像処理を行い、これらの画像処理結果を用いてアプリケーションの種類に応じた物体の認識を行う。

Description

車載画像認識装置
　本発明は、車載画像認識装置に関する。
　特許文献１には、領域ごとに各物体の検出に適した画質を有する処理画像を生成することで、複数の物体を検出する処理の負荷を軽減することを目的とした車載画像処理装置の技術が示されている。特許文献１の車載画像処理装置は、レーダ装置で検出した自車前方の物体の位置に基づいて障害物領域及び路面領域を設定する領域設定部と、カメラで撮像した前方画像のダイナミックレンジ及び解像度を領域ごとに調整することで処理画像を生成する画像生成部とを備えている。
特開２００９－１７１５７号公報
　しかしながら、前述した特許文献１の手法では、カメラのほか、物体の位置を検出するためのレーダ装置も用いるため、装置全体が複雑になり、カメラ単体では対応できない。また、画像生成部で障害物領域及び路面領域ごとの処理画像を生成する際に、カメラで撮像した画像の全面が用いられるため、画像処理に時間がかかり、画像処理の効率化を図ることが困難であった。
　本発明の目的は、上記の課題を鑑みてなされたものであり、その目的とするところは、画像処理の効率化を図ることができる車載画像認識装置を提供することである。
　上記課題を解決する本発明の車載画像認識装置は、複数のアプリケーションを実行するために左右一対のカメラで撮像した撮像画像を用いて車外環境を認識する車載画像認識装置であって、前記複数のアプリケーションの中から実行されるアプリケーションの種類に基づいて前記左右一対のカメラで撮像した各撮像画像内にステレオ視用画像領域をそれぞれ設定すると共に一方のカメラで撮像した撮像画像内に単眼視用画像領域を設定し、前記左右一対のカメラで撮像した各撮像画像を左右方向の画像走査ラインに沿ってスキャンして前記ステレオ視用画像領域内をスキャンしたステレオ視用画像データと前記単眼視用画像領域内をスキャンした単眼視用画像データとに分配する分配部と、前記ステレオ視用画像データを用いてステレオ視画像処理を行うステレオ視画像処理部と、前記単眼視用画像データを用いて単眼視画像処理を行う単眼視画像処理部と、前記ステレオ視画像処理部の画像処理結果と、前記単眼視画像処理部の画像処理結果を用いて前記アプリケーションの種類に応じた物体の認識を行う物体認識部と、を有することを特徴としている。
　本発明によれば、先行車認識や白線認識や標識認識などの画像認識アプリケーションの性能を損なうことなく、かつ様々な画像認識アプリケーションを、可能な限り処理周期を保ちつつ、中央演算装置（ＣＰＵ）や画像特性などのリソース配分を可能とする。特に、標識認識や車両テールランプ検知などの画像処理を主体とするアプリケーションと、人や車の検知といった立体物処理が主体となるアプリケーションとの並立を可能とする効果がある。また、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の車載画像認識装置の概略構成を示すブロック図。 本発明の基礎となるステレオカメラ処理の内容を説明するフロー図。 各種処理のタイミングチャート。 本実施形態にかかる車載画像認識装置の処理手順を示すフロー図。 分配処理の事例を示すイメージ図。 本発明による処理のタイミングチャート。 一般的な撮像素子で撮像した画像の一例を示す図。 エッジを抽出する対象画像と、その上のピクセルをｐｉｊで表した図。 縦方向のエッジ強度を計算するためのフィルタの一例を示す図。 横方向のエッジ強度を計算するためのフィルタの一例を示す図。
　次に、本発明の実施形態について図を用いて以下に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
　図１は、本実施形態にかかわる車載画像認識装置の全体構成を示すブロック図である。本実施形態にかかる車載画像認識装置１００は、車両前方の画像に基づいて複数のアプリケーションを実行することにより、車外環境を認識して車両の運転支援を行う装置である。この車載画像認識装置１００は、ステレオカメラ１０１、画像入力インタフェース１０２、画像処理部１０４、演算処理部１０５、記憶部１０６、制御処理部１０８および分配部１０９を備えている。そして、画像入力インタフェース１０２、画像処理部１０４、演算処理部１０５、記憶部１０６、制御処理部１０８および分配部１０９は、バス１０３によって互いに接続されている。
　ステレオカメラ１０１は、互いに車幅方向に所定の間隔をあけて取り付けられた左カメラ１０１Ｌと右カメラ１０１Ｒとを有しており、車両前方の様子を撮像する。左カメラ１０１Ｌおよび右カメラ１０１Ｒは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子から構成されている。画像入力インタフェース１０２は、ステレオカメラ１０１の撮像を制御するとともに、撮像した画像を取り込むものである。そして、画像入力インタフェース１０２を通して取り込まれた画像データは、バス１０３を経由して画像処理部１０４に出力され、そこで処理される。そして、処理途中の結果や最終結果となる画像データなどは、バス１０３を経由して出力され、記憶部１０６に記憶される。
　画像処理部１０４は、左カメラ１０１Ｌの撮像素子から得られる左の画像と、右カメラ１０１Ｒの撮像素子から得られる右の画像とを比較して、それぞれの画像に対して撮像素子に起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行い、さらにその結果を記憶部１０６に出力して記憶させる。また、画像処理部１０４は、左の画像および右の画像の間で相互に対応する箇所を計算して、視差情報の計算を行い、更にその結果を記憶部１０６に出力して記憶させる。
　演算処理部１０５は、記憶部１０６に記憶された画像および視差情報（例えば、画像上の各点に対する距離情報）を使い、車両周辺の各種物体の認識を行う。各種物体とは、人、車、その他の障害物、信号機、標識、車のテールランプやヘッドライトなどである。また、演算処理部１０５は、認識の結果又は計算途中の結果の一部を、バス１０３を経由して出力され記憶部１０６に記憶される。更に、演算処理部１０５は、各種物体の認識結果を用いて車両の制御方針を決定する。
　計算の結果として得られた車両の制御方針や、物体認識結果の一部は、ＣＡＮインタフェース１０７を通して、車載ネットワークＣＡＮ１１０に伝えられ、これにより車両の制動が行われる。また、これらの動作について、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないかどうかなどを、制御処理部１０８が監視しており、異常動作を防ぐようになっている。
　記憶部１０６は、車載画像認識装置１００の動作に関する各情報を格納するものであり、例えば画像処理部１０４によって得られた画像情報や、演算処理部１０５によって走査された結果や作成された画像情報等を記憶する。制御処理部１０８は、車載画像認識装置１００全体の制御を行い、例えば画像処理部１０４に画像処理するための制御信号を出力して画像処理部１０４の動作をコントロールし、あるいは演算処理部１０５に制御信号を出力して画像処理部１０４に演算処理をさせる。画像処理部１０４、演算処理部１０５、記憶部１０６、制御処理部１０８、画像入力インタフェース１０２、ＣＡＮインタフェース１０７は、単一または複数のコンピュータユニットにより構成されている。
　分配部１０９は、各アプリケーションの実行に必要な画像の要求に基づいて、ステレオカメラ１０１のいずれか一方のカメラによって撮像された画像を複数行分の走査ラインで取り込む単眼視用画像データと、ステレオカメラ１０１の両方のカメラ１０１Ｌ、１０１Ｒによって撮像された画像を所定の領域で取り込むステレオ視用画像データとに分配する。例えば、標識認識アプリケーションの場合は、標識の存在が分かればよいため、単眼視用画像データが要求される。一方、車両・歩行者認識アプリケーションの場合は、距離や位置などの詳細な情報が必要であるため、ステレオ視用画像データが要求される。なお、アプリケーション例としては、上述の車両・歩行者認識および標識認識のほか、例えば配光制御、レーン逸脱警報、割り込み車両警報、追い越し車両警報、レーン維持走行支援なども挙げられる。
　車載画像認識装置１００は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）インタフェース１０７をさらに備える。ＣＡＮインタフェース１０７は、バス１０３を介して入力インタフェース１０２、画像処理部１０４、演算処理部１０５、記憶部１０６、制御処理部１０８および分配部１０９と接続されている。演算処理部１０５の計算結果として得られた車両の制御方針や物体認識結果の一部は、ＣＡＮインタフェース１０７および車載ネットワークＣＡＮ１１０を介して自車両の制御システムに出力され、これにより車両の制御が行われる。また、これらの動作について、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないか否かなどを制御処理部１０８が監視しており、異常動作を防ぐようになっている。
　次に、既存の典型的なステレオ視画像処理の手順について図２及び図３を用いて説明する。
　図２は、既存の典型的なステレオ視画像処理の内容を説明するフロー図、図３は、各種処理のタイミングチャートである。
　車載ステレオカメラ装置２００は、左カメラ２０１と右カメラ２０２により画像を撮像し、各々で撮像した画像データ２０３、２０４のそれぞれについて画像処理Ａ２０５を行う。画像処理Ａ２０５では、左カメラ２０１の撮像素子と右カメラ２０２の撮像素子とがそれぞれ持つ固有の癖を吸収するために画像を補正する処理が行われる。画像処理Ａ２０５における処理結果は、補正画像として画像バッファ２０６に蓄えられる。画像バッファ２０６は、図１の記憶部１０６に設けられる。
　次に、ステレオ視画像処理である視差処理２０７が行われる。視差処理２０７では、補正された２つの画像を使って、画像同士の照合を行い、これにより左右カメラで得た画像の視差情報を得る。左右画像の視差により、対象物体上のある着目点が、左右カメラの画像上の何処と何処に対応するかが明らかとなり、三角測量の原理によって、対象物までの距離が得られることになる。画像処理Ａ２０５および視差処理２０７は、図１の画像処理部１０４で行われ、最終的に得られた補正画像、および視差情報は、記憶部１０６に蓄えられる。
　次に、上記の補正画像、および視差情報を用いて、各種物体認識２０９が行われる。認識対象の物体としては、人、車、その他の立体物、標識、信号機、テールランプなどがある。認識の際は必要に応じて認識辞書２１０を利用する。
　そして、物体認識の結果と、自車両の状態（速度、舵角など）とを勘案して、車両制御処理２１１が行われる。車両制御処理２１１により、例えば、乗員に警告を発し、自車両のブレーキングや舵角調整などの制動を行う、あるいは、それによって対象物の回避制御を行う方針を決め、その結果を、ＣＡＮインタフェース２１２を通して出力する。
　各種物体認識２０９および車両制御処理２１１は、図１の演算処理部１０５で行われ、ＣＡＮへの出力は、ＣＡＮインタフェース１０７にて行われる。これらの各処理手段は、例えば単一または複数のコンピュータユニットにより構成され、相互にデータを交換可能に構成されている。
　図３のタイミングチャートでは大きく２系統の流れを、画像処理３０１と、演算処理３０２として示している。画像処理３０１の流れが、図１の画像処理部１０４における処理タイミングであり、演算処理３０２の流れが、図１の演算処理部１０５における処理タイミングを示している。
　まず、画像処理３０１において右画像入力３０３が行われる。これは、図２における右カメラ２０２による画像撮像を行い、その後で画像処理Ａ２０５を経て、画像バッファ２０６に右画像の画像データを蓄えるまでの処理に相当する。次に、左画像入力３０４が行われる。これは、図２における左カメラ２０１による画像撮像を行い、画像処理Ａ２０５を経て、画像バッファ２０６に左画像の画像データを蓄えるまでの処理に該当する。
　次に、視差処理３０５を行う。これは、図２において、画像バッファ２０６から左右の２つの画像を読み出し、両画像間の照合を取ることで視差を計算し、計算して得られた視差情報を記憶部１０６に蓄えるまでの視差処理２０７に相当する。この時点で、画像と視差情報が記憶部１０６に揃ったことになる。次に、演算処理部１０５に移行し、各種物体認識３０７と車両制御処理３０８が行われ、その結果がＣＡＮに出力される。
　図３のタイミングチャートを見て分かるように、既存の典型的な車載ステレオカメラ装置２００では、各種認識アプリケーションが、各種物体認識３０７のタイミングで動作する。これは処理構成をシンプルにできる反面、幾つかの課題が残る。１つは、各種物体認識３０７において、それぞれ必要とされる情報や、画像の品質が異なることである。
　例えば視差処理を経て得られる画像は、自車前方の車両や歩行者を立体物として良く捉えられるよう、前方の物体に適合した画像処理を行う必要があるが、一方で、信号機や標識などの周辺にある物体を認識するには相応しくない画像となってしまう事態が生じる。
　また、各種認識アプリケーションの全てが視差情報を必要とする訳では無い。典型例の１つが標識や遠距離における車両のテールランプ検知といったアプリケーションである。これらのアプリケーションでは、視差情報よりも、まず初めに画像情報を使った処理が主体となるため、この特性を活用することで、アプリケーションの計算処理を効率化することが見込まれる。
　次に、本発明の車載画像認識装置の処理手順について図４及び図５を参照して説明する。
　図４は、本実施形態にかかる車載画像認識装置の処理手順を示すフロー図、図５は、分配処理の事例を示したイメージ図であり、右の撮像画像内にステレオ視用画像領域と単眼視用画像領域が設定された状態を示す。
　車載画像認識装置４００は、図４に示すように、左カメラ４０１と右カメラ４０２により撮像された撮像画像の画像データ４０３、４０４のそれぞれについて、左カメラ４０１と右カメラ４０２の各撮像素子が持つ固有の癖を吸収するための画像処理Ａ４０５を行う。画像処理Ａ４０５では、ノイズ補間や歪み補正などが行われる。
　そして、分配部１０９により、画像バッファα４０７と画像バッファβ４０８に画像処理Ａ４０５後の画像データを分配する分配処理４０６が行われる。分配処理４０６では、画像処理Ａ４０５後の画像データを双方の画像バッファ４０７、４０８に蓄えるか、または片方だけに蓄えるか、及び蓄えた画像データに対する画像処理の指示などが行われる。具体的には、左右一対のカメラ４０１、４０２で撮像した各撮像画像５０１を左右方向の画像走査ラインに沿ってスキャンし、各撮像画像５０１の予め設定されたステレオ視用画像領域５０２内をスキャンしたステレオ視用画像データと、右の撮像画像５０１の予め設定された単眼視用画像領域５０３内をスキャンした単眼視用画像データとに分配する処理が行われる。
　ステレオ視用画像領域５０２は、例えばステレオ視画像処理により車両や人を検出するための領域であり、複数のアプリケーションの中から実行されるアプリケーションの種類に基づいて各撮像画像５０１内にそれぞれ設定される。単眼視用画像領域５０３は、例えば単眼視画像処理により道路面上の標識や自車両前方の先行車両のテールランプを検出するための領域であり、一方のカメラである右カメラ４０２で撮像した撮像画像５０１内にのみ設定される。本実施形態では、単眼視用画像領域５０３は、右カメラ４０２で撮像した撮像画像５０１内にのみ設定される場合について説明したが、左カメラ４０１で撮像した撮像画像５０１内にのみ設定してもよい。
　画像バッファα４０７と画像バッファβ４０８に蓄えられたステレオ視用画像データと単眼視用画像データは、画像処理部１０４によって画像処理Ｂ４０９と画像処理Ｃ４１０に用いられる。画像バッファα４０７は、ステレオ視用画像データを蓄積する画像バッファであり、その後の画像処理Ｂ４０９は、従来の視差処理（ステレオ視画像処理）２０７に相当する。視差処理では左右の画像間の相関を見る必要があるため、画像バッファα４０７は、左右の画像の視差対象とするエリアに相当するステレオ視用画像領域５０２のステレオ視用画像データをそれぞれ蓄積する。画像処理Ｂ４０９では、画像バッファα４０７に蓄積された左右のステレオ視用画像領域５０２のステレオ視用画像データを用いた視差処理が行われる（ステレオ視画像処理部）。
　一方、画像バッファβ４０８は、画像バッファβ４０８へのデータ転送や、その後の画像処理Ｃ４１０の計算量を抑えるため、横方向の画像ラインとして、１ラインから、フィルタ処理に必要となる数ライン分の画像データを蓄積する、小容量のライン画像バッファである。画像処理Ｃ４１０では、画像バッファβ４０８に蓄積される単眼視用画像データを用いた単眼視画像処理が行われる（単眼視画像処理部）。
　画像処理Ｂ４０９は、比較的容量の大きい画像データが必要であり、相互の画像データの照合を行うため、画像転送と処理に時間が掛かる。この画像処理Ｂ４０９により、車両や人の検出に適した画像処理が行われた画像と、視差データが得られる。
　一方、画像処理Ｃ４１０は、ラインバッファに蓄えられた、数行分のライン画像データに対して、コントラスト変換やぼかし処理などの限定した単眼視画像処理を行う。例えばぼかし処理のフィルタサイズを３×３とすれば、３ライン分の画像が画像バッファβ４０８に蓄えられていれば良い。この画像処理Ｃ４１０により、標識やテールランプの検出に適した画像処理が行われた画像と、エッジデータなどが得られる。
　画像処理Ｃ４１０は、分配処理４０６によって画像バッファβ４０８に１ライン分のライン画像データが送られるたびに実行可能なため、画像のエリア内全面をバッファリングするための待ち時間が無く、パイプライン的な逐次の画像処理ができることが特長となる。但し、小領域の画像処理を何度も繰り返すことは処理時間的に厳しいので、適用する画像処理を想定した処理合成が必要である。処理合成については後述する。
　この２つの画像処理結果を受けて、各種物体認識４１１が行われる。どの物体認識がどの画像を使うかは事前に決定することが可能であり、例えば車両や人の検知などは立体物としての情報が重要なので、画像処理Ｂ４０９の結果を使って認識処理を行う。一方、標識の検知やテールランプの検知などは、立体物の情報ではなく画像のみの情報で処理ができるため、画像処理Ｃ４１０の結果を使って認識処理を行う。各種物体認識４１１の際には、認識辞書４１２を用いる。このとき、認識辞書４１２に、分配処理に応じたフラグを持たせることで、認識精度の向上が可能となる。最後に、各種物体認識４１１の結果を使用して車両制御処理４１３による制御処理を行い、車両の制御方針を決定し、その結果を、ＣＡＮインタフェース４１４を通して出力する。
　更に、各種物体認識４１１と車両制御処理４１３は、次回、次々回の撮像サイクルにおける分配処理を予約するための指示を分配計画４１６に送る。例えば、ステレオ視画像処理において、道路面上の立体構造物を検知し、高速道路の電光掲示板が出現すると予想した場合に、次のフレームでは、画面上方において標識認識を行うため、画像バッファβ４０８にライン画像の画像データを分配し、それに連携する画像処理Ｃ４１０を起動するような指示を、分配計画４１６に送る。
　分配計画４１６は、各種物体認識４１１と車両制御処理４１３からの情報に基づいて分配部１０９による分配計画データを作成する（分配計画部）。分配計画４１６では、各アプリケーションから、次のサイクル、次々のサイクルなど将来的な撮像時における、各バッファへの画像の分配状況と、分配時の画像処理が記憶される。更に過去の履歴を用いることで、分配処理４０６による分配計画データを作成し、画像処理時のヒストグラム補正や意図的なランダム性を考慮した画像処理の指示を可能とする。例えば、標識認識においてはコントラスト補正が重要であるが、最適なコントラスト補正のパラメータを求めることは容易ではない。そこで、ある一定範囲においてコントラスト補正パラメータをランダムに補正し、これに応じて標識検知や標識認識結果の履歴を参照することで、標識が映っている期間内において精度を高める調整を可能とする。また、コントラスト補正パラメータと標識検知の精度が一定のモデル関数で結び付けられるという前提によって、当該関数の導関数値からパラメータを補正することも可能となる。
　図５に示す撮像画像は、右カメラ４０２で撮像した撮像画像５０１のイメージ図であり、例えば図５（ａ）では、標識の出現位置が自車両前方の上側のため、標識用画像領域として単眼視用画像領域５０３が撮像画像５０１の上方に設定されている。一方、ステレオ視をするための車両や人の検知エリアは、車両の前方中央付近に集中するため、標識用画像領域とは別に、車両／人用画像領域としてステレオ視用画像領域５０２が撮像画像５０１の略中央に設定されている。本実施形態ではステレオ視用画像領域５０２と単眼視用画像領域５０３はそれぞれ矩形を有しており、重複して配置されている。標識用画像領域と車両/人用画像領域は、重複していてもよく、また、重複していなくてもよい。
　図５（ａ）～（ｄ）に示す各撮像画像５０１は、例えば左側から右側に向かって水平方向に上位のラインから順番にスキャンされてゆく。そして、図５(ａ）に示す例では、画像走査ライン１については、標識用のみにスキャンデータを転送すれば良いため、画像バッファβ４０８のみに分配されて記憶される。
　一方、画像走査ライン２については、単眼視用画像領域５０３とステレオ視用画像領域５０２とが重複しているため、画像バッファα４０７と画像バッファβ４０８のそれぞれにスキャンデータが転送される。すなわち、画像走査ライン２のスキャンデータは、画像バッファα４０７と画像バッファβ４０８のそれぞれに分配されて記憶される。そして、画像走査ライン３については、ステレオ視用のみにスキャンデータを転送すればよく、画像バッファα４０７のみに分配されて記憶される。
　検知エリアの配置は、動的に変わり得る。例えば図５（ｂ）に示す例では、ステレオ視用画像領域５０２が図５（ａ）よりも上側にシフトしている。例えば、このような状況は前方に急な坂道があるなど、撮像画像５０１内の上方をステレオ視で注視する必要が生じたときに発生し得る。この場合は、先程と異なり、画像走査ライン１において画像バッファα４０７と画像バッファβ４０８にスキャンデータを転送する必要がある。そして、画像走査ライン３については、双方のバッファに転送する必要が無くなる。
　また、図５（ｃ）に示すように、近距離に背の低い立体物があるケースにおいて、それが子供などの可能性がある場合、単眼系の人検知やオプティカルフローなどの画像処理アプリケーションで使用する単眼視用画像領域５０３を撮像画像５０１の下側に設けて、画像走査ライン３を設定することも可能である。
　また、図５（ｄ）に示すように、車両制御の情報に応じて、ステレオ視用画像領域５０２を、あたかも人が寄り目や流し目を行って対象物を注視するように左右にシフトすることも可能である。画像処理Ｂ４０９の計算量が多くなる場合は、同様な処理を単眼アプリケーションで行うことができる。すなわち、分配処理４０６により、バッファの分類と処理すべき画像処理の指定を可能とすることで、ステレオカメラにおけるアプリケーションの適用範囲を柔軟に構築でき、更にタイミング調整により処理時間の削減を図ることができる。
　分配処理４０６では、例えば子供などの対象物が予め設定された位置よりも自車に接近したことを検知した場合に、単眼視用画像領域５０３の設定をやめて、ステレオ視用画像領域５０２のステレオ視用画像データのみを用いた画像処理Ｂ４０９のみを行ってもよい。
　図６は、本発明による処理のタイミングチャートである。
　図６のタイミングチャートでは大きく２系統の流れを画像処理６０１と演算処理６０２として示している。画像処理６０１の流れが、図１の画像処理部１０４における処理タイミングであり、演算処理６０２の流れが、図１の演算処理部１０５における処理タイミングを示している。
　まず、画像処理６０１において右画像入力６０３が行われる。これは、図４における右カメラ４０２による画像撮像を行い、その後で画像処理Ａ４０５を経て、画像バッファα４０７に右画像のステレオ視用画像領域５０２のステレオ視用画像データと、画像バッファβ４０８に右画像の単眼視用画像領域５０３の単眼視用画像データを蓄える処理に相当する。
　次に、左画像入力６０４が行われる。これは、図４における左カメラ４０１による撮像を行い、その後で画像処理Ａ４０５を経て、画像バッファα４０７に左画像のステレオ視用画像領域５０２のステレオ視用画像データを蓄えるまでの処理に該当する。
　まず、右画像入力６０３が行われる。画像処理Ｃ４１０では、右画像の入力において全ての画像データが揃うのを待つ必要は無く、途中の段階から分配処理４０６によってデータ転送６０６が行われ、画像バッファβ４０８に一部データが蓄積され、更に画像処理６０９が行われる。ここで言う画像処理６０９とは、図４における画像処理Ｃ４１０に該当する。
　この段階では視差処理のための画像処理を行う必要はなく、想定するアプリケーションに適した画像処理を行うことができる。例えば、視差処理では自車前方中央の立体物をなるべく検知しやすくなるように、コントラスト調整を行うが、周辺で暗く映っているオブジェクトの認識が行い難くなる。そこで、標識などの認識が想定される標識用画像領域に対しては、例えば、ぼかし処理を緩める、暗い対象物を明るくするようなコントラスの調整処理、標識の色味を強調する色彩処理、あるいは最適なコントラストを探すため、最初はランダムにコントラストの値を設定し、検知結果に応じて最適なコントラストを決定するといった、時系列の記憶を使った処理を行う。
　画像処理６０１、すなわち画像処理部１０４においては、左画像入力６０４と視差処理６０５が行われるが、この間に標識認識や車両テールランプ検知など、非立体系（平面系）の各種物体認識を行うことができる。また、視差処理６０５の後には、認識対象の画像領域全面（ステレオ視用画像領域全面）の画像データと、視差データが得られるため、これを視差処理６０５の終了のタイミング６０８で演算処理部１０５に転送して、演算処理６０２において立体系の各種物体認識６１１を行うことができる。
　また、非立体系の認識処理結果を受けて、この段階で視差情報を使うことも可能である。例えば、車両のテールランプ検知は、画像処理を元に、平面系の各種物体認識６１０のタイミングで行えるが、検知したテールランプまでの距離測定は、立体系の各種物体認識６１１の段階で行える。これにより、効率的な処理分配が可能となり、画像処理部１０４から演算処理部１０５におけるタイミングの隙間に認識アプリケーションを駆動することができ、全体としての処理効率化が可能となる。
　更に、これら各種物体認識６１０と６１１の結果を受けて車両制御処理６１２で制御処理を行う。車両制御処理６１２では、外界状況と自車制動状況に応じて、アプリケーション駆動とそのための画像処理を設定することで、認識精度の向上が可能となる。例えばハンドルを右に切るが、左側に注視したい物体がある、あるいは小さい立体物が目の前に現れ、それが次にエリア下の方に隠れそうな場合などにおいて、次のエリア設定をどうするかが判断される。また、外界の暗さに応じたコントラスト補正をどうするかが設定される。また、車両前方の道路面上に立体物がある場合、今後は数フレームに渡って、電光掲示板の出現が想定されるエリアに対する認識に備えるため、単眼認識のエリア（単眼視用画像領域）を上位に設定することが行われる。
　図７は一般的な撮像素子で撮像した画像の一例であり、例えば右画像入力６０３により得られて画像処理６０９を経た画像がこれに相当する。
　例えば、標識認識に適した画像バッファの処理については、赤色など特徴的な標識を認識する際に、赤を強調する処理を入れる、またはメモリ削減のため奇数の横ライン１，３・・・のみを転送するといった処理を分配部１０９に指示することで、アプリケーションに適した柔軟な画像処理の構成が可能となる。但し、小領域の画像処理を何度も繰り返すことは処理時間的に厳しいので、適用する画像処理を想定した処理合成が必要となる。以下に、画像バッファβ４０８に一部データを蓄積して画像処理６０９を行う際の、処理合成の概要を述べる。
　画像バッファの処理については、画像の横ラインを幾つかまとめた処理を行うことが基本となる。例えば、縦３画素と横３画素（３×３）を単位としたぼかし処理やエッジ抽出などのフィルタ処理は、３行分の横ラインの画像データが、画像バッファに記録された段階で処理が可能となる。画像バッファ処理におけるフィルタ演算処理としては、コントラスト変換、画像ぼかし、画像先鋭化、ハフ投票、などがある。但し、これらの画像処理演算を複数回繰り返すことは難しいため、演算結果を統合した処理合成を行う。
　標識の検知で重要となるハフ投票を例に、処理合成を述べる。ハフ投票とは、画像から抽出したエッジの角度を元に、当該角度の方向に円や矩形の中心が存在することを推定する処理である。ここでは３×３フィルタによるエッジ抽出からハフ投票における処理合成過程を述べる。エッジを抽出する対象画像と、その上のピクセルを図８のようにｐｉｊで表すとする。このとき、ｐ２２を着目点として、縦方向のエッジ強度は、図９に示すフィルタとの畳み込みで計算できる。また、横方向のエッジ強度は、同様に図１０に示すフィルタとの畳み込みで表される。このとき、着目点ｐ２２に対するエッジの角度として、横方向エッジ強度／縦方向エッジ強度、という推定が可能である。
　また、エッジの強度として、エッジベクトルの二乗ノルムを使うとする。このとき、エッジ抽出からハフ投票に至るプロセスは、画素ｐ２２を中心とする３×３の画素範囲に対して、
　１）エッジ強度＝（ｐ１１＋ｐ１２＋ｐ１３－ｐ３１－ｐ３２－ｐ３３）
　　　　　　　　　＾２＋（ｐ１１＋ｐ２１＋ｐ３１－ｐ１３－ｐ２３
　　　　　　　　　－ｐ３３）＾２
　２）エッジ(横)＝ｐ１１＋ｐ１２＋ｐ１３－ｐ３１－ｐ３２－ｐ３３／
　　　　　　　　　エッジ強度
　３）エッジ(縦)＝ｐ１１＋ｐ２１＋ｐ３１－ｐ１３－ｐ２３－ｐ３３／
　　　　　　　　　エッジ強度
　４）エッジ角度　＝（ｐ１１＋ｐ１２＋ｐ１３－ｐ３１－ｐ３２－
　　　　　　　　　　ｐ３３）／（ｐ１１＋ｐ２１＋ｐ３１－ｐ１３－
　　　　　　　　　　ｐ２３－ｐ３３）
という計算で求めることができる。
　したがって、エッジ角度に基づくハフ投票を行う場合、走査範囲の３×３内において、上記の計算手順により求めた｛ｐ２２、エッジ(横)／エッジ(縦)、エッジ強度｝を、ハフ投票空間に記録すれば良い。
　これにより、横エッジを計算する、縦エッジを計算する、エッジ角度を計算する、という３段階に渡るフィルタ処理を１回の計算プロセスに落とし込むことができる。同様に画像に対するぼかしや先鋭化を加えたうえで、エッジ検出およびハフ投票を行う場合についても、画像処理の一連の過程から必要な計算ポイントをまとめることができる。
　処理合成は、このように、いくつかの段階からなる画像のフィルタ演算から、計算過程で使われる全ての要素（画素、ｐｉｊ）を抽出し、最終的な結果として得られる計算式を導くという厳密な導出と、近似式による導出がある。
　近似式による導出は、次のようなプロセスになる。まず、使われる要素（ｐｉｊ）からモデル式を想定する。上記のエッジ抽出とハフ投票のケースで言えば、高々２次の多項式が分母と分子にある形となる。すなわち、
　５）モデル式＝Σ｛ａｋ・ｐｉｊ・ｐｎｍ｝／Σ｛ｂｋ・ｐｉｊ
　　　　　　　　・ｐｎｍ｝
がモデル式となる。
　次に、このモデル式の係数ａｋ、ｂｋを求めれば、ある走査範囲内（例えば３×３内）の画素群｛ｐｉｊ｝に対して、求める計算量の近似値が導けることになる。ここで、係数ａｋ、ｂｋをどう求めるかが課題となるが、これは学習用の画像の任意の箇所の画素集合｛ｐｉｊ｝に対して、厳密解で求めた値と、それを近似解で求めた値とを比較し、その誤差がなるべく小さくなるようにａｋ、ｂｋ値を調整すれば良い。この近似式による処理合成は、モデル式の次数や関数形を制限することで、処理量を削減できるというメリットがある。
　以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１００　車載画像認識装置
１０１Ｌ　左カメラ
１０１Ｒ　右カメラ
１０４　画像処理部
１０５　演算処理部
１０６　記憶部
１０８　制御処理部
１０９　分配部
４０９　画像処理Ｂ（ステレオ視画像処理部）
４１０　画像処理Ｃ（単眼視画像処理部）

Claims (4)

  1. 　複数のアプリケーションを実行するために左右一対のカメラで撮像した撮像画像を用いて車外環境を認識する車載画像認識装置であって、
    　前記複数のアプリケーションの中から実行されるアプリケーションの種類に基づいて前記左右一対のカメラで撮像した各撮像画像内にステレオ視用画像領域をそれぞれ設定すると共に一方のカメラで撮像した撮像画像内に単眼視用画像領域を設定し、前記左右一対のカメラで撮像した各撮像画像を左右方向の画像走査ラインに沿ってスキャンして前記ステレオ視用画像領域内をスキャンしたステレオ視用画像データと前記単眼視用画像領域内をスキャンした単眼視用画像データとに分配する分配部と、
    　前記ステレオ視用画像データを用いてステレオ視画像処理を行うステレオ視画像処理部と、
    　前記単眼視用画像データを用いて単眼視画像処理を行う単眼視画像処理部と、
    　前記ステレオ視画像処理部の画像処理結果と、前記単眼視画像処理部の画像処理結果を用いて前記アプリケーションの種類に応じた物体の認識を行う物体認識部と、
    　を有することを特徴とする車載画像認識装置。
  2. 　前記ステレオ視用画像データを蓄積するステレオ視用画像バッファと、
    　前記単眼視用画像データを蓄積する単眼視用画像バッファを有し、
    　前記ステレオ視画像処理部は、前記ステレオ視用画像バッファへの前記ステレオ視用画像データの蓄積を完了してから前記ステレオ視画像処理を実行し、
    　前記単眼視画像処理部は、前記単眼視用画像バッファに前記単眼視用画像データを蓄積しながら前記単眼視画像処理を実行することを特徴とする請求項１に記載の車載画像認識装置。
  3. 　前記物体認識部による物体認識の結果を使用して車両の制御方針を決定する車両制御処理部と、
    　前記物体認識部と前記車両制御処理部からの情報に基づいて前記分配部による分配計画データを作成する分配計画部と、を有することを特徴とする請求項２に記載の車載画像認識装置。
  4. 　前記分配部は、対象物の接近を検知した場合に前記単眼視用画像領域の設定をやめることを特徴とする請求項１に記載のステレオカメラ。
PCT/JP2015/073174 2014-09-30 2015-08-19 車載画像認識装置 WO2016051981A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016551626A JP6316976B2 (ja) 2014-09-30 2015-08-19 車載画像認識装置
US15/501,920 US10148938B2 (en) 2014-09-30 2015-08-19 Vehicle-mounted image recognition device to set a stereoscopic-vision and monocular-vision image areas
EP15847652.3A EP3203725B1 (en) 2014-09-30 2015-08-19 Vehicle-mounted image recognition device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-201369 2014-09-30
JP2014201369 2014-09-30

Publications (1)

Publication Number Publication Date
WO2016051981A1 true WO2016051981A1 (ja) 2016-04-07

Family

ID=55630027

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/073174 WO2016051981A1 (ja) 2014-09-30 2015-08-19 車載画像認識装置

Country Status (4)

Country Link
US (1) US10148938B2 (ja)
EP (1) EP3203725B1 (ja)
JP (1) JP6316976B2 (ja)
WO (1) WO2016051981A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10749111B2 (en) 2015-05-06 2020-08-18 Lg Chem, Ltd. Crosslinkable hole transport materials
CN111868784A (zh) * 2018-03-22 2020-10-30 日立汽车系统株式会社 车载立体摄像机
US10879467B2 (en) 2014-11-20 2020-12-29 Lg Chem, Ltd. Hole transport materials
JP2022111151A (ja) * 2016-09-16 2022-07-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の制御方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10932336B2 (en) 2018-09-10 2021-02-23 Lumileds Llc High speed image refresh system
US11164287B2 (en) 2018-09-10 2021-11-02 Lumileds Llc Large LED array with reduced data management
US11011100B2 (en) 2018-09-10 2021-05-18 Lumileds Llc Dynamic pixel diagnostics for a high refresh rate LED array
US11091087B2 (en) 2018-09-10 2021-08-17 Lumileds Llc Adaptive headlamp system for vehicles
TWI826530B (zh) 2018-10-19 2023-12-21 荷蘭商露明控股公司 驅動發射器陣列之方法及發射器陣列裝置
JP7400222B2 (ja) * 2019-06-14 2023-12-19 マツダ株式会社 外部環境認識装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003158668A (ja) * 2001-11-20 2003-05-30 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2008507454A (ja) * 2004-07-26 2008-03-13 オートモーティブ システムズ ラボラトリー インコーポレーテッド 道路使用弱者保護システム
JP2011134207A (ja) * 2009-12-25 2011-07-07 Konica Minolta Holdings Inc 運転記録装置および地図作成システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162074B2 (en) 2001-11-20 2007-01-09 Fuji Jukogyo Kabushiki Kaisha Adjusting apparatus for stereoscopic camera
JP5115792B2 (ja) 2007-07-04 2013-01-09 オムロン株式会社 画像処理装置および方法、並びに、プログラム
JP6197291B2 (ja) * 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003158668A (ja) * 2001-11-20 2003-05-30 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2008507454A (ja) * 2004-07-26 2008-03-13 オートモーティブ システムズ ラボラトリー インコーポレーテッド 道路使用弱者保護システム
JP2011134207A (ja) * 2009-12-25 2011-07-07 Konica Minolta Holdings Inc 運転記録装置および地図作成システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3203725A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10879467B2 (en) 2014-11-20 2020-12-29 Lg Chem, Ltd. Hole transport materials
US10749111B2 (en) 2015-05-06 2020-08-18 Lg Chem, Ltd. Crosslinkable hole transport materials
JP2022111151A (ja) * 2016-09-16 2022-07-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の制御方法
JP7342197B2 (ja) 2016-09-16 2023-09-11 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の制御方法
CN111868784A (zh) * 2018-03-22 2020-10-30 日立汽车系统株式会社 车载立体摄像机
CN111868784B (zh) * 2018-03-22 2023-09-01 日立安斯泰莫株式会社 车载立体摄像机

Also Published As

Publication number Publication date
JPWO2016051981A1 (ja) 2017-04-27
JP6316976B2 (ja) 2018-04-25
US10148938B2 (en) 2018-12-04
EP3203725A4 (en) 2018-05-30
EP3203725B1 (en) 2022-01-26
US20170244954A1 (en) 2017-08-24
EP3203725A1 (en) 2017-08-09

Similar Documents

Publication Publication Date Title
JP6316976B2 (ja) 車載画像認識装置
EP2642429B1 (en) Multi-lens camera system and range-finding method executed by the multi-lens camera system
CN107273788B (zh) 在车辆中执行车道检测的成像系统与车辆成像系统
JP6376429B2 (ja) 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
WO2017134982A1 (ja) 撮像装置
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
US10719949B2 (en) Method and apparatus for monitoring region around vehicle
JP6601506B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両
WO2017212992A1 (ja) 物体距離検出装置
JP2013250907A (ja) 視差算出装置、視差算出方法及び視差算出用プログラム
JP5027710B2 (ja) 車両用環境認識装置および先行車追従制御システム
JP2014165638A (ja) 画像処理装置、撮像装置、移動体制御システム及びプログラム
JP2015207278A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
JP2014026396A (ja) 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム
JP4797441B2 (ja) 車両用画像処理装置
JP2020201876A (ja) 情報処理装置及び運転支援システム
JP7427594B2 (ja) 画像処理装置
JP2018146495A (ja) 物体検出装置、物体検出方法、物体検出プログラム、撮像装置、及び、機器制御システム
JP2013161187A (ja) 物体認識装置
US9965692B2 (en) System and method for detecting vehicle
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP2013205925A (ja) 車外環境認識装置および車外環境認識方法
JP5017921B2 (ja) 車両用画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15847652

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016551626

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015847652

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015847652

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15501920

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE