WO2017056822A1 - 画像処理装置と画像処理方法および車両制御システム - Google Patents

画像処理装置と画像処理方法および車両制御システム Download PDF

Info

Publication number
WO2017056822A1
WO2017056822A1 PCT/JP2016/075295 JP2016075295W WO2017056822A1 WO 2017056822 A1 WO2017056822 A1 WO 2017056822A1 JP 2016075295 W JP2016075295 W JP 2016075295W WO 2017056822 A1 WO2017056822 A1 WO 2017056822A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
analysis
polarized
image analysis
Prior art date
Application number
PCT/JP2016/075295
Other languages
English (en)
French (fr)
Inventor
康孝 平澤
小柳津　秀紀
雄飛 近藤
卓 青木
健人 赤間
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201680055410.3A priority Critical patent/CN108028022B/zh
Priority to JP2017543033A priority patent/JP6801666B2/ja
Priority to US15/761,878 priority patent/US10769951B2/en
Publication of WO2017056822A1 publication Critical patent/WO2017056822A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Definitions

  • This technique relates to an image processing apparatus, an image processing method, and a vehicle control system, and enables the determination of the presence of an object from an image of a moving object peripheral region to be efficiently performed.
  • the presence of an object in the real space is determined using a plurality of images obtained by photographing the real space.
  • region is detected from each of the image obtained by image
  • the area where the object exists may be limited to a specific area in the real space. In such a case, if the existence of the object is determined using the entire image obtained by photographing the real space, the existence of the object is determined even in an unnecessary area, and efficient processing cannot be performed. .
  • an object of the present technology is to provide an image processing apparatus, an image processing method, and a vehicle control system that can efficiently determine the presence of an object from an image of a moving object peripheral area.
  • the first aspect of this technology is A discrimination information generation unit that generates analysis target discrimination information using a polarization image indicating a peripheral area of the moving body; An image analysis unit for determining an object using an image of an image analysis region set based on the analysis target determination information generated by the determination information generation unit with respect to a non-polarized image indicating the moving object peripheral region. It is in the image processing apparatus having.
  • the discrimination information generation unit generates analysis target discrimination information using a polarization image indicating a moving object peripheral region. For example, the discrimination information generation unit calculates a normal line based on the polarization image, and generates analysis target discrimination information indicating the road surface with a continuous image region whose normal direction is the vertical direction of the moving body as a road surface region. To do.
  • the discrimination information generation unit generates information about the braking distance of the moving body as analysis target discrimination information.
  • the information on the braking distance of the moving object is calculated by calculating the braking distance from the moving speed of the moving object, for example, an image generated by an imaging unit capable of detecting the distance or distance information and a polarization image capable of detecting the roughness of the moving surface.
  • the image analysis unit discriminates an object using an image in the image analysis region set based on the analysis target discrimination information generated by the discrimination information generation unit with respect to the non-polarized image indicating the moving object peripheral region. For example, the image analysis unit discriminates an object using an image within a road surface area or a braking moving distance based on the analysis object discrimination information.
  • the plurality of image analysis units share the non-polarized image with respect to the region divided based on the analysis target determination information, and perform target determination. For example, for an area within the braking distance, an object is determined using more image analysis units than other image areas.
  • an image transfer unit that transfers the non-polarized image acquired by the image acquisition unit
  • the image analysis unit is connected to the image transfer unit via a communication network
  • the image transfer unit is generated by the discrimination information generation unit
  • the non-polarized image transfer is controlled based on the analysis target determination information thus transferred, for example, the image selected from the images in the image analysis region or a plurality of images having different imaging directions and the analysis target determination information are transferred to the image analysis unit.
  • an image analysis control unit and a plurality of image analysis units are provided, and the image analysis control unit is a non-polarized light that is transferred from the image transfer unit to the image analysis unit based on the analysis target determination information generated by the determination information generation unit.
  • Image analysis control information for controlling how a plurality of image analysis units discriminate an object with respect to an image is generated and transmitted to the image analysis unit together with a non-polarized image.
  • the second aspect of this technology is Generation of analysis target discrimination information using a polarization image indicating a moving object peripheral region in a discrimination information generation unit;
  • the image analysis unit discriminates an object using an image in the image analysis region set based on the analysis target discrimination information generated by the discrimination information generation unit for the non-polarized image indicating the moving object peripheral region.
  • an image processing method including:
  • the third aspect of this technology is A discrimination information generating unit that generates analysis target discrimination information using a polarization image indicating a vehicle peripheral area;
  • An image analysis unit for determining an object using an image of an image analysis region set based on the analysis target determination information generated by the determination information generation unit for a non-polarized image indicating the moving object peripheral region;
  • the vehicle control system includes a drive system control unit that performs a vehicle travel control unit based on the determination result of the object in the image analysis unit.
  • the analysis target discrimination information is generated by the discrimination information generation unit using the polarization image indicating the moving object peripheral region.
  • the image analysis unit discriminates an object using an image in the image analysis region set based on the analysis target discrimination information generated by the discrimination information generation unit with respect to the non-polarized image indicating the moving object peripheral region. For this reason, it is possible to efficiently determine the presence of the object from the image of the peripheral area of the moving object. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a vehicle control system. It is the figure which showed the example of installation of the image acquisition part. It is the figure which showed the structure of 1st Embodiment. It is a figure for demonstrating the polarization image acquired by a polarization image acquisition part. It is the figure which illustrated the composition of the discernment information generation part. It is explanatory drawing about a to-be-photographed object's shape and a polarization image. It is the figure which illustrated the relationship between a brightness
  • a polarized image and a non-polarized image indicating the peripheral area of the moving body are acquired.
  • analysis target discrimination information is generated using the acquired polarization image.
  • the object is discriminated using the image in the image analysis region set based on the analysis object discrimination information for the non-polarized image.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a vehicle control system.
  • the vehicle control system 10 includes a plurality of control units and detection units connected via the communication network 20.
  • the vehicle control system 10 includes a drive system control unit 31, a body system control unit 32, a battery control unit 33, an outside information detection unit 34, and an integrated control unit 40.
  • the communication network 20 may be an in-vehicle communication network that conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark).
  • an input unit 51, an audio output unit 52, and a display unit 53 are connected to the integrated control unit 40.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores a program executed by the microcomputer or parameters used for various operations, and a drive circuit that drives various devices to be controlled. Is provided.
  • the drive system control part 31 controls the operation
  • the drive system controller 31 includes a driving force generator for generating a driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. Functions as a steering mechanism to adjust.
  • the drive system control unit 31 has a function as a control device such as a braking device that generates a braking force of the vehicle, and a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control). Also good.
  • a vehicle state detection unit 311 is connected to the drive system control unit 31.
  • the vehicle state detection unit 311 includes, for example, a gyro sensor that detects an angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects vehicle acceleration, or an accelerator pedal operation amount, a brake pedal operation amount, and steering wheel steering. At least one of sensors for detecting an angle, an engine speed, a traveling speed, or the like is included.
  • the drive system control unit 31 performs arithmetic processing using the signal input from the vehicle state detection unit 311 to control the internal combustion engine, the drive motor, the electric power steering device, the brake device, or the like.
  • the body system control unit 32 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body control unit 32 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 32 can be input with radio waves transmitted from a portable device that substitutes for a key or signals of various switches.
  • the body system control unit 32 receives the input of these radio waves or signals, and controls the door lock device, power window device, lamp, and the like of the vehicle.
  • the battery control unit 33 controls the secondary battery 331 that is a power supply source of the drive motor according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 33 from the battery device including the secondary battery 331.
  • the battery control unit 33 performs arithmetic processing using these signals, and performs temperature adjustment control of the secondary battery 331 or control of a cooling device or the like provided in the battery device.
  • the outside information detection unit 34 detects information outside the vehicle on which the vehicle control system 10 is mounted.
  • the vehicle outside information detection unit 34 includes an image acquisition unit 341, a discrimination information generation unit 342, and an image analysis unit 344.
  • the image acquisition unit 341 includes a camera that acquires a polarized image, a TOF (Time Of Flight) camera that can measure a distance, a stereo camera, and the like.
  • FIG. 2 is a diagram showing an installation example of the image acquisition unit.
  • the image acquisition unit 341 is provided, for example, at at least one of the front nose of the vehicle 80, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior.
  • the image acquisition unit 341A provided in the front nose and the image acquisition unit 341B provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 80.
  • the image acquisition units 341 ⁇ / b> C and 341 ⁇ / b> D provided in the side mirror mainly acquire an image on the side of the vehicle 80.
  • An image acquisition unit 341E provided in the rear bumper or the back door mainly acquires an image behind the vehicle 80.
  • the imaging range ARa indicates the imaging range of the image acquisition unit 341A provided in the front nose
  • the imaging range ARb indicates the imaging range of the image acquisition unit 341B provided on the upper part of the windshield in the vehicle interior.
  • the imaging ranges ARc and ARd indicate the imaging ranges of the image acquisition units 341C and 341D provided in the side mirror, respectively
  • the imaging range ARe indicates the imaging range of the image acquisition unit 341E provided in the rear bumper or the back door.
  • the vehicle outside information detection unit 34 outputs an image obtained by imaging the surrounding area of the vehicle by the image acquisition unit 341 to the discrimination information generation unit 342 and the image analysis unit 344.
  • the discrimination information generation unit 342 performs road surface detection, braking distance calculation, and the like based on the image obtained by the image acquisition unit 341, and generates analysis target discrimination information indicating a road surface detection result, a braking distance calculation result, and the like.
  • the data is output to the image analysis unit 344.
  • the image analysis unit 344 performs image analysis on the non-polarized image obtained by the image acquisition unit 341 using an image in the image analysis region set based on the analysis target discrimination information generated by the discrimination information generation unit 342. Then, an object such as an obstacle is determined.
  • the determination result of the object is information that can be used for traveling of the vehicle, and the image analysis unit 344 outputs the determination result of the object to the integrated control unit 40.
  • the image analysis unit 344 may be provided in the integrated control unit 40, and the vehicle outside information detection unit 34 may output an image or an image and analysis target determination information to the integrated control unit 40 via the communication network 20.
  • An input unit 51, an audio output unit 52, and a display unit 53 are connected to the integrated control unit 40.
  • the input unit 51 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the input unit 51 generates an input signal based on information input by a passenger or the like and outputs the input signal to the integrated control unit 40.
  • the audio output unit 52 outputs information based on the audio signal from the integrated control unit 40 to audibly notify the passengers of the vehicle.
  • the display unit 53 displays an image based on the image signal from the integrated control unit 40 and visually notifies the vehicle occupant of the information.
  • the integrated control unit 40 has a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • ROM Read Only Memory stores various programs executed by CPU (Central Processing Unit).
  • RAM Random Access Memory stores information such as various parameters, calculation results, or sensor values.
  • the CPU executes various programs stored in the ROM, and stores the input signal from the input unit 51 and information acquired by communication with each control unit and detection unit via the communication network 20 and the RAM.
  • the overall operation in the vehicle control system 10 is controlled in accordance with information and the like.
  • the integrated control unit 40 generates an audio signal indicating information to be audibly notified to a vehicle occupant and outputs the audio signal to the audio output unit 52 to generate an image signal for visually notifying the information. And output to the display unit 53.
  • the integrated control unit 40 includes a communication interface that performs communication with various devices and other vehicles existing in the external environment, a positioning unit that generates position information including the latitude, longitude, and altitude of the vehicle. It may be.
  • At least two control units connected via the communication network 20 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 10 may include another control unit that is not illustrated.
  • some or all of the functions of any of the control units may be provided to another control unit. That is, as long as information is transmitted and received via the communication network 20, a predetermined calculation process may be performed by any of the control units.
  • FIG. 3 shows the configuration of the first embodiment.
  • the vehicle exterior information detection unit 34 includes an image acquisition unit 341-1, a discrimination information generation unit 342-1, and an image analysis unit 344-1.
  • the image acquisition unit 341-1 includes a polarization image acquisition unit 3411 that acquires a polarization image and a non-polarization image acquisition unit 3412 that acquires a non-polarization image.
  • the polarization image acquisition unit 3411 acquires a plurality of polarization images having different polarization directions, for example, polarization images having three or more polarization directions.
  • FIG. 4 is a diagram for explaining the polarization image acquired by the polarization image acquisition unit 3411.
  • a polarization image is generated by arranging a polarization filter PLF having a pixel configuration of three or more polarization directions in the image sensor IMS and performing imaging.
  • FIG. 4A illustrates an example in which a polarization filter PLF serving as a pixel in any of four different polarization directions (polarization directions are indicated by arrows) is arranged on the incident surface of the image sensor IMS. is doing. Further, as shown in FIG.
  • polarized images are generated by providing polarizing plates PL1 to PL4 having different polarization directions in front of the cameras CM1 to CM4 and performing imaging with the cameras CM1 to CM4. Also good.
  • a plurality of polarization images having different polarization directions may be generated using the configuration of the multi-lens array.
  • a plurality (four in the figure) of lenses LZ are provided on the front surface of the image sensor IMS, and an optical image of a subject is formed on the imaging surface of the image sensor IMS by each lens LZ.
  • a polarizing plate PL is provided in front of each lens LZ, and the polarizing direction of the polarizing plate PL is set to a different direction.
  • the non-polarized image acquisition unit 3412 acquires a non-polarized image.
  • the non-polarized image acquisition unit 3412 generates a non-polarized image by performing imaging without providing a polarizing plate or a polarizing filter on the incident surface of the image sensor.
  • the non-polarized image acquisition unit 3412 may generate a non-polarized image from the polarized image acquired by the polarized image acquisition unit 3411.
  • a luminance polarization image can be acquired.
  • an image equivalent to a non-polarized normal luminance image can be obtained by averaging the luminances of four adjacent pixels having different polarization directions. it can.
  • an image equivalent to the non-polarized normal luminance image can be acquired.
  • the parallax can be ignored in a plurality of polarized images having different polarization directions as long as the distance between the lenses LZ is negligible with respect to the distance to the subject. Therefore, by averaging the luminance of polarized images having different polarization directions, an image equivalent to a non-polarized normal luminance image can be obtained.
  • FIG. 5 illustrates the configuration of the discrimination information generation unit.
  • the discrimination information generation unit 342-1 includes a normal detection unit 3421 and a road surface determination unit 3422.
  • the normal line detection unit 3421 detects normal lines from a plurality of polarization images with different polarization directions acquired by the polarization image acquisition unit 3411.
  • the shape of the subject and the polarization image will be described with reference to FIG.
  • the light source LT is used to illuminate the subject OB
  • the camera CM images the subject OB through the polarizing plate PL.
  • the luminance of the subject OB changes according to the polarization direction of the polarizing plate PL.
  • a plurality of polarization images are acquired by rotating the polarizing plate PL, for example, and the highest luminance is Imax and the lowest luminance is Imin.
  • the angle in the y-axis direction with respect to the x-axis when the polarizing plate PL is rotated is a polarization angle ⁇ .
  • the polarizing plate PL returns to the original polarization state when rotated 180 degrees and has a period of 180 degrees.
  • the polarization angle ⁇ when the maximum luminance Imax is observed is defined as an azimuth angle ⁇ .
  • the luminance I observed when the polarizing plate PL is rotated can be expressed as in Expression (1).
  • FIG. 7 illustrates the relationship between the luminance and the polarization angle. This example shows a diffuse reflection model. In the case of specular reflection, the azimuth angle is shifted by 90 degrees from the polarization angle.
  • Equation (1) the polarization angle ⁇ is clear when a polarization image is generated, and the maximum luminance Imax, the minimum luminance Imin, and the azimuth angle ⁇ are variables. Therefore, by performing the fitting to the model equation shown in the equation (1) using the luminance of the polarization image having three or more polarization directions, the polarization having the maximum luminance based on the model equation indicating the relationship between the luminance and the polarization angle.
  • the azimuth angle ⁇ which is an angle, can be determined.
  • the normal of the object surface is expressed in a polar coordinate system, and the normal is defined as an azimuth angle ⁇ and zenith angle ⁇ .
  • the zenith angle ⁇ is an angle from the z axis toward the normal
  • the azimuth angle ⁇ is an angle in the y axis direction with respect to the x axis as described above.
  • the degree of polarization ⁇ can be calculated based on the equation (2).
  • the relationship between the degree of polarization and the zenith angle is known to have the characteristics shown in FIG. 8, for example, from the Fresnel equation. Therefore, the zenith angle ⁇ can be determined based on the polarization degree ⁇ from the characteristics shown in FIG. Note that the characteristics shown in FIG. 8 are examples, and the characteristics change depending on the refractive index of the subject. For example, the degree of polarization increases as the refractive index increases.
  • the normal line detection unit 3421 thus calculates the azimuth angle ⁇ and the zenith angle ⁇ for each pixel, and determines the road surface as a normal detection result using the normal line for each pixel indicating the calculated azimuth angle ⁇ and zenith angle ⁇ . Output to the unit 3422.
  • the road surface determination unit 3422 Based on the normal detection result from the normal detection unit 3421, the road surface determination unit 3422 sets the road surface as a continuous region in which the normal direction is within a predetermined angle range in the left-right direction with respect to the vertical direction of the vehicle 80.
  • the discrimination information generation unit 342 outputs analysis target discrimination information indicating the road surface detection result to the image analysis unit 344-1.
  • the image analysis unit 344-1 performs image analysis of the image analysis region set based on the analysis target discrimination information generated by the discrimination information generation unit 342-1 for the non-polarized image obtained by the image acquisition unit 341-1. I do. That is, the image analysis unit 344-1 performs image analysis using the road surface and the detected area in the non-polarized image as an image analysis area, and determines an obstacle or the like. Note that the image analysis unit 344-1 may set the image analysis region widely in the left-right direction with reference to the road surface region in order to easily detect an obstacle located at the end of the road surface.
  • FIG. 9 is a flowchart illustrating the operation of the first embodiment.
  • the vehicle outside information detection unit 34 acquires a captured image.
  • the image acquisition unit 341-1 of the vehicle exterior information detection unit 34 acquires a polarization image and a non-polarization image obtained by imaging the peripheral region of the vehicle 80, and proceeds to step ST ⁇ b> 2.
  • step ST2 the vehicle exterior information detection unit 34 generates analysis target discrimination information.
  • the discrimination information generation unit 342-1 of the outside information detection unit 34 generates, for example, analysis target discrimination information indicating a road surface detection result based on the polarization image acquired in step ST1, and proceeds to step ST3.
  • step ST3 the vehicle exterior information detection unit 34 performs image analysis.
  • the image analysis unit 344-1 of the vehicle outside information detection unit 34 performs image analysis of the image analysis region set based on the analysis target determination information generated in step ST2 on the non-polarized image acquired in step ST1. That is, the image analysis unit 344-1 performs image analysis using the road surface and the detected area in the non-polarized image as the image analysis area.
  • FIG. 10 illustrates the operation of the first embodiment.
  • FIG. 10A illustrates a non-polarized image acquired by the image acquisition unit 341-1.
  • FIG. 10B shows the normal direction detected by the discrimination information generation unit 342-1 by arrows.
  • the discrimination information generation unit 342-1 generates analysis target discrimination information indicating the detection result of the road surface using a continuous region whose normal direction is substantially vertical to the vehicle 80 as a road surface.
  • FIG. 10C illustrates an image analysis region in which image analysis is performed by the image analysis unit 344-1.
  • the image analysis unit 344-1 expands the road surface and the detected area based on the analysis target determination information to the left and right to form an image analysis area AN.
  • the road surface can be detected with high accuracy, obstacles and the like can be detected efficiently if the image analysis area is set based on the detected road surface.
  • FIG. 11 shows the configuration of the second embodiment.
  • the vehicle exterior information detection unit 34 includes an image acquisition unit 341-2, a discrimination information generation unit 342-2, and an image analysis unit 344-2.
  • the image acquisition unit 341-2 includes a polarization image acquisition unit 3411 that acquires a polarization image, a non-polarization image acquisition unit 3412 that acquires a non-polarization image, and a distance detection image acquisition unit 3413.
  • the polarization image acquisition unit 3411 generates a polarization image and outputs the polarization image to the discrimination information generation unit 342 as in the first embodiment.
  • the non-polarized image acquisition unit 3412 generates a non-polarized image and outputs the non-polarized image to the image analysis unit 344-2 as in the first embodiment.
  • the distance detection image acquisition unit 3413 acquires an image that can be used for distance detection and outputs the acquired image to the discrimination information generation unit 342-2.
  • the distance detection image acquisition unit 3413 includes, for example, a stereo camera, and outputs the right viewpoint image and the left viewpoint image acquired by the distance detection image acquisition unit 3413 to the discrimination information generation unit 342.
  • FIG. 12 illustrates the configuration of the discrimination information generation unit.
  • the discrimination information generation unit 342-2 includes a road surface roughness detection unit 3423, a distance detection unit 3424, a travel speed detection unit 3425, and a braking distance information generation unit 3426.
  • the road surface roughness detection unit 3423 detects road surface roughness using the polarization image generated by the polarization image acquisition unit 3411.
  • the road surface roughness detection unit 3423 uses, for example, the horizontal polarization image and the vertical polarization image generated by the polarization image acquisition unit 3411 to calculate the road surface roughness from the intensity distribution of the horizontal and vertical polarization components as disclosed in Japanese Patent Laid-Open No. 11-230898. To detect.
  • the road surface roughness detection unit 3423 outputs the road surface roughness detection result to the braking distance information generation unit 3426.
  • the distance detection unit 3424 detects the distance from the image acquired by the distance detection image acquisition unit 3413, for example, the right viewpoint image and the left viewpoint image to the subject located in the imaging direction, and sets the distance information indicating the detection result as the braking distance.
  • the information is output to the information generation unit 3426.
  • the traveling speed detection unit 3425 detects the traveling speed of the vehicle 80 and outputs speed information indicating the detection result to the braking distance information generation unit 3426.
  • the travel information may be acquired from the vehicle state detection unit 311 connected to the drive system control unit 31.
  • the braking distance information generation unit 3426 calculates the braking distance of the vehicle 80 based on the road surface roughness detected by the road surface roughness detection unit 3423 and the traveling speed detected by the traveling speed detection unit 3425. Also, the braking distance information generation unit 3426 discriminates the position that is ahead by the braking distance based on the distance detection result of the distance detection unit 3424, and outputs the braking distance information indicating the discrimination result to the image analysis unit 344-2. To do.
  • the image analysis unit 344-2 performs image analysis of the image analysis region set based on the analysis target discrimination information generated by the discrimination information generation unit 342-2 for the non-polarized image obtained by the image acquisition unit 341-2. I do. That is, the image analysis unit 344-2 performs image analysis using a region up to a position separated by a braking distance forward in the non-polarized image as an image analysis region, and determines an obstacle or the like.
  • the discrimination information generation unit 342-2 is configured as shown in FIG.
  • the braking distance information generation unit 3426 calculates the braking distance of the vehicle 80 based on the road surface roughness detected by the road surface roughness detection unit 3423 and the traveling speed detected by the traveling speed detection unit 3425. Also, the braking distance information generation unit 3426 discriminates a position that is ahead by the braking distance based on the distance information acquired by the TOF camera, and outputs the braking distance information indicating the discrimination result to the image analysis unit 344-2. To do.
  • processing is performed in the same manner as in the flowchart shown in FIG. 9, and in the generation of analysis target determination information, analysis target determination information indicating positions separated by the braking distance is generated.
  • image analysis an area up to a position separated by a braking distance forward in the non-polarized image is set as an image analysis area.
  • FIG. 14 illustrates the operation of the second embodiment.
  • FIG. 14A illustrates a non-polarized image acquired by the image acquisition unit 341-2.
  • FIG. 14B illustrates an image analysis region in which image analysis is performed by the image analysis unit 344-2.
  • the image analysis unit 344-2 sets, as the image analysis region AN, a region up to a position separated by a braking distance forward based on the analysis target determination information.
  • the image analysis area can be set according to the braking distance, it is possible to efficiently detect an obstacle or the like that needs to be detected quickly.
  • the third embodiment is a case where the first and second embodiments are combined.
  • FIG. 15 shows the configuration of the third embodiment.
  • the vehicle outside information detection unit 34 includes an image acquisition unit 341-3, a discrimination information generation unit 342-3, and an image analysis unit 344-3.
  • the image acquisition unit 341-3 includes a polarization image acquisition unit 3411 that acquires a polarization image, a non-polarization image acquisition unit 3412 that acquires a non-polarization image, and a distance detection image acquisition unit 3413.
  • FIG. 16 illustrates the configuration of the discrimination information generation unit.
  • the discrimination information generation unit 342-3 includes a normal detection unit 3421, a road surface determination unit 3422, a road surface roughness detection unit 3423, a distance detection unit 3424, a travel speed detection unit 3425, and a braking distance information generation unit 3426.
  • the normal detection unit 3421 detects a normal from a plurality of polarization images having different polarization directions acquired by the polarization image acquisition unit 3411.
  • the road surface determination unit 3422 detects the road surface based on the normal line detection result from the normal line detection unit 3421, and outputs the road surface detection result to the image analysis unit 344-3 as analysis target determination information.
  • the road surface roughness detection unit 3423 detects the road surface roughness using the polarization image generated by the polarization image acquisition unit 3411 and outputs the detection result to the braking distance information generation unit 3426.
  • the distance detection unit 3424 detects the distance using the image acquired by the distance detection image acquisition unit 3413, and outputs distance information indicating the detection result to the braking distance information generation unit 3426.
  • Traveling speed detection unit 3425 detects the traveling speed of vehicle 80 and outputs speed information indicating the detection result to braking distance information generation unit 3426.
  • the braking distance information generation unit 3426 calculates the braking distance of the vehicle 80 based on the road surface roughness detected by the road surface roughness detection unit 3423 and the traveling speed detected by the traveling speed detection unit 3425. Also, the braking distance information generation unit 3426 generates braking distance information indicating a position away from the front by the braking distance based on the calculated braking distance and the distance information generated by the distance detection unit 3424 or the TOF camera. Output to.
  • the image analysis unit 344-3 performs image analysis of the image analysis region set based on the analysis target discrimination information generated by the discrimination information generation unit 342-3 for the non-polarized image obtained by the image acquisition unit 341-3. I do. That is, the image analysis unit 344-3 performs image analysis using the non-polarized image as an image analysis region up to a position detected from the road surface and separated from the front by a braking distance, and determines an obstacle or the like. . Note that the image analysis unit 344-3 may set the image analysis region widely in the left-right direction with reference to the road surface and the detected region in order to easily detect an obstacle located at the end of the road surface.
  • processing is performed in the same manner as the flowchart shown in FIG. 9, and in the generation of analysis target determination information, analysis target determination information indicating a position separated from the road surface detection result by the braking distance is used.
  • analysis target determination information indicating a position separated from the road surface detection result by the braking distance is used.
  • image analysis an area that is detected as a road surface in a non-polarized image and that is a distance away from the front by a braking distance is set as an image analysis area.
  • FIG. 17 illustrates the operation of the third embodiment.
  • FIG. 17A illustrates a non-polarized image acquired by the image acquisition unit 341-3.
  • FIG. 17B illustrates an image analysis region in which image analysis is performed by the image analysis unit 344-3. Based on the analysis target determination information, the image analysis unit 344-3 sets a region detected from the road surface to a position separated forward by a braking distance as an image analysis region AN.
  • the image analysis area can be set on the road surface in accordance with the braking distance, so that an obstacle on the road surface that needs to be detected quickly can be detected efficiently.
  • FIG. 18 is a diagram illustrating the configuration of the fourth embodiment, and three image analysis units are provided.
  • the vehicle exterior information detection unit 34 includes an image acquisition unit 341-a, a discrimination information generation unit 342-a, and image analysis units 344-a, 344-b, and 344-c.
  • the image acquisition unit 341-a and the discrimination information generation unit 342-a are configured in the same manner as in any of the first to third embodiments described above.
  • the image analysis units 344-a, 344-b, and 344-c are regions based on the analysis target discrimination information generated by the discrimination information generation unit 342-a for the non-polarized image acquired by the non-polarization image acquisition unit. Division is performed, and a plurality of image analysis units share the image analysis of the divided areas.
  • processing is performed in the same manner as the flowchart shown in FIG. 9, and in image analysis, a non-polarized image is divided based on analysis target determination information, and a plurality of image analysis units The image analysis of the divided area is performed by sharing.
  • FIG. 19 illustrates the operation of the fourth embodiment.
  • FIG. 19A illustrates a non-polarized image acquired by the image acquisition unit 341-a.
  • FIG. 19B illustrates an image analysis region in which image analysis is performed by the image analysis units 344-a to 344-c.
  • the image analysis units 344-a and 344-b perform image analysis of the image analysis area ANab in the area AS-ab up to a position separated by the braking distance forward based on the analysis target determination information.
  • the image analysis unit 344-c performs image analysis of the image analysis area ANc in the remaining area AS-c different from the area AS-ab.
  • the vehicle exterior information detection unit 34 outputs a non-polarized image to another control unit via the communication network 20.
  • the communication speed of the communication network 20 is determined by the standard, if the amount of image data transferred from the vehicle outside information detection unit 34 to another control unit that performs image analysis increases, it takes time to transfer. There is a possibility that communication between the control units cannot be performed promptly. Therefore, the vehicle exterior information detection unit 34 outputs only the image of the region to be image analyzed in the captured image to the other control unit.
  • the integrated control unit 40 performs image analysis will be described.
  • FIG. 20 illustrates the configuration of the fifth embodiment.
  • the vehicle outside information detection unit 34 includes an image acquisition unit 341-a, a discrimination information generation unit 342-a, and an image transfer unit 346-1.
  • the image acquisition unit 341-a and the discrimination information generation unit 342-a are configured in the same manner as in any of the first to third embodiments described above.
  • the image acquisition unit 341-a generates a polarization image or the like and outputs it to the discrimination information generation unit 342-a.
  • the image acquisition unit 341-a generates a non-polarized image and outputs it to the image transfer unit 346-1.
  • the discrimination information generation unit 342-a generates analysis target discrimination information using the polarization image supplied from the image acquisition unit 341-a and outputs the analysis target discrimination information to the image transfer unit 346-1.
  • the image transfer unit 346-1 sets an image analysis region for performing image analysis on the non-polarized image supplied from the image acquisition unit 341-a based on the analysis target determination information supplied from the determination information generation unit 342-a. . Further, the image transfer unit 346-1 transfers the set image analysis region image to the integrated control unit 40 via the communication network 20.
  • the integrated control unit 40 performs image analysis using the image supplied from the vehicle outside information detection unit 34 and detects an obstacle or the like. When image transfer is performed in units of lines, an image of a line including the image analysis area is transferred.
  • the image transfer unit 346-1 uses the area detected as a road surface as an image analysis area, The image in the analysis area is transferred to the integrated control unit 40.
  • the image transfer unit 346-1 sets an area within the braking distance as an image analysis area, and The image in the analysis area is transferred to the integrated control unit 40 via the communication network 20.
  • the image transfer unit 346-1 is detected as a road surface within the braking distance, for example.
  • the image area is the image analysis area.
  • the image transfer unit 346-1 transfers the image in the image analysis area to the integrated control unit 40 via the communication network 20.
  • FIG. 21 is a flowchart illustrating the operation of the fifth embodiment.
  • the vehicle outside information detection unit 34 acquires a captured image.
  • the image acquisition unit 341-a of the vehicle exterior information detection unit 34 acquires a polarized image and a non-polarized image obtained by imaging the peripheral region of the vehicle 80, and proceeds to step ST12.
  • step ST12 the vehicle exterior information detection unit 34 generates analysis target discrimination information.
  • the discrimination information generation unit 342-a of the vehicle exterior information detection unit 34 generates analysis target discrimination information based on the polarization image acquired in step ST11, and proceeds to step ST13.
  • step ST13 the vehicle outside information detection unit 34 transfers the image.
  • the image transfer unit 346-1 of the outside information detection unit 34 uses the communication network 20 to display an image in the image analysis region set based on the analysis target determination information generated in step ST12 for the non-polarized image acquired in step ST11. Then, the process proceeds to step ST14.
  • step ST14 the integrated control unit 40 performs image analysis.
  • the image analysis unit of the integrated control unit 40 performs image analysis using the non-polarized image transmitted from the vehicle exterior information detection unit 34 in step ST13.
  • the image of the region in which the image analysis is performed is included in the communication network 20. Sent through. Therefore, the amount of data to be transferred can be reduced as compared with the case of transferring the entire non-polarized image.
  • the sixth embodiment exemplifies a case where an image acquisition unit that images different peripheral areas is provided.
  • an image acquisition unit 341A, 341C, 341D, and 341E illustrated in FIG. 2 will be described.
  • FIG. 22 illustrates the configuration of the sixth embodiment.
  • the vehicle exterior information detection unit 34 includes image acquisition units 341A, 341C, 341D, and 341E, a discrimination information generation unit 342-b, and an image transfer unit 346-2.
  • Image acquisition units 341A, 341C, 341D, and 341E correspond to the image acquisition unit 341-a in the fifth embodiment described with reference to FIG.
  • the discrimination information generation unit 342-b has the function of the discrimination information generation unit 342-a in the fifth embodiment for each of the image acquisition units 341A, 341C, 341D, and 341E.
  • the image acquisition units 341A, 341C, 341D, and 341E generate polarized images and the like and output them to the discrimination information generation unit 342-b. In addition, the image acquisition units 341A, 341C, 341D, and 341E generate a non-polarized image and output it to the image transfer unit 346-2.
  • the discrimination information generation unit 342-b generates analysis target discrimination information for each of the image acquisition units 341A, 341C, 341D, and 341E using the polarization image supplied from the image acquisition unit and sends the analysis target discrimination information to the image transfer unit 346-2. Output.
  • the image transfer unit 346-2 determines a non-polarized image to be subjected to image analysis as a transfer target image based on the analysis target determination information supplied from the determination information generation unit 342-b. For example, the image transfer unit 346-2 sets a non-polarized image in which the road surface is detected as the transfer target image based on the analysis target determination information. In addition, when the braking distance is longer than the predetermined distance, the image transfer unit 346-2 may use the non-polarized images before and after the traveling direction as the images to be transferred. The image transfer unit 346-2 transfers the determined transfer target image together with the analysis target determination information to the integrated control unit 40 via the communication network 20. In addition, the image analysis unit of the integrated control unit 40 performs image analysis using the image in the image analysis region based on the received image and analysis target determination information.
  • processing is performed in the same manner as in the flowchart shown in FIG. 21, and in image transfer, a non-polarized image including an image analysis region based on analysis target determination information is determined as analysis region determination. Transfer with information.
  • FIG. 23 illustrates the operation of the sixth embodiment.
  • FIG. 23A illustrates a non-polarized image acquired by the image acquisition unit 341A.
  • (b), (c), and (d) of FIG. 23 illustrate the non-polarized images acquired by the image acquisition units 341C, 341D, and 341E, respectively.
  • the road surface is detected from the images acquired by the image acquisition units 341A and 341E and the braking distance is calculated. Further, it is assumed that the road surface is not detected in the images acquired by the image acquisition units 341C and 341D.
  • the image transfer unit 346 uses the image indicating the position of the road surface and the braking distance, that is, the non-polarized image acquired by the image acquisition units 341A and 341E as the transfer target image along with the analysis target determination information via the communication network 20.
  • the image analysis unit of the integrated control unit 40 performs image analysis of the image analysis areas AN and ANB as shown in (e) and (f) of FIG. 23 based on the received image and analysis target determination information. By performing such processing, it becomes possible to detect an obstacle on the road surface closer to the braking distance and a succeeding vehicle having an inter-vehicle distance closer than the braking distance by image analysis.
  • the non-polarized light generated by the plurality of image acquisition units Only an image to be analyzed from the image is transmitted via the communication network 20. Therefore, it is possible to reduce the amount of data to be transferred as compared with the case where all the non-polarized images generated by the image acquisition units are transferred.
  • the transfer target image determined based on the analysis target determination information is transferred to the integrated control unit 40 via the communication network 20, but is the same as in the above-described fifth embodiment.
  • the image in the image analysis area in the transfer target image may be transferred.
  • a case will be described in which an image in the image analysis region in the transfer target image is transferred to the integrated control unit 40 via the communication network 20.
  • the vehicle exterior information detection unit 34 is configured in the same manner as in the sixth embodiment.
  • the image transfer unit 346-2 determines, as the transfer target image, a non-polarized image to be subjected to image analysis based on the analysis target determination information supplied from the determination information generation unit 342-b. For example, the image transfer unit 346-2 sets the non-polarized image from which the road surface is detected as the transfer target image based on the analysis target determination information.
  • the image transfer unit 346-2 may use the non-polarized images before and after the traveling direction as the images to be transferred.
  • the image transfer unit 346-2 sets a transfer area for the transfer target image based on the analysis target determination information, and the image of the transfer area is combined with the analysis target determination information via the communication network 20 to the integrated control unit 40. Forward to.
  • a transfer area is set in units of lines.
  • processing is performed in the same manner as in the flowchart shown in FIG. 21, and in image transfer, a non-polarized image in the transfer region determined based on the analysis target determination information is used as analysis target determination information. Forward with.
  • FIG. 24 illustrates the operation of the seventh embodiment.
  • FIG. 24A illustrates a non-polarized image acquired by the image acquisition unit 341A.
  • (b), (c), and (d) of FIG. 24 illustrate non-polarized images acquired by the image acquisition units 341C, 341D, and 341E, respectively.
  • the road surface is detected from the images acquired by the image acquisition units 341A and 341E and the braking distance is calculated. Further, it is assumed that the road surface is not detected in the images acquired by the image acquisition units 341C and 341D.
  • the image transfer unit 346 sets the image indicating the position of the road surface and the braking distance, that is, the non-polarized image acquired by the image acquisition units 341A and 341E as the transfer target image. Further, when image transfer is performed in units of lines, a transfer area is set in units of lines. For example, the line of the area up to the position of the braking distance is used as the transfer area, that is, the image of the transfer area up to the position of the braking distance in the non-polarized images acquired by the image acquisition units 341A and 341E is combined with the analysis target determination information. 20 to the integrated control unit 40.
  • the image analysis unit of the integrated control unit 40 is based on the received image and analysis target determination information, and is an image analysis region that is a road surface region in the transfer regions ATA and ATE images shown in FIGS. Image analysis is performed using images of AN and ANB.
  • the seventh embodiment when image analysis is performed by another control unit or the like connected to the outside information detection unit via the communication network, the non-polarized light generated by the plurality of image acquisition units From the image, the image of the transfer area set based on the analysis target determination information is transmitted via the communication network 20. Therefore, the amount of data to be transferred can be further reduced as compared with the case where all non-polarized images generated by each image acquisition unit are transferred or when the entire image including the image analysis area is transferred.
  • the configuration of the vehicle exterior information detection unit 34 is not limited to the above-described embodiment.
  • the discrimination information generation unit performs road surface detection and road surface roughness detection using the polarization image.
  • the image analysis unit or the image transfer unit may set the image analysis region based on the detection result of the road surface and the detection result of the road surface roughness, and perform image analysis of the image analysis region or transfer of the image of the image analysis region. Good.
  • an image analysis control unit 348 may be provided in the vehicle exterior information detection unit 34.
  • the image analysis control unit 348 generates image analysis control information based on the analysis target determination information, and transfers it to the integrated control unit 40 together with the image.
  • the image analysis control information is information for controlling distribution of images to a plurality of image analysis units, for example, when image analysis is performed using a plurality of image analysis units.
  • the integrated control unit 40 distributes the images to the plurality of image analysis units and shares the images among the plurality of analysis units in the same manner as in the fourth embodiment described above. Perform analysis.
  • the analysis target determination information is generated from the polarization image indicating the moving object peripheral area.
  • recognition processing or the like is performed using the non-polarized image indicating the moving object peripheral area, and the analysis target determination information is obtained. It may be generated.
  • the distance detection result can also be used as analysis target discrimination information.
  • the moving body is a vehicle
  • the moving body is not limited to a vehicle.
  • the above-described image processing apparatus may be provided in the robot, and the movement control of the robot may be performed based on the image analysis result.
  • the above-described image processing device may be provided in the ship so that the land and the water surface are discriminated based on the polarization image, and the ship is steered based on the image analysis result of the water surface.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus may have the following configuration.
  • a discrimination information generation unit that generates analysis target discrimination information using a polarization image indicating a moving object peripheral region;
  • An image analysis unit for determining an object using an image of an image analysis region set based on the analysis target determination information generated by the determination information generation unit with respect to a non-polarized image indicating the moving object peripheral region.
  • the discrimination information generation unit generates analysis target discrimination information indicating a road surface in the moving object peripheral region based on the polarization image, The image processing apparatus according to (1), wherein the image analysis unit sets the image analysis region in accordance with the road surface region.
  • the image processing device sets a continuous image region in which a normal direction calculated from the polarization image is a vertical direction of the moving body as the road surface region. .
  • the discrimination information generation unit generates information about the braking distance of the moving body in the peripheral area of the moving body as analysis target discrimination information using the polarization image,
  • the image processing device according to any one of (1) to (3), wherein the image analysis unit sets an area within the braking distance as the image analysis area.
  • the discrimination information generation unit is configured to display information indicating a region within the braking distance in the non-polarized image based on the braking distance calculated from the roughness and movement speed of the traveling surface and the distance on the non-polarized image.
  • the image processing apparatus which is generated as the analysis target determination information.
  • a plurality of the image analysis units are provided, The plurality of image analysis units share the non-polarized image with respect to a region divided based on the analysis target determination information, and perform determination of the target object according to any one of (1) to (5).
  • Image processing device (7)
  • the analysis target determination information is information about a braking distance of the moving body in the moving body peripheral area and information indicating a road surface in the moving body surrounding area,
  • the image processing apparatus according to (6), wherein the plurality of image analysis units determine the object with respect to the region within the braking distance by using more image analysis units than other image regions.
  • An image transfer unit that transfers the non-polarized image is provided,
  • the image analysis unit is connected to the image transfer unit via a communication network,
  • the image processing apparatus according to (1) wherein the image transfer unit controls transfer of the non-polarized image to the image analysis unit based on the analysis target determination information generated by the determination information generation unit.
  • the image processing device according to (8) wherein the image transfer unit transfers an image in the image analysis region.
  • the discrimination information generation unit generates analysis target discrimination information using the polarization image for each imaging direction,
  • the image transfer unit selects the non-polarized image to be transferred to the image analysis unit based on the analysis target determination information generated by the determination information generation unit, and determines the selected non-polarized image as the analysis target determination
  • the image processing apparatus according to (8), which is transferred together with information.
  • the determination information generation unit generates analysis target determination information using the polarization image for each imaging direction
  • the image transfer unit selects the non-polarized image to be transferred to the image analysis unit based on the analysis target determination information generated by the determination information generation unit, and the image analysis region in the selected non-polarized image
  • the image processing apparatus according to (8), wherein the image is transferred together with the analysis target determination information.
  • An image analysis control unit and a plurality of the image analysis units are provided,
  • the image analysis control unit is configured to determine the object with respect to the non-polarized image transferred from the image transfer unit to the image analysis unit based on the analysis target determination information generated by the determination information generation unit.
  • the image processing apparatus according to (8), wherein image analysis control information for controlling how the image analysis unit performs is generated and transmitted to the image analysis unit together with the non-polarized image.
  • the analysis target determination information is generated by the determination information generation unit using, for example, a polarized image indicating a vehicle peripheral region.
  • the image analysis unit uses an image in the image analysis region set based on the analysis target determination information generated by the determination information generation unit for the non-polarized image indicating the vehicle peripheral region, and the target object such as an obstacle on the road surface Is determined. For this reason, it is possible to efficiently determine the presence of the object from the image of the peripheral area of the moving object. Therefore, it is suitable for a control system for performing safe driving in, for example, an automobile.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

画像取得部３４１-1は、移動体周辺領域、例えば車両の周辺領域を示す偏光画像と無偏光画像を取得する。判別情報生成部３４２-1は、画像取得部３４１-1で取得した偏光画像を用いて、路面等を示す解析対象判別情報を生成する。画像解析部３４４-1は、画像取得部３４１-1で取得した無偏光画像に対して判別情報生成部３４２-1で生成した解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物例えば路面上の障害物等の判別を行う。移動体周辺領域の無偏光画像から対象物の存在の判定を効率よく行うことができる。

Description

画像処理装置と画像処理方法および車両制御システム
　この技術は、画像処理装置と画像処理方法および車両制御システムに関し、移動体周辺領域の画像から対象物の存在の判定を効率よく行うことができるようにする。
　従来、実空間を撮影した複数の画像を用いて、実空間内における対象物の存在を判定することが行われている。例えば、特許文献１では、複数のカメラで撮影して得られた画像のそれぞれから動体領域を検出して平面座標系に変換する。また、変換動体領域の重なりを検出し、その検出結果に基づき、空間内の指定された平面に動体領域が存在するか否かを判定することが行われている。
特開２００８－０１５５７３号公報
　ところで、対象物の存在する領域は実空間の特定の領域に限られる場合がある。このような場合、実空間を撮影した画像全体を用いて対象物の存在を判別すると、不要な領域に対しても対象物の存在の判別が行われて、効率的な処理を行うことができない。
　そこで、この技術では移動体周辺領域の画像から対象物の存在の判定を効率よく行うことができる画像処理装置と画像処理方法ならびに車両制御システムを提供することを目的とする。
　この技術の第１の側面は、
　移動体周辺領域を示す偏光画像を用いて解析対象判別情報を生成する判別情報生成部と、
　前記移動体周辺領域を示す無偏光画像に対して前記判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う画像解析部と
を有する画像処理装置にある。
　この技術において、判別情報生成部は、移動体周辺領域を示す偏光画像を用いて、解析対象判別情報を生成する。例えば、判別情報生成部は、偏光画像に基づき法線を算出して、法線方向が移動体の鉛直方向となる連続した画像領域を路面の領域として、この路面を示す解析対象判別情報を生成する。また、判別情報生成部は、移動体の制動距離に関する情報を解析対象判別情報として生成する。移動体の制動距離に関する情報は、移動体の移動速度と、例えば距離検出が可能な撮像部で生成された画像または距離情報と移動面の粗さを検出できる偏光画像から制動距離を算出して、算出した制動距離と無偏光画像上の距離に基づき、無偏光画像における制動距離内の領域を示す情報を生成する。画像解析部は、移動体周辺領域を示す無偏光画像に対して判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う。例えば画像解析部は、解析対象判別情報に基づき、路面の領域や制動動距離内の画像を用いて対象物の判別を行う。
　また、画像解析部を複数設けた場合、複数の画像解析部は、無偏光画像を解析対象判別情報に基づいて分割した領域に対して分担して対象物の判別を行う。例えば、制動距離内の領域については、他の画像領域よりも多くの画像解析部を用いて対象物の判別を行う。
　また、画像取得部で取得された無偏光画像の転送を行う画像転送部を設け、画像解析部は通信ネットワークを介して画像転送部と接続して、画像転送部は、判別情報生成部で生成された解析対象判別情報に基づいて無偏光画像の転送の制御を行い、例えば画像解析領域の画像、または撮像方向が異なる複数の画像から選択した画像と解析対象判別情報を画像解析部へ転送する。
　さらに、画像解析制御部と複数の画像解析部を設けて、画像解析制御部は、判別情報生成部で生成された解析対象判別情報に基づき、画像転送部から画像解析部へ転送される無偏光画像に対する対象物の判別を複数の画像解析部でどのように行うか制御する画像解析制御情報を生成して、無偏光画像と共に画像解析部へ送信する。
　この技術の第２の側面は、
　移動体周辺領域を示す偏光画像を用いて解析対象判別情報を判別情報生成部で生成すること、
　前記移動体周辺領域を示す無偏光画像に対して前記判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を画像解析部で行うことと
を含む画像処理方法にある。
　この技術の第３の側面は、
　車両周辺領域を示す偏光画像を用いて解析対象判別情報を生成する判別情報生成部と、
　前記移動体周辺領域を示す無偏光画像に対して前記判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う画像解析部と、
　前記画像解析部における前記対象物の判別結果に基づき車両走行制御部を行う駆動系制御部と
を有する車両制御システムにある。
　この技術によれば、移動体周辺領域を示す偏光画像を用いて解析対象判別情報が判別情報生成部で生成される。画像解析部は、移動体周辺領域を示す無偏光画像に対して判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う。このため、移動体周辺領域の画像から対象物の存在の判定を効率よく行うことができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
車両制御システムの概略構成を例示したブロック図である。 画像取得部の設置例を示した図である。 第１の実施の形態の構成を示した図である。 偏光画像取得部で取得される偏光画像について説明するための図である。 判別情報生成部の構成を例示した図である。 被写体の形状と偏光画像についての説明図である。 輝度と偏光角との関係を例示した図である。 偏光度と天頂角の関係を示す図である。 第１の実施の形態の動作を例示したフローチャートである。 第１の実施の形態の動作を例示した図である。 第２の実施の形態の構成を示した図である。 判別情報生成部の構成を例示した図である。 ＴＯＦカメラを用いた場合の判別情報生成部の構成を示す図である。 第２の実施の形態の動作を例示した図である。 第３の実施の形態の構成を示した図である。 判別情報生成部の構成を例示した図である。 第３の実施の形態の動作を例示した図である。 第４の実施の形態の構成を例示した図である。 第４の実施の形態の動作を例示した図である。 第５の実施の形態の構成を例示した図である。 第５の実施の形態の動作を例示したフローチャートである。 第６の実施の形態の構成を例示した図である。 第６の実施の形態の動作を例示した図である。 第７の実施の形態の動作を例示した図である。 他の実施の形態の構成を例示した図である。
　以下、本技術を実施するための形態について説明する。この技術の画像処理装置では、移動体周辺領域を示す偏光画像と無偏光画像を取得する。また、取得した偏光画像を用いて解析対象判別情報を生成する。さらに、無偏光画像に対して解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う。次に、移動体が例えば車両である場合について説明する。なお、説明は以下の順序で行う。
　１．車両制御システムについて
　２．画像処理装置について
　３．第１の実施の形態
　４．第２の実施の形態
　５．第３の実施の形態
　６．第４の実施の形態
　７．第５の実施の形態
　８．第６の実施の形態
　９．第７の実施の形態
　１０．他の実施の形態
　＜１．車両制御システムについて＞
　図１は、車両制御システムの概略構成を例示したブロック図である。車両制御システム１０は、通信ネットワーク２０を介して接続された複数の制御部や検出部を備える。図１に示した例では、車両制御システム１０は、駆動系制御部３１、ボディ系制御部３２、バッテリ制御部３３、車外情報検出部３４、および統合制御部４０を備える。通信ネットワーク２０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。また、統合制御部４０には、入力部５１、音声出力部５２、表示部５３が接続されている。
　各制御部は、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。
　駆動系制御部３１は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御部３１は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構として機能する。また、駆動系制御部３１は、車両の制動力を発生させる制動装置等の制御装置としての機能、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御部３１には、車両状態検出部３１１が接続される。車両状態検出部３１１には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は走行速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御部３１は、車両状態検出部３１１から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御部３２は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御部３２は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御部３２には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御部３２は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御部３３は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池３３１を制御する。例えば、バッテリ制御部３３には、二次電池３３１を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御部３３は、これらの信号を用いて演算処理を行い、二次電池３３１の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出部３４は、車両制御システム１０を搭載した車両の外部の情報を検出する。車外情報検出部３４には、画像取得部３４１と判別情報生成部３４２と画像解析部３４４を有している。画像取得部３４１は、偏光画像を取得するカメラ、測距が可能なＴＯＦ（Time　Of　Flight）カメラやステレオカメラ等を有している。
　図２は、画像取得部の設置例を示した図である。画像取得部３４１は、例えば、車両８０のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる画像取得部３４１Ａおよび車室内のフロントガラスの上部に備えられる画像取得部３４１Ｂは、主として車両８０の前方の画像を取得する。サイドミラーに備えられる画像取得部３４１Ｃ，３４１Ｄは、主として車両８０の側方の画像を取得する。リアバンパ又はバックドアに備えられる画像取得部３４１Ｅは、主として車両８０の後方の画像を取得する。なお、図２には、それぞれの画像取得部３４１Ａ乃至３４１Ｅの撮影範囲の一例を示している。撮像範囲ＡＲａは、フロントノーズに設けられた画像取得部３４１Ａの撮像範囲を示し、撮像範囲ＡＲｂは、車室内のフロントガラスの上部に備えられる画像取得部３４１Ｂの撮像範囲を示している。撮像範囲ＡＲｃ，ＡＲｄは、それぞれサイドミラーに設けられた画像取得部３４１Ｃ，３４１Ｄの撮像範囲を示し、撮像範囲ＡＲｅは、リアバンパ又はバックドアに設けられた画像取得部３４１Ｅの撮像範囲を示す。
　図１に戻り、車外情報検出部３４は、画像取得部３４１で車両の周辺領域を撮像して得られた画像を判別情報生成部３４２と画像解析部３４４へ出力する。判別情報生成部３４２は画像取得部３４１で得られた画像に基づき路面の検出や制動距離の算出等を行い、路面の検出結果や制動距離の算出結果等を示す解析対象判別情報を生成して画像解析部３４４へ出力する。
　画像解析部３４４は、画像取得部３４１で得られた無偏光画像に対して判別情報生成部３４２で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて画像解析を行い、対象物例えば障害物等の判定を行う。対象物の判定結果は、車両の走行に利用可能な情報であり、画像解析部３４４は、対象物の判定結果を統合制御部４０へ出力する。なお、画像解析部３４４を統合制御部４０に設けて、車外情報検出部３４では、画像または画像と解析対象判別情報を、通信ネットワーク２０を介して統合制御部４０へ出力してもよい。
　統合制御部４０には、入力部５１、音声出力部５２、表示部５３が接続されている。
入力部５１は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部５１は、搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御部４０に出力する。
　音声出力部５２は、統合制御部４０からの音声信号に基づいた音声を出力することで、車両の搭乗者に対して聴覚的に情報を通知する。表示部５３は、統合制御部４０からの画像信号に基づいて画像表示を行い、車両の搭乗者に対して、視覚的に情報を通知する。
　統合制御部４０は、ＣＰＵ(Central Processing Unit)，ＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read　Only　Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random　Access　Memory）は、各種パラメータ、演算結果又はセンサ値等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、入力部５１からの入力信号および通信ネットワーク２０を介した各制御部や検出部との通信によって取得した情報およびＲＡＭに記憶されている情報等に応じて車両制御システム１０内の動作全般を制御する。また、統合制御部４０は、車両の搭乗者に対して、聴覚的に通知する情報を示す音声信号を生成して音声出力部５２へ出力して、視覚的に情報を通知する画像信号を生成して表示部５３へ出力する。また、統合制御部４０は、外部環境に存在する様々な機器や他車両等との間の通信を行う通信インタフェース、車両の緯度や経度および高度を含む位置情報を生成する測位部等を有していてもよい。
　なお、図１に示した例において、通信ネットワーク２０を介して接続された少なくとも二つの制御部が一つの制御部として一体化されてもよい。あるいは、個々の制御部が、複数の制御部により構成されてもよい。さらに、車両制御システム１０が、図示されていない別の制御部を備えてもよい。また、上記の説明において、いずれかの制御部が担う機能の一部又は全部を、他の制御部に持たせてもよい。つまり、通信ネットワーク２０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御部で行われるようになってもよい。
　＜２．画像処理装置について＞
　次に、本技術の画像処理装置を、上述のように図１に示す車両制御システムの車外情報検出部として適用した場合の実施の形態について説明する。
　＜３．第１の実施の形態＞
　図３は第１の実施の形態の構成を示している。車外情報検出部３４は、画像取得部３４１-1と判別情報生成部３４２-1と画像解析部３４４-1を有している。また、画像取得部３４１-1は、偏光画像を取得する偏光画像取得部３４１１と無偏光画像を取得する無偏光画像取得部３４１２を有している。
　偏光画像取得部３４１１は、偏光方向が異なる複数の偏光画像、例えば偏光方向が３方向以上の偏光画像を取得する。図４は、偏光画像取得部３４１１で取得される偏光画像について説明するための図である。例えば図４の（ａ）に示すように、偏光画像は、イメージセンサＩＭＳに３方向以上の偏光方向の画素構成とされた偏光フィルタＰＬＦを配置して撮像を行うことで生成する。なお、図４の（ａ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光フィルタＰＬＦをイメージセンサＩＭＳの入射面に配置した場合を例示している。また、図４の（ｂ）に示すように、偏光画像は、偏光方向が異なる偏光板ＰＬ１～ＰＬ４をカメラＣＭ１～ＣＭ４の前に設けて、カメラＣＭ１～ＣＭ４で撮像を行うことで生成してもよい。さらに、図４の（ｃ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサＩＭＳの前面にレンズＬＺを複数（図では４個）設けて、各レンズＬＺによって被写体の光学像をイメージセンサＩＭＳの撮像面にそれぞれ結像させる。また、各レンズＬＺの前面に偏光板ＰＬを設けて、偏光板ＰＬの偏光方向を異なる方向とする。このような構成とすれば、偏光方向が異なる偏光画像をイメージセンサＩＭＳで生成できる。
　無偏光画像取得部３４１２は、無偏光の画像を取得する。無偏光画像取得部３４１２は、イメージセンサの入射面に偏光板や偏光フィルタを設けることなく撮像を行うことで無偏光画像を生成する。また、無偏光画像取得部３４１２は、偏光画像取得部３４１１で取得された偏光画像から無偏光画像を生成してもよい。偏光画像取得部３４１１でカラーフィルタを使用しない場合、輝度偏光画像を取得できる。ここで、例えば図４の（ａ）の場合、偏光方向が異なる方向であって隣接している４画素の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、図４の（ｂ）の場合、画素毎に偏光方向が異なる輝度偏光画像の輝度を平均することで、無偏光である通常輝度画像と同等の画像を取得できる。さらに、図４の（ｃ）の場合、被写体までの距離に対してレンズＬＺ間の距離が無視できる程度に短ければ、偏光方向が異なる複数の偏光画像では視差を無視することができる。したがって、偏光方向が異なる偏光画像の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、視差を無視することができない場合は、偏光方向が異なる偏光画像を視差量に応じて位置合わせして、位置合わせ後の偏光画像の輝度を平均すれば無偏光の通常輝度画像と同等の画像を取得することができる。
　図５は、判別情報生成部の構成を例示している。判別情報生成部３４２-1は、法線検出部３４２１と路面判定部３４２２を有している。法線検出部３４２１は、偏光画像取得部３４１１で取得した偏光方向が異なる複数の偏光画像から法線を検出する。
　ここで、被写体の形状と偏光画像について図６を用いて説明する。例えば図６に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、カメラＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光板ＰＬを回転して撮像を行うことで、複数の偏光画像を取得して、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υとする。
　偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最大輝度Ｉmaxが観測されたときの偏光角υを方位角αとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図７は、輝度と偏光角との関係を例示している。また、この例は拡散反射のモデルを示しており、鏡面反射の場合は方位角が偏光角に比べて９０度ずれる。
Figure JPOXMLDOC01-appb-M000001
　式（１）では、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角αが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示すモデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示すモデル式に基づき最大輝度となる偏光角である方位角αを判別することができる。
　また、物体表面の法線を極座標系で表現して、法線を方位角αと天頂角θとする。なお、天頂角θはｚ軸から法線に向かう角度、方位角αは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回したときに最小輝度Ｉminと最大輝度Ｉmaxが得られたとき、式（２）に基づき偏光度ρを算出できる。
Figure JPOXMLDOC01-appb-M000002
　偏光度と天頂角の関係は、拡散反射の場合、フレネルの式から例えば図８に示す特性を有することが知られている。したがって、図８に示す特性から偏光度ρに基づき天頂角θを判別できる。なお、図８に示す特性は例示であって、被写体の屈折率等に依存して特性は変化する。例えば屈折率が大きくなるに伴い偏光度が大きくなる。
　法線検出部３４２１は、このようにして方位角αと天頂角θを画素毎に算出して、算出した方位角αと天頂角θを示す画素毎の法線を法線検出結果として路面判定部３４２２へ出力する。
　路面判定部３４２２は、法線検出部３４２１からの法線検出結果に基づき、法線方向が車両８０の鉛直方向を基準として左右方向に所定の角度範囲内となる連続領域を路面とする。判別情報生成部３４２は、路面の検出結果を示す解析対象判別情報を画像解析部３４４-1へ出力する。
　画像解析部３４４-1は、画像取得部３４１-1で得られた無偏光画像に対して判別情報生成部３４２-1で生成された解析対象判別情報に基づいて設定した画像解析領域の画像解析を行う。すなわち、画像解析部３４４-1は、無偏光画像における路面と検出された領域を画像解析領域として画像解析を行い、障害物等の判定を行う。なお、画像解析部３４４-1は、路面の端に位置する障害物を検出しやすくするため、路面の領域を基準として画像解析領域を左右方向に広く設定してもよい。
　図９は、第１の実施の形態の動作を例示したフローチャートである。ステップＳＴ１で車外情報検出部３４は撮像画像を取得する。車外情報検出部３４の画像取得部３４１-1は車両８０の周辺領域を撮像した偏光画像と無偏光画像を取得してステップＳＴ２に進む。
　ステップＳＴ２で車外情報検出部３４は解析対象判別情報を生成する。車外情報検出部３４の判別情報生成部３４２-1は、ステップＳＴ１で取得した偏光画像に基づき、例えば路面検出結果を示す解析対象判別情報を生成してステップＳＴ３に進む。
　ステップＳＴ３で車外情報検出部３４は画像解析を行う。車外情報検出部３４の画像解析部３４４-1は、ステップＳＴ１で取得した無偏光画像に対してステップＳＴ２で生成した解析対象判別情報に基づいて設定した画像解析領域の画像解析を行う。すなわち、画像解析部３４４-1は、無偏光画像における路面と検出された領域を画像解析領域として画像解析を行う。
　図１０は、第１の実施の形態の動作を例示している。図１０の（ａ）は、画像取得部３４１-1で取得した無偏光画像を例示している。また、図１０の（ｂ）は、判別情報生成部３４２-1で検出した法線方向を矢印で示している。判別情報生成部３４２-1は、車両８０に対して法線方向が略鉛直方向である連続した領域を路面として、路面の検出結果を示す解析対象判別情報を生成する。図１０の（ｃ）は、画像解析部３４４-1で画像解析を行う画像解析領域を例示している。画像解析部３４４-1は、解析対象判別情報に基づき路面と検出された領域または路面と検出された領域を左右に広げて画像解析領域ＡＮとする。
　このような第１の実施の形態によれば、路面を精度よく検出できるので、検出された路面を基準として画像解析領域を設定すれば、障害物等の検出を効率よく行うことができる。
　＜４．第２の実施の形態＞
　図１１は第２の実施の形態の構成を示している。車外情報検出部３４は、画像取得部３４１-2と判別情報生成部３４２-2と画像解析部３４４-2を有している。また、画像取得部３４１-2は、偏光画像を取得する偏光画像取得部３４１１と無偏光画像を取得する無偏光画像取得部３４１２および距離検出画像取得部３４１３を有している。
　偏光画像取得部３４１１は、第１の実施の形態と同様にして偏光画像を生成して判別情報生成部３４２へ出力する。無偏光画像取得部３４１２は、第１の実施の形態と同様にして無偏光画像を生成して画像解析部３４４-2へ出力する。
　距離検出画像取得部３４１３は、距離の検出に利用可能な画像を取得して判別情報生成部３４２-2へ出力する。距離検出画像取得部３４１３は、例えばステレオカメラ等で構成されており、距離検出画像取得部３４１３で取得した右視点画像と左視点画像を判別情報生成部３４２へ出力する。
　図１２は、判別情報生成部の構成を例示している。判別情報生成部３４２-2は、路面荒さ検出部３４２３と距離検出部３４２４と走行速度検出部３４２５および制動距離情報生成部３４２６を有している。
　路面荒さ検出部３４２３は、偏光画像取得部３４１１で生成された偏光画像を用いて路面の粗さを検出する。路面荒さ検出部３４２３は、例えば偏光画像取得部３４１１で生成された水平偏光画像と垂直偏光画像を用いて、特開平１１－２３０８９８号公報のように水平および垂直偏光成分の強度分布から路面荒さを検出する。路面荒さ検出部３４２３は、路面粗さの検出結果を制動距離情報生成部３４２６へ出力する。
　距離検出部３４２４は、距離検出画像取得部３４１３で取得した画像、例えば右視点画像と左視点画像から、撮像方向に位置する被写体までの距離を検出して、検出結果を示す距離情報を制動距離情報生成部３４２６へ出力する。
　走行速度検出部３４２５は、車両８０の走行速度を検出して、検出結果を示す速度情報を制動距離情報生成部３４２６へ出力する。なお、走行情報は、駆動系制御部３１に接続されている車両状態検出部３１１から取得してもよい。
　制動距離情報生成部３４２６は、路面荒さ検出部３４２３で検出された路面粗さと走行速度検出部３４２５で検出された走行速度に基づいて、車両８０の制動距離を算出する。また、制動距離情報生成部３４２６は、距離検出部３４２４の距離検出結果に基づき、前方に制動距離だけ離れた位置を判別して、判別結果を示す制動距離情報を画像解析部３４４-2へ出力する。
　画像解析部３４４-2は、画像取得部３４１-2で得られた無偏光画像に対して判別情報生成部３４２-2で生成された解析対象判別情報に基づいて設定した画像解析領域の画像解析を行う。すなわち、画像解析部３４４-2は、無偏光画像において前方に制動距離だけ離れた位置までの領域を画像解析領域として画像解析を行い、障害物等の判定を行う。
　また、距離検出画像取得部３４１３で例えばＴＯＦカメラを用いた場合、判別情報生成部３４２-2は図１３に示す構成とする。この場合、制動距離情報生成部３４２６は、路面荒さ検出部３４２３で検出された路面粗さと走行速度検出部３４２５で検出された走行速度に基づいて、車両８０の制動距離を算出する。また、制動距離情報生成部３４２６は、ＴＯＦカメラで取得された距離情報に基づき、前方に制動距離だけ離れた位置を判別して、判別結果を示す制動距離情報を画像解析部３４４-2へ出力する。
　このように構成した第２の実施の形態では、図９に示すフローチャートと同様に処理を行い、解析対象判別情報の生成では、制動距離だけ離れた位置を示す解析対象判別情報を生成する。また、画像解析では、無偏光画像において前方に制動距離だけ離れた位置までの領域を画像解析領域とする。
　図１４は、第２の実施の形態の動作を例示している。図１４の（ａ）は、画像取得部３４１-2で取得した無偏光画像を例示している。また、図１４の（ｂ）は、画像解析部３４４-2で画像解析を行う画像解析領域を例示している。画像解析部３４４-2は、解析対象判別情報に基づき前方に制動距離だけ離れた位置までの領域を画像解析領域ＡＮとする。
　このような第２の実施の形態によれば、制動距離に応じて画像解析領域を設定できるので、速やかに検出する必要がある障害物等を効率よく検出できる。
　＜５．第３の実施の形態＞
　第３の実施の形態は、第１と第２の実施の形態を組み合わせた場合である。
　図１５は、第３の実施の形態の構成を示している。車外情報検出部３４は、画像取得部３４１-3と判別情報生成部３４２-3と画像解析部３４４-3を有している。また、画像取得部３４１-3は、偏光画像を取得する偏光画像取得部３４１１と無偏光画像を取得する無偏光画像取得部３４１２および距離検出画像取得部３４１３を有している。
　図１６は判別情報生成部の構成を例示している。判別情報生成部３４２-3は、法線検出部３４２１、路面判定部３４２２、路面荒さ検出部３４２３、距離検出部３４２４、走行速度検出部３４２５および制動距離情報生成部３４２６を有している。
　法線検出部３４２１は、偏光画像取得部３４１１で取得した偏光方向が異なる複数の偏光画像から法線を検出する。路面判定部３４２２は、法線検出部３４２１からの法線検出結果に基づき路面を検出して、路面の検出結果を解析対象判別情報として画像解析部３４４-3へ出力する。
　路面荒さ検出部３４２３は、偏光画像取得部３４１１で生成された偏光画像を用いて路面粗さの検出を行い、検出結果を制動距離情報生成部３４２６へ出力する。距離検出部３４２４は、距離検出画像取得部３４１３で取得した画像を用いて距離の検出を行い、検出結果を示す距離情報を制動距離情報生成部３４２６へ出力する。走行速度検出部３４２５は、車両８０の走行速度を検出して、検出結果を示す速度情報を制動距離情報生成部３４２６へ出力する。
　制動距離情報生成部３４２６は、路面荒さ検出部３４２３で検出された路面粗さと走行速度検出部３４２５で検出された走行速度に基づいて、車両８０の制動距離を算出する。また、制動距離情報生成部３４２６は、算出した制動距離と距離検出部３４２４またはＴＯＦカメラで生成した距離情報に基づき、前方に制動距離だけ離れた位置を示す制動距離情報を画像解析部３４４-3へ出力する。
　画像解析部３４４-3は、画像取得部３４１-3で得られた無偏光画像に対して判別情報生成部３４２-3で生成された解析対象判別情報に基づいて設定した画像解析領域の画像解析を行う。すなわち、画像解析部３４４-3は、無偏光画像において、路面と検出された領域であって前方に制動距離だけ離れた位置までを画像解析領域として画像解析を行い、障害物等の判定を行う。なお、画像解析部３４４-3は、路面の端に位置する障害物を検出しやすくするため、路面と検出された領域を基準として画像解析領域を左右方向に広く設定してもよい。
　このように構成した第３の実施の形態では、図９に示すフローチャートと同様に処理を行い、解析対象判別情報の生成では、路面検出結果と制動距離だけ離れた位置を示す解析対象判別情報を生成する。また、画像解析では、無偏光画像において路面と検出された領域であって、前方に制動距離だけ離れた位置までを画像解析領域とする。
　図１７は、第３の実施の形態の動作を例示している。図１７の（ａ）は、画像取得部３４１-3で取得した無偏光画像を例示している。また、図１７の（ｂ）は、画像解析部３４４-3で画像解析を行う画像解析領域を例示している。画像解析部３４４-3は、解析対象判別情報に基づき、路面と検出された領域であって前方に制動距離だけ離れた位置までの領域を画像解析領域ＡＮとする。
　このような第３の実施の形態によれば、路面に対して制動距離に応じて画像解析領域を設定できるので、速やかに検出する必要がある路面上の障害物等を効率よく検出できる。
　＜６．第４の実施の形態＞
　ところで、画像解析部で行われる処理に時間を要すると、車両の走行中に路面上の障害物等をリアルタイムで検出できないおそれがある。また、路面上に限らず他の位置でも障害物等の検出を行えば、より安全に走行が可能となる。そこで、第４の実施の形態では、画像解析部を複数設けた場合について説明する。
　図１８は、第４の実施の形態の構成を例示した図であり、３つの画像解析部を設けている。車外情報検出部３４は、画像取得部３４１-aと判別情報生成部３４２-aと画像解析部３４４-a，３４４-b，３４４-ｃを有している。
　画像取得部３４１-aと判別情報生成部３４２-aは、上述の第１乃至第３のいずれかの実施の形態と同様に構成する。
　画像解析部３４４-a，３４４-b，３４４-cは、無偏光画像取得部で取得された無偏光画像に対して、判別情報生成部３４２-aで生成された解析対象判別情報に基づき領域分割を行い、複数の画像解析部で、分担して分割領域の画像解析を行う。
　このように構成した第４の実施の形態では、図９に示すフローチャートと同様に処理を行い、画像解析では、解析対象判別情報に基づき無偏光画像を分割して、複数の画像解析部で、分担して分割領域の画像解析を行う。
　図１９は、第４の実施の形態の動作を例示している。図１９の（ａ）は、画像取得部３４１-aで取得した無偏光画像を例示している。また、図１９の（ｂ）は、画像解析部３４４-a乃至３４４-cで画像解析を行う画像解析領域を例示している。画像解析部３４４-a,３４４-bは、解析対象判別情報に基づき、前方に制動距離だけ離れた位置までの領域ＡＳ-abにおける画像解析領域ＡＮabの画像解析を行う。また、画像解析部３４４-cは、領域ＡＳ-abとは異なる残りの領域ＡＳ-cにおける画像解析領域ＡＮcの画像解析を行う。
　このような第４の実施の形態によれば、画像解析を複数の画像解析部で分担して行うことができるので、さらに効率よく路面上の障害物等を効率よく検出できる。また、前方に制動距離だけ離れた位置までの領域における画像解析領域に対して、より多くの画像解析部を割り当てるようにすれば、緊急性の高い障害物の検出をさらに効率よく行うことができる。
　＜７．第５の実施の形態＞
　上述の第１乃至第４の実施の形態では、車外情報検出部３４に画像解析部が設けられている場合を例示したが、画像解析は、車外情報検出部３４に限らず他の制御部で行うようにしてもよい。この場合、車外情報検出部３４は、通信ネットワーク２０を介して他の制御部に無偏光画像を出力する。また、通信ネットワーク２０の通信速度は規格で定められているため、車外情報検出部３４から画像解析を行う他の制御部に転送する画像のデータ量が多くなると、転送に時間を要することから他の制御部間等の通信を速やかに行うことができないおそれがある。したがって、車外情報検出部３４は、撮像画像において画像解析の対象となる領域の画像のみを他の制御部へ出力する。以下、統合制御部４０で画像解析を行う場合について説明する。
　図２０は、第５の実施の形態の構成を例示している。車外情報検出部３４は、画像取得部３４１-aと判別情報生成部３４２-aと画像転送部３４６-1を有している。画像取得部３４１-aと判別情報生成部３４２-aは、上述の第１乃至第３のいずれかの実施の形態と同様に構成する。
　画像取得部３４１-aは、偏光画像等を生成して判別情報生成部３４２-aへ出力する。また、画像取得部３４１-aは、無偏光画像を生成して画像転送部３４６-1へ出力する。判別情報生成部３４２-aは、画像取得部３４１-aから供給された偏光画像等を用いて解析対象判別情報を生成して画像転送部３４６-1へ出力する。
　画像転送部３４６-1は、判別情報生成部３４２-aから供給された解析対象判別情報に基づき、画像取得部３４１-aから供給された無偏光画像において画像解析を行う画像解析領域を設定する。また、画像転送部３４６-1は、設定した画像解析領域の画像を、通信ネットワーク２０を介して統合制御部４０へ転送する。統合制御部４０は、車外情報検出部３４から供給された画像を用いて画像解析を行い、障害物等の検出を行う。なお、画像の転送をライン単位で行う場合、画像解析領域を含むラインの画像を転送する。
　例えば、判別情報生成部３４２-aから供給された解析対象判別情報が路面検出結果を示している場合、画像転送部３４６-1は、路面であると検出された領域を画像解析領域として、画像解析領域の画像を統合制御部４０へ転送する。また、判別情報生成部３４２-aから供給された解析対象判別情報が路面検出結果を示している場合、画像転送部３４６-1は、制動距離内の領域を画像解析領域と設定して、画像解析領域の画像を、通信ネットワーク２０を介して統合制御部４０へ転送する。
　さらに、判別情報生成部３４２-aから供給された解析対象判別情報が路面検出結果と制動距離情報を示している場合、画像転送部３４６-1は、例えば制動距離内であって路面と検出された領域等を画像解析領域とする。画像転送部３４６-1は、画像解析領域の画像を、通信ネットワーク２０を介して統合制御部４０へ転送する。
　図２１は、第５の実施の形態の動作を例示したフローチャートである。ステップＳＴ１１で車外情報検出部３４は撮像画像を取得する。車外情報検出部３４の画像取得部３４１-aは車両８０の周辺領域を撮像した偏光画像と無偏光画像を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で車外情報検出部３４は解析対象判別情報を生成する。車外情報検出部３４の判別情報生成部３４２-aは、ステップＳＴ１１で取得した偏光画像に基づき解析対象判別情報を生成してステップＳＴ１３に進む。
　ステップＳＴ１３で車外情報検出部３４は画像の転送を行う。車外情報検出部３４の画像転送部３４６-1は、ステップＳＴ１１で取得した無偏光画像に対してステップＳＴ１２で生成した解析対象判別情報に基づいて設定した画像解析領域の画像を、通信ネットワーク２０を介して統合制御部４０へ転送してステップＳＴ１４に進む。
　ステップＳＴ１４で統合制御部４０は画像解析を行う。統合制御部４０の画像解析部は、ステップＳＴ１３で車外情報検出部３４から送信された無偏光画像を用いて画像解析を行う。
　このような第５の実施の形態によれば、車外情報検出部と通信ネットワークを介して接続された他の制御部等で画像解析を行う場合に、画像解析を行う領域の画像が通信ネットワーク２０を介して送信される。したがって、無偏光画像の全体を転送する場合に比べて転送するデータ量を削減できる。
　＜８．第６の実施の形態＞
　第６の実施の形態では、異なる周辺領域を撮像する画像取得部が設けられている場合を例示している。例えば図２に示す画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅが設けられている場合について説明する。
　図２２は、第６の実施の形態の構成を例示している。車外情報検出部３４は、画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅと判別情報生成部３４２-bと画像転送部３４６-2を有している。画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅは、図２０を用いて説明した第５の実施の形態における画像取得部３４１-aに相当している。判別情報生成部３４２-bは、第５の実施の形態における判別情報生成部３４２-aの機能を画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅ毎に設けている。
　画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅは、偏光画像等を生成して判別情報生成部３４２-bへ出力する。また、画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅは、無偏光画像を生成して画像転送部３４６-2へ出力する。
　判別情報生成部３４２-bは、画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅ毎に、画像取得部から供給された偏光画像等を用いて解析対象判別情報を生成して画像転送部３４６-2へ出力する。
　画像転送部３４６-2は、判別情報生成部３４２-bから供給された解析対象判別情報に基づき、画像解析を行う無偏光画像を転送対象の画像として判別する。例えば画像転送部３４６-2は、解析対象判別情報に基づき、路面が検出されている無偏光画像を転送対象の画像とする。また、画像転送部３４６-2は、制動距離が所定距離よりも長い場合に、走行の方向の前後の無偏光画像を転送対象の画像としてもよい。画像転送部３４６-2は、判別した転送対象の画像を解析対象判別情報とともに、通信ネットワーク２０を介して統合制御部４０へ転送する。また、統合制御部４０の画像解析部は、受信した画像と解析対象判別情報に基づき、画像解析領域の画像を用いて画像解析を行う。
　このように構成した第６の実施の形態では、図２１に示すフローチャートと同様に処理を行い、画像の転送では、解析対象判別情報に基づいた画像解析領域を含む無偏光画像を、解析領域判別情報とともに転送する。
　図２３は、第６の実施の形態の動作を例示している。図２３の（ａ）は画像取得部３４１Ａで取得された無偏光画像を例示している。また、図２３の（ｂ），（ｃ），（ｄ）は画像取得部３４１Ｃ，３４１Ｄ，３４１Ｅで取得された無偏光画像をそれぞれ例示している。ここで、画像取得部３４１Ａ，３４１Ｅで取得された画像で路面が検出されており、制動距離が算出されたとする。また画像取得部３４１Ｃ，３４１Ｄで取得された画像では路面が検出されていないとする。この場合、画像転送部３４６は、路面や制動距離の位置を示す画像、すなわち画像取得部３４１Ａ，３４１Ｅで取得された無偏光画像を転送対象の画像として解析対象判別情報とともに、通信ネットワーク２０を介して統合制御部４０へ転送する。統合制御部４０の画像解析部は、受信した画像と解析対象判別情報に基づき、図２３の（ｅ），（ｆ）に示すように画像解析領域ＡＮ，ＡＮＢの画像解析を行う。このような処理を行えば、制動距離よりも近い路面上の障害物や、車間距離が制動距離よりも接近している後続車を画像解析によって検出することが可能となる。
　このような第６の実施の形態によれば、車外情報検出部と通信ネットワークを介して接続された他の制御部等で画像解析を行う場合に、複数の画像取得部で生成された無偏光画像から画像解析を行う画像のみ、画像が通信ネットワーク２０を介して送信される。したがって、各画像取得部で生成された無偏光画像の画像を全て転送する場合に比べて転送するデータ量を削減できる。
　＜９．第７の実施の形態＞
　上述の第６の実施の形態では、解析対象判別情報に基づいて判別した転送対象の画像を、通信ネットワーク２０を介して統合制御部４０へ転送したが、上述の第５の実施の形態と同様に、転送対象の画像における画像解析領域の画像を転送するようにしてもよい。第７の実施の形態では、転送対象の画像における画像解析領域の画像を、通信ネットワーク２０を介して統合制御部４０へ転送する場合について説明する。
　第７の実施の形態では、車外情報検出部３４を第６の実施の形態と同様に構成する。ここで、画像転送部３４６-2は、判別情報生成部３４２-bから供給された解析対象判別情報に基づき、画像解析を行う無偏光画像を転送対象の画像として判別する。例えば画像転送部３４６-2は、解析対象判別情報に基づき、路面が検出されている無偏光画像を転送対象画像とする。また、画像転送部３４６-2は、制動距離が所定距離よりも長い場合に、走行の方向の前後の無偏光画像を転送対象の画像としてもよい。
　さらに、画像転送部３４６-2は、転送対象の画像に対して解析対象判別情報に基づき転送領域を設定して、転送領域の画像を解析対象判別情報とともに通信ネットワーク２０を介して統合制御部４０へ転送する。なお、画像の転送をライン単位で行う場合、ライン単位で転送領域を設定する。
　このように構成した第７の実施の形態では、図２１に示すフローチャートと同様に処理を行い、画像の転送では、解析対象判別情報に基づいて判別した転送領域の無偏光画像を解析対象判別情報とともに転送する。
　図２４は、第７の実施の形態の動作を例示している。図２４の（ａ）は画像取得部３４１Ａで取得された無偏光画像を例示している。また、図２４の（ｂ），（ｃ），（ｄ）は画像取得部３４１Ｃ，３４１Ｄ，３４１Ｅで取得された無偏光画像をそれぞれ例示している。ここで、画像取得部３４１Ａ，３４１Ｅで取得された画像で路面が検出されており、制動距離が算出されたとする。また画像取得部３４１Ｃ，３４１Ｄで取得された画像では路面が検出されていないとする。この場合、画像転送部３４６は、路面や制動距離の位置を示す画像、すなわち画像取得部３４１Ａ，３４１Ｅで取得された無偏光画像を転送対象の画像とする。さらに、画像の転送をライン単位で行う場合、ライン単位で転送領域を設定する。例えば、制動距離の位置までの領域のラインを転送領域として、すなわち画像取得部３４１Ａ，３４１Ｅで取得された無偏光画像における制動距離の位置までの転送領域の画像を解析対象判別情報とともに、通信ネットワーク２０を介して統合制御部４０へ転送する。統合制御部４０の画像解析部は、受信した画像と解析対象判別情報に基づき、図２４の（ｅ），（ｆ）に示す転送領域ＡＴＡ，ＡＴＥの画像において、路面の領域である画像解析領域ＡＮ，ＡＮＢの画像を用いて画像解析を行う。
　このような第７の実施の形態によれば、車外情報検出部と通信ネットワークを介して接続された他の制御部等で画像解析を行う場合に、複数の画像取得部で生成された無偏光画像から、解析対象判別情報に基づいて設定した転送領域の画像が通信ネットワーク２０を介して送信される。したがって、各画像取得部で生成された無偏光画像の画像を全て転送する場合や、画像解析領域を含む画像全体の画像を転送する場合に比べて転送するデータ量をさらに削減できる。
　＜１０．他の実施の形態＞
　また、車外情報検出部３４の構成は上述の実施の形態に限られない。例えば、判別情報生成部では偏光画像を用いて路面検出と路面粗さ検出を行う。画像解析部または画像転送部は、路面の検出結果と路面粗さの検出結果に基づき画像解析領域を設定して、画像解析領域の画像解析または画像解析領域の画像の転送を行うようにしてもよい。
　また、図２５に示すように、車外情報検出部３４に画像解析制御部３４８を設けてもよい。画像解析制御部３４８は、解析対象判別情報に基づき画像解析制御情報を生成して、画像と共に統合制御部４０へ転送する。画像解析制御情報は、例えば複数の画像解析部を用いて画像解析を行う場合、複数の画像解析部に対する画像の振り分け等を制御する情報である。統合制御部４０は、画像解析制御部からの解制御情報に基づき、上述の第４の実施の形態と同様に、複数の画像解析部に画像を振り分けて、複数の解析部で分担して画像解析を行う。
　なお、上述の実施の形態では、移動体周辺領域を示す偏光画像から解析対象判別情報を生成したが、移動体周辺領域を示す無偏光画像を用いて認識処理等を行い、解析対象判別情報を生成してもよい。また、距離の検出結果を解析対象判別情報として用いることもできる。
　以上の実施の形態では、移動体が車両である場合を詳解してきた。しかしながら、移動体は車両に限られない。例えばロボットに上述の画像処理装置を設けて、画像解析結果に基づきロボットの移動制御を行ってもよい。また、船舶に上述の画像処理装置を設けて、偏光画像に基づき陸地と水面の判別を行い、水面の画像解析結果に基づき船舶の操舵等を行うようにしてもよい。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　移動体周辺領域を示す偏光画像を用いて解析対象判別情報を生成する判別情報生成部と、
　前記移動体周辺領域を示す無偏光画像に対して前記判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う画像解析部と
を有する画像処理装置。
　（２）　前記判別情報生成部は、前記偏光画像に基づき前記移動体周辺領域における路面を示す解析対象判別情報を生成して、
　前記画像解析部は、前記路面の領域に応じて前記画像解析領域を設定する（１）に記載の画像処理装置。
　（３）　前記判別情報生成部は、前記偏光画像から算出された法線の方向が前記移動体の鉛直方向となる連続した画像領域を前記路面の領域とする（２）に記載の画像処理装置。
　（４）　前記判別情報生成部は、前記偏光画像を用いて前記移動体周辺領域における前記移動体の制動距離に関する情報を解析対象判別情報として生成して、
　前記画像解析部は、前記制動距離内の領域を前記画像解析領域として設定する（１）乃至（３）の何れかに記載の画像処理装置。
　（５）　前記判別情報生成部は、走行面の粗さおよび移動速度から算出された制動距離と前記無偏光画像上の距離に基づき、前記無偏光画像における前記制動距離内の領域を示す情報を前記解析対象判別情報として生成する（４）に記載の画像処理装置。
　（６）　前記画像解析部を複数設け、
　前記複数の画像解析部は、前記無偏光画像を前記解析対象判別情報に基づいて分割した領域に対して分担して前記対象物の判別を行う（１）乃至（５）の何れかに記載の画像処理装置。
　（７）　前記解析対象判別情報は前記移動体周辺領域における前記移動体の制動距離に関する情報と前記移動体周辺領域における路面を示す情報であり、
　前記複数の画像解析部は、前記制動距離内の領域についての前記対象物の判別を、他の画像領域よりも多くの前記画像解析部を用いて行う（６）に記載の画像処理装置。
　（８）　前記無偏光画像の転送を行う画像転送部を設け、
　前記画像解析部は通信ネットワークを介して前記画像転送部と接続して、
　前記画像転送部は、前記判別情報生成部で生成された解析対象判別情報に基づいて、前記画像解析部への前記無偏光画像の転送を制御する（１）に記載の画像処理装置。
　（９）　前記画像転送部は、前記画像解析領域の画像を転送する（８）に記載の画像処理装置。
　（１０）　前記判別情報生成部は、撮像方向毎に前記偏光画像を用いて解析対象判別情報を生成し、
　前記画像転送部は、前記判別情報生成部で生成された解析対象判別情報に基づいて、前記画像解析部に転送する前記無偏光画像を選択して、選択した前記無偏光画像を前記解析対象判別情報とともに転送する（８）に記載の画像処理装置。
　（１１）　前記判別情報生成部は、撮像方向毎に前記偏光画像を用いて解析対象判別情報を生成し、
　前記画像転送部は、前記判別情報生成部で生成された解析対象判別情報に基づいて、前記画像解析部に転送する前記無偏光画像を選択して、選択した前記無偏光画像における前記画像解析領域の画像を前記解析対象判別情報とともに転送する（８）に記載の画像処理装置。
　（１２）　画像解析制御部と複数の前記画像解析部を設け、
　前記画像解析制御部は、前記判別情報生成部で生成された解析対象判別情報に基づき、前記画像転送部から前記画像解析部へ転送される前記無偏光画像に対する前記対象物の判別を前記複数の画像解析部でどのように行うか制御する画像解析制御情報を生成して、前記無偏光画像と共に前記画像解析部へ送信する（８）に記載の画像処理装置。
　この技術の画像処理装置と画像処理方法および車両制御システムによれば、例えば車両周辺領域を示す偏光画像を用いて解析対象判別情報が判別情報生成部で生成される。画像解析部は、車両周辺領域を示す無偏光画像に対して判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物例えば路面上の障害物等の判別が行われる。このため、移動体周辺領域の画像から対象物の存在の判定を効率よく行うことができる。したがって、例えば自動車等で安全運転を行うための制御システムに適している。
　１０・・・車両制御システム
　２０・・・通信ネットワーク
　３１・・・駆動系制御部
　３２・・・ボディ系制御部
　３３・・・バッテリ制御部
　３４・・・車外情報検出部
　４０・・・統合制御部
　５１・・・入力部
　５２・・・音声出力部
　５３・・・表示部
　８０・・・車両
　３１１・・・車両状態検出部
　３３１・・・二次電池
　３４１・・・画像取得部
　３４１１・・・偏光画像取得部
　３４１２・・・無偏光画像取得部
　３４１３・・・距離検出画像取得部
　３４２・・・判別情報生成部
　３４２１・・・法線検出部
　３４２２・・・路面判定部
　３４２３・・・路面粗さ検出部
　３４２４・・・距離検出部
　３４２５・・・走行速度検出部
　３４２６・・・制動距離情報生成部
　３４４・・・画像解析部
　３４６・・・画像転送部
　３４８・・・画像解析制御部

Claims (14)

  1. 　移動体周辺領域を示す偏光画像を用いて解析対象判別情報を生成する判別情報生成部と、
    　前記移動体周辺領域を示す無偏光画像に対して前記判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う画像解析部と
    を有する画像処理装置。
  2. 　前記判別情報生成部は、前記偏光画像に基づき前記移動体周辺領域における路面を示す解析対象判別情報を生成して、
    　前記画像解析部は、前記路面の領域に応じて前記画像解析領域を設定する
    請求項１に記載の画像処理装置。
  3. 　前記判別情報生成部は、前記偏光画像から算出された法線の方向が前記移動体の鉛直方向となる連続した画像領域を前記路面の領域とする
    請求項２に記載の画像処理装置。
  4. 　前記判別情報生成部は、前記偏光画像を用いて前記移動体周辺領域における前記移動体の制動距離に関する情報を解析対象判別情報として生成して、
    　前記画像解析部は、前記制動距離内の領域を前記画像解析領域として設定する
    請求項１に記載の画像処理装置。
  5. 　前記判別情報生成部は、走行面の粗さおよび移動速度から算出された制動距離と前記無偏光画像上の距離に基づき、前記無偏光画像における前記制動距離内の領域を示す情報を前記解析対象判別情報として生成する
    請求項４に記載の画像処理装置。
  6. 　前記画像解析部を複数設け、
    　前記複数の画像解析部は、前記無偏光画像を前記解析対象判別情報に基づいて分割した領域に対して分担して前記対象物の判別を行う
    請求項１に記載の画像処理装置。
  7. 　前記解析対象判別情報は前記移動体周辺領域における前記移動体の制動距離に関する情報と前記移動体周辺領域における路面を示す情報であり、
    　前記複数の画像解析部は、前記制動距離内の領域についての前記対象物の判別を、他の画像領域よりも多くの前記画像解析部を用いて行う
    請求項６に記載の画像処理装置。
  8. 　前記無偏光画像の転送を行う画像転送部を設け、
    　前記画像解析部は通信ネットワークを介して前記画像転送部と接続して、
    　前記画像転送部は、前記判別情報生成部で生成された解析対象判別情報に基づいて、前記画像解析部への前記無偏光画像の転送を制御する
    請求項１に記載の画像処理装置。
  9. 　前記画像転送部は、前記画像解析領域の画像を転送する
    請求項８に記載の画像処理装置。
  10. 　前記判別情報生成部は、撮像方向毎に前記偏光画像を用いて解析対象判別情報を生成し、
    　前記画像転送部は、前記判別情報生成部で生成された解析対象判別情報に基づいて、前記画像解析部に転送する前記無偏光画像を選択して、選択した前記無偏光画像を前記解析対象判別情報とともに転送する
    請求項８に記載の画像処理装置。
  11. 　前記判別情報生成部は、撮像方向毎に前記偏光画像を用いて解析対象判別情報を生成し、
    　前記画像転送部は、前記判別情報生成部で生成された解析対象判別情報に基づいて、前記画像解析部に転送する前記無偏光画像を選択して、選択した前記無偏光画像における前記画像解析領域の画像を前記解析対象判別情報とともに転送する
    請求項８に記載の画像処理装置。
  12. 　画像解析制御部と複数の前記画像解析部を設け、
    　前記画像解析制御部は、前記判別情報生成部で生成された解析対象判別情報に基づき、前記画像転送部から前記画像解析部へ転送される前記無偏光画像に対する前記対象物の判別を前記複数の画像解析部でどのように行うか制御する画像解析制御情報を生成して、前記無偏光画像と共に前記画像解析部へ送信する
    請求項８に記載の画像処理装置。
  13. 　移動体周辺領域を示す偏光画像を用いて解析対象判別情報を判別情報生成部で生成すること、
    　前記移動体周辺領域を示す無偏光画像に対して前記判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を画像解析部で行うことと
    を含む画像処理方法。
  14. 　車両周辺領域を示す偏光画像を用いて解析対象判別情報を生成する判別情報生成部と、
    　前記移動体周辺領域を示す無偏光画像に対して前記判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う画像解析部と、
    　前記画像解析部における前記対象物の判別結果に基づき車両走行制御部を行う駆動系制御部と
    を有する車両制御システム。
PCT/JP2016/075295 2015-09-30 2016-08-30 画像処理装置と画像処理方法および車両制御システム WO2017056822A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680055410.3A CN108028022B (zh) 2015-09-30 2016-08-30 图像处理装置、图像处理方法和车辆控制系统
JP2017543033A JP6801666B2 (ja) 2015-09-30 2016-08-30 画像処理装置と画像処理方法および車両制御システム
US15/761,878 US10769951B2 (en) 2015-09-30 2016-08-30 Image processing apparatus, image processing method, and vehicle control system to determine the presence of an object from an image of a peripheral area of a moving body

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-193300 2015-09-30
JP2015193300 2015-09-30

Publications (1)

Publication Number Publication Date
WO2017056822A1 true WO2017056822A1 (ja) 2017-04-06

Family

ID=58423195

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/075295 WO2017056822A1 (ja) 2015-09-30 2016-08-30 画像処理装置と画像処理方法および車両制御システム

Country Status (4)

Country Link
US (1) US10769951B2 (ja)
JP (1) JP6801666B2 (ja)
CN (1) CN108028022B (ja)
WO (1) WO2017056822A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020049638A1 (ja) * 2018-09-04 2020-03-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびプレイフィールド逸脱検知方法
EP3663882A4 (en) * 2017-08-04 2020-08-12 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS, PROGRAM AND MOBILE UNIT

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018216983B3 (de) * 2018-10-04 2019-11-28 Audi Ag Verfahren zum Unterdrücken von Abbildungen von Reflexionen in zumindest einem Kamerabild einer Kamera einer Umfeldsensorvorrichtung eines Kraftfahrzeugs sowie entsprechende Umfeldsensorvorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06293236A (ja) * 1992-12-22 1994-10-21 Mitsubishi Electric Corp 走行環境監視装置
JP2000353231A (ja) * 1999-06-10 2000-12-19 Mitsubishi Electric Corp 画像処理装置
JP2012142903A (ja) * 2011-01-06 2012-07-26 Ricoh Co Ltd 撮像装置
WO2015045501A1 (ja) * 2013-09-27 2015-04-02 日立オートモティブシステムズ株式会社 外界認識装置
JP2015133078A (ja) * 2014-01-15 2015-07-23 株式会社リコー 制御用対象物認識装置、移動体機器制御システム及び制御用対象物認識用プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7979172B2 (en) * 1997-10-22 2011-07-12 Intelligent Technologies International, Inc. Autonomous vehicle travel control systems and methods
WO2006077710A1 (ja) * 2005-01-19 2006-07-27 Matsushita Electric Industrial Co., Ltd. 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、および画像変換プログラム
JP4785044B2 (ja) * 2006-01-13 2011-10-05 スタンレー電気株式会社 反射型光学センサ及び測定面の表面粗さ検出方法
JP2008015573A (ja) 2006-07-03 2008-01-24 Sony Corp 画像処理装置、画像処理方法および画像監視システム
WO2009019886A1 (ja) * 2007-08-07 2009-02-12 Panasonic Corporation 法線情報生成装置および法線情報生成方法
CN102113021B (zh) * 2008-12-25 2013-11-27 松下电器产业株式会社 图像处理装置和模拟立体图像生成装置
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
JP5986206B2 (ja) * 2012-07-27 2016-09-06 京セラ株式会社 画像処理装置、撮像装置、移動体、プログラム、および領域設定方法
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
JP6380843B2 (ja) * 2013-12-19 2018-08-29 株式会社リコー 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
CN104008645B (zh) * 2014-06-12 2015-12-09 湖南大学 一种适用于城市道路车道线预测及预警方法
CN104129387B (zh) * 2014-07-25 2016-10-05 杭州电子科技大学 安全距离与碰撞时间权衡风险的单摄像头汽车防撞方法
MX364878B (es) * 2015-02-25 2019-05-09 Facebook Inc Identificación de un objeto en un volumen con base en las características de la luz reflejada por el objeto.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06293236A (ja) * 1992-12-22 1994-10-21 Mitsubishi Electric Corp 走行環境監視装置
JP2000353231A (ja) * 1999-06-10 2000-12-19 Mitsubishi Electric Corp 画像処理装置
JP2012142903A (ja) * 2011-01-06 2012-07-26 Ricoh Co Ltd 撮像装置
WO2015045501A1 (ja) * 2013-09-27 2015-04-02 日立オートモティブシステムズ株式会社 外界認識装置
JP2015133078A (ja) * 2014-01-15 2015-07-23 株式会社リコー 制御用対象物認識装置、移動体機器制御システム及び制御用対象物認識用プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3663882A4 (en) * 2017-08-04 2020-08-12 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS, PROGRAM AND MOBILE UNIT
JPWO2019026714A1 (ja) * 2017-08-04 2020-08-27 ソニー株式会社 情報処理装置、および情報処理方法、プログラム、並びに移動体
US11373418B2 (en) 2017-08-04 2022-06-28 Sony Corporation Information processing apparatus, information processing method, program, and mobile object
JP7259749B2 (ja) 2017-08-04 2023-04-18 ソニーグループ株式会社 情報処理装置、および情報処理方法、プログラム、並びに移動体
WO2020049638A1 (ja) * 2018-09-04 2020-03-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびプレイフィールド逸脱検知方法
JPWO2020049638A1 (ja) * 2018-09-04 2021-08-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびプレイフィールド逸脱検知方法
JP7101250B2 (ja) 2018-09-04 2022-07-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびプレイフィールド逸脱検知方法

Also Published As

Publication number Publication date
US10769951B2 (en) 2020-09-08
JP6801666B2 (ja) 2020-12-16
CN108028022A (zh) 2018-05-11
JPWO2017056822A1 (ja) 2018-08-30
CN108028022B (zh) 2021-06-15
US20180301032A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
JP6760298B2 (ja) 情報取得装置と情報取得方法
US20230359213A1 (en) Guiding vehicles through vehicle maneuvers using machine learning models
US10850680B2 (en) Vehicle display apparatus and vehicle having the same
US11206388B2 (en) Image processing apparatus and image processing method for aligning polarized images based on a depth map and acquiring a polarization characteristic using the aligned polarized images
JPWO2017159382A1 (ja) 信号処理装置および信号処理方法
JP6350383B2 (ja) 車両走行制御装置
WO2017212928A1 (ja) 画像処理装置、画像処理方法、および車両
US11908104B2 (en) Weighted normalized automatic white balancing
US11891036B2 (en) Leveraging rear-view sensors for automatic emergency braking in autonomous machine applications
US11948315B2 (en) Image composition in multiview automotive and robotics systems
US11694408B2 (en) Information processing device, information processing method, program, and movable object
JPWO2017057057A1 (ja) 画像処理装置、画像処理方法、およびプログラム
US20240059295A1 (en) Multi-view geometry-based hazard detection for autonomous systems and applications
WO2017056822A1 (ja) 画像処理装置と画像処理方法および車両制御システム
US11954914B2 (en) Belief propagation for range image mapping in autonomous machine applications
JP2018032986A (ja) 情報処理装置および方法、車両、並びに情報処理システム
US11017671B2 (en) Precautionary visual perception by detection of rear stop light of vehicle that is two vehicles ahead
JP2019145021A (ja) 情報処理装置、撮像装置、及び撮像システム
WO2022061289A1 (en) Simulating viewpoint transformations for sensor independent scene understanding in autonomous systems
US20230142299A1 (en) Particle-Based Hazard Detection for Autonomous Machine Applications
JP2024007722A (ja) 運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16850998

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017543033

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15761878

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16850998

Country of ref document: EP

Kind code of ref document: A1