WO2015045501A1 - 外界認識装置 - Google Patents

外界認識装置 Download PDF

Info

Publication number
WO2015045501A1
WO2015045501A1 PCT/JP2014/065667 JP2014065667W WO2015045501A1 WO 2015045501 A1 WO2015045501 A1 WO 2015045501A1 JP 2014065667 W JP2014065667 W JP 2014065667W WO 2015045501 A1 WO2015045501 A1 WO 2015045501A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
region
image information
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/065667
Other languages
English (en)
French (fr)
Inventor
永崎　健
未来 樋口
亮 太田
達朗 小船
修之 一丸
及川　浩隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2015538948A priority Critical patent/JPWO2015045501A1/ja
Publication of WO2015045501A1 publication Critical patent/WO2015045501A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the present invention relates to an in-vehicle external environment recognition device, for example, an apparatus for recognizing an environment outside a vehicle based on image information of an image sensor.
  • external recognition devices such as a stereo camera device that is mounted on a vehicle and recognizes the situation in front of the vehicle are known.
  • a stereo camera device that accurately measures a distance to a wide-range subject from a short distance to a long distance and secures a wide field of view with a wide-angle lens at a short distance, and a vehicle exterior monitoring device using the stereo camera device are disclosed. (See Patent Document 1 below).
  • the stereo camera device described in Patent Document 1 processes first and second imaging units arranged on the left and right sides to obtain two stereo images for short distance and long distance, and a long distance image.
  • a first camera control unit and a second camera control unit that processes an image for short distance are provided.
  • the first imaging unit includes a first imaging lens for a long distance, a second imaging lens for a short distance, an imaging element having respective imaging regions for a short distance and a long distance, and each imaging lens. And a prism and a polarization beam splitter disposed between the image pickup device and the image pickup device.
  • the second imaging unit includes a third imaging lens for a long distance, a second imaging lens for a short distance, and an imaging element having respective imaging regions for a short distance and a long distance, A prism and a polarizing beam splitter are provided between each imaging lens and the imaging element.
  • the prism and polarization beam splitter of each imaging unit allow only the light of the S polarization component out of the light transmitted through the long-distance imaging lens to pass through the long-distance imaging region of the imaging device. Further, only the P-polarized light component of the light transmitted through the short-distance imaging lens is passed through the short-distance imaging region of the imaging element. Accordingly, the first camera control unit combines the right image and the left image of the long-distance subject imaged in the long-distance imaging region of the imaging element of each imaging unit as one image. Similarly, the second camera control unit combines the right image and the left image of the short-distance subject imaged in the short-distance imaging region of the imaging element of each imaging unit as one image.
  • the stereo camera device described in Patent Document 1 can simultaneously obtain a stereo image of a long-distance subject with different polarization components and a stereo image of a short-distance subject. It is difficult to recognize the state of the imaging target region by comparing these images.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an external environment recognition apparatus that can recognize an environment outside a vehicle by comparing a plurality of images having different optical conditions.
  • an external environment recognition apparatus includes an external camera that is mounted on a vehicle and acquires image information of a shooting target area in front of the vehicle, and an image processing unit that processes the image information.
  • An apparatus wherein the camera includes an imaging element having first and second imaging areas, and a first optical member that forms an image of the imaging target area on each of the first and second imaging areas. And a second optical member that allows light of different optical conditions to pass through each of the first and second imaging regions, and the image processing unit is a first obtained from the first imaging region. And the second image information obtained from the second imaging area are compared to recognize the state of the imaging target area.
  • the environment outside the vehicle can be recognized by comparing a plurality of images having different optical conditions.
  • Other problems and effects of the present invention will be clarified by the following embodiments.
  • the block diagram which shows schematic structure of the image process part of the external field recognition apparatus shown in FIG. The figure which shows the arrangement
  • region of the camera of the external field recognition apparatus shown in FIG. (A) is a figure which shows the image of the imaging
  • FIG. 1 is a block diagram illustrating a schematic configuration of an in-vehicle system including an external environment recognition device 100 according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of the image processing unit 2 of the external environment recognition apparatus 100 shown in FIG.
  • the external environment recognition apparatus 100 is an apparatus that is mounted on a vehicle and recognizes the environment outside the vehicle based on image information of a shooting target area in front of the vehicle.
  • the external environment recognition apparatus 100 is used for, for example, road surface wetness, snow accumulation and pattern identification, pedestrians, cyclists and animal / background identification, or image processing under bad weather conditions such as snowfall, rain, and fog.
  • the external environment recognition apparatus 100 includes two cameras 1L and 1R arranged on the left and right sides for acquiring image information, and an image processing unit 2 for processing the image information.
  • Each of the left camera 1L and the right camera 1R includes a first optical member 11, a second optical member 12, and an image sensor 13.
  • the imaging element 13 has a first imaging area 13a and a second imaging area 13b that convert the images of the imaging target areas of the cameras 1L and 1R into image information.
  • the first optical member 11 includes a first lens 11a and a second lens 11b that are arranged adjacent to each other on the optical paths of the cameras 1L and 1R.
  • the first lens 11a is disposed so as to overlap a part of the second lens 11b on the optical path.
  • the first lens 11a and the second lens 11b are separate members.
  • the first lens 11a and the second lens 11b are integrally formed to form the first lens 11a and the second lens 11b.
  • the optical member 11 may be a single member.
  • the second optical member 12 is a polarizing filter, for example, and is an optical filter that selectively transmits light of a predetermined polarization component.
  • the second optical member 12 is disposed on the optical path of the first imaging region 13a and is not disposed on the optical path of the second imaging region 13b, so that light of a predetermined polarization component is present in the first imaging region 13a.
  • L1 is allowed to pass, and unpolarized light L2 is allowed to pass through the second imaging region 13b. That is, the second optical member 12 allows the light L1 and L2 having different optical conditions to pass through the first and second imaging regions 13a and 13b, respectively.
  • the first optical member 11 causes light of a predetermined polarization component that has passed through the second optical member 12 to enter the second lens 11 b, and the image of the imaging target region is displayed on the first imaging region 13 a of the imaging device 13. Make an image.
  • the first optical member 11 causes the non-polarized light that does not pass through the second optical member 12 to enter the first lens 11 a and the second lens 11 b, so that the second imaging region on the imaging element 13. An image of the imaging target area is formed on 13b.
  • the cameras 1L and 1R include the polarization region A1 in which the first and second optical members 11 and 12 are disposed on the optical path, and the first optical member 11 that is not disposed in the optical path. And a polarization region A2.
  • the cameras 1L and 1R form an image of the imaging target area on the first imaging area 13a via the polarization area A1, and shoot on the second imaging area 13b via the non-polarization area A2. An image of the target area is formed.
  • the image processing unit 2 includes first image information obtained from the first imaging regions 13a and 13a of the imaging devices 13 and 13 of the cameras 1L and 1R, and second imaging of the imaging devices 13 and 13 of the cameras 1L and 1R.
  • the second image information obtained from the areas 13b and 13b is compared to recognize the state of the shooting target areas of the cameras 1L and 1R.
  • the image processing unit 2 will be described in detail.
  • the image processing unit 2 is connected to the imaging devices 13 of the two cameras 1 arranged as the left camera 1L and the right camera 1R of the stereo camera, and as shown in FIG. 2, the image processing unit 21 and the parallax processing unit 22, road surface estimation means 23, and road surface ⁇ data 24.
  • Each means is composed of, for example, a single or a plurality of computer units, and is configured to be able to exchange data with each other.
  • the image processing unit 2 converts the signals output from the first imaging regions 13a and 13a of the imaging devices 13 and 13 of the left and right cameras 1L and 1R into first image information by the image processing unit 21. I do.
  • the first image information is image information based on the image of the imaging target area formed on the first imaging area 13a of the imaging element 13 via the polarization areas A1 of the left and right cameras 1L and 1R. Image information through the optical member 12, that is, the polarization filter.
  • the image processing unit 2 is connected to the control unit 3, the storage unit 4, and the input / output unit 5 via the bus 6.
  • the control unit 3 includes a single or a plurality of computer units that control the image processing unit 2, the storage unit 4, and the input / output unit 5.
  • the storage unit 4 is configured by, for example, a memory that stores image information and the like obtained by the image processing unit 2.
  • the input / output unit 5 outputs the information output from the external environment recognition device 100 to the control system 8 of the host vehicle via the CAN 7.
  • the control system 8 can issue a warning to the occupant, brake the host vehicle, or perform avoidance control of the object based on information from the external environment recognition device 100.
  • the image processing unit 2 uses the image processing unit 21 to convert the signals output from the second imaging regions 13b and 13b of the imaging devices 13 and 13 of the left and right cameras 1L and 1R into second image information. I do.
  • the second image information is image information based on the image of the imaging target area formed on the second imaging area 13b of the imaging element 13 via the non-polarized areas A2 of the left and right cameras 1L and 1R.
  • FIG. 3 is a diagram showing the arrangement and coordinate system of the cameras 1L and 1R of the external environment recognition apparatus 100 shown in FIG.
  • the external recognition apparatus 100 is an xyz orthogonal coordinate system in which an intermediate point between the left and right cameras 1L and 1R is an origin o, a horizontal direction (vehicle width direction) is an x axis, a vertical direction is a y axis, and a traveling direction of the vehicle is a z axis. Is used.
  • the left and right cameras 1L and 1R each have a predetermined angle range ⁇ that is symmetrical with respect to the center lines c1 and c2 parallel to the z-axis as an imaging target region.
  • the image processing unit 2 uses the parallax processing unit 22 to perform the parallax processing of the first image information based on the video through the second optical member 12 of the left and right cameras 1L and 1R obtained by the image processing unit 21. .
  • the external environment recognition apparatus 100 uses the parallax processing unit 22 to perform a shooting target area between the first image information of the shooting target area of the left camera 1L and the first image information of the shooting target area of the right camera 1R.
  • the parallax process of the same point is performed, and the distance to each point in the imaging target region can be obtained by the principle of triangulation.
  • the image processing unit 2 includes road surface estimation means 23 for estimating a road surface friction coefficient ⁇ and road surface ⁇ data 24 as a road surface ⁇ estimation dictionary.
  • the road surface estimation means 23 includes first image information based on the image of the imaging target area via the second optical member 12 obtained by the image processing means 21 and the imaging target area not via the second optical member 12. Second image information based on the video is acquired. In the road surface ⁇ data 24, the relationship between the first image information, the second image information, and the friction coefficient ⁇ of the road surface based on the calculation and learning of the road surface estimation means 23 is recorded.
  • the road surface estimating means 23 refers to the road surface ⁇ data 24 based on the first and second image information acquired from the image processing means 21 and estimates the friction coefficient ⁇ of the road surface in the imaging target area. Details of the calculation and learning of the road surface estimation means 23 and the road surface ⁇ data 24 will be described later.
  • FIG. 4 is a diagram showing the relationship between the image information P1 of the shooting target area of the left camera 1L and the image information P2 of the shooting target area of the right camera 1R.
  • a stereo camera normally, parallax processing is performed in a region where the image information P1 of the shooting target region of the left camera 1L and the image information P2 of the shooting target region of the right camera 1R overlap. That is, the stereoscopic imaging target is imaged in the image information P1a on the right side of the image information P1 of the left camera 1L and the image information P2a on the left side of the image information P2 of the right camera 1R.
  • the image information P1b of the left region of the image information P1 of the left camera 1L and the image information P2b of the right region of the image information P2 of the right camera 1R are not subjected to parallax processing and are not used for stereoscopic viewing.
  • the imaging targets of the left and right cameras 1L and 1R are, for example, the road surface RS, road elements RE such as water, ice, snow or oil on the road surface RS, obstacles OB including pedestrians and cyclists, or rain, snow, Includes meteorological phenomena WP such as smoke.
  • FIGS. 5A and 5B are explanatory diagrams for estimating the friction coefficient of the road surface.
  • FIG. 5A is a diagram showing image information PA1 of the imaging target region based on light that has passed through the polarizing filter, and FIG. 5B is not through the polarizing filter. It is a figure which shows the image information PA2 of the imaging
  • the road surface estimation means 23 includes the road element RE and the road surface RS of the image information PA1 of the imaging target area that has passed through the polarization filter shown in FIG. 5A and the imaging target area that has passed through the polarization filter shown in FIG.
  • the road surface ⁇ data 24 is referred to based on the road element RE and the road surface RS of the image information PA1. Then, the road surface estimation means 23 estimates the road surface friction coefficient ⁇ on the road surface RS and the road element RE based on the reference result of the road surface ⁇ data 24.
  • FIG. 6 is an explanatory diagram of a camera provided in the external environment recognition apparatus 100 shown in FIG.
  • the light L from the imaging targets RE, RS, OB, and WP in the imaging target areas of the left and right cameras 1L and 1R is the polarization filter in the polarization area A1 of the left and right cameras 1L and 1R. Passes through the optical member 12. Then, the light L1 having a predetermined polarization component that has passed through the optical member 12 is collected by the second lens 11b of the first optical member 11, and forms an image on the first imaging region 13a of the imaging element 13.
  • the light L from the imaging targets RE, RS, OB, and WP does not pass through the second optical member 12 that is a polarization filter in the non-polarization region A2 of the left and right cameras 1L and 1R, and the first optical The light is collected by the first lens 11 a and the second lens 11 b of the member 11, and forms an image on the second imaging region 13 b of the imaging device 13. Thereby, the image information P1, P2 of the imaging target region as shown in FIG. 7 is acquired by the left and right cameras 1L, 1R.
  • FIG. 7 is an explanatory diagram of the image information P1, P2 of the shooting target area acquired by the left and right cameras 1L, 1R shown in FIG.
  • Image information P1a on the right side of the image information P1 on the imaging target area of the left camera 1L is based on an image formed on the first imaging area 13a of the imaging element 13 of the left camera 1L in the polarization area A1.
  • the image information P1b in the left area of the image information P1 is based on a video image formed in the second imaging area 13b of the imaging element 13 in the non-polarized area A2 of the left camera 1L.
  • the image information P2a of the left area of the image information P2 of the imaging target area of the right camera 1R is based on the image formed on the first imaging area 13a of the imaging element 13 of the right camera 1R in the polarization area A1.
  • the image information P2b in the right region of the image information P1 is based on a video image formed on the second imaging region 13b of the imaging device 13 in the non-polarized region A2 of the right camera 1L.
  • the polarization area A1 is provided corresponding to the right side of the imaging target area of the left camera 1L and the left side of the imaging target area of 1R of the right camera.
  • the non-polarized area A2 is provided corresponding to the left side of the shooting target area of the left camera 1L and the right side of the shooting target area of the right camera 1R.
  • the area of the polarization region A1 of the left and right cameras 1L and 1R is larger than the area of the non-polarization region A2.
  • FIGS. 8A and 8B are diagrams showing examples of image information P1 and P2 of the shooting target area acquired by the cameras 1L and 1R shown in FIG.
  • the image information P1a and P2a of the region corresponding to the polarization region A1 in which the second optical member 12 is disposed is parallax. Used for processing.
  • the image information P1b and P2b in the area corresponding to the non-polarized area A2 where the second optical member 12 is not disposed corresponds to the polarized area A1.
  • the image information in the same range as the imaging target area of the area image information P1a and P2a is acquired.
  • the optical filters FL and FR may be arranged on the optical path of at least one non-polarization region A2 of the left and right cameras 1L and 1R shown in FIG.
  • at least one of the image information P1b and P2b in the region corresponding to the non-polarized region A2 of the image information P1 and P2 shown in FIG. 8A is the image information based on the light that has passed through the optical filters FL and FR.
  • the optical filters FL and FR for example, a polarizing filter, a near-infrared filter, an ultraviolet filter, or the like that transmits a polarization component different from that of the second optical member 12 can be used.
  • optical filters FL and FR are provided in the non-polarization regions A2 of the left and right cameras 1L and 1R, optical filters with the same optical conditions may be used for the optical filters FL and FR, or different optical conditions may be used.
  • An optical filter may be used.
  • the polarization region A1 in which the second optical member 12 is arranged among the image information P1 and P2 of the left and right cameras 1L and 1R, the polarization region A1 in which the second optical member 12 is arranged.
  • the image information P1a and P2a of the area corresponding to is used for the parallax processing.
  • the image information P1b and P2b in the region corresponding to the non-polarized region A2 where the second optical member 12 is not disposed corresponds to the polarized region A1.
  • the image information of the left half and the image information of the right half of the imaging target area of the image information P1a and P2a of the area are acquired.
  • the external environment recognition apparatus 100 having the above configuration captures an imaging target area in front of the vehicle with the left and right cameras 1L and 1R constituting the stereo camera, and obtains it from the first imaging area 13a of the imaging element 13.
  • the first image information P1a and P2a to be obtained and the second image information P1b and P2b obtained from the second imaging region 13b are compared by the image processing unit 2 to recognize the state of the imaging target region. Therefore, according to the external environment recognition apparatus 100 of the present embodiment, the first image information P1a and P2a and the second image information P1b and P2b that are different in the optical conditions acquired by the left and right cameras 1L and 1R constituting the stereo camera, It becomes possible to recognize the environment outside the vehicle.
  • the cameras 1L and 1R include a polarization region A1 in which the first and second optical members 11 and 12 are disposed on the optical path, and a non-polarization region in which the first optical member 11 is disposed on the optical path.
  • A2 is formed on the first imaging region 13a of the image sensor 13 through the polarization region A1, and the second imaging region 13b is coupled with the image through the non-polarization region A2.
  • the image processing unit 2 includes road surface ⁇ data 24 that records the relationship between the friction coefficient ⁇ of the road surface RS, the first image information P1a and P2a, and the second image information P1b and P2b, and the first image information.
  • the road surface ⁇ data 24 is referred to, and the friction coefficient ⁇ of the road surface RS and the road element RE in the imaging target region is estimated.
  • information is output via the input / output unit 5, a warning is given to the vehicle occupant by the vehicle control system 8, and the vehicle braking control is performed. Or avoidance control for avoiding danger can be performed.
  • Two cameras 1R and 1L are arranged as a left camera 1L and a right camera 1R, and the image processing unit 2 includes first image information P1a obtained by the left camera 1L and a first image obtained by the right camera 1R.
  • the parallax processing of the image information P2a is performed. Thereby, the influence of the reflected light from in-vehicle equipment or glass can be reduced, and the distance to an obstacle OB including a road element RE, a pedestrian, or a cyclist, which is a subject to be photographed in the photographing target region, can be accurately measured. it can.
  • the image information P1a and P2a to be subjected to the parallax processing can be increased, and a more accurate distance measurement can be performed.
  • optical filters FL and FR are arranged on the optical path of at least one non-polarized region A2 of the left and right cameras 1L and 1R, not only the determination of the road surface RS and the road element RE and the estimation of the friction coefficient ⁇ are performed. This makes it possible to perform more diverse recognition of the outside world.
  • a near-infrared filter can be used for the optical filter FL or FR disposed on the optical path of one non-polarized region A2 of the left and right cameras 1L and 1R.
  • the image information through one of the near-infrared filters of the second image information P1b and P2b and the image not through the other near-infrared filter.
  • a near infrared filter, an infrared filter, an ultraviolet filter, or the like can be used as the optical filters FL and FR disposed on the optical path of at least one non-polarized region A2 of the left and right cameras 1L and 1R.
  • the scattering between the ideal image and the actually captured image is made using the fact that the scattering coefficient for each wavelength band of light is different.
  • the coefficient can be estimated.
  • a high quality image can be obtained by performing an inverse operation on the estimated scattering coefficient.
  • by making the optical conditions of the optical filters FL and FR of the left and right cameras 1L and 1R different more various estimations are possible. In this case, not only the polarizing filter but also the fume removal can be performed using a near infrared filter, an infrared filter, and an ultraviolet filter.
  • the first optical member 11 includes first and second lenses 11a and 11b, the first lens 11a and the second optical member 12 are disposed on the optical path of the polarization region A1, and the non-polarization region A2.
  • the first lens 11a and the second lens 11b are arranged on the optical path.
  • the external environment recognition apparatus 100 of the present embodiment it is possible to recognize the environment outside the vehicle by comparing a plurality of images with different optical conditions by the stereo camera.
  • the image information P1b and P2b of the area corresponding to the non-polarized area A2 is stored in the left camera 1L.
  • the image information P1 is arranged on the left side of the image information P1 and on the right side of the image information P2 of the right camera 1R.
  • 9 (a), 9 (b) and 9 (c) show modifications thereof.
  • the polarization areas A1 are provided corresponding to the right and left sides of the imaging target areas of the left and right cameras 1L and 1R.
  • the polarization area A1 is provided corresponding to the upper side of the imaging target areas of the left and right cameras 1L and 1R
  • the non-polarization area A2 is provided corresponding to the lower side of the imaging target areas of the left and right cameras 1L and 1R. May be.
  • the image information P1a and P2a corresponding to the polarization area A1 is arranged above the image information P1 and P2 of the imaging target areas of the left and right cameras 1L and 1R.
  • the image information P1b and P2b corresponding to the non-polarized area A2 is arranged below the image information P1 and P2 of the shooting target areas of the left and right cameras 1L and 1R.
  • the lower area of the image information P1 and P2 is image information of an area approaching the vehicle and is not normally used for parallax processing, so that it is possible to effectively use this area.
  • the polarization area A1 is provided corresponding to the lower side of the imaging target areas of the left and right cameras 1L and 1R
  • the non-polarization area A2 is provided corresponding to the upper side of the imaging target areas of the left and right cameras 1L and 1R. May be.
  • the image information P1a and P2a corresponding to the polarization area A1 is arranged below the image information P1 and P2 of the imaging target areas of the left and right cameras 1L and 1R.
  • the image information P1b and P2b corresponding to the non-polarized area A2 is arranged above the image information P1 and P2 of the shooting target areas of the left and right cameras 1L and 1R.
  • the upper areas of the image information P1 and P2 are image information corresponding to the sky ahead of the vehicle, and are not normally used for parallax processing, so that these areas can be used effectively.
  • the arrangement of the image information P1a and P2a and the image information P1b and P2b shown in FIGS. 7, 9A, and 9B can be appropriately combined.
  • the image information P1a and P2a corresponding to the polarization region A1 are arranged on the lower right side and the left side of the image information P1 and P2 of the left and right cameras 1L and 1R, and the non-polarization region
  • the image information P1b and P2b corresponding to A2 can be arranged on the upper side, the left side and the right side of the image information P1 and P2 of the left and right cameras 1L and 1R.
  • Embodiment 2 of the external recognition apparatus of the present invention will be described with reference to FIGS. 10 to 12 with reference to FIG.
  • FIG. 10 is a block diagram showing a schematic configuration of the image processing unit 2B of the external environment recognition apparatus 100B according to the second embodiment of the present invention.
  • FIG. 11 is an explanatory diagram of the monocular camera 1 provided in the external environment recognition device 100B of the present embodiment.
  • FIG. 12 is a diagram illustrating an image of the imaging target area acquired by the monocular camera 1 provided in the external environment recognition device 100B of the present embodiment.
  • the external environment recognition device 100B of the present embodiment does not include a stereo camera composed of left and right cameras 1L and 1R, but includes one monocular camera 1 having the same configuration as the left camera 1L or the right camera 1R shown in FIG. This is different from the external environment recognition apparatus 100 of the first embodiment. Further, the image processing unit 2B included in the external environment recognition device 100B of the present embodiment includes an object recognition processing unit 22B instead of the parallax processing unit 22. Since the other points are the same, the same parts are denoted by the same reference numerals and description thereof is omitted.
  • the monocular camera 1 provided in the external environment recognition device 100 ⁇ / b> B of the present embodiment forms a first image of the imaging target region on each of the first and second imaging regions 13 a and 13 b of the imaging device 13.
  • 1 optical member 11 is provided.
  • the monocular camera 1 also includes a second optical member 12 that allows light of different optical conditions to pass through each of the first and second imaging regions 13a and 13b of the imaging device 13.
  • the first optical member 11 includes a plurality of first lenses 11a. In the present embodiment, for example, two first lenses 11 a and 11 a are arranged on both sides of the second optical member 12 in the y direction.
  • the imaging element 13 includes second imaging regions 13b on both sides in the y direction of the first imaging region 13a.
  • the external environment recognition apparatus 100B having the above configuration captures an imaging target area in front of the vehicle with the monocular camera 1, and recognizes the imaging targets RE, RS, OB, and WP by the object recognition processing means 22B of the image processing unit 2B. Then, as shown in FIG. 12, the first image information P1a obtained from the first imaging area 13a and the second image information P1b obtained from the second imaging area are compared in the same manner as in the first embodiment. Then, the state of the imaging target area is recognized. Therefore, according to the external environment recognition device 100B of the present embodiment, the first image information P1a and the second image information P1b obtained by the monocular camera 1 with different optical conditions are the same as the external environment recognition device 100 of the first embodiment. It becomes possible to recognize the environment outside the vehicle.
  • FIG. 13 is an explanatory diagram of the estimation and learning of the road surface friction coefficient using the road surface ⁇ data 24.
  • FIG. 13 and Table 1 below describe a mechanism for learning a road surface ⁇ estimation dictionary (hereinafter referred to as road surface ⁇ data 24) necessary for estimating a road surface friction coefficient ⁇ (hereinafter also referred to as road surface ⁇ ). Yes.
  • road surface ⁇ data 24 a road surface ⁇ estimation dictionary
  • road surface ⁇ road surface friction coefficient ⁇
  • the process for learning the road surface ⁇ data 24 for recognizing a specific pattern in an image is as follows. First, as shown in FIG. 13, for example, image / original signals S1, S2,... Such as first image information P1a, P2b and second image information P1b, P2b are stored in the road surface ⁇ data 24. In addition to various parameters, various vector operations, matrix operations, autocorrelation operations, convolution operations, and other operations OP are performed, and the result of determining what the unknown pattern category is is output to verify its correctness . Automatic differentiation (AD) is a basic numerical operation system that supports this calculation process.
  • AD Automatic differentiation
  • v is the place where the function value is stored.
  • AD number represented by the above formula (1)
  • various calculations are performed based on the AD number.
  • Table 1 The detailed process of various operations is shown in Table 1.
  • the recognition dictionary parameter adjustment by the learning process can be flexibly configured according to the purpose and situation.
  • a plurality of images such as an image with a polarization filter and an image without a polarization filter, such as the first image information P1a and P2b and the second image information P1b and P2b, are converted into the original signals S1, Treat as S2, ...
  • what kind of situation it is, for example, whether it is a wet road surface, an icy road surface, a snow surface, or dirt on the road surface that is misleading to be wet, and the situation
  • the measured value of the road surface ⁇ value at is attached as correct answer information.
  • the process of automatically calculating the discrimination result and the process of calculating the gap between the correct answer information can all be written as a program including conditional branches such as an if statement and arithmetic operations.
  • the automatic differentiation mechanism that can process the value calculation and the partial differential function value calculation at the same time is useful.
  • the target numerical value for example, the estimated value of the road surface ⁇
  • the partial differential function value for the parameter used in the calculation is obtained simultaneously. .
  • the method of finely adjusting parameters as described above is called the gradient method.
  • the partial differential function value of the target function is required.
  • the road surface ⁇ estimation an image without a polarization filter and an image with a polarization filter and road surface correct information for the image are input, and the road surface for the input image is referred to with reference to the parameters described in the recognition dictionary (road surface ⁇ data 24).
  • the objective function is to calculate the ⁇ value and minimize the error between it and the correct answer.
  • This goal function is often changed by learning situations. For example, when other filters (infrared rays, ultraviolet filters, etc.) are used in addition to the polarizing filter, the number of input images increases to three or more. Even if such a condition change is made, if automatic differentiation is used, the calculation value and parameters of the function can be obtained simply by writing the objective function as a program, so that learning by the gradient method can be easily performed.
  • the case where a lens is used as the first optical member has been described, but other optical members including a mirror, a prism, and a beam splitter may be used as the first optical member.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

　１つの単眼カメラまたはステレオカメラによって光学条件が異なる複数の画像を比較して車外環境を認識することが可能な外界認識装置を提供する。　車両に搭載されて車両前方の撮影対象領域の画像情報を取得するカメラ１Ｌ，１Ｒは、第１および第２の撮像領域１３ａ，１３ｂを有する撮像素子１３と、第１および第２の撮像領域１３ａ，１３ｂのそれぞれに撮影対象領域の映像を結像させる第１の光学部材１１と、第１および第２の撮像領域１３ａ，１３ｂのそれぞれに対して異なる光学条件の光を通過させる第２の光学部材１２（例えば偏光フィルタ）とを備える。画像処理部２は、第１の撮像領域１３ａから得られる第１の画像情報と、第２の撮像領域１３ｂから得られる第２の画像情報とを比較して、撮影対象領域の状態（例えば路面の摩擦係数）を認識する。

Description

外界認識装置
　本発明は、車載用の外界認識装置に係り、例えば撮像素子の画像情報に基づいて車外環境を認識する装置に関する。
　従来から車両に搭載され、車両の前方の状況を認識するステレオカメラ装置等の外界認識装置が知られている。例えば、近距離から遠距離までのワイドレンジの被写体までの距離を精度良く測定すると共に近距離においても広角レンズで広い視野を確保するステレオカメラ装置およびそれを用いた車外監視装置が開示されている（下記特許文献１を参照）。
　特許文献１に記載のステレオカメラ装置は、近距離用および遠距離用の２つのステレオ画像を得るために左右に配置される第１および第２の撮像部と、遠距離用の画像を処理する第１のカメラ制御部と、近距離用の画像を処理する第２のカメラ制御部とを備えている。
　第１の撮像部は、遠距離用の第１の撮像レンズと、近距離用の第２の撮像レンズと、近距離用および遠距離用のそれぞれの撮像領域を有する撮像素子と、各撮像レンズと撮像素子との間に配置されるプリズムおよび偏光ビームスプリッタとを備えている。同様に、第２の撮像部は、遠距離用の第３の撮像レンズと、近距離用の第２の撮像レンズと、近距離用および遠距離用のそれぞれの撮像領域を有する撮像素子と、各撮像レンズと撮像素子との間に配置されたプリズムおよび偏光ビームスプリッタとを備えている。
　各撮像部のプリズムおよび偏光ビームスプリッタは、遠距離用の撮像レンズを透過した光のうち、Ｓ偏光成分の光だけを撮像素子の遠距離用の撮像領域に通過させる。また、近距離用の撮像レンズを透過した光のうち、Ｐ偏光成分だけを撮像素子の近距離用の撮像領域に通過させる。これにより、第１のカメラ制御部は、各撮像部の撮像素子の遠距離用の撮像領域で撮像された遠距離の被写体の右の画像と左の画像を１枚の画像として合成する。同様に、第２のカメラ制御部は、各撮像部の撮像素子の近距離用の撮像領域で撮像された近距離の被写体の右の画像と左の画像を１枚の画像として合成する。
特開昭２０１０－２６１８７７号公報
　特許文献１に記載のステレオカメラ装置は、偏光成分の異なる遠距離の被写体のステレオ画像と近距離の被写体のステレオ画像とを同時に得ることができるが、それぞれの画像で被写体の距離が異なるため、これらの画像を比較して撮影対象領域の状態を認識することは困難である。
　本発明は、前記課題に鑑みてなされたものであり、光学条件が異なる複数の画像を比較して車外環境を認識することが可能な外界認識装置を提供することを目的とする。
　前記目的を達成すべく、本発明の外界認識装置は、車両に搭載されて車両前方の撮影対象領域の画像情報を取得するカメラと、該画像情報を処理する画像処理部とを備えた外界認識装置であって、前記カメラは、第１および第２の撮像領域を有する撮像素子と、前記第１および第２の撮像領域のそれぞれに前記撮影対象領域の映像を結像させる第１の光学部材と、前記第１および第２の撮像領域のそれぞれに対して異なる光学条件の光を通過させる第２の光学部材とを備え、前記画像処理部は、前記第１の撮像領域から得られる第１の画像情報と、前記第２の撮像領域から得られる第２の画像情報とを比較して、前記撮影対象領域の状態を認識することを特徴とする。
　本発明の外界認識装置によれば、光学条件が異なる複数の画像を比較して車外環境を認識することができる。本発明のその他の課題および効果は、以下の実施の形態により明らかにされる。
本発明の実施形態１に係る外界認識装置を備える車載システムの概略構成を示すブロック図。 図１に示す外界認識装置の画像処理部の概略構成を示すブロック図。 図１に示す外界認識装置のカメラの配置と座標系を示す図。 図１に示す外界認識装置のカメラの撮影対象領域を示す図。 （ａ）は偏光フィルタを通した撮影対象領域の画像を示す図、（ｂ）は偏光フィルタを通さない撮影対象領域の画像を示す図。 図１に示す外界認識装置が備えるカメラの説明図。 図６に示すカメラによって取得される撮影対象領域の画像の説明図。 （ａ）および（ｂ）は、図６に示すカメラによって取得される撮影対象領域の画像の一例を示す図。 （ａ）から（ｃ）は、図７に示す撮影対象領域の画像の変形例を示す図。 本発明の実施形態２に係る外界認識装置の画像処理部の概略構成を示すブロック図。 本発明の実施形態２に係る外界認識装置が備えるカメラの説明図。 本発明の実施形態２に係る外界認識装置が備えるカメラによって取得される撮影対象領域の画像を示す図。 撮影対象領域の画像に基づく路面摩擦係数の推定および学習の説明図。
　以下、図面を参照して本発明の外界認識装置の実施の形態について説明する。
[実施形態１]
　図１は、本発明の実施形態１に係る外界認識装置１００を備える車載システムの概略構成を示すブロック図である。図２は、図１に示す外界認識装置１００の画像処理部２の概略構成を示すブロック図である。
　本実施形態の外界認識装置１００は、車両に搭載され、車両前方の撮影対象領域の画像情報に基づいて車外環境を認識する装置である。外界認識装置１００は、例えば、路面の濡れ、積雪および模様の識別、歩行者、サイクリストおよび動物と背景との識別、または降雪、降雨、煙霧等の悪天候下における画像処理等に用いられる。
　外界認識装置１００は、画像情報を取得する左右に配置された２つのカメラ１Ｌ、１Ｒと、該画像情報を処理する画像処理部２とを備えている。左カメラ１Ｌおよび右カメラ１Ｒは、それぞれ、第１の光学部材１１と、第２の光学部材１２と、撮像素子１３とを備えている。撮像素子１３は、カメラ１Ｌ，１Ｒの撮影対象領域の映像を画像情報に変換する第１の撮像領域１３ａおよび第２の撮像領域１３ｂを有している。
　第１の光学部材１１は、カメラ１Ｌ，１Ｒの光路上に隣接して配置された第１のレンズ１１ａと第２のレンズ１１ｂにより構成されている。第１のレンズ１１ａは第２のレンズ１１ｂの一部と光路上で重なるように配置されている。なお、本実施形態において、第１のレンズ１１ａと第２のレンズ１１ｂとは別の部材とされているが、第１のレンズ１１ａと第２のレンズ１１ｂを一体的に形成して第１の光学部材１１を一部材としてもよい。
　第２の光学部材１２は、例えば偏光フィルタであり、所定の偏光成分の光を選択的に透過させる光学フィルタである。第２の光学部材１２は、第１の撮像領域１３ａの光路上に配置され、第２の撮像領域１３ｂの光路上には配置されないことで、第１の撮像領域１３ａに所定の偏光成分の光Ｌ１を通過させ、第２の撮像領域１３ｂに無偏光の光Ｌ２を通過させる。すなわち、第２の光学部材１２は、第１および第２の撮像領域１３ａ，１３ｂのそれぞれに対して異なる光学条件の光Ｌ１，Ｌ２を通過させる。
　第１の光学部材１１は、第２の光学部材１２を透過した所定の偏光成分の光を第２のレンズ１１ｂに入射させ、撮像素子１３の第１の撮像領域１３ａに撮影対象領域の映像を結像させる。また、第１の光学部材１１は、第２の光学部材１２を透過しない無偏光の光を、第１のレンズ１１ａおよび第２のレンズ１１ｂに入射させ、撮像素子１３上の第２の撮像領域１３ｂに撮影対象領域の映像を結像させる。
　すなわち、本実施形態のカメラ１Ｌ，１Ｒは、第１および第２の光学部材１１，１２が光路上に配置された偏光領域Ａ１と、第１の光学部材１１のみが光路上に配置された無偏光領域Ａ２とを有している。また、カメラ１Ｌ，１Ｒは、第１の撮像領域１３ａには、偏光領域Ａ１を介して撮影対象領域の映像を結像させ、第２の撮像領域１３ｂには、無偏光領域Ａ２を介して撮影対象領域の映像を結像させる。
　画像処理部２は、カメラ１Ｌ，１Ｒの撮像素子１３，１３の第１の撮像領域１３ａ，１３ａから得られる第１の画像情報と、カメラ１Ｌ，１Ｒの撮像素子１３，１３の第２の撮像領域１３ｂ，１３ｂから得られる第２の画像情報とを比較して、カメラ１Ｌ，１Ｒの撮影対象領域の状態を認識する。以下、画像処理部２について詳細に説明する。
　画像処理部２は、ステレオカメラの左カメラ１Ｌ、右カメラ１Ｒとして配置された２つのカメラ１の撮像素子１３，１３に接続され、図２に示すように、画像処理手段２１と、視差処理手段２２と、路面推定手段２３と、路面μデータ２４とを備えている。各手段は、例えば単一または複数のコンピュータユニットにより構成され、相互にデータを交換可能に構成されている。
　画像処理部２は、左右のカメラ１Ｌ，１Ｒの撮像素子１３，１３の第１の撮像領域１３ａ，１３ａから出力された信号を、画像処理手段２１によって、第１の画像情報に変換する画像処理を行う。第１の画像情報は、左右のカメラ１Ｌ，１Ｒのそれぞれの偏光領域Ａ１を介して撮像素子１３の第１の撮像領域１３ａに結像した撮影対象領域の映像に基づく画像情報であり、第２の光学部材１２すなわち偏光フィルタを介した画像情報である。
　画像処理部２は、バス６を介して制御部３、記憶部４および入出力部５に接続されている。制御部３は、画像処理部２、記憶部４および入出力部５を制御する単一または複数のコンピュータユニットにより構成されている。記憶部４は、例えば画像処理部２によって得られた画像情報等を記憶するメモリ等により構成されている。入出力部５は、外界認識装置１００から出力された情報を、ＣＡＮ７を介して自車両の制御システム８に出力する。制御システム８は、外界認識装置１００の情報に基づいて、例えば、乗員に警告を発し、自車両の制動を行い、または対象物の回避制御を行うことができる。
　画像処理部２は、左右のカメラ１Ｌ，１Ｒの撮像素子１３，１３の第２の撮像領域１３ｂ，１３ｂから出力された信号を、画像処理手段２１によって、第２の画像情報に変換する画像処理を行う。第２の画像情報は、左右のカメラ１Ｌ，１Ｒのそれぞれの無偏光領域Ａ２を介して撮像素子１３の第２の撮像領域１３ｂに結像した撮影対象領域の映像に基づく画像情報であり、第２の光学部材１２すなわち偏光フィルタを介さない画像情報である。
　図３は、図１に示す外界認識装置１００のカメラ１Ｌ，１Ｒの配置と座標系を示す図である。外界認識装置１００は、左右のカメラ１Ｌ，１Ｒの中間点を原点ｏとし、水平方向（車幅方向）をｘ軸、鉛直方向をｙ軸、自車進行方向をｚ軸とするｘｙｚ直交座標系を用いている。左右のカメラ１Ｌ，１Ｒはそれぞれ、ｚ軸に平行な中心線ｃ１，ｃ２に対称な所定の角度範囲αを撮影対象領域としている。
　画像処理部２は、画像処理手段２１によって得られた左右のカメラ１Ｌ，１Ｒの第２の光学部材１２を介した映像に基づく第１の画像情報同士の視差処理を、視差処理手段２２によって行う。すなわち、外界認識装置１００は、視差処理手段２２によって、左カメラ１Ｌの撮影対象領域の第１の画像情報と、右カメラ１Ｒの撮影対象領域の第１の画像情報との間で、撮影対象領域内の同一の点の視差処理を行って、三角測量の原理で撮影対象領域内の各点までの距離を求めることができる構成となっている。
　画像処理部２は、路面の摩擦係数μを推定する路面推定手段２３と、路面μ推定辞書としての路面μデータ２４とを備えている。路面推定手段２３は、画像処理手段２１によって得られた第２の光学部材１２を介した撮影対象領域の映像に基づく第１の画像情報と、第２の光学部材１２を介さない撮影対象領域の映像に基づく第２の画像情報とを取得する。路面μデータ２４には、路面推定手段２３の演算および学習に基づく、第１の画像情報、第２の画像情報および路面の摩擦係数μの関係が記録されている。路面推定手段２３は画像処理手段２１から取得した第１および第２の画像情報に基づいて、前記路面μデータ２４を参照し、撮影対象領域内の路面の摩擦係数μを推定する。路面推定手段２３と路面μデータ２４の演算および学習についての詳細は後述する。
　図４は、左カメラ１Ｌの撮影対象領域の画像情報Ｐ１と、右カメラ１Ｒの撮影対象領域の画像情報Ｐ２との関係を示す図である。ステレオカメラでは、通常、左カメラ１Ｌの撮影対象領域の画像情報Ｐ１と、右カメラ１Ｒの撮影対象領域の画像情報Ｐ２とが重複する領域において視差処理を行っている。すなわち、左カメラ１Ｌの画像情報Ｐ１の右側の領域の画像情報Ｐ１ａと、右カメラ１Ｒの画像情報Ｐ２の左側の領域の画像情報Ｐ２ａには、立体視する撮影対象が撮像される。一方、左カメラ１Ｌの画像情報Ｐ１の左側の領域の画像情報Ｐ１ｂと、右カメラ１Ｒの画像情報Ｐ２の右側の領域の画像情報Ｐ２ｂは視差処理が行われず、立体視には用いられない。なお、左右のカメラ１Ｌ，１Ｒの撮影対象は、例えば、路面ＲＳ、路面ＲＳ上の水、氷、雪またはオイル等の路上要素ＲＥ、歩行者およびサイクリストを含む障害物ＯＢ、または降雨、降雪、煙霧等の気象現象ＷＰ等を含む。
　図５は、路面の摩擦係数の推定についての説明図であり、（ａ）は偏光フィルタを通した光に基づく撮影対象領域の画像情報ＰＡ１を示す図であり、（ｂ）は偏光フィルタを通していない光に基づく撮影対象領域の画像情報ＰＡ２を示す図である。路面推定手段２３は、図５（ａ）に示す偏光フィルタを通した撮影対象領域の画像情報ＰＡ１の路上要素ＲＥおよび路面ＲＳと、図５（ｂ）に示す偏光フィルタを通した撮影対象領域の画像情報ＰＡ１の路上要素ＲＥおよび路面ＲＳとに基づき、路面μデータ２４を参照する。そして、路面推定手段２３は、路面μデータ２４の参照結果に基づいて、路面ＲＳおよび路上要素ＲＥにおける路面の摩擦係数μを推定する。
　図６は、図１に示す外界認識装置１００が備えるカメラの説明図である。前記したように、左右のカメラ１Ｌ，１Ｒの撮影対象領域内の撮像対象ＲＥ，ＲＳ，ＯＢ，ＷＰからの光Ｌは、左右のカメラ１Ｌ，１Ｒの偏光領域Ａ１において、偏光フィルタである第２の光学部材１２を通過する。そして、光学部材１２を通過した所定の偏光成分の光Ｌ１が、第１の光学部材１１の第２のレンズ１１ｂによって集光され、撮像素子１３の第１の撮像領域１３ａに結像する。また、撮像対象ＲＥ，ＲＳ，ＯＢ，ＷＰからの光Ｌは、左右のカメラ１Ｌ，１Ｒの無偏光領域Ａ２において、偏光フィルタである第２の光学部材１２を通過することなく、第１の光学部材１１の第１のレンズ１１ａおよび第２のレンズ１１ｂによって集光され、撮像素子１３の第２の撮像領域１３ｂに結像する。これにより、左右のカメラ１Ｌ，１Ｒによって、図７に示すような撮像対象領域の画像情報Ｐ１，Ｐ２が取得される。
　図７は、図６に示す左右のカメラ１Ｌ，１Ｒによって取得される撮影対象領域の画像情報Ｐ１，Ｐ２の説明図である。左カメラ１Ｌの撮影対象領域の画像情報Ｐ１の右側の領域の画像情報Ｐ１ａは、偏光領域Ａ１において、左カメラ１Ｌの撮像素子１３の第１の撮像領域１３ａに結像した映像に基づいている。また、画像情報Ｐ１の左側の領域の画像情報Ｐ１ｂは、左カメラ１Ｌの無偏光領域Ａ２において、撮像素子１３の第２の撮像領域１３ｂに結像した映像に基づいている。同様に、右カメラ１Ｒの撮影対象領域の画像情報Ｐ２の左側の領域の画像情報Ｐ２ａは、偏光領域Ａ１において、右カメラ１Ｒの撮像素子１３の第１の撮像領域１３ａに結像した映像に基づいている。また、画像情報Ｐ１の右側の領域の画像情報Ｐ２ｂは、右カメラ１Ｌの無偏光領域Ａ２において、撮像素子１３の第２の撮像領域１３ｂに結像した映像に基づいている。
　図６および図７に示す例において、前記したように、偏光領域Ａ１は、左カメラ１Ｌの撮影対象領域の右側と、右カメラの１Ｒの撮影対象領域の左側に対応して設けられている。また、無偏光領域Ａ２は、左カメラ１Ｌの撮影対象領域の左側と、右カメラ１Ｒの撮影対象領域の右側に対応して設けられている。また、左右のカメラ１Ｌ，１Ｒの偏光領域Ａ１の面積は、無偏光領域Ａ２の面積よりも大きくなっている。
　図８（ａ）および（ｂ）は、図６に示すカメラ１Ｌ，１Ｒによって取得される撮影対象領域の画像情報Ｐ１，Ｐ２の一例を示す図である。図８（ａ）に示す例では、左右のカメラ１Ｌ，１Ｒの画像情報Ｐ１，Ｐ２のうち、第２の光学部材１２が配置された偏光領域Ａ１に対応する領域の画像情報Ｐ１ａ，Ｐ２ａを視差処理に用いている。また、左右のカメラ１Ｌ，１Ｒの画像情報Ｐ１，Ｐ２のうち、第２の光学部材１２が配置されていない無偏光領域Ａ２に対応する領域の画像情報Ｐ１ｂおよびＰ２ｂでは、偏光領域Ａ１に対応する領域の画像情報Ｐ１ａ，Ｐ２ａの撮影対象領域と同一範囲の画像情報を取得している。
　なお、図６に示す左右のカメラ１Ｌ，１Ｒの少なくとも一方の無偏光領域Ａ２の光路上に光学フィルタＦＬ，ＦＲを配置してもよい。この場合、図８（ａ）に示す、画像情報Ｐ１，Ｐ２の無偏光領域Ａ２に対応する領域の画像情報Ｐ１ｂおよびＰ２ｂの少なくとも一方が、光学フィルタＦＬ，ＦＲを通した光に基づく画像情報となる。光学フィルタＦＬ，ＦＲとしては、例えば、第２の光学部材１２と異なる偏光成分を通過させる偏光フィルタ、近赤外フィルタ、または紫外フィルタ等を用いることができる。なお、左右のカメラ１Ｌ，１Ｒの無偏光領域Ａ２に、それぞれ光学フィルタＦＬ，ＦＲを設ける場合には、光学フィルタＦＬ，ＦＲに同じ光学条件の光学フィルタを用いてもよいし、異なる光学条件の光学フィルタを用いてもよい。
　図８（ｂ）に示す例では、図８（ａ）に示す例と同様に、左右のカメラ１Ｌ，１Ｒの画像情報Ｐ１，Ｐ２のうち、第２の光学部材１２が配置された偏光領域Ａ１に対応する領域の画像情報Ｐ１ａ，Ｐ２ａを視差処理に用いている。一方、左右のカメラ１Ｌ，１Ｒの画像情報Ｐ１，Ｐ２のうち、第２の光学部材１２が配置されていない無偏光領域Ａ２に対応する領域の画像情報Ｐ１ｂおよびＰ２ｂでは、偏光領域Ａ１に対応する領域の画像情報Ｐ１ａ，Ｐ２ａの撮影対象領域の左半分の画像情報と右半分の画像情報を取得している。
　以上の構成を有する外界認識装置１００は、前記したように、ステレオカメラを構成する左右のカメラ１Ｌ，１Ｒによって車両前方の撮影対象領域を撮影し、撮像素子１３の第１の撮像領域１３ａから得られる第１の画像情報Ｐ１ａ，Ｐ２ａと、第２の撮像領域１３ｂから得られる第２の画像情報Ｐ１ｂ，Ｐ２ｂを、画像処理部２によって比較して、撮影対象領域の状態を認識する。したがって、本実施形態の外界認識装置１００によれば、ステレオカメラを構成する左右のカメラ１Ｌ，１Ｒによって取得した光学条件が異なる第１の画像情報Ｐ１ａ，Ｐ２ａと第２の画像情報Ｐ１ｂ，Ｐ２ｂとを比較して、車外環境を認識することが可能になる。
　具体的には、カメラ１Ｌ，１Ｒは、第１および第２の光学部材１１，１２が光路上に配置された偏光領域Ａ１と、第１の光学部材１１が光路上に配置された無偏光領域Ａ２とを有し、撮像素子１３の第１の撮像領域１３ａには、偏光領域Ａ１を介した映像を結像させ、第２の撮像領域１３ｂには、無偏光領域Ａ２を介した映像を結像させる。このようにして、偏光フィルタを介した第１の画像情報Ｐ１ａ，Ｐ２ａと、偏光フィルタを介していない第２の画像情報Ｐ１ｂ，Ｐ２ｂを比較することで、路面ＲＳ上の水、氷、積雪、オイル等の路上要素ＲＥと、路面ＲＳ上の模様とを判別し、路面ＲＳおよび路上要素ＲＥの摩擦係数μを推定することが可能になる。
　すなわち、画像処理部２は、路面ＲＳの摩擦係数μと第１の画像情報Ｐ１ａ，Ｐ２ａと第２の画像情報Ｐ１ｂ，Ｐ２ｂとの関係を記録した路面μデータ２４を備え、第１の画像情報Ｐ１ａ，Ｐ２ａと第２の画像情報Ｐ１ｂ，Ｐ２ｂとに基づいて路面μデータ２４を参照し、撮影対象領域内の路面ＲＳおよび路上要素ＲＥの摩擦係数μを推定する。これにより、摩擦係数μの低い路面ＲＳおよび路上要素ＲＥを認識した場合に、入出力部５を介して情報を出力し、車両の制御システム８によって車両の乗員に警告を発し、車両の制動制御を行い、または危険を回避する回避制御を行うことができる。
　また、２つのカメラ１Ｒ，１Ｌが左カメラ１Ｌおよび右カメラ１Ｒとして配置され、画像処理部２は、左カメラ１Ｌによって得られた第１の画像情報Ｐ１ａと、右カメラ１Ｒによって得られた第１の画像情報Ｐ２ａの視差処理を行っている。これにより、車内設備やガラス等による反射光の影響を低減し、撮影対象領域の撮影対象である例えば路上要素ＲＥ、歩行者またはサイクリストを含む障害物ＯＢ等までの距離を正確に測定することができる。また、偏光領域Ａ１の面積を、無偏光領域Ａ２の面積よりも大きくすることで、視差処理を行う画像情報Ｐ１ａ，Ｐ２ａを増加させ、より正確な距離の測定が可能になる。
　さらに、左右のカメラ１Ｌ，１Ｒの少なくとも一方の無偏光領域Ａ２の光路上に光学フィルタＦＬ，ＦＲが配置される場合には、路面ＲＳおよび路上要素ＲＥの判別および摩擦係数μの推定だけでなく、より多様な外界認識を行うことが可能になる。
　例えば、左右のカメラ１Ｌ，１Ｒの一方の無偏光領域Ａ２の光路上に配置される光学フィルタＦＬまたはＦＲに近赤外フィルタを用いることができる。この場合、例えば図８（ａ）に示す例において、第２の画像情報Ｐ１ｂ，Ｐ２ｂのいずれか一方の近赤外フィルタを介した画像情報と、もう一方の近赤外フィルタを介していない画像情報とを比較して歩行者、サイクリスト、動物等の検知と衝突防止機能の高度化および高精度化を実現することができる。
　また、左右のカメラ１Ｌ，１Ｒの少なくとも一方の無偏光領域Ａ２の光路上に配置される光学フィルタＦＬ，ＦＲとして、近赤外フィルタ、赤外フィルタ、紫外フィルタ等を用いることができる。この場合、例えば、降雨、降雪、煙霧等の悪天候環境下において、光の波長帯ごとの散乱係数が相違することを利用して、理想的な画像と実際に撮像された画像との間の散乱係数を推定することができる。さらに、推定した散乱係数に対する逆演算を施すことで、高品質の画像を得ることが可能になる。また、左右のカメラ１Ｌ，１Ｒの光学フィルタＦＬ，ＦＲの光学条件を異ならせることで、より多様な推定が可能になる。この場合には、偏光フィルタだけでなく、近赤外フィルタ、赤外フィルタ、紫外フィルタを用いて煙霧除去を行うことができる。
　また、第１の光学部材１１は、第１および第２のレンズ１１ａ，１１ｂを備え、偏光領域Ａ１の光路上に第１のレンズ１１ａおよび第２の光学部材１２が配置され、無偏光領域Ａ２の光路上に第１のレンズ１１ａおよび第２のレンズ１１ｂが配置されている。このような構成を採用することで、カメラ１Ｌ，１Ｒの製造を容易にして、製造コストを低減することができる。
　以上説明したように、本実施形態の外界認識装置１００によれば、ステレオカメラによって光学条件が異なる複数の画像を比較して車外環境を認識することができる。
　なお、本実施形態の外界認識装置１００では、図６、図７、図８（ａ）および（ｂ）に示すように、無偏光領域Ａ２に対応する領域の画像情報Ｐ１ｂ，Ｐ２ｂを左カメラ１Ｌの画像情報Ｐ１の左側と右カメラ１Ｒの画像情報Ｐ２の右側に配置する構成としたが、必ずしもこの構成に限定されない。図９（ａ）、（ｂ）および（ｃ）にその変形例を示す。
　図６に示す例において、偏光領域Ａ１は左右のカメラ１Ｌ，１Ｒの撮影対象領域の右側および左側に対応して設けられている。しかし、偏光領域Ａ１は、左右のカメラ１Ｌ，１Ｒの撮影対象領域の上側に対応して設けられ、無偏光領域Ａ２は、左右のカメラ１Ｌ，１Ｒの撮影対象領域の下側に対応して設けられてもよい。
　これにより、図９（ａ）に示すように、偏光領域Ａ１に対応する画像情報Ｐ１ａ，Ｐ２ａが左右のカメラ１Ｌ，１Ｒの撮影対象領域の画像情報Ｐ１，Ｐ２の上側に配置される。一方、無偏光領域Ａ２に対応する画像情報Ｐ１ｂ，Ｐ２ｂは、左右のカメラ１Ｌ，１Ｒの撮影対象領域の画像情報Ｐ１，Ｐ２の下側に配置される。画像情報Ｐ１，Ｐ２の下側の領域は、車両に接近した領域の画像情報であり、通常は視差処理に用いられないため、この領域を有効に活用することが可能になる。
　また、偏光領域Ａ１は、左右のカメラ１Ｌ，１Ｒの撮影対象領域の下側に対応して設けられ、無偏光領域Ａ２は、左右のカメラ１Ｌ，１Ｒの撮影対象領域の上側に対応して設けられてもよい。これにより、図９（ｂ）に示すように、偏光領域Ａ１に対応する画像情報Ｐ１ａ，Ｐ２ａが左右のカメラ１Ｌ，１Ｒの撮影対象領域の画像情報Ｐ１，Ｐ２の下側に配置される。一方、無偏光領域Ａ２に対応する画像情報Ｐ１ｂ，Ｐ２ｂは、左右のカメラ１Ｌ，１Ｒの撮影対象領域の画像情報Ｐ１，Ｐ２の上側に配置される。画像情報Ｐ１，Ｐ２の上側の領域は、車両前方の空に対応する画像情報であり、通常は視差処理に用いられないため、この領域を有効に活用することが可能になる。
　また、図７、図９（ａ）および図９（ｂ）に示す画像情報Ｐ１ａ，Ｐ２ａおよび画像情報Ｐ１ｂ，Ｐ２ｂの配置は、適宜組み合わせることができる。例えば、図９（ｃ）に示すように、偏光領域Ａ１に対応する画像情報Ｐ１ａ，Ｐ２ａを左右のカメラ１Ｌ，１Ｒの画像情報Ｐ１，Ｐ２の下側の右側および左側に配置し、無偏光領域Ａ２に対応する画像情報Ｐ１ｂ，Ｐ２ｂを左右のカメラ１Ｌ，１Ｒの画像情報Ｐ１，Ｐ２の上側と、左側および右側に配置することができる。これにより、通常は視差処理に用いられない領域を有効に活用することが可能になる。
[実施形態２]
　次に、本発明の外界認識装置の実施形態２について、図１を援用し、図１０から図１２を用いて説明する。
　図１０は、本発明の実施形態２に係る外界認識装置１００Ｂの画像処理部２Ｂの概略構成を示すブロック図である。図１１は、本実施形態の外界認識装置１００Ｂが備える単眼カメラ１の説明図である。図１２は、本実施形態の外界認識装置１００Ｂが備える単眼カメラ１によって取得される撮影対象領域の画像を示す図である。
　本実施形態の外界認識装置１００Ｂは、左右のカメラ１Ｌ，１Ｒからなるステレオカメラを備えず、図１に示す左カメラ１Ｌまたは右カメラ１Ｒと同様の構成の１つの単眼カメラ１を備える点で、実施形態１の外界認識装置１００と異なっている。また、本実施形態の外界認識装置１００Ｂが備える画像処理部２Ｂは、視差処理手段２２に代えて、物体認識処理手段２２Ｂを備えている。その他の点は同一であるので、同一の部分は同一の符号を付して説明は省略する。
　本実施形態の外界認識装置１００Ｂが備える単眼カメラ１は、図１１に示すように、撮像素子１３の第１および第２の撮像領域１３ａ，１３ｂのそれぞれに撮影対象領域の映像を結像させる第１の光学部材１１を備えている。また、単眼カメラ１は、撮像素子１３の第１および第２の撮像領域１３ａ，１３ｂのそれぞれに対して異なる光学条件の光を通過させる第２の光学部材１２を備えている。第１の光学部材１１は複数の第１のレンズ１１ａを備えている。本実施形態においては、例えば２つの第１のレンズ１１ａ，１１ａが第２の光学部材１２のｙ方向両側に配置されている。また、撮像素子１３は、第１の撮像領域１３ａのｙ方向両側にそれぞれ第２の撮像領域１３ｂを備えている。
　以上の構成を有する外界認識装置１００Ｂは、単眼カメラ１によって車両前方の撮影対象領域を撮影し、画像処理部２Ｂの物体認識処理手段２２Ｂによって、撮像対象ＲＥ，ＲＳ，ＯＢ，ＷＰを認識する。そして、図１２に示すように、第１の撮像領域１３ａから得られる第１の画像情報Ｐ１ａと、第２の撮像領域から得られる第２の画像情報Ｐ１ｂとを、実施形態１と同様に比較して、撮影対象領域の状態を認識する。したがって、本実施形態の外界認識装置１００Ｂによれば、実施形態１の外界認識装置１００と同様に、単眼カメラ１によって取得した光学条件が異なる第１の画像情報Ｐ１ａと第２の画像情報Ｐ１ｂとを比較して、車外環境を認識することが可能になる。
[路面摩擦係数の推定および学習]
　最後に、前述した実施形態１及び２に共通する撮影対象領域の第１の画像情報Ｐ１ａ，Ｐ２ｂおよび第２の画像情報Ｐ１ｂ，Ｐ２ｂに基づく路面摩擦係数の推定および学習について説明する。図１３は、路面μデータ２４を用いた路面摩擦係数の推定および学習の説明図である。図１３および以下の表１は、路面の摩擦係数μ（以下、路面μともいう）の推定に必要となる路面μ推定辞書（以下、路面μデータ２４という）を学習するための仕組みを述べている。ここでは、自動微分を使った学習手法について主に説明する。
Figure JPOXMLDOC01-appb-T000001
　一般に、画像中の特定パタンを認識するための路面μデータ２４を学習する場合の過程は次のようになる。まず、図１３に示すように、例えば第１の画像情報Ｐ１ａ，Ｐ２ｂおよび第２の画像情報Ｐ１ｂ，Ｐ２ｂ等の画像・原信号Ｓ１，Ｓ２，…に対して、路面μデータ２４に記憶されている各種パラメータを加えて、各種ベクトル演算、行列演算、自己相関演算、畳込み演算などの演算ＯＰを行い、未知パタンのカテゴリが何であるかを判定した結果を出力して、その正誤を検証する。自動微分ＡＤ（Automatic Differentiation）は、この計算過程を支える基本的な数値演算体系である。
　自動微分ＡＤでは「数」と「演算」を独自に定義する。表１に、自動微分ＡＤで用いる演算関数例を示している。ここで、プログラム中にある全変数の内、ｎ個の変数が偏微分の対象であるとする。このとき「数」の構造は次のベクトルで表される。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｖは関数の値を保持する場所である。また、ｄｋ（ｋ＝１～ｎ）は関数を第ｋ番目の変数で偏微分した時の値を保持する場所である。自動微分では上記構造を持つ数を上記の式（１）で表されるＡＤ数として、これに基づいて各種の演算を行う。各種演算の詳細な過程は表１に示されており、ここに示すように微分関数の推移律を使うことで、全ての関数計算の過程において、値の計算と偏微分関数値の計算とを同時に進めることができるのが、自動微分である。
　このような機構を導入するのは、学習プロセスによる認識辞書のパラメータ調整を、目的や状況に合わせて柔軟に構成することができるためである。例えば、路面μ推定に関しては、例えば第１の画像情報Ｐ１ａ，Ｐ２ｂおよび第２の画像情報Ｐ１ｂ，Ｐ２ｂのように、偏光フィルタ有の画像、偏光フィルタ無の画像など複数の画像を原信号Ｓ１，Ｓ２，…として扱う。学習に用いるそれぞれ画像については、それがどのようなシチュエーションであるか、例えば濡れた路面か、氷結した路面か、雪面であるか、濡れたのと紛らわしい路面の汚れであるのか、および当該シチュエーションにおける路面μ値の実測値が正解情報として付属している。これを元に、画像間の画素の単純な比較や、フーリエ変換などのフィルタを掛けた後の係数の比較、認識辞書に記されたパラメータによる各種画像演算に対する重み付け、演算結果の数値の大小比較などを行い、最終的に路面状態と、その路面μ値を算出し、学習データに対して正解情報になるべく近くなるように、パラメータを微調整するのが学習プロセスである。
　学習プロセスにおいては、路面μデータ２４を更新する際に、自動計算した判別結果と、正解情報とがどれだけ異なるかを評価して、このギャップがなるべく小さくなるように調整するが、一般に、この判別結果を自動計算するプロセスと、正解情報とのギャップを計算するプロセスは、全てｉｆ文などの条件分岐や算術演算を含むプログラムとして書くことができる。その際に、値の計算と偏微分関数値の計算が同時に処理できる自動微分機構が役に立つ。自動微分機構を使うと、プログラムで書いた計算プロセスにより、目的とする数値（例えば路面μの推定値）が得られるが、この数値と同時に、計算で使ったパラメータに対する偏微分関数値が同時に求まる。従って、計算した数値（路面μの推定値）と正解情報の間に誤差が大きい場合は、計算で使った各パラメータに対して、当該パラメータに対応する偏微分関数値に比例した負のフィードバックを与えることで、正解情報とのギャップを小さくなるようにパラメータの微調整量が計算できる。この結果として、路面μデータ２４に含まれるパラメータの更新と学習が可能になる。
　上記のようにパラメータを微調整する方法を勾配法と称する。勾配法では目標関数の偏微分関数値が必要になる。路面μ推定では、偏光フィルタ無と偏光フィルタ有の画像と、当該画像に対する路面の正解情報とが入力となり、認識辞書（路面μデータ２４）に記されたパラメータを参照にして、入力画像に対する路面μ値を計算し、それと正解との誤差を最小化することが目的関数となる。この目標の関数は、学習シチュエーションによって、しばしば変更される。例えば、偏光フィルタに加えて、他のフィルタ（赤外線や紫外線フィルタ等）を使う場合は、入力する画像が３つ以上に増えることになる。このような条件変更があっても、自動微分を使えば、目的関数をプログラムとして書くだけで、関数の計算値とパラメータが求まるため、勾配法による学習が容易に行える。
　以上、図面を用いて本発明の実施の形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
　例えば、前述の実施形態では、第１の光学部材としてレンズを用いる場合について説明したが、第１の光学部材としてミラー、プリズム、ビームスプリッタを含むその他の光学部材を用いてもよい。
１　カメラ
１Ｌ　左カメラ（カメラ）
１Ｒ　右カメラ（カメラ）
２，２Ｂ　画像処理部
１１　第１の光学部材
１１ａ　第１のレンズ
１１ｂ　第２のレンズ
１２　第２の光学部材
１３　撮像素子
１３ａ　第１の撮像領域
１３ｂ　第２の撮像領域
２４　路面μデータ
１００，１００Ｂ　外界認識装置
Ａ１　偏光領域
Ａ２　無変更領域
ＦＬ，ＦＲ　光学フィルタ
Ｐ１，Ｐ２　画像情報
Ｐ１ａ，Ｐ２ａ　第１の画像情報
Ｐ１ｂ，Ｐ２ｂ　第２の画像情報
Ｌ，Ｌ１，Ｌ２　光
ＲＳ　路面

Claims (11)

  1. 　車両に搭載されて車両前方の撮影対象領域の画像情報を取得するカメラと、該画像情報を処理する画像処理部とを備えた外界認識装置であって、
    　前記カメラは、第１および第２の撮像領域を有する撮像素子と、前記第１および第２の撮像領域のそれぞれに前記撮影対象領域の映像を結像させる第１の光学部材と、前記第１および第２の撮像領域のそれぞれに対して異なる光学条件の光を通過させる第２の光学部材とを備え、
    　前記画像処理部は、前記第１の撮像領域から得られる第１の画像情報と、前記第２の撮像領域から得られる第２の画像情報とを比較して、前記撮影対象領域の状態を認識することを特徴とする外界認識装置。
  2. 　前記カメラは、前記第１および第２の光学部材が光路上に配置された偏光領域と、前記第１の光学部材が光路上に配置された無偏光領域とを有し、
    　前記第１の撮像領域には、前記偏光領域を介して前記映像を結像させ、
    　前記第２の撮像領域には、前記無偏光領域を介して前記映像を結像させることを特徴とする請求項１に記載の外界認識装置。
  3. 　前記画像処理部は、路面の摩擦係数と前記第１および第２の画像情報との関係を記録した路面μデータを備え、前記第１および第２の画像情報とに基づいて前記路面μデータを参照し、前記撮影対象領域の状態として路面の摩擦係数を認識することを特徴とする請求項２に記載の外界認識装置。
  4. 　２つの前記カメラを左カメラおよび右カメラとして配置し、
    　前記画像処理部は、前記左カメラによって得られた前記第１の画像情報と、前記右カメラによって得られた前記第１の画像情報の視差処理を行うことを特徴とする請求項２または請求項３に記載の外界認識装置。
  5. 　前記左および右カメラの少なくとも一方の前記無偏光領域の光路上に光学フィルタが配置されることを特徴とする請求項４に記載の外界認識装置。
  6. 　前記左および右カメラの前記光学フィルタは、光学条件が異なることを特徴とする請求項５に記載の外界認識装置。
  7. 　前記偏光領域は、前記左カメラの前記撮影対象領域の右側と、前記右カメラの前記撮影対象領域の左側に対応して設けられ、
    　前記無偏光領域は、前記左カメラの前記撮影対象領域の左側と、前記右カメラの前記撮影対象領域の右側に対応して設けられることを特徴とする請求項４に記載の外界認識装置。
  8. 　前記偏光領域は、前記左および右カメラの前記撮影対象領域の下側に対応して設けられ、
    　前記無偏光領域は、前記左および右カメラの前記撮影対象領域の上側に対応して設けられることを特徴とする請求項４に記載の外界認識装置。
  9. 　前記偏光領域は、前記左および右カメラの前記撮影対象領域の上側に対応して設けられ、
    　前記無偏光領域は、前記左および右カメラの前記撮影対象領域の下側に対応して設けられることを特徴とする請求項４に記載の外界認識装置。
  10. 　前記偏光領域の面積は、前記無偏光領域の面積よりも大きいことを特徴とする請求項４に記載の外界認識装置。
  11. 　前記第１の光学部材は、第１および第２のレンズを備え、
    　前記偏光領域の光路上に前記第１のレンズおよび前記第２の光学部材が配置され、
    　前記無偏光領域の光路上に前記第１のレンズおよび第２のレンズが配置されていることを特徴とする請求項２から請求項１０のいずれか１項に記載の外界認識装置。
PCT/JP2014/065667 2013-09-27 2014-06-13 外界認識装置 Ceased WO2015045501A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015538948A JPWO2015045501A1 (ja) 2013-09-27 2014-06-13 外界認識装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013201555 2013-09-27
JP2013-201555 2013-09-27

Publications (1)

Publication Number Publication Date
WO2015045501A1 true WO2015045501A1 (ja) 2015-04-02

Family

ID=52742659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/065667 Ceased WO2015045501A1 (ja) 2013-09-27 2014-06-13 外界認識装置

Country Status (2)

Country Link
JP (2) JPWO2015045501A1 (ja)
WO (1) WO2015045501A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056822A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置と画像処理方法および車両制御システム
JP2017083352A (ja) * 2015-10-29 2017-05-18 Smk株式会社 車載センサ、車両用灯具、車両及び路面状態センサ
CN112470456A (zh) * 2018-07-24 2021-03-09 株式会社东芝 铁路车辆用摄像系统
CN112997189A (zh) * 2018-10-31 2021-06-18 罗伯特·博世有限公司 借助第一超声波传感器的道路潮湿信息来支持行进工具的基于摄像机的周围环境识别的方法
JP7021798B1 (ja) 2020-12-04 2022-02-17 国立研究開発法人土木研究所 学習済みモデル生成方法、路面滑り摩擦係数推定装置、路面滑り摩擦係数推定プログラムおよび路面滑り摩擦係数推定方法
WO2023203748A1 (ja) * 2022-04-22 2023-10-26 日立Astemo株式会社 カメラユニット

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021064833A1 (ja) * 2019-09-30 2021-04-08 日本電気株式会社 異常検知装置、異常検知方法、及び、記録媒体
JP7657851B2 (ja) * 2023-03-16 2025-04-07 本田技研工業株式会社 路面評価装置
WO2026023447A1 (ja) * 2024-07-25 2026-01-29 富士フイルム株式会社 撮像システム及び撮像方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6015532A (ja) * 1983-07-07 1985-01-26 Nippon Doro Kodan 路上水面測定装置
JPH11211659A (ja) * 1998-01-23 1999-08-06 Nagoya Denki Kogyo Kk 路面状態判別方法およびその装置
JPH11230898A (ja) * 1998-02-10 1999-08-27 Mitsubishi Motors Corp 路面状態判別装置
JP2010004090A (ja) * 2008-06-18 2010-01-07 Ricoh Co Ltd 撮像装置
JP2010025915A (ja) * 2008-06-18 2010-02-04 Ricoh Co Ltd 撮像装置及び路面状態判別方法
JP2010261877A (ja) * 2009-05-11 2010-11-18 Ricoh Co Ltd ステレオカメラ装置及びそれを用いた車外監視装置
WO2013114891A1 (ja) * 2012-02-03 2013-08-08 パナソニック株式会社 撮像装置および撮像システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4276178B2 (ja) * 2002-11-15 2009-06-10 ワーナー・ブロス・エンターテイメント・インコーポレーテッド 皮膚又は類似物をデジタル式にレンダリングする方法
JP4974543B2 (ja) * 2005-08-23 2012-07-11 株式会社フォトニックラティス 偏光イメージング装置
JP5102718B2 (ja) * 2008-08-13 2012-12-19 株式会社Ｉｈｉ 植生検出装置および方法
JP2012008947A (ja) * 2010-06-28 2012-01-12 Hitachi Ltd 営業活動分析方法及び営業支援システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6015532A (ja) * 1983-07-07 1985-01-26 Nippon Doro Kodan 路上水面測定装置
JPH11211659A (ja) * 1998-01-23 1999-08-06 Nagoya Denki Kogyo Kk 路面状態判別方法およびその装置
JPH11230898A (ja) * 1998-02-10 1999-08-27 Mitsubishi Motors Corp 路面状態判別装置
JP2010004090A (ja) * 2008-06-18 2010-01-07 Ricoh Co Ltd 撮像装置
JP2010025915A (ja) * 2008-06-18 2010-02-04 Ricoh Co Ltd 撮像装置及び路面状態判別方法
JP2010261877A (ja) * 2009-05-11 2010-11-18 Ricoh Co Ltd ステレオカメラ装置及びそれを用いた車外監視装置
WO2013114891A1 (ja) * 2012-02-03 2013-08-08 パナソニック株式会社 撮像装置および撮像システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056822A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置と画像処理方法および車両制御システム
CN108028022A (zh) * 2015-09-30 2018-05-11 索尼公司 图像处理装置、图像处理方法和车辆控制系统
US10769951B2 (en) 2015-09-30 2020-09-08 Sony Corporation Image processing apparatus, image processing method, and vehicle control system to determine the presence of an object from an image of a peripheral area of a moving body
CN108028022B (zh) * 2015-09-30 2021-06-15 索尼公司 图像处理装置、图像处理方法和车辆控制系统
JP2017083352A (ja) * 2015-10-29 2017-05-18 Smk株式会社 車載センサ、車両用灯具、車両及び路面状態センサ
CN112470456A (zh) * 2018-07-24 2021-03-09 株式会社东芝 铁路车辆用摄像系统
CN112997189A (zh) * 2018-10-31 2021-06-18 罗伯特·博世有限公司 借助第一超声波传感器的道路潮湿信息来支持行进工具的基于摄像机的周围环境识别的方法
JP7021798B1 (ja) 2020-12-04 2022-02-17 国立研究開発法人土木研究所 学習済みモデル生成方法、路面滑り摩擦係数推定装置、路面滑り摩擦係数推定プログラムおよび路面滑り摩擦係数推定方法
JP2022089676A (ja) * 2020-12-04 2022-06-16 国立研究開発法人土木研究所 学習済みモデル生成方法、路面滑り摩擦係数推定装置、路面滑り摩擦係数推定プログラムおよび路面滑り摩擦係数推定方法
WO2023203748A1 (ja) * 2022-04-22 2023-10-26 日立Astemo株式会社 カメラユニット
JPWO2023203748A1 (ja) * 2022-04-22 2023-10-26
JP7792504B2 (ja) 2022-04-22 2025-12-25 Ａｓｔｅｍｏ株式会社 カメラユニット

Also Published As

Publication number Publication date
JP2017151121A (ja) 2017-08-31
JPWO2015045501A1 (ja) 2017-03-09

Similar Documents

Publication Publication Date Title
JPWO2015045501A1 (ja) 外界認識装置
US11836989B2 (en) Vehicular vision system that determines distance to an object
KR101458287B1 (ko) 거리 측정용 카메라 장치
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
CN108692719B (zh) 物体检测装置
US20210073557A1 (en) Systems and methods for augmenting upright object detection
JP5967463B2 (ja) 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
EP3150961B1 (en) Stereo camera device and vehicle provided with stereo camera device
CN108076264A (zh) 摄像装置
CN108627089A (zh) 处理装置
WO2011016257A1 (ja) 車両用距離算出装置
JP2002237969A (ja) 車載カメラおよび画像処理システム
JP7719867B2 (ja) 画像および／または画像点を偏位修正する方法、カメラベースのシステムおよび車両
Barros et al. Deep speed estimation from synthetic and monocular data
JP6204844B2 (ja) 車両のステレオカメラシステム
WO2022080147A1 (ja) 車載カメラ装置
JP7793563B2 (ja) 測距装置、移動体、制御方法及びプログラム
JP7769779B2 (ja) 外界認識装置、および、外界認識方法
JP7602051B2 (ja) 物体距離検出装置
JP6566367B2 (ja) 三次元位置計測システム、移動体、三次元位置計測方法、及びプログラム
JP2024014231A (ja) ステレオカメラ装置及びキャリブレーション方法
JP6459482B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2024100166A (ja) 車載カメラシステム、及び、画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14848357

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015538948

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14848357

Country of ref document: EP

Kind code of ref document: A1