WO2019216020A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2019216020A1
WO2019216020A1 PCT/JP2019/010114 JP2019010114W WO2019216020A1 WO 2019216020 A1 WO2019216020 A1 WO 2019216020A1 JP 2019010114 W JP2019010114 W JP 2019010114W WO 2019216020 A1 WO2019216020 A1 WO 2019216020A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
structured light
structured
light source
illuminance
Prior art date
Application number
PCT/JP2019/010114
Other languages
English (en)
French (fr)
Inventor
制時 今川
彰二 村松
別井　圭一
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to CN201980025539.3A priority Critical patent/CN111971527B/zh
Publication of WO2019216020A1 publication Critical patent/WO2019216020A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • the present invention relates to an imaging apparatus that acquires the distance to an object using structured light.
  • Patent Document 1 describes an object recognition apparatus using a stereo camera. This document is based on an active range finder 100 that has a light projecting unit 110 that projects light onto a target object 1 and obtains a distance from the reflected light to the target object 1 and image information from the target object 1.
  • a stereo camera 200 for determining the distance to the target object 1, and an object recognition unit 310 for recognizing the target object 1 based on the output signal S1 from the active range finder 100 and the output signal S2 from the stereo camera 200.
  • an auxiliary light control means 320 for controlling the operation of the light projecting unit 110 so as to irradiate the light projected by the light projecting unit 110 of the active range finder 100 as the auxiliary light of the stereo camera 200. It is said. Is disclosed (see summary).
  • Patent Document 2 describes a technique for suppressing deterioration in visibility by irradiating uniform pattern light and random pattern light.
  • a light projecting device including a headlight device 10 that is mounted on a vehicle body and projects uniform pattern light and random pattern light having different luminance distributions in different time zones, and a light projecting range of the light projecting device.
  • a stereo camera 20 including two left and right imaging units. In this case, it is possible to obtain an image effective for detecting object information while suppressing a decrease in visibility. Is disclosed (see summary).
  • the pattern light emitted from the light source provided on the vehicle is imaged by the camera, the brightness of the pattern decreases as the distance increases, and the contrast of the pattern image decreases.
  • a straight line pattern having a uniform width or a pattern composed of parallel straight lines is imaged by a camera, an image in which the pattern converges toward the vanishing point in the perspective method can be obtained.
  • the contrast of the pattern image decreases due to the spatial resolution of the camera. Due to these effects, even if the structured pattern light is used, the distance measurement performance of the object deteriorates.
  • the present invention has been made in view of the above-described problems, and when a distance to an object is obtained using structured light, the distance can be accurately measured even for a distant object.
  • the purpose is to provide technology.
  • the imaging apparatus changes at least one of the light intensity of the structured light and the pattern size of the structured light according to the distance from the light source to the light projecting location.
  • the imaging apparatus it is possible to accurately perform distance measurement in a distant place even in an environment where the contrast of an image is low such as in a dark place.
  • a vehicle equipped with the imaging device according to the present invention can perform the determination of the presence / absence of a travelable route and the necessity of avoidance with high reliability.
  • FIG. 1 is a configuration diagram of a stereo camera 100 according to Embodiment 1.
  • FIG. An example of a light projection pattern when the headlight 200 projects structured light is shown. It is an example of a complement pattern. It is the result of having averaged the structured pattern of FIG. 2 and the structured pattern of FIG.
  • It is an example of a pattern switching timing assuming a global shutter system in which the exposure timing of each row of the image sensor is the same. This is an example assuming a rolling shutter type imaging device in which the exposure timing of each row of the imaging device is shifted. In this example, the exposure time is relatively long compared to the frame period. This is an example in which the positional relationship between the image sensor of the camera 1 and the image sensor of the camera 2 is shifted up and down.
  • FIG. 6 is a configuration diagram of a stereo camera 700 according to Embodiment 2.
  • FIG. 6 is a configuration diagram of a stereo camera 700 according to Embodiment 2.
  • FIG. 6 is a configuration diagram of a camera 1000 according to a third embodiment.
  • FIG. 10 is a configuration diagram of a camera 1400 according to a fourth embodiment.
  • FIG. 1 is a configuration diagram of a stereo camera 100 according to Embodiment 1 of the present invention.
  • Stereo camera 100 is an imaging system that projects structured light using a headlight mounted on a vehicle.
  • Stereo camera 100 includes optical unit 101, signal processing unit 102, distance calculation unit 103, object recognition unit 104, vehicle control unit 105, and control unit 106.
  • a vehicle equipped with the stereo camera 100 includes a headlight 200, a headlight 300, and a vehicle controller 400.
  • the signals a, b1, and b2 will be described later.
  • the stereo camera 100 starts the ranging operation after performing the start-up operation and the self-diagnosis when the accessory power supply of the vehicle on which the stereo camera is mounted is turned on.
  • the optical unit 101 has two pairs of lenses and image sensors.
  • the optical unit 101 determines exposure settings such as a shutter speed and a gain based on information from the control unit 106, performs imaging with each imaging element, and sends the acquired two image data to the signal processing unit 102. .
  • the signal processing unit 102 corrects the luminance / color / distortion of the two image data sent from the optical unit 101, and sends the two corrected image data to the distance calculation unit 103.
  • the distance calculation unit 103 searches for the corresponding points of both images from the image data sent from the signal processing unit 102, calculates the distance to the corresponding point based on the parallax of the corresponding points, and uses the calculated distance information as the object recognition unit 104.
  • the object recognition unit 104 detects and recognizes an object based on the distance information sent from the distance calculation unit 103, and sends the obtained object information to the vehicle control unit 105.
  • the vehicle control unit 105 Based on the object information sent from the object recognition unit 104, the vehicle control unit 105 performs vehicle acceleration / deceleration / steering, vehicle light source control, wiper control, caution to passengers, and notification of additional information. And a control signal thus generated is sent to the vehicle controller 400.
  • the vehicle controller 400 controls the operation of the vehicle based on the sent control signal.
  • FIG. 2 shows an example of a light projection pattern when the headlight 200 projects structured light.
  • the projection of one headlight 200 is shown. It shows that the illuminance is higher in the painted portion closer to white, and the illuminance is lower in the painted portion closer to black.
  • a low illuminance portion and a high illuminance portion are alternately projected along a circumferential direction around the headlight 200.
  • the stereo camera 100 captures this projection pattern, even if the surrounding is dark or the image has a low contrast, the parallax can be reduced at the edge portion that occurs at the boundary between the low illuminance portion and the high illuminance portion. Obtainable.
  • the light projection pattern in FIG. 2 is darker as it is closer to the center (headlight 200) along the radial direction, and brighter as it is farther from the center.
  • the brightness on the captured image is lower as it goes farther, but by increasing the illuminance as far away as shown in FIG. 2, the edge formed on the image can have the same brightness difference regardless of the distance. As a result, parallax can be obtained stably even from a distance.
  • the pattern width of the low illuminance portion and the pattern width of the high illuminance portion are wider as far away. Due to the effect of perspective, the pattern width on the captured image generally becomes narrower as the distance increases, and the discriminability decreases. However, by increasing the pattern width toward the distance as shown in FIG. Become. Thereby, parallax can be stably obtained far away.
  • FIG. 3 is an example of a complement pattern.
  • the headlight 200 projects light while alternately switching between the structured pattern shown in FIG. 2 and the interpolation pattern shown in FIG. Thereby, parallax can be obtained at the edge portion generated at the boundary between the low illuminance portion and the high illuminance portion in any light projection period of the structured pattern and the interpolation pattern.
  • FIG. 4 shows a result of time averaging the structured pattern of FIG. 2 and the structured pattern of FIG.
  • the emitted light has a uniform luminance distribution in which the structured pattern is not visible as shown in FIG. 4 or a smooth luminance distribution in which the structured pattern is not visible.
  • the light projection which does not give discomfort to a passenger or a pedestrian is realizable.
  • 5 to 8 are time charts for explaining the timing for switching the light projection pattern. It is desirable to avoid the exposure period of the camera when switching between the structured pattern and the interpolation pattern. This is because when the pattern is switched during the exposure period, the brightness difference between the edges of the low illuminance portion and the high illuminance portion may decrease due to exposure of the two patterns to the acquired image, or a similar pattern is generated. This is because an erroneous matching in which the edge to be originally matched is likely to occur in the image matching process. The erroneous matching will be described later with reference to FIG.
  • FIG. 5 is an example of pattern switching timing assuming a global shutter system in which the exposure timing of each row of the image sensor is the same. This assumes a CCD or global shutter type CMOS in which the exposure timings of all the rows of the image sensor are the same. In this case, the timings at which the exposure of all the pixels is completed coincide with each other, so that the patterns 501 and 502 are switched at the end of the exposure.
  • FIG. 6 is an example assuming a rolling shutter type image sensor in which the exposure timing of each row of the image sensor is shifted. If there is a period in which no exposure is performed in any line between the end of exposure of the last line and the start of exposure of the first line, the patterns 511 and 512 are switched in that period.
  • FIG. 7 is an example in which the exposure time is relatively long compared to the frame period.
  • FIG. 8 shows an example in which the positional relationship between the image sensor of the camera 1 and the image sensor of the camera 2 is shifted up and down.
  • the exposure timing of the camera 1 and the exposure timing of the camera 2 may be intentionally shifted as shown in FIG.
  • parallax can be detected only in some rows of the image sensor. Therefore, the patterns 531 and 532 are switched while avoiding a period from the start of exposure of the first row of the image sensor having a slow exposure start to the end of exposure of the last row of the image sensor having a quick exposure end.
  • Signals b1 and b2 shown in FIG. 1 are control signals for the stereo camera 100 to instruct a light projection pattern to the headlights 200 and 300.
  • the timing for switching the projection pattern can be instructed based on, for example, the exposure method / frame period / exposure time.
  • a control signal indicating these contents itself is output from the stereo camera 100, and the headlights 200 and 300 interpret this to generate structured light instructed by themselves.
  • the stereo camera 100 may output a control signal that controls the elements of the headlights 200 and 300 individually. In any case, it is sufficient that the headlights 200 and 300 can output desired structured light.
  • the range of the object to be detected differs according to the traveling speed of the own vehicle. For example, when the vehicle is traveling at a speed of 100 km / h, it is desirable to be able to detect an object 100 m or more ahead from the viewpoint of collision avoidance. However, when the vehicle is stopped or traveling on a narrow road, a wider angle range may be used. It is desirable that an object can be detected. If these ranges are comprehensively irradiated, unnecessary electric power is consumed, or unnecessary discomfort is given to surrounding vehicles and pedestrians. Therefore, the stereo camera 100 acquires the traveling speed of the vehicle from the vehicle controller 400 using the signal a, and instructs the headlight 200 and the headlight 300 about the light projection range.
  • FIG. 9 is a diagram illustrating a light projection range when the traveling speed is equal to or higher than a predetermined speed. In this case, the structured pattern is projected farther along the traveling direction compared to the projection range of FIG.
  • FIG. 10 is a diagram illustrating a light projection range when the traveling speed is equal to or lower than a predetermined speed.
  • the structured pattern is projected at a wider angle than the projection range in FIG.
  • the difference between FIG. 9 and FIG. 10 is due to the fact that the range of the object to be recognized differs depending on the traveling speed of the vehicle.
  • the stereo camera 100 can acquire the surrounding situation of a required range more correctly by changing the light projection range according to the own vehicle speed.
  • FIG. 11 is an example in which it is detected that there is a preceding vehicle ahead of the host vehicle.
  • the stereo camera 100 projects the structured pattern within a range that does not reach the preceding vehicle. It is desirable to control the light projection range so that the structured light is irradiated below the bumper or license plate, for example, so that the passenger of the preceding vehicle does not feel glare due to the reflection of the room mirror.
  • FIG. 12 is an example of the light projection range when the handle is turned to the left.
  • the stereo camera 100 acquires the steering angle of the vehicle from the vehicle controller 400 based on the signal a, and acquires the traveling direction of the vehicle according to the steering angle.
  • Stereo camera 100 instructs headlight 200 and headlight 300 to change the light projection range in the traveling direction of the vehicle.
  • the light projection range is rotated to the left as compared with FIG. In this way, by changing the light projection range according to the steering angle, it is possible to more accurately acquire the surrounding situation of the necessary range.
  • the stereo camera 100 uses parallax obtained by viewing the object from two viewpoints in order to measure the object distance. In order to determine that one object is the same between two viewpoints, for example, a process of matching reference points is required. At this time, if the images obtained from the two viewpoints have a plurality of similar feature points or patterns, there is a possibility of so-called erroneous matching, in which a portion that is not the reference point that should be matched is matched as a reference point. There is.
  • FIG. 13 is an explanatory diagram of matching by the area matching method.
  • the projected pattern is a monotonous repeating pattern, there are multiple areas (white dotted lines in the right figure) that have similar patterns in addition to the areas that should be matched (white solid lines in the right figure). May occur.
  • FIG. 14 shows an example in which the light intensity is changed for each projection area.
  • the stereo camera 100 sets, for example, the light intensities of the light projecting areas 601/602/603 different from each other. Thereby, since the brightness
  • FIG. 15 is an example of the light intensity for each projection area of the structured pattern and the interpolation pattern. In the order from the top row of the table, the light intensity in each projection area is shown as time elapses. In this example, the sum of the intensities of the structured pattern and the interpolation pattern is made the same in all the light projection areas.
  • FIG. 16 is another example of the light intensity for each projection area of the structured pattern and the interpolation pattern.
  • the intensity of each area may be offset according to the brightness of the imaging range. Thereby, it is possible to realize ranging performance that is robust against environmental changes. The same applies to Embodiment 2 described later.
  • the emission angles of the projection areas 601 to 603 may be different angles.
  • the colors of the light projection areas 601 to 603 may be different from each other.
  • the structured pattern and the interpolation pattern alternately emit red / green / blue light that is close to the three primary colors of light, thereby providing illumination in which the entire projection area is white and has a uniform luminance distribution. .
  • the stereo camera 100 can prevent matching errors due to similar patterns by performing matching processing for each pixel type of the image sensor.
  • the headlight 200 and the headlight 300 have a non-visible light source in addition to the visible light source and project the structured pattern by the non-visible light
  • the pixel type of the image sensor having high sensitivity to the non-visible light is selected.
  • the stereo camera 100 changes at least one of light intensity of structured light / pattern width of structured light / pattern size of structured light according to the distance from the headlight 200. Thereby, even if it is a distant object, a pattern edge can be clearly identified on a captured image, so that the identification accuracy can be improved.
  • the stereo camera 100 changes at least one of light intensity / pattern width / pattern size / color for each projection area. Thereby, in the case where a similar pattern is included on the captured image, erroneous matching between stereo images can be suppressed.
  • the light intensity of the structured pattern can be changed smoothly according to the light projection distance, but the present invention is not limited to this.
  • the light intensity can be changed discretely by dividing the projection distance into a plurality of ranges and setting different light intensities for each range. Even in this case, an equivalent effect can be obtained.
  • Embodiment 2 described later the same applies to Embodiment 2 described later.
  • the traveling speed of the host vehicle can be divided into three speed groups of low speed / medium speed / high speed, and the light projection range can be set for each speed group.
  • the present invention is limited to this. Not.
  • the light projection range can be changed continuously according to the speed of the host vehicle. Even in this case, an equivalent effect can be obtained. The same applies to Embodiment 2 described later.
  • the headlights 200 and 300 project structured light, but the present invention is not limited to this.
  • the same effect can be obtained even with a fog lamp / stop lamp / tail lamp.
  • the same effect can be obtained even if a side turn lamp is used for turning and a rear turn lamp is used for reverse.
  • structured light is projected using both the left and right headlamps, but the present invention is not limited to this.
  • the structured light may be projected using only the right headlamp or the left headlamp.
  • the same effect can be obtained by detecting an area where parallax cannot be detected or an area where detection accuracy is unstable and projecting structured light only in the area.
  • Embodiment 1 object recognition processing and vehicle control signal generation are performed inside the stereo camera 100, but the present invention is not limited to this.
  • the same effect can be obtained even if the distance calculation result or the information obtained by simplifying the distance calculation result is output to the calculation processing unit and the control unit mounted on the vehicle. The same applies to Embodiment 2 described later.
  • the light intensity / shape pattern of the structured light is changed according to the light projection distance.
  • the light projection distance is a distance from the light source to the light projecting location determined by the height from the road surface to the light source and the depression angle of the structured light.
  • the stereo camera 100 stores in advance the relationship between the light projection direction and the light projection distance of the structured light, and sends the structured light corresponding to the light projection distance to the headlights 200 and 300 according to the relationship. Just point to it. The same applies to a laser light source 707 in Embodiment 2 described later.
  • FIG. 17 is a configuration diagram of a stereo camera 700 according to Embodiment 2 of the present invention.
  • Stereo camera 700 projects structured light using a laser light source.
  • the optical units 701 to 706 are the same functional units as the optical units 101 to 106 in the first embodiment.
  • a vehicle equipped with the stereo camera 100 includes a laser light source 707 and a vehicle controller 400.
  • the laser light source 707 controls the structured light pattern / light projection area / light intensity and the like based on a signal sent from the control unit 706. The signals a and b will be described later.
  • FIG. 18 is an example of a light projection pattern when the laser light source 707 projects structured light.
  • the structured light is shown by two straight lines extending in the running direction. The darker the color, the higher the illuminance, and the lighter the color, the lower the illuminance.
  • the light intensity of each straight line increases as the distance from the vehicle or the stereo camera 700 increases.
  • the width of each straight line is increased as the distance from the vehicle or the stereo camera 700 increases.
  • parallax is generated at the edge portion generated at the boundary between the low illuminance portion and the high illuminance portion even in an environment where the periphery is dark or the captured image has low contrast.
  • the edges formed on the image can have the same luminance difference regardless of the distance, so that the parallax can be obtained stably even at a distance.
  • the edge interval formed on the image can be prevented from becoming smaller according to the distance, and the edges can be identified farther, and parallax can be stably obtained far away. be able to.
  • the structured pattern is two straight lines
  • the luminance difference can be obtained only at the edge portions of the straight lines. Therefore, when the number of straight lines is small, the detection of parallax becomes partial. On the other hand, as the number of straight lines increases, the probability of incorrect matching increases, and therefore a device that does not produce a similar pattern in the projected pattern is required. This device will be described with reference to FIG.
  • FIG. 19 is a diagram showing a light projection pattern for identifying two similar straight lines. Each straight line is projected onto two areas outside the optical axes of both cameras. However, as shown in FIG. 19, by arranging a straight line outside the optical axes of the two cameras of the optical unit 701, a vanishing point (a point where parallel lines converge in perspective) converge on the captured image. According to the relative position between them, it is possible to identify which line is the straight line. The determination criteria will be described with reference to FIG.
  • FIG. 20 is an example of a criterion for identifying which straight line is a straight line pattern on a captured image.
  • the straight line 901 is on the left side of the vanishing point when viewed from the left camera and the right camera.
  • the straight line 902 is on the right side of the vanishing point when viewed from the left camera and the right camera.
  • the stereo camera 700 can identify which straight line on the captured image is.
  • a method of projecting a straight line at a different position for each light projection pattern and switching the pattern over time can be considered.
  • a method of forming a pattern in which similar patterns do not occur at the same time by appropriately setting the light intensity / straight line width / color / alignment of the linear pattern is conceivable.
  • FIG. 21 is an example of a method of distinguishing straight lines by light intensity / straight line width / alignment of straight line patterns.
  • straight lines 903/904/905 of three weak / medium / strong light intensities are projected on the right side with the optical axes of the left and right cameras, and three light intensities of weak / medium / strong are also projected on the left side.
  • a straight line 906/907/908 is projected.
  • six straight lines can be displayed in the captured image of one frame, and parallax can be obtained at the same time and with a finer spatial resolution than the example shown in FIG.
  • FIG. 22 is an example of a method for distinguishing straight lines according to the color / arrangement of straight line patterns.
  • a red / green / blue three-color straight line 909/910/911 is projected on the right side across the optical axes of the left and right cameras, and a red / green / blue three-color straight line 912/913 is also on the left side. / 914.
  • six straight lines can be displayed in the captured image of one frame, and parallax can be obtained at the same time and with a finer spatial resolution than the example shown in FIG.
  • parallax can be obtained at the same time and with a finer spatial resolution than the examples shown in FIGS.
  • FIG. 23 is a diagram illustrating a light projection range when the traveling speed is equal to or higher than a predetermined speed.
  • the stereo camera 700 acquires the traveling speed of the vehicle by the signal a from the vehicle controller 400 via the control unit 706, and instructs the display range to the laser light source 707.
  • the traveling speed is equal to or higher than the predetermined speed
  • the structured pattern is projected farther along the traveling direction than the projection range in FIG.
  • FIG. 24 is a diagram illustrating a light projection range when the traveling speed is equal to or lower than a predetermined speed.
  • the structured pattern is projected at a wider angle than the projection range of FIG.
  • the difference between FIG. 23 and FIG. 24 is due to the same reason as the difference between FIG. 9 and FIG.
  • the projection distance determined by the traveling speed is limited as described in FIG. 11 of the first embodiment.
  • the projection range is controlled so that structured light is irradiated.
  • FIG. 25 shows an example of the light projection range when the handle is turned to the left.
  • Stereo camera 700 obtains the steering angle of the vehicle from signal a from vehicle controller 400 and instructs display range to laser light source 707.
  • the light projection range is rotated to the left as compared with FIG. In this way, by changing the light projection range according to the steering angle, it is possible to more accurately acquire the surrounding situation of the necessary range.
  • FIG. 26 is a configuration example in which the acceleration sensor 708 is mounted on the stereo camera 700.
  • the acceleration sensor 708 By controlling the light projecting direction in the pitch direction of the structured light according to the acceleration detected by the acceleration sensor 708, the attitude of the vehicle in the pitch direction that varies depending on the difference in boarding the rear seat and storing the luggage in the trunk Thus, it is possible to realize a light projection range control with high robust performance.
  • the laser light source 707 may project a linear structured light so as to overlap one of the two camera lenses of the stereo camera 700. That is, structured light is projected on the intersection line between the vertical plane including the optical axis and the road surface.
  • the linear pattern of the structured light coincides with the optical axis of the camera, the X coordinate of the structured light does not change even if the pitch angle of the vehicle changes (always the same X coordinate as the vanishing point). ). Therefore, the robustness of the matching accuracy can be improved with respect to the posture change in the pitch direction of the vehicle.
  • the X coordinate detected by the other camera can be regarded as parallax as it is, the matching process can be simplified.
  • the stereo camera 700 measures the distance using the parallax on the captured image, the distance can be measured if the parallax occurs.
  • distance measurement can be performed by a combination of one camera and the laser light source 707.
  • the longer the base line length of the camera the longer the distance can be measured.
  • the structured light may be projected so as to be included in a vertical plane parallel to the straight traveling direction of the vehicle.
  • ⁇ Embodiment 2 Summary>
  • structured light is projected using a laser light source 707 instead of a headlight mounted on a vehicle. Also in the second embodiment, the same effect as in the first embodiment can be exhibited.
  • the structured light is projected by the laser light source 707 in the second embodiment, the present invention is not limited to this. For example, a similar effect can be obtained by using an LED (Light Emitting Diode) light.
  • LED Light Emitting Diode
  • the laser light source 707 may be arranged at a position away from the stereo camera 700 main body.
  • the same effect can be obtained even if it is arranged on the upper right part or upper left part of the windshield, rear mirror, headlight, bumper or the like.
  • FIG. 27 is a configuration diagram of a camera 1000 according to the third embodiment of the present invention.
  • the optical unit 1001 has one pair of a lens and an image sensor.
  • the signal processing unit 1002 to the control unit 1006 are functional units similar to the signal processing unit 102 to the control unit 106 in the first embodiment.
  • the third embodiment is different from the first embodiment in that the relative position between the edge portion generated at the boundary between the low illuminance portion and the high illuminance portion and the optical unit 1001 is known. The rest is the same as in the first embodiment. Also in the third embodiment, the distance can be measured by the same principle as in the first embodiment.
  • FIG. 28 is a configuration diagram of a camera 1400 according to Embodiment 4 of the present invention.
  • the optical unit 1401 has one pair of a lens and an image sensor.
  • the signal processing unit 1402 to the laser light source 1407 are functional units similar to the signal processing unit 702 to the laser light source 707 in the second embodiment.
  • the fourth embodiment is different from the second embodiment in that the relative position between the edge portion generated at the boundary between the low illuminance portion and the high illuminance portion and the optical unit 1401 is known or the line spacing of the structured pattern is known. Different. The rest is the same as in the second embodiment. Also in the fourth embodiment, the distance can be measured by the same principle as in the second embodiment.
  • the present invention is not limited to the embodiments described above, and includes various modifications.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.
  • the above-described configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them, for example, with an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card or an SD card.
  • the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • Stereo camera 101 Stereo camera 101: Optical unit 102: Signal processing unit 103: Distance calculation unit 104: Object recognition unit 105: Vehicle control unit 106: Control unit 200: Headlight 300: Headlight 400: Vehicle controller 707: Laser light source 708: Acceleration sensor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、構造化光を用いて物体までの距離を取得する際に、遠方の物体であっても精度よく距離を計測することができる技術を提供することを目的とする。本発明に係る撮像装置は、光源から投光箇所までの距離にしたがって、構造化光の光強度、または構造化光のパターンサイズ、のうち少なくともいずれかを変更する。

Description

撮像装置
　本発明は、構造化光を用いて物体までの距離を取得する撮像装置に関する。
　物体までの距離を取得する技術として、対象物に対して光を照射し、対象物から反射された光を計測することにより、対象物までの距離を計測するものがある。さらに、対象物に対して複数種類の光を照射し、それぞれの光を計測した結果を用いて測距する場合もある。
　下記特許文献１は、ステレオカメラを用いる物体認識装置について記載している。同文献は、『対象物体１に光を投光する投光ユニット１１０を有しその反射光より対象物体１までの距離を求めるためのアクティブレンジファインダー１００と、対象物体１からの画像情報に基づいて当該対象物体１までの距離を求めるためのステレオカメラ２００と、アクティブレンジファインダー１００からの出力信号Ｓ１とステレオカメラ２００からの出力信号Ｓ２とに基づいて対象物体１を認識する物体認識手段３１０と、アクティブレンジファインダー１００の投光ユニット１１０で投光される光をステレオカメラ２００の補助光として照射するように投光ユニット１１０を動作制御する補助光制御手段３２０と、を備えたことを主たる特徴としている。』という技術を開示している（要約参照）。
　下記特許文献２は、均一パターン光とランダムパターン光を照射して視認性の低下を抑制する技術を記載している。同文献は、『車両本体に搭載され、輝度分布が異なる均一パターン光及びランダムパターン光を異なる時間帯に投光する、ヘッドライト装置１０を含む投光装置と、該投光装置の投光範囲を撮像する、左右の２つの撮像部を含むステレオカメラ２０と、を備えている。この場合、視認性の低下を抑制しつつ物体情報の検出に有効な画像を得ることができる。』という技術を開示している（要約参照）。
特開２００５－０７７１３０号公報 特開２０１６－１７０１６３号公報
　車両に備えた光源から照射したパターン光をカメラにより撮像すると、遠方ほどパターンの輝度は低下し、パターン画像のコントラストは低下する。また、等幅の直線パターンや平行直線からなるパターンをカメラで撮像すると、パターンが遠近法における消滅点に向かって収束するような画像が得られることになる。そうすると、遠方ほどパターン幅や直線の間隔が狭くなるので、カメラの空間分解能に起因してパターン画像のコントラストは低下する。これらの影響により、構造化パターン光を用いたとしても、物体の距離計測性能は劣化する。
　本発明は、上記のような課題に鑑みてなされたものであり、構造化光を用いて物体までの距離を取得する際に、遠方の物体であっても精度よく距離を計測することができる技術を提供することを目的とする。
　本発明に係る撮像装置は、光源から投光箇所までの距離にしたがって、構造化光の光強度、または構造化光のパターンサイズ、のうち少なくともいずれかを変更する。
　本発明に係る撮像装置によれば、暗所などのように画像のコントラストが低い環境においても、遠方に対する測距を精度よく実施することができる。これにより、例えば本発明に係る撮像装置を搭載した車両は、走行可能経路の有無や回避要否の判断を、高い信頼性で実施することができる。
実施形態１に係るステレオカメラ１００の構成図である。 ヘッドライト２００が構造化光を投光したときの投光パターンの１例を示している。 補完パターンの例である。 図２の構造化パターンと図３の構造化パターンを時間平均した結果である。 撮像素子の各行の露光タイミングが同時であるグローバルシャッタ方式を想定したパターン切替えタイミングの例である。 撮像素子の各行の露光タイミングがずれているローリングシャッタ方式の撮像素子を想定した例である。 フレーム周期と比較して露光時間が相対的に長い例である。 カメラ１の撮像素子とカメラ２の撮像素子との間の位置関係を上下にずらした例である。 走行速度が所定速度以上の場合における投光範囲を例示する図である。 走行速度が所定速度以下の場合における投光範囲を例示する図である。 自車の前方に先行車がいることを検出した例である。 左にハンドルをきった場合における投光範囲の例である。 エリアマッチング方式によるマッチングの説明図である。 投光エリアごとに光強度を変える例である。 構造化パターンと補間パターンの投光エリア毎の光強度の例である。 構造化パターンと補間パターンの投光エリア毎の光強度の別例である。 実施形態２に係るステレオカメラ７００の構成図である。 レーザ光源７０７が構造化光を投光したときの投光パターンの１例である。 ２本の類似直線を識別するための投光パターンを示す図である。 撮像画像上の直線パターンがいずれの直線であるのかを識別する判断基準の例である。 直線パターンの光強度／直線幅／並びによって直線を区別する方法の１例である。 直線パターンの色／並びによって直線を区別する方法の１例である。 走行速度が所定速度以上の場合における投光範囲を例示する図である。 走行速度が所定速度以下の場合における投光範囲を例示する図である。 左にハンドルをきった場合における投光範囲の例である。 ステレオカメラ７００が加速度センサ７０８を搭載する構成例である。 実施形態３に係るカメラ１０００の構成図である。 実施形態４に係るカメラ１４００の構成図である。
＜実施の形態１＞
　図１は、本発明の実施形態１に係るステレオカメラ１００の構成図である。ステレオカメラ１００は、車両が搭載するヘッドライトを用いて構造化光を投光する撮像システムである。ステレオカメラ１００は、光学部１０１、信号処理部１０２、距離演算部１０３、物体認識部１０４、車両制御部１０５、コントロール部１０６を備える。ステレオカメラ１００を搭載する車両は、ヘッドライト２００、ヘッドライト３００、車両コントローラ４００を備える。信号ａ、ｂ１、ｂ２については後述する。
　ステレオカメラ１００は、ステレオカメラを搭載する車両のアクセサリー電源がＯＮされると、立ち上げ動作および自己診断を実施した後、測距動作を開始する。光学部１０１は、レンズと撮像素子のペアを２ペア有する。光学部１０１は、コントロール部１０６からの情報に基づいて、シャッタ速度やゲインなどの露光設定を決定して各々の撮像素子により撮像を実施し、取得した２つの画像データを信号処理部１０２に送る。信号処理部１０２は、光学部１０１から送られた２つの画像データの輝度／色／歪みを補正し、補正した２つの画像データを距離演算部１０３に送る。距離演算部１０３は、信号処理部１０２から送られた画像データから両画像の対応点を検索し、対応点の視差に基づいて対応点までの距離を算出し、算出した距離情報を物体認識部１０４に送る。物体認識部１０４は、距離演算部１０３から送られた距離情報に基づいて、物体の検出および認識を実施し、得られた物体情報を車両制御部１０５に送る。車両制御部１０５は、物体認識部１０４から送られた物体情報に基づいて、車両の加速／減速／操舵、車両の光源の制御、ワイパーの制御、搭乗者への注意や付加情報の通知を行うための信号を生成し、生成した制御信号を車両コントローラ４００に送る。車両コントローラ４００は、送られた制御信号に基づいて車両の動作をコントロールする。
　図２は、ヘッドライト２００が構造化光を投光したときの投光パターンの１例を示している。説明のため一方のヘッドライト２００の投光のみを示している。白に近い塗り潰し部ほど照度が高く、黒に近い塗り潰し部ほど照度が低いことを示している。ヘッドライト２００を中心とした円周方向に沿って、低照度部分と高照度部分とを交互に投光する。この投光パターンをステレオカメラ１００が撮像した場合、周辺が暗いあるいは画像が低コントラストとなる環境であったとしても、低照度部分と高照度部分との間の境界で生じるエッジ部分において、視差を得ることができる。
　図２の投光パターンは、半径方向に沿って中心（ヘッドライト２００）に近いほど暗く、中心から遠いほど明るい。一般に撮像画像上の輝度は遠方ほど低いが、図２のように遠方ほど照度を高くすることにより、画像上に形成されるエッジは距離に拠らず同等の輝度差とすることができる。これにより遠方であっても安定して視差を得ることができる。
　図２の投光パターンは、ヘッドライト２００を中心とした略扇形に形成され、低照度部分のパターン幅と高照度部分のパターン幅は、遠方ほど広い。遠近法の効果により、一般に撮像画像上のパターン幅は遠方ほど狭くなって識別性が低下するが、図２のように遠方ほどパターン幅を広げることにより、遠方であってもエッジを識別しやすくなる。これにより、遠方まで視差を安定して得ることができる。
　図３は、補完パターンの例である。ヘッドライト２００は、図２に示した構造化パターンと、図３に示す補間パターンとを交互に切り替えながら投光する。これにより、構造化パターンと補間パターンのいずれの投光期間においても低照度部分と高照度部分との間の境界で生じるエッジ部分で視差を得ることができる。
　図４は、図２の構造化パターンと図３の構造化パターンを時間平均した結果である。これらの構造化パターンを時間平均することにより、図４のように構造化パターンが見えない一様な輝度分布、あるいは構造化パターンが見えない滑らかな輝度分布を有する投下光となる。これにより、搭乗者や歩行者に対して違和感を与えない投光を実現することができる。
　図５～図８は、投光パターンを切り替えるタイミングについて説明するタイムチャートである。構造化パターンと補間パターンとの間を切り替えるタイミングは、カメラの露光期間を避けることが望ましい。これは、露光期間にパターンを切り替えると、取得した画像に２つのパターンが露光されることによって低照度部分と高照度部分のエッジの輝度差が低下する可能性があり、あるいは類似パターンが発生することにより画像マッチング処理において本来マッチングすべきエッジを間違える誤マッチングが発生しやすくなるからである。誤マッチングに関しては図１３を用いて後述する。
　図５は、撮像素子の各行の露光タイミングが同時であるグローバルシャッタ方式を想定したパターン切替えタイミングの例である。これは、撮像素子の全行の露光タイミングが一致しているＣＣＤやグローバルシャッタタイプのＣＭＯＳを想定したものである。この場合は全ての画素の露光が終了するタイミングが一致しているので、露光終了時にパターン５０１と５０２を切り替える。
　図６は、撮像素子の各行の露光タイミングがずれているローリングシャッタ方式の撮像素子を想定した例である。最終行の露光終了と先頭行の露光開始との間に、いずれの行においても露光が実施されていない期間が存在する場合は、その期間においてパターン５１１と５１２を切替える。
　図７は、フレーム周期と比較して露光時間が相対的に長い例である。この場合は図７に示すように、いずれの行の露光も実施されていない期間が存在しない。この場合ヘッドライト２００は、例えば２フレームごとにパターン５２１と５２２を切り替え、ステレオカメラ１００はパターンを切り替えた直後のフレームにおいて取得した画像を用いて視差を得る。より厳密には、先頭行の露光開始時間から最終行の露光終了時間までの時間をｔ１、フレーム周期である点線の間隔をｔ２とした場合、ｔ１・（ｎ－１）＜ｔ２≦ｔ１・ｎとなるｎに対してｎフレームごとにパターン５２１と５２２を切替える。図７の場合、ｎ＝２なので２フレームごとにパターン５２１と５２２を切替える。
　図８は、カメラ１の撮像素子とカメラ２の撮像素子との間の位置関係を上下にずらした例である。この場合には図８のようにカメラ１の露光タイミングとカメラ２の露光タイミングを意図的にずらすことがある。この場合、視差を検出できるのは撮像素子の一部の行だけになる。したがって、露光開始が遅い撮像素子の先頭行の露光開始から、露光終了が早い撮像素子の最終行の露光終了までの期間を避けて、パターン５３１と５３２を切り替える。
　図１に示す信号ｂ１およびｂ２は、ステレオカメラ１００がヘッドライト２００と３００に対して投光パターンを指示する制御信号である。投光パターンを切り替えるタイミングについては、例えば露光方式／フレーム周期／露光時間に基づいて指示することができる。光強度／形状パターン／色などについては、これらの内容そのものを指示する制御信号をステレオカメラ１００から出力し、ヘッドライト２００と３００がこれを解釈して自ら指示された構造化光を生成してもよいし、ステレオカメラ１００がヘッドライト２００と３００の素子を個別に制御するような制御信号を出力してもよい。いずれの場合であっても、所望の構造化光をヘッドライト２００と３００が出力できればよい。後述する実施形態２におけるレーザ光源７０７についても同様である。
　以上の説明においては、遠方に存在する物体であっても精度よく検出することができる投光パターンについて説明した。他方で、自車の走行速度に応じて検出したい物体の範囲は異なる。例えば、自車が時速１００ｋｍ／ｈで走行している場合は衝突回避の観点から１００ｍ以上前方の物体を検知できることが望ましいが、停止中や道幅の狭い道路での走行においてはより広角な範囲で物体を検知できることが望ましい。これらの範囲を包括的に照射すると不要な電力を消費し、あるいは周辺の車両や歩行者に対して不要な違和感を与えてしまう。そこでステレオカメラ１００は、車両コントローラ４００から信号ａにより車両の走行速度を取得し、ヘッドライト２００およびヘッドライト３００に対して投光範囲を指示する。
　図９は、走行速度が所定速度以上の場合における投光範囲を例示する図である。この場合は、図２の投光範囲と比較して進行方向に沿ってより遠方まで構造化パターンを投光する。
　図１０は、走行速度が所定速度以下の場合における投光範囲を例示する図である。この場合は、図２の投光範囲と比較してより広角に構造化パターンを投光する。図９と図１０の差異は、車両の走行速度によって認識したい物体の範囲が異なることに起因する。ステレオカメラ１００は、自車速度に応じて投光範囲を変えることにより、必要な範囲の周辺状況をより正確に取得することができる。
　図１１は、自車の前方に先行車がいることを検出した例である。この場合、ステレオカメラ１００は、先行車まで到達しない範囲で構造化パターンを投光する。先行車の搭乗者がルームミラーの反射によってまぶしさを感じないように、例えばバンパーやナンバープレートより下に構造化光が照射されるように、投光範囲を制御することが望ましい。
　図１２は、左にハンドルをきった場合における投光範囲の例である。ステレオカメラ１００は、車両コントローラ４００から信号ａにより車両の操舵角を取得するとともに、その操舵角にしたがって車両の進行方向を取得する。ステレオカメラ１００は、車両の進行方向に向かって投光範囲を変更するように、ヘッドライト２００およびヘッドライト３００に対して指示する。ここでは低速で直進している図１０と比べて投光範囲を左側へ回転させている。このように操舵角に応じて投光範囲を変えることにより、必要な範囲の周辺状況をより正確に取得することができる。
　ステレオカメラ１００は、物体距離を測定するため、当該物体を２つの視点から見た視差を用いる。２視点間で１つの物体が同一のものと判断するためには、例えば基準点同士をマッチングする処理が必要になる。このとき２つの視点から得た画像が、類似した特徴点あるいは模様を複数有していると、本来マッチングすべき基準点ではない部分を基準点としてマッチングしてしまう、いわゆる誤マッチングが生じる可能性がある。
　図１３は、エリアマッチング方式によるマッチングの説明図である。左図の四角で示したエリアとマッチングするエリアを右図から検索するには、エピポーラ線上を検索すればよい。投光パターンが単調な繰り返しパターンである場合、本来マッチングすべきエリア（右図内の白実線）の他に類似した模様を有するエリア（右図内の白点線）が複数存在するので、誤マッチングが発生する可能性がある。これを防ぐため、投光エリアごとに、光強度／低照度部分と高照度部分の投光角度／低照度部分と高照度部分のパターン幅／色のうち少なくともいずれかを変えることが考えられる。
　図１４は、投光エリアごとに光強度を変える例である。ステレオカメラ１００は、例えば投光エリア６０１／６０２／６０３の光強度をそれぞれ異なるようにセットする。これにより、低照度部分と高照度部分との間の輝度差が投光エリアごとに異なることになるので、誤マッチングを防ぐことができる。
　図１５は、構造化パターンと補間パターンの投光エリア毎の光強度の例である。表の上行から順に、時間経過ごとに各投光エリアにおける光強度を示している。この例においては、構造化パターンと補間パターンとの強度の和が全ての投光エリアにおいて同じになるようにしている。
　図１６は、構造化パターンと補間パターンの投光エリア毎の光強度の別例である。この例において、エリア６０１から６０３までの光強度の和は、ｔ＝１からｔ＝６の期間において同じになるようにしている。エリア６１１から６１４までの光強度の和は、ｔ＝１からｔ＝８の期間において同じになるようにしている。さらに、撮像範囲の明るさに応じて各エリアの強度をオフセットさせてもよい。これにより、環境変化に対してロバストな測距性能を実現できる。後述する実施形態２においても同様である。
　投光エリアごとに光強度を変えることに代えてまたはこれに加えて、投光エリア６０１～６０３の放射角をそれぞれ異なる角度としてもよい。さらに、投光エリア６０１～６０３の色をそれぞれ異なる色としてもよい。この場合、構造化パターンと補間パターンは光の３原色に近い赤／緑／青の光を交互に投光することにより、投光エリア全域が白色で輝度が一様な分布となる照明となる。エリア毎に異なる色を投光した場合、ステレオカメラ１００は撮像素子の画素種別毎にマッチング処理を実施することにより、類似パターンによる誤マッチングを防ぐことができる。
　ヘッドライト２００およびヘッドライト３００が可視光光源の他に非可視光光源を有しており、非可視光によって構造化パターンを投光する場合、非可視光に対する感度が高い撮像素子の画素種別を使用してマッチング処理を実施することにより、より早く対象物の視差算出および測距を実施することができる。
＜実施の形態１：まとめ＞
　本実施形態１に係るステレオカメラ１００は、ヘッドライト２００からの距離に応じて構造化光の光強度／構造化光のパターン幅／構造化光のパターンサイズのうち少なくともいずれかを変える。これにより、遠方の物体であっても撮像画像上でパターンエッジを明瞭に識別することができるので、識別精度を向上させることができる。
　本実施形態１に係るステレオカメラ１００は、投光エリアごとに光強度／パターン幅／パターンサイズ／色のうち少なくともいずれかを変える。これにより、撮像画像上に類似するパターンが含まれている場合において、ステレオ画像間における誤マッチングを抑制することができる。
　本実施形態１においては、例えば投光距離に応じて滑らかに構造化パターンの光強度を変化させることができるが、本発明はこれに限定されない。例えば、投光距離を複数レンジに分割してレンジごとに異なる光強度をセットすることにより、光強度を離散的に変化させることもできる。この場合であっても同等の効果を得ることができる。後述する実施形態２においても同様である。
　本実施形態１においては、自車の走行速度を低速／中速／高速の３段階の速度グループに分割し、速度グループごとに投光範囲を設定することができるが、本発明はこれに限定されない。例えば自車の速度に応じて連続的に投光範囲を変えることもできる。この場合であっても同等の効果を得ることができる。後述する実施形態２においても同様である。
　本実施形態１においてはヘッドライト２００と３００が構造化光を投光することとしたが、本発明はこれに限定されない。例えば、フォグランプ／ストップランプ／テールランプなどであっても同等の効果を得ることができる。また、旋回時にサイドターンランプ、後進時にリアターンランプを使用しても同等の効果を得ることができる。
　本実施形態１においては、左右両方のヘッドランプを使用して構造化光を投光しているが、本発明はこれに限定されない。例えば、右のヘッドランプあるいは左のヘッドランプのみを使用して構造化光を投光してもよい。あるいは視差の検出ができないエリアや検出精度が不安定なエリアを検出し、当該エリアにおいてのみ構造化光を投光しても同等の効果を得ることができる。
　本実施形態１においては、ステレオカメラ１００の内部で物体認識処理と車両制御信号生成を実施しているが、本発明はこれに限定されない。例えば、距離演算結果あるいは距離演算結果を簡素化した情報を、車両が搭載した演算処理部やコントロール部に対して出力しても同等の効果を得ることができる。後述する実施形態２においても同様である。
　本実施形態１においては、投光距離に応じて、構造化光が有する光強度／形状パターンを変えることを説明した。ここでいう投光距離とは、路面から光源までの高さと構造化光の俯角によって定まる、光源から投光箇所までの距離のことである。ステレオカメラ１００は、構造化光の投光方向と投光距離との間の関係をあらかじめ記憶しておき、その関係にしたがって、投光距離に対応する構造化光をヘッドライト２００と３００に対して指示すればよい。後述する実施形態２におけるレーザ光源７０７についても同様である。
＜実施の形態２＞
　図１７は、本発明の実施形態２に係るステレオカメラ７００の構成図である。ステレオカメラ７００は、レーザ光源を用いて構造化光を投光する。光学部７０１～コントロール部７０６は、実施形態１における光学部１０１～コントロール部１０６と同様の機能部である。ステレオカメラ１００を搭載する車両は、レーザ光源７０７、車両コントローラ４００を備える。レーザ光源７０７は、コントロール部７０６から送られる信号に基づいて、構造化光のパターン／投光エリア／光強度などを制御する。信号ａ、ｂについては後述する。
　図１８は、レーザ光源７０７が構造化光を投光したときの投光パターンの１例である。説明のため、構造化光は走行方向に伸びた２本の直線で示している。色が濃いほど照度が高く、色が薄いほど照度が低いことを示している。各直線の光強度は自車あるいはステレオカメラ７００からの距離が遠くなるほど強くなるようにしている。各直線の幅は自車あるいはステレオカメラ７００からの距離が遠くなるほど太くなるようにしている。
　図１８の投光パターンをステレオカメラ７００が撮像した場合、周辺が暗いあるいは撮像画像が低コントラストとなる環境下においても、低照度部分と高照度部分との間の境界で生じるエッジ部分で視差を得ることができる。特に、遠方ほど照度を高くすることにより、画像上に形成されるエッジは距離に拠らず同等の輝度差とすることができるので、遠方でも安定して視差を得ることができる。またパターンの幅を遠方ほど太くすることにより、画像上に形成されるエッジ間隔が距離に応じて小さくなることを防ぎ、より遠方までエッジを識別することができ、遠方まで視差を安定して得ることができる。
　図１８においては構造化パターンは２本の直線としたが、輝度差は直線のエッジ部分でしか得られないので、直線の数が少ないと視差の検出が部分的になる。反面、直線の数が多くなるほど誤マッチングの確率が増大するので、投光パターンに類似模様が生じない工夫が必要となる。この工夫について図１９を用いて説明する。
　図１９は、２本の類似直線を識別するための投光パターンを示す図である。両カメラの光軸より外側の２エリアに各々の直線を投光している。しかし図１９に示すように、光学部７０１の２つのカメラの光軸よりも外側に直線を配置することにより、撮像画像上の消失点（遠近法における平行線が収束する点）と直線との間の相対位置にしたがって、いずれの直線であるのかを識別することができる。次の図２０を用いて判断基準を説明する。
　図２０は、撮像画像上の直線パターンがいずれの直線であるのかを識別する判断基準の例である。直線９０１は、左カメラから見ても右カメラから見ても消失点よりも左側にある。直線９０２は、左カメラから見ても右カメラから見ても消失点よりも右側にある。これらの判断基準にしたがって、ステレオカメラ７００は撮像画像上の直線がいずれの直線であるのかを識別できる。
　直線パターンを識別するその他方法として、投光パターンごとに異なる位置に直線を投光し、時間経過にしたがってパターンを切り替える方法が考えられる。その他、直線パターンの光強度／直線幅／色／並びを適当に設定することにより、類似模様が同時に発生しないパターンを形成する方法が考えられる。
　時間経過にしたがってパターンを切り替える方法においては、パターン切り替えはカメラの露光期間を避けて実施することが望ましい。露光期間においてパターンを切り替えると、取得した画像に２つのパターンが露光されるので、低照度部分と高照度部分のエッジの輝度差が低下する可能性があり、あるいは類似パターンが発生することにより画像マッチング処理において誤マッチングが発生しやすくなるからである。パターン切り替えの具体例は実施形態１の図５から図８で説明したので省略する。
　図２１は、直線パターンの光強度／直線幅／並びによって直線を区別する方法の１例である。図２１において、左右カメラの光軸を挟んで右側に弱／中／強の３つの光強度の直線９０３／９０４／９０５を投光し、左側にも弱／中／強の３つの光強度の直線９０６／９０７／９０８を投光している。これにより１フレームの撮像画像内に６本の直線を表示することができ、図１８に示した例よりも同時かつ細かい空間分解能で視差を得ることができる。さらに光強度の異なる線を隣接する様に表示し、並び順を変えることにより、同時に表示する直線数をさらに増やすこともできる。単色光を使用する場合は、当該波長の光に対する感度が高い撮像素子の画素種別を使用してマッチング処理を先行して実施することにより、より早く対象物の視差算出および測距を実施できる。
　図２２は、直線パターンの色／並びによって直線を区別する方法の１例である。図２２において、左右カメラの光軸を挟んで右側に赤／緑／青の３色の直線９０９／９１０／９１１を投光し、左側にも赤／緑／青の３色の直線９１２／９１３／９１４を投光している。これにより１フレームの撮像画像内に６本の直線を表示することができ、図１８に示した例よりも同時かつ細かい空間分解能で視差を得ることができる。この場合、視差検出におけるマッチング処理は赤／緑／青の画素種別毎に独立で実施することが望ましい。さらには光強度／並び順／色を組み合わせることにより、図２１と図２２に示した例より同時かつ細かい空間分解能で視差を得ることができる。
　図２３は、走行速度が所定速度以上の場合における投光範囲を例示する図である。ステレオカメラ７００は、コントロール部７０６を介して車両コントローラ４００から信号ａにより車両の走行速度を取得し、レーザ光源７０７に対して表示範囲を指示する。走行速度が所定速度以上の場合は、図１８の投光範囲よりも進行方向に沿って遠方まで構造化パターンを投光する。
　図２４は、走行速度が所定速度以下の場合における投光範囲を例示する図である。この場合は図１８の投光範囲よりも広角に構造化パターンを投光する。図２３と図２４の差異は図９と図１０の差異と同じ理由による。
　前方および周辺に先行車や歩行者がいることを検出した場合は、実施形態１の図１１で説明したとおり走行速度で決定される投光距離を制限する。すなわち、少なくとも先行車が存在する方向の構造化光の投光距離を制限し、ルームミラーを介してレーザ光が先行車の搭乗者の目に入らないように、例えばバンパーやナンバープレートより下に構造化光が照射されるように投光範囲を制御する。また少なくとも周辺の歩行者が存在する方向の構造化光の投光距離を制限し、歩行者の目にレーザが入らないように例えば当該歩行者の下半身以下に構造化光が照射されるように投光範囲を制御する。
　図２５は、左にハンドルをきった場合における投光範囲の例である。ステレオカメラ７００は、車両コントローラ４００から信号ａにより車両の操舵角を取得し、レーザ光源７０７に対して表示範囲を指示する。ここでは低速で直進している図１８と比べて投光範囲を左側へ回転させている。このように操舵角に応じて投光範囲を変えることにより、必要な範囲の周辺状況をより正確に取得することができる。
　図２６は、ステレオカメラ７００が加速度センサ７０８を搭載する構成例である。加速度センサ７０８が検出した加速度に応じて構造化光のピッチ方向の投光方向を制御することにより、後部座席の搭乗やトランクへの荷物の格納の差異に変動する車両のピッチ方向の姿勢に対して、ロバスト性能が高い投光範囲制御を実現することができる。
　レーザ光源７０７は、ステレオカメラ７００が有する２つのカメラレンズのうちいずれかの光軸と重なるように、直線形状の構造化光を投光してもよい。すなわち、光軸を含む鉛直面と路面との交線上に、構造化光を投光する。この場合、構造化光の直線パターンははそのカメラの光軸と一致するので、車両のピッチ角が変化しても構造化光のＸ座標は変化しない（常に消失点と略同じＸ座標となる）。したがって、車両のピッチ方向の姿勢変化に対して、マッチング精度のロバスト性を高めることができる。これにより、他方のカメラが検出したＸ座標をそのまま視差とみなすことができるので、マッチング処理を簡略化できる。
　ステレオカメラ７００は、撮像画像上の視差を用いて測距するので、視差が生じるのであれば測距は可能である。例えば２つのカメラを用いることに代えて（またはこれに加えて）、一方のカメラとレーザ光源７０７の組み合わせによって、測距することが可能である。ただしステレオカメラを用いる測距は、その原理上、カメラの基線長が長いほどより遠方の対象物を測距することができる。一方のカメラとレーザ光源７０７の組み合わせにより測距する場合も同様である。したがってこの場合、一方のカメラとレーザ光源７０７との間の間隔は、ステレオカメラ７００の基線長以上にすることが望ましい。間隔がこれよりも小さいと、ステレオカメラ７００よりも測距精度が劣るからである。一方のカメラとレーザ光源７０７を用いて測距する場合は、構造化光を車両の直進方向に対して平行な鉛直面に含まれるように投光すればよい。
＜実施の形態２：まとめ＞
　本実施形態２においては、車両が搭載するヘッドライトに代えて、レーザ光源７０７を用いて構造化光を投光する。本実施形態２においても、実施形態１と同様の効果を発揮することができる。本実施形態２においてはレーザ光源７０７によって構造化光を投光することしたが、本発明はこれに限定されない。例えば、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）ライトを用いても類似の効果を得ることができる。
　本実施形態２において、レーザ光源７０７はステレオカメラ７００本体から離れた位置に配置してもよい。例えば、フロントガラスの右上部あるいは左上部、バックミラー、ヘッドライト、バンパーなどに配置しても同等の効果を得ることができる。
＜実施の形態３＞
　図２７は、本発明の実施形態３に係るカメラ１０００の構成図である。本実施形態３において、光学部１００１はレンズと撮像素子のペアを１ペア有する。信号処理部１００２～コントロール部１００６は、実施形態１における信号処理部１０２～コントロール部１０６と同様の機能部である。本実施形態３において、低照度部分と高照度部分との境界で生じるエッジ部分と光学部１００１との間の相対位置が既知である点が実施形態１と異なる。それ以外は実施形態１と同様である。本実施形態３においても、実施形態１と同様の原理により距離を計測することができる。
＜実施の形態４＞
　図２８は、本発明の実施形態４に係るカメラ１４００の構成図である。本実施形態４において、光学部１４０１はレンズと撮像素子のペアを１ペア有する。信号処理部１４０２～レーザ光源１４０７は、実施形態２における信号処理部７０２～レーザ光源７０７と同様の機能部である。本実施形態４において、低照度部分と高照度部分との境界で生じるエッジ部分と光学部１４０１との相対位置が既知である点もしくは構造化パターンの線間隔が既知である点が実施形態２と異なる。それ以外は実施形態２と同様である。本実施形態４においても、実施形態２と同様の原理により距離を計測することができる。
＜本発明の変形例について＞
　本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１００：ステレオカメラ
１０１：光学部
１０２：信号処理部
１０３：距離演算部
１０４：物体認識部
１０５：車両制御部
１０６：コントロール部
２００：ヘッドライト
３００：ヘッドライト
４００：車両コントローラ
７０７：レーザ光源
７０８：加速度センサ

Claims (26)

  1. 　物体までの距離を取得する撮像装置であって、
    　構造化光を投光する光源、
    　前記構造化光が投光された投光箇所の画像を取得するカメラ、
    　を備え、
    　前記光源は、前記光源から前記投光箇所までの距離にしたがって、前記構造化光の光強度、または前記構造化光の形状パターンサイズ、のうち少なくともいずれかを変更し、
    　前記カメラは、前記画像に含まれる前記構造化光のパターンを用いて、前記カメラから前記物体までの距離を取得する
    　ことを特徴とする撮像装置。
  2. 　前記光源は、前記構造化光が有する光強度を２以上の光強度の間で変更しながら前記構造化光を投光し、
    　前記光源は、前記距離が第１距離であるときは、第１光強度を有する前記構造化光を投光し、
    　前記光源は、前記距離が前記第１距離よりも長い第２距離であるときは、前記第１光強度よりも強い第２光強度を有する前記構造化光を投光する
    　ことを特徴とする請求項１記載の撮像装置。
  3. 　前記光源は、前記光源から前記投光箇所までの距離が離れるほど幅が広くなる形状パターンを有する前記構造化光を投光する
    　ことを特徴とする請求項１記載の撮像装置。
  4. 　前記撮像装置はさらに、前記撮像装置の移動速度を取得する速度取得部を備え、
    　前記光源は、前記構造化光が有する形状パターンを２以上の形状パターンの間で切り替えながら前記構造化光を投光し、
    　前記光源は、前記移動速度が第１速度であるときは、第１形状パターンを有する前記構造化光を投光し、
    　前記光源は、前記移動速度が前記第１速度よりも速い第２速度であるときは、前記第１形状パターンよりも前記光源から遠く離れた位置まで到着する第２形状パターンを有する前記構造化光を投光する
    　ことを特徴とする請求項１記載の撮像装置。
  5. 　前記光源は、第１投光領域に対して第１構造化光を投光するとともに、第２投光領域に対して第２構造化光を投光し、
    　前記第１構造化光が有する光強度と前記第２構造化光が有する光強度、または前記第１構造化光が有する形状パターンサイズと前記第２構造化光が有する形状パターンサイズ、または前記第１構造化光が有する色と前記第２構造化光が有する色、のうち少なくともいずれかは互いに異なる
    　ことを特徴とする請求項１記載の撮像装置。
  6. 　前記光源は、前記カメラが備える撮像素子が露光されている期間以外の期間において、前記構造化光の光強度、または前記構造化光の形状パターンサイズ、のうち少なくともいずれかを切り替える
    　ことを特徴とする請求項１記載の撮像装置。
  7. 　撮像素子の所定範囲の中で最初に露光が行われる画素の露光開始時間と最後に露光が終了する画素の露光終了時間との差をｔ１とし、フレーム周期をｔ２とした場合、
    　ｔ１＞ｔ２のとき、ｔ２×（ｎ－１）＜ｔ１＜ｔ２×ｎ（ｎは自然数）となるｎに対して、
    　前記光源は、ｎフレームごとに、前記構造化光の光強度、または前記構造化光の形状パターンサイズ、のうち少なくともいずれかを切り替える
    　ことを特徴とする請求項１記載の撮像装置。
  8. 　前記撮像装置はさらに、前記撮像装置を搭載する車両の操舵角を取得する操舵角取得部を備え、
    　前記光源は、前記操舵角にしたがって前記車両の進行方向を取得するとともに、前記進行方向に向かって前記構造化光を投光する方向を変化させる
    　ことを特徴とする請求項１記載の撮像装置。
  9. 　前記撮像装置はさらに、前記投光箇所の照度を取得する照度取得部を備え、
    　前記光源は、前記照度にしたがって前記構造化光の光強度を変更する
    　ことを特徴とする請求項１記載の撮像装置。
  10. 　前記光源は、
    　　第１照度を有する第１構造化光を第１投光領域に対して投光するとともに、前記第１照度よりも高い第２照度を有する第２構造化光を第２投光領域に対して投光する第１投光モードと、
    　　前記第１照度よりも高い第３照度を有する第３構造化光を前記第１投光領域に対して投光するとともに、前記第２照度よりも低い第４照度を有する第４構造化光を前記第２投光領域に対して投光する第２投光モードと、
    　を切り替えながら実施することにより、前記第１投光領域における前記構造化光の照度と前記第２投光領域における前記構造化光の照度をそれぞれ平滑化する
    　ことを特徴とする請求項１記載の撮像装置。
  11. 　前記光源は、前記撮像装置を搭載する車両が備えるヘッドライトである
    　ことを特徴とする請求項１記載の撮像装置。
  12. 　前記カメラは、第１カメラと第２カメラを有するステレオカメラである
    　ことを特徴とする請求項１記載の撮像装置。
  13. 　前記光源は、レーザ光源またはＬＥＤ光源である
    　ことを特徴とする請求項１記載の撮像装置。
  14. 　前記光源は、レーザ光源またはＬＥＤ光源であり、
    　前記光源は、前記第１カメラが有するレンズの光軸を含む鉛直面と路面の交線を含む直線上に、直線形状の前記構造化光を投光する
    　ことを特徴とする請求項１２記載の撮像装置。
  15. 　前記光源は、レーザ光源またはＬＥＤ光源であり、
    　前記光源は、前記ステレオカメラから、前記ステレオカメラの基線長以上離れた位置に配置されている
    　ことを特徴とする請求項１２記載の撮像装置。
  16. 　物体までの距離を取得する撮像装置であって、
    　構造化光を投光する光源を制御する制御部、
    　前記構造化光が投光された投光箇所の画像を取得するカメラ、
    　を備え、
    　前記制御部は、前記光源から前記投光箇所までの距離にしたがって、前記構造化光の光強度、または前記構造化光の形状パターンサイズ、のうち少なくともいずれかを変更するように、前記光源に対して指示する制御信号を出力し、
    　前記カメラは、前記画像に含まれる前記構造化光のパターンを用いて、前記カメラから前記物体までの距離を取得する
    　ことを特徴とする撮像装置。
  17. 　前記制御部は、前記構造化光が有する光強度を２以上の光強度の間で変更しながら前記構造化光を投光するように、前記光源に対して指示する前記制御信号を出力し、
    　前記光源は、前記距離が第１距離であるときは、第１光強度を有する前記構造化光を投光し、
    　前記光源は、前記距離が前記第１距離よりも長い第２距離であるときは、前記第１光強度よりも強い第２光強度を有する前記構造化光を投光する
    　ことを特徴とする請求項１６記載の撮像装置。
  18. 　前記制御部は、前記光源から前記投光箇所までの距離が離れるほど幅が広くなる形状パターンを有する前記構造化光を投光するように前記光源に対して指示する前記制御信号を出力する
    　ことを特徴とする請求項１６記載の撮像装置。
  19. 　前記撮像装置はさらに、前記撮像装置の移動速度を取得する速度取得部を備え、
    　前記制御部は、前記構造化光が有する形状パターンを２以上の形状パターンの間で切り替えながら前記構造化光を投光するように、前記光源に対して指示する前記制御信号を出力し、
    　前記光源は、前記移動速度が第１速度であるときは、第１形状パターンを有する前記構造化光を投光し、
    　前記光源は、前記移動速度が前記第１速度よりも速い第２速度であるときは、前記第１形状パターンよりも前記光源から遠く離れた位置まで到着する第２形状パターンを有する前記構造化光を投光する
    　ことを特徴とする請求項１６記載の撮像装置。
  20. 　前記制御部は、第１投光領域に対して第１構造化光を投光するとともに、第２投光領域に対して第２構造化光を投光するように、前記光源に対して指示する前記制御信号を出力し、
    　前記第１構造化光が有する光強度と前記第２構造化光が有する光強度、または前記第１構造化光が有する形状パターンサイズと前記第２構造化光が有する形状パターンサイズ、または前記第１構造化光が有する色と前記第２構造化光が有する色、のうち少なくともいずれかは互いに異なる
    　ことを特徴とする請求項１６記載の撮像装置。
  21. 　前記制御部は、前記カメラが備える撮像素子が露光されている期間以外の期間において、前記構造化光の光強度、または前記構造化光の形状パターンサイズ、のうち少なくともいずれかを切り替えるように、前記光源に対して指示する前記制御信号を出力する
    　ことを特徴とする請求項１６記載の撮像装置。
  22. 　前記撮像装置はさらに、前記撮像装置を搭載する車両の操舵角を取得する操舵角取得部を備え、
    　前記制御部は、前記操舵角にしたがって前記車両の進行方向を取得し、
    　前記制御部は、前記進行方向に向かって前記構造化光を投光する方向を変化させるように、前記光源に対して指示する前記制御信号を出力する
    　ことを特徴とする請求項１６記載の撮像装置。
  23. 　前記撮像装置はさらに、前記投光箇所の照度を取得する照度取得部を備え、
    　前記制御部は、前記照度にしたがって前記構造化光の光強度を変更するように、前記光源に対して指示する前記制御信号を出力する
    　ことを特徴とする請求項１６記載の撮像装置。
  24. 　前記制御部は、
    　　第１照度を有する第１構造化光を第１投光領域に対して投光するとともに、前記第１照度よりも高い第２照度を有する第２構造化光を第２投光領域に対して投光する第１投光モードと、
    　　前記第１照度よりも高い第３照度を有する第３構造化光を前記第１投光領域に対して投光するとともに、前記第２照度よりも低い第４照度を有する第４構造化光を前記第２投光領域に対して投光する第２投光モードと、
    　を切り替えながら実施することにより、前記第１投光領域における前記構造化光の照度と前記第２投光領域における前記構造化光の照度をそれぞれ平滑化するように、前記光源に対して指示する前記制御信号を出力する
    　ことを特徴とする請求項１６記載の撮像装置。
  25. 　前記光源は、前記撮像装置を搭載する車両が備えるヘッドライトである
    　ことを特徴とする請求項１６記載の撮像装置。
  26. 　前記カメラは、第１カメラと第２カメラを有するステレオカメラである
    　ことを特徴とする請求項１６記載の撮像装置。
PCT/JP2019/010114 2018-05-10 2019-03-12 撮像装置 WO2019216020A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201980025539.3A CN111971527B (zh) 2018-05-10 2019-03-12 摄像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018091755A JP7096701B2 (ja) 2018-05-10 2018-05-10 撮像装置
JP2018-091755 2018-05-10

Publications (1)

Publication Number Publication Date
WO2019216020A1 true WO2019216020A1 (ja) 2019-11-14

Family

ID=68467957

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010114 WO2019216020A1 (ja) 2018-05-10 2019-03-12 撮像装置

Country Status (3)

Country Link
JP (1) JP7096701B2 (ja)
CN (1) CN111971527B (ja)
WO (1) WO2019216020A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024069682A1 (ja) * 2022-09-26 2024-04-04 三菱電機株式会社 路面描画装置および路面描画方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013124941A (ja) * 2011-12-15 2013-06-24 Samsung Yokohama Research Institute Co Ltd 測距装置、及び測距方法
JP2015523256A (ja) * 2012-04-27 2015-08-13 グーグル・インク 他の車両からの安全距離を維持することによる道路上での安全な操縦
JP2016057141A (ja) * 2014-09-09 2016-04-21 株式会社リコー 距離測定装置、移動体装置及び距離測定方法
JP2016080471A (ja) * 2014-10-15 2016-05-16 シャープ株式会社 画像認識処理装置及びプログラム
WO2016188939A1 (de) * 2015-05-22 2016-12-01 Sirona Dental Systems Gmbh Vorrichtung zur optischen 3d-vermessung eines objekts

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4402400B2 (ja) * 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
WO2016157600A1 (ja) * 2015-03-30 2016-10-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013124941A (ja) * 2011-12-15 2013-06-24 Samsung Yokohama Research Institute Co Ltd 測距装置、及び測距方法
JP2015523256A (ja) * 2012-04-27 2015-08-13 グーグル・インク 他の車両からの安全距離を維持することによる道路上での安全な操縦
JP2016057141A (ja) * 2014-09-09 2016-04-21 株式会社リコー 距離測定装置、移動体装置及び距離測定方法
JP2016080471A (ja) * 2014-10-15 2016-05-16 シャープ株式会社 画像認識処理装置及びプログラム
WO2016188939A1 (de) * 2015-05-22 2016-12-01 Sirona Dental Systems Gmbh Vorrichtung zur optischen 3d-vermessung eines objekts

Also Published As

Publication number Publication date
CN111971527B (zh) 2022-08-05
JP2019197008A (ja) 2019-11-14
JP7096701B2 (ja) 2022-07-06
CN111971527A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
JP5617999B2 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
US10369922B2 (en) Vehicle headlight device
JP5680573B2 (ja) 車両の走行環境認識装置
CN110893085B (zh) 清洁机器人及其充电路径决定方法
US10632899B2 (en) Illumination device for a motor vehicle for increasing the perceptibility of an obstacle
US10239440B2 (en) Illumination apparatus for vehicle
US20140355280A1 (en) Light distribution control system for vehicle
JP2019089386A (ja) 車両用前照灯の制御装置、車両用前照灯、及び車両用前照灯の制御方法
US11704910B2 (en) Vehicle detecting device and vehicle lamp system
US20200236338A1 (en) Sensor system
US10919435B2 (en) Light distribution system and light distribution controller for headlight
WO2019216020A1 (ja) 撮像装置
JP4007578B2 (ja) 前照灯照射範囲制御方法及び前照灯装置
US10900770B2 (en) Distance measuring device, imaging apparatus, moving device, robot device, and recording medium
JP2013101432A (ja) 障害物検出装置及びプログラム
US20230151942A1 (en) Vehicle headlight
CN209776290U (zh) 车辆检测装置以及车辆用灯具系统
WO2019156087A1 (ja) 画像処理装置および車両用灯具
JP7251714B2 (ja) 車両識別装置
WO2021095497A1 (ja) カメラシステム
WO2020250711A1 (ja) 車載システム、車載装置
JP5668937B2 (ja) 前照灯制御装置
US11648870B2 (en) Vehicle headlamp
KR102675030B1 (ko) 차량용 램프 시스템
JP7311468B2 (ja) 車両識別装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19798951

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19798951

Country of ref document: EP

Kind code of ref document: A1