WO2023243162A1 - カメラ制御装置及び車両制御装置 - Google Patents

カメラ制御装置及び車両制御装置 Download PDF

Info

Publication number
WO2023243162A1
WO2023243162A1 PCT/JP2023/008918 JP2023008918W WO2023243162A1 WO 2023243162 A1 WO2023243162 A1 WO 2023243162A1 JP 2023008918 W JP2023008918 W JP 2023008918W WO 2023243162 A1 WO2023243162 A1 WO 2023243162A1
Authority
WO
WIPO (PCT)
Prior art keywords
control device
camera
vehicle
imaging
camera control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/008918
Other languages
English (en)
French (fr)
Inventor
哲也 山田
宏治 土井
聡 松田
翔太 郡司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to CN202380027972.7A priority Critical patent/CN119032578A/zh
Priority to DE112023000647.4T priority patent/DE112023000647T5/de
Priority to JP2024528298A priority patent/JP7745101B2/ja
Publication of WO2023243162A1 publication Critical patent/WO2023243162A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Definitions

  • the present invention improves recognition accuracy at night by utilizing headlight control by the vehicle's own camera at night in a vehicle that has a camera, headlights, and advanced driver assistance system (ADAS) functions.
  • ADAS advanced driver assistance system
  • the present invention relates to a camera control device and a vehicle control device that can appropriately provide driving support using this recognition.
  • a method has been proposed for a vehicle system that is equipped with a camera and uses information from the camera to control the illumination of headlights to assist the driver in driving at night.
  • Light distribution control is a technology that has been proposed for a long time. For example, as in Patent Document 1, the distance between the vehicle and the preceding vehicle is measured, and the high beam and low beam are switched depending on the distance between the vehicles at night.
  • Various proposals have been made as conditions for switching headlight control, including not only the presence of a preceding vehicle but also the presence or absence of an oncoming vehicle.
  • Patent Document 2 proposes a technique that removes reflective objects and facilitates the detection of oncoming vehicle lights.
  • the headlights and camera are controlled in synchronization at the same time, and the camera captures images only at the same time as the moment the headlights are turned off, making it possible to remove reflective objects.
  • the image captured by the camera is only of the light-emitting object, making it easier to detect the lights of an oncoming vehicle.
  • Patent Document 3 discloses that headlights and cameras are controlled in synchronization at the same time, and images are always taken alternately when the headlights are turned off and turned on. , which realizes the detection of reflective objects and luminescent objects. Furthermore, by dividing the irradiation area of the headlight and performing light control independently for each area, for example, it is possible to lengthen the lights-out period only in a specific area to prevent dazzling. On the other hand, since the timing of imaging corresponds to the timing of turning off and lighting up the entire area, the longer the off time of a specific area becomes, the longer the interval between imaging becomes.
  • the interval between the imaging timings (imaging time interval) between when the headlights are turned on and when they are turned off is as short as possible.
  • variable timing control means for making the camera imaging timing variable; and (2) means for controlling headlight on/off.
  • phase control means for shifting the phase of the imaging timing in order to adjust the imaging timing for shortening the imaging timing when the lights are turned on and off and the illumination control timing of the headlights; and (4) providing means for driving support such as automatic emergency braking using the detection information of reflective objects.
  • This reflective object 103 may be reflected by a reflector of a person or a bicycle, but it may also be a pseudo object that is visible on the road due to the reflection of headlights or the like.
  • FIG. 2B shows an image when the headlights were turned off at the same time t1, in which the reflective object is not displayed on the screen, and only the light-emitting object, the headlight 100 of the oncoming vehicle, is displayed on the screen.
  • FIG. 2C shows an image when the headlights are turned off at time t2, which is after time t1.
  • FIG. 2 it is possible to determine whether an object is a reflective object because it is not detected in the image when the lights are off, but FIG. 3 shows the determination of moving objects, stationary objects, and pseudo objects among reflective objects.
  • the headlights are turned on, and a reflective object 111 and a reflective pseudo object 113 on the inside of the roadway, and a reflective object 112 on the outside of the roadway are detected (FIG. 3(a)). It is assumed that the headlights continue to be turned on at time t2 after time t1, and a reflective object 114 and a reflective pseudo object 116 on the inside of the roadway, and a reflective object 115 on the outside of the roadway are detected (FIG. 3(b)).
  • the vector in the moving direction can be calculated from the position of the reflecting object.
  • the movement vector of the reflective object inside the roadway is 117, and the movement vector of the reflective object outside the roadway is 118. Since the reflective pseudo object 116 is always at the same location on the screen, the movement vector 119 is zero (FIG. 3(b)).
  • pseudo objects can be identified due to the absence of movement vectors. Further, stationary objects and moving objects can be distinguished from the direction and magnitude of the movement vector.
  • FIG. 4 shows the principle of imaging at variable timing when the headlights are turned on and off in the first embodiment of the present invention.
  • FIG. 4(a) shows a timing chart before phase adjustment of headlight on/off and imaging timing
  • FIG. 4(b) shows a timing chart after phase adjustment.
  • the camera issues an instruction to the headlights regarding the duty ratio of turning them off and on.
  • the headlights receive the duty ratio instruction, and the headlights repeatedly turn off and on according to the duty ratio.
  • the duty ratio between turning off and turning on is 1:9, so turning off and turning on is repeated at a time interval of 9 when turning on for 1 when turning off.
  • the camera has a shutter control that allows variable imaging timing, and performs imaging at short time intervals and imaging at long time intervals.
  • the camera shutter control time interval repeats periodically, independently and asynchronously of the headlights.
  • FIG. 4A there are short time intervals between times t1 and t2 and between t2 and t3, and long time intervals between t3 and t4 and between t4 and t5. Capturing images when the headlights are off produces a dark image, while capturing images when the headlights are on produces a bright image.
  • time t4, time t9, and time t14 are images when the headlights are turned off, and images at other times are images when the headlights are turned on.
  • FIG. 4(b) shows a timing chart after phase adjustment of headlight on/off and imaging timing.
  • Time t1, time t2, time t6, time t7, time t11, and time t12 are images when the headlights are turned off, and images at other times are images when the headlights are turned on.
  • imaging is performed once when the lights are off, whereas in FIG. 4(b), imaging can be performed twice when the lights are off. Furthermore, it is possible to capture an image in the vicinity of the change in headlight turning off and turning on.
  • the on/off duty of the headlights, the corresponding variable imaging timing of the camera, and the number of images to be acquired when the lights are off and when the lights are on are determined in advance, for example, 2 images when the lights are off and 6 images when the lights are on.
  • Fig. 4(a) there are 1 image when the lights are off and 7 images when the lights are on.Since the number of images is different, by adjusting the phase of the imaging timing
  • Fig. 4(b) there are 2 images when the lights are off and 7 images when the lights are on. Since the number of images is six, which is the same as the predetermined number of images when the lights are off and images when the lights are on, the state is after phase adjustment. Self-adjustment (self-test) of phase adjustment can be performed in this manner.
  • FIG. 1 shows an example of the configuration of a vehicle system according to the first embodiment of the present invention, which detects reflective objects with a camera and is used for object detection for driving support.
  • the camera is not particularly limited to a monocular camera or a stereo camera, but in the first embodiment, it is a stereo camera that has two left and right lenses and can detect the distance of an object by trigonometry.
  • the camera control unit 3 is connected to the camera imaging unit 2 via an LVDS cable, and includes an image processing unit 20 that processes the transferred RAW image, a recognition unit 21 that recognizes objects and lanes on the image, and a recognition unit 21 that controls turning on and off the headlights. It is comprised of a light control section 23 that instructs light distribution control to switch between high beam and low beam depending on timing and the presence or absence of a vehicle, and a CAN-IF section 22 that is connected to a CAN bus and sends and receives data.
  • the image processing unit 20 has a function of instructing the camera imaging unit 2 to take a shutter, which is the timing of image capture, and a function of generating an image necessary for recognition from the transferred RAW image.
  • the former includes an imaging timing calculation unit 30 that calculates the imaging timing of the camera imaging unit 2, shifts the phase of the imaging timing to match the turning on and off of the light, and issues a shutter instruction to the camera imaging unit 2, which is the imaging timing. This is performed by the imaging phase adjustment section 31.
  • the recognition unit 21 includes a lights-off duty calculation unit 40 that determines the duty of the time when the headlights are turned on and off, a pseudo object removal unit 41 that removes pseudo objects that are objects that do not actually exist, such as the reflection of the own vehicle's lights, and a stationary object removal unit 41 a moving object determination unit 42 that determines whether a vehicle is a moving object; a lane/road boundary detection unit 43 that detects lanes from images and detects road boundaries using reflective objects such as lanes, curbs, road shoulders, or guardrails; and light distribution control.
  • the light distribution light detection section 44 detects the headlights and taillights of other vehicles.
  • the light control unit 23 includes a duty instruction unit 70 for determining the timing of turning on and off the headlights using a duty ratio, and a light distribution instruction unit 71 for instructing light distribution control to switch between high beam and low beam depending on the presence or absence of a vehicle.
  • the vehicle control unit 4 includes a lane departure control unit 24 that determines whether the vehicle deviates from the lane and issues a warning or a steering control instruction to return the vehicle to the lane when the vehicle deviates, and a lane departure control unit 24 that determines whether the vehicle will collide with an obstacle. It is comprised of an automatic emergency brake control section 25 that determines whether a collision is occurring and automatically issues an emergency braking instruction when there is a high possibility of a collision, and a CAN-IF section 26 that is connected to the CAN bus and sends and receives data.
  • the automatic emergency brake control unit 25 includes an obstacle trajectory calculation unit 60 that calculates the trajectory of an obstacle, a risk calculation unit 61 that calculates the trajectory of the vehicle and the risk of collision with an obstacle, and a risk calculation unit 61 that calculates the trajectory of the own vehicle and the risk of collision with the obstacle.
  • the control unit 62 is configured to generate a warning or brake instruction based on the information provided.
  • turning on and off the light and taking images with the camera operate independently and asynchronously, but both are cyclic processes, and by adjusting the phase, a specific number of images can be taken when the light is on and when the light is off. I do.
  • the light is an example of automatic lighting, the present invention is not limited and can also be applied to manual lighting.
  • FIG. 5 shows a flowchart for phase adjustment of light on/off and imaging timing.
  • the imaging timing calculation unit 30 causes the camera imaging unit 2 to perform dots at regular intervals and at intervals shorter than the intervals based on a lighting/extinguishing pattern of a predetermined frequency and duty for the headlight unit 10, which will be described later.
  • the camera imaging unit 2 sets the shutter timing in the shutter setting unit 27 based on the shutter timing (imaging timing pattern) transferred from the image processing unit 20, and performs imaging at the set timing (S15).
  • the light control section 23 receives the lights-off duty and instructs the headlight section 10 to set the lights-off duty using the duty instruction section 70 (S16).
  • the duty instruction section 70 sets a predetermined frequency (corresponding to the time interval between turning off and turning on) and a turning-on/off pattern of duty in the headlight section 10. Further, the light distribution instruction section 71 uses the light on/off pattern to control (the light distribution of) the headlight section 10 to turn on/off.
  • the headlight section 10 sets a light-off duty (light-on/off pattern) in the light-off duty setting section 28, and periodically turns on and off at the light-off duty determined by the light distribution control section 29 (S17). For example, if the cycle is 1 sec and the light-off duty is 1:9, the light will be turned on and off repeatedly with a light-off time of 100 ms and a lighting time of 900 ms (see FIG. 4(a)).
  • Figure 6 shows a flowchart of object recognition.
  • the camera is assumed to be a stereo camera, but is not particularly limited.
  • the image comparison unit 34 determines whether the object is a reflective object or a luminescent object, and adds reflective/luminous object attributes.
  • the attributes will be updated as needed until they are finalized. Since the object that can be detected in the illuminated image may be both a luminescent object and a reflective object, it is set to an indeterminate attribute and is set to be undetermined. Objects that can be detected in the unlit image are determined to be luminescent objects. Since the on/off attribute is added to the image, when one of the images taken at a certain time (t1) and the image taken at the previous time (t2) has the on attribute and the other has the off attribute, the image Make a comparison.
  • the brightness images when the lights are on and off are compared, and objects that are detected both when the lights are off and when the lights are on are determined (extracted) as luminescent objects, and objects that are detected only when the lights are on are determined (extracted) as reflective objects.
  • the types of these luminous objects and reflective objects are added as reflective/luminous object attributes (S36).
  • the image comparison unit 34 compares a plurality of brightness images taken at consecutive times, calculates a movement vector from the difference in relative coordinates of the object, and adds it (S37).
  • Objects include both reflective objects and luminescent objects.
  • the movement vector is calculated by complementing and connecting the brightness images when the reflecting object is on.
  • Each object holds as an attribute a movement vector between a certain time (t1) at which the image was taken and a time (t2) immediately before the image was taken.
  • t1 time at which the image was taken
  • t2 time immediately before the image was taken.
  • the light is on at the time (t3) immediately before the time (t2), so the time (t2) and the time
  • the relative position at time (t1) is predicted using the relative position at (t3).
  • the pseudo object removal unit 41 removes them from among the objects that have reflective/luminous object attributes.
  • An object whose movement vector is zero can be determined to be a pseudo object and removed (S38).
  • pseudo objects that are objects that do not actually exist such as the reflection of the own vehicle's lights, can be eliminated. It is possible to exclude obstacles from light distribution control.
  • the reflective object information is used to detect lanes using reflectors on guardrails on the roadside or delinators. improve rate.
  • FIG. 7 shows a flowchart of the lane/road boundary detection unit 43.
  • a brightness image is generated in the brightness image generation unit 32 of the image processing unit 20 (S41).
  • the edge image generation unit 35 generates an edge image from the gradient of the luminance image (S42).
  • the lane/road boundary detection unit 43 detects a lane from the edge image, and calculates a coordinate point according to a certain relative distance from the own vehicle (S43).
  • the lane/road boundary detection unit 43 detects a reflective object with a reflective/luminous object attribute, a stationary object with a moving object attribute, and multiple objects detected at equal intervals in relative position from the own vehicle. It is extracted as a road boundary group (S44).
  • S44 road boundary group
  • reflective objects that are determined to be stationary objects by the lane/road boundary detection unit 43 are placed at equal intervals (at a fixed distance) relative to the host vehicle, they are determined to be a road boundary (group). to decide.
  • whether to use lane detection information or road boundary groups is selected as lane information.
  • the lane/road boundary detection unit 43 When a lane is detected on the screen (S45), the lane/road boundary detection unit 43 outputs the coordinate point of the lane detection as lane information (S46). If no lane is detected on the screen (S45), the lane/road boundary detection unit 43 outputs a coordinate point that is a certain distance closer to the own vehicle from the coordinates of the road boundary group as lane information (S47).
  • Light distribution control is a technology that switches between high beam and low beam depending on the presence or absence of an object, such as high beam when there is no object and low beam when there is an object.
  • a feature of the first embodiment of the present invention is that reflective objects including pseudo objects are excluded from light distribution control targets by using the reflection/emission object attributes of the recognition target (pseudo objects removal section 41).
  • the light distribution control of the headlights is finely switched between high beam and low beam, the driver will feel uncomfortable, so in order to improve the accuracy of obstacle detection, objects are accumulated from multiple images and saved (S51).
  • the presence or absence of the same object in multiple images is checked (S52). If there are identical objects, the reflective/luminous object attributes of the objects are used, and if they are reflective objects, they are treated as if they do not exist (S53). Further, if the object is not a reflective object (S53), it is determined whether the same object is a headlight or taillight of another vehicle detected by the light distribution light detection unit 44 (S54).
  • the light distribution instruction unit 71 When the three conditions (S52, S53, S54) are satisfied, it is determined that there is a valid object that should be set to low beam, and the light distribution instruction unit 71 generates a light distribution instruction to set low beam, and the headlight unit A light distribution instruction is sent to 10 (S55).
  • the light distribution control section 29 of the headlight section 10 controls the headlights to be set to low beam (S56).
  • the light distribution instruction unit 71 generates a light distribution instruction to set the high beam, and sends the light distribution instruction to the headlight unit 10 (S57).
  • the light distribution control section 29 of the headlight section 10 controls the headlights to be set to high beam (S58).
  • the reflective object determination conditions (S53) and target object determination conditions (S54) for light distribution control can be changed and expanded.
  • the light-emitting object is the headlight or taillight of another vehicle, but if the attribute of a pedestrian or bicycle is to be added, then the condition should be added when a reflective object such as a pedestrian or bicycle is detected. You can also do that.
  • Figure 9 shows a flowchart of automatic emergency brake control.
  • the camera control unit 3 sends reflective/luminescent object attributes, relative position attributes, and moving object attributes as object information for recognition (S61).
  • the automatic emergency brake control section 25 uses the accumulated object information to predict the trajectory of the obstacle in the obstacle trajectory calculation section 60 (S62).
  • the obstacle trajectory calculation unit 60 predicts the trajectory of the light-emitting object using the relative position information of the object information based on the reflective/light-emitting object attribute, and the trajectory of the light-emitting object determined based on the reflective/light-emitting object attribute during the lights-out period. Since it cannot be detected and the relative position is unknown, the trajectory is predicted by predicting the position using linear interpolation or polynomial interpolation from the relative positions of multiple times back (S63).
  • the reflecting object corresponds to both stationary objects and moving objects, so the moving object attribute is not used.
  • a stationary object with the moving object attribute may be treated as the target object's trajectory, skipping trajectory prediction and treated as stationary, and calculate the relative position of the own vehicle with respect to the own vehicle trajectory.
  • the obstacle trajectory calculation unit 60 determines that the moving object is a pedestrian or a bicycle based on the relative speed of the own vehicle, and calculates the future trajectory based on the past trajectory. Predict the trajectory.
  • the risk calculation unit 61 calculates whether the trajectory of the light-emitting object and the reflective object is on the path of the own vehicle, and calculates the risk of collision (S64).
  • the control unit 62 issues a warning or an emergency brake control instruction based on the collision risk calculated by the risk calculation unit 61 (when it is determined that the risk of collision with the host vehicle is high) (S65). Thereafter, the brake unit 13 of the actuator receives the emergency brake control instruction via the CAN 6, and performs brake control of the own vehicle based on the control instruction.
  • FIG. 10 shows a flowchart of automatic lane departure control.
  • the camera control unit 3 sends out reflective/luminous object attributes, relative position attributes, moving object attributes, and recognition lane information as recognition object information (S71).
  • the own vehicle trajectory calculation unit 52 predicts the trajectory of the own vehicle from the steering information of the own vehicle (S72).
  • the deviation determination unit 53 inputs the trajectory predicted from the steering information and the recognized lane information, and calculates the risk of deviating from the lane (S73).
  • the control unit 51 issues a warning or a steering control instruction to avoid lane departure (to prevent entry into the road boundary) (S74).
  • the steering unit 12 of the actuator receives the steering control instruction via the CAN 6, and performs steering control of the own vehicle based on the control instruction.
  • the principle of the second embodiment is shown in FIG. It is assumed that there are two cycles, and the ratio of lights off and lights on in the first cycle is 1:9, and the ratio of lights off and lights on in the second cycle is 1:4. That is, the headlights are turned on and off periodically at different duties (1:9 in the first cycle, 1:4 in the second cycle).
  • the imaging timing of the camera is also variable according to the two-cycle on/off duty. By performing phase adjustment, in the first cycle, images are taken twice when the lights are off, and six times when the lights are on, and in the second cycle, images are taken three times when the lights are off, and five times when the lights are on. Repeat this cycle. Two cycles is one example; by using a multi-duty system with three or four cycles and multiple cycles, the possibility of synchronization with other vehicles can be significantly reduced.
  • the first embodiment and second embodiment of the present invention can also be expanded as follows.
  • the headlight turn-off duty calculation of the recognition unit 21 can be set variably instead of fixedly in the light-off duty calculation unit 40.
  • the light-off duty it can be set based on a random number when the ignition is turned on, for example. Further, in order to reduce the frequency of turning off the headlights, it is also possible to turn off the headlights only during a specific period or at a specific location based on the map information of the map section 11.
  • the camera control device (camera control section 3) of this embodiment is a camera that controls the headlight section 10 that illuminates the front of the own vehicle and the camera imaging section 2 that takes an image of the front of the own vehicle.
  • the camera control device sets a lighting/extinguishing pattern of a predetermined frequency and duty in the headlight section 10 (duty instruction section 70), and turns on/off using the lighting/extinguishing pattern.
  • the headlight unit 10 (light distribution) is controlled (light distribution instruction unit 71), and the camera imaging unit 2 receives a periodic first signal based on a predetermined frequency and duty for the headlight unit 10.
  • An imaging timing pattern different from the lighting/extinguishing pattern is set for an imaging time interval of 1 and a second imaging time interval shorter than the first imaging time interval (imaging timing calculation unit 30), and the imaging timing pattern of the camera imaging unit 2 is set.
  • imaging timing calculation unit 30 By adjusting the time phase (imaging phase) of the timing pattern, the imaging time interval when the headlight section 10 is switched between turning off and turning on is reduced (shortened) (imaging phase adjustment section 31).
  • the camera control device adjusts the imaging timing pattern of the camera imaging unit 2 based on the number of images at the time of lighting and the number of images at the time of turning off of each image captured by the camera imaging unit 2 with the time phase shifted. Adjust the time phase (imaging phase adjustment section 31).
  • the camera control device measures the brightness of a specific pixel of each image captured by the camera imaging unit 2 while shifting the time phase, determines an image when the light is on and an image when the light is off based on the luminance, and
  • the time phase of the imaging timing pattern of the camera imaging unit 2 is adjusted by checking the number of images when the light is on and the number of images when the light is off periodically at the shutter timing in the time phase (imaging phase adjustment unit 31). .
  • the camera control device compares a first brightness image and a second brightness image obtained by turning off and turning on the headlight unit 10 captured by the camera imaging unit 2, extracts a reflective object, and generates a plurality of brightness images.
  • the moving vector of the reflecting object in the image is calculated by comparing the moving vectors of the reflecting object, and when the moving vector of the reflecting object is opposite to the moving vector of the own vehicle, the reflecting object is regarded as a stationary object and the moving vector of the reflecting object is zero.
  • the reflective object is determined to be a pseudo object, and in all other cases, the reflective object is determined to be a moving object (luminance image generation section 32, image comparison section 34, pseudo object removal section 41, and moving object determination section 42).
  • the camera control device variably sets the duty of the headlight section 10 (light-off duty calculation section 40).
  • the camera control device sets the duty of the headlight unit 10 based on a random number (light-off duty calculation unit 40).
  • the camera control device periodically turns on and off the headlight section 10 at different duties a plurality of times (light-off duty calculation section 40, duty instruction section 70, light distribution instruction section 71).
  • the camera control device causes the headlight section 10 to be turned off only during a specific period or at a specific location based on the map information (lights-off duty calculation section 40).
  • the camera control device excludes the pseudo object of the reflective object from the obstacle target of the light distribution control. removal section 41, light distribution instruction section 71).
  • the vehicle control device (vehicle control unit 4) of this embodiment is a vehicle control device that controls the own vehicle based on information output from the camera control device, and the vehicle control device controls the own vehicle based on the information output from the camera control device. If the reflective object is the moving object, it is determined that the moving object is a pedestrian or a bicycle based on the relative speed of the vehicle, the future trajectory is predicted from the past trajectory, and the vehicle The risk of a collision with the own vehicle is calculated, and when it is determined that the risk of a collision with the own vehicle is high, a warning or automatic emergency brake control is performed (automatic emergency brake control unit 25).
  • control lines and information lines are shown that are considered necessary for explanation, and not all control lines and information lines are necessarily shown in the product. In reality, almost all components may be considered to be interconnected.
  • Pseudo object removal unit 42 Moving object determination unit 43... Lane/road boundary detection unit 44... Light distribution light detection unit 51, 62... Control unit 52... Self-vehicle Trajectory calculation unit 53... Deviation determination unit 60... Obstacle trajectory calculation unit 61... Risk calculation unit 70... Duty instruction unit 71... Light distribution instruction unit 100... Oncoming vehicle at time t1 Headlights 101...Reflection on a reflective object on the curb at time t1 102...Reflection on a reflective object on a guardrail at time t1 103...Reflection on the own vehicle's headlight at time t1 (pseudo object) 104... Headlight of an oncoming vehicle at time t2 111...
  • Reflective object of a bicycle in the roadway at time t1 For example, Reflective object of a bicycle in the roadway at time t1; Reflective object of a stationary object outside the roadway at time t1 113... Inside the roadway at time t1 Pseudo object 114 due to the reflection of the headlights...Reflection object 115 of a bicycle on the roadway at time t2...Reflection object 116 of a stationary object outside the roadway at time t2...Reflection of the headlights on the roadway at time t2 Pseudo object due to reflection 117...Movement vector of the reflective object of the bicycle on the roadway at time t2-t1...Movement vector of the reflective object of a stationary object outside the roadway at time t2-t1...Time t2- Movement vector of the pseudo object due to reflection of headlights in the roadway at t1

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

カメラにて反射物を検出し、運転支援の物体検知に利用するためには、ヘッドライトを短時間消灯し、消灯と点灯時の画像を比較することにより実現できるが、カメラとヘッドライトは物理的に離れているため、カメラの撮像タイミングとヘッドライトの点消灯を非同期に制御し、かつ、点灯と消灯時の切替え近傍で撮像することができるカメラ制御装置及び車両制御装置を提供する。カメラ撮像部２の撮像タイミングパターンの時間位相（撮像位相）を調整することにより、ヘッドライト部１０の消灯時と点灯時の切替時の撮像時間間隔を削減（短縮）する。

Description

カメラ制御装置及び車両制御装置
　本発明は、カメラとヘッドライトと、先進運転支援システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ－Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍｓ）機能を有する車両において、夜間時に自車のカメラによるヘッドライトの制御を活用して、夜間の認識精度向上とその認識を用いて適切に運転支援を行うことができるカメラ制御装置及び車両制御装置に関する。
　夜間の運転は、周辺が暗いため、視認性が低く、例えば、歩行者や無灯火の自転車に対し、ドライバは昼間に比べて危険の発見が遅れることがある。歩行者や自転車に反射物体を付ける場合は、自車のヘッドライトが反射物体に反射することによって、ドライバに対し、危険発見の遅れを防ぐ補助手段となる。
　カメラを有し、カメラの情報を用いてヘッドライトの照射制御を行う車両システムで、ドライバの夜間時の運転を補助する方法が提案されている。
　古くから提案されている技術として、配光制御がある。例えば、特許文献１のように先行車との車間距離を計測し、夜間時に車間距離に応じてハイビームとロービームを切替える。ヘッドライトの制御の切替えの条件として、先行車だけでなく、対向車の有無など、様々な提案が行われている。
　反射物体か発光物体かを判定するためには、自車のヘッドライトを短時間消灯することにより、自車のヘッドライトの消灯時に消失するのが反射物体、消失しないのが発光物体であり、ヘッドライトの消灯により、反射物体、発光物体を区別することができる。
　特許文献２では、反射物体を除去し、対向車ライト検出を容易にする技術が提案されている。ヘッドライトとカメラが同じ時刻に同期して制御され、ヘッドライトが消灯した瞬間と同時刻のみカメラで撮像することで、反射物体を除去することができる。これにより、カメラに撮像された画像は発光物体のみであり、対向車のライトの検出が容易となる。
　次に、反射物体と発光物体をそれぞれ検出するために、特許文献３では、ヘッドライトとカメラが同じ時刻に同期して制御され、ヘッドライトが消灯と点灯のタイミングで常に交互に撮像することにより、反射物体と発光物体の検出を実現している。更に、ヘッドライトの照射領域を分割し、領域ごとに独立してライト制御を行うことで、例えば、幻惑防止のために特定の領域のみ消灯期間を長くすることができる。一方、撮像のタイミングは全領域の消灯と点灯のタイミングとなるため、特定の領域の消灯時間が長くなると、撮像の間隔が長くなる。
　このように、反射物体の除去、または、反射物体の検出にヘッドライト制御を組みあわせて行うことが提案されている。
特開平６－８４０９９号公報 特開２００７－７６４２９号公報 特開２０１１－１１０９９９号公報
　ヘッドライトの照射制御によって反射物体を検出する場合、ヘッドライトの点灯と消灯での撮像タイミングの間隔（撮像時間間隔）はできるだけ短い方が望ましい。点灯時の画像と消灯時の画像を比較する場合、画像取得の時間間隔が長いと、画像内に写った物体の移動量が多くなり、画面から無くなることがあり、反射物体のために消失したのか、物体の移動により画面から消失したのかの判別を行う必要がある。
　点灯と消灯の撮像タイミングの時間間隔を短くすると、カメラの撮像タイミングとヘッドライトの照射制御を同時刻に同期して制御することが困難となる。カメラとヘッドライトが独立の機器で、物理的に離れて配置され、機器間の情報をＣＡＮで通信する場合には、機器のそれぞれのマイコンでの処理やＣＡＮでの機器間の通信遅延があるため、数１０ｍｓ以上の遅延を要し、同期制御は難しいと考えられる。このため、カメラの撮像タイミングとヘッドライトの照射制御を非同期にて制御を行う必要がある。特許文献２と特許文献３はいずれもカメラの撮像タイミングとヘッドライトの照射制御が同期となっているため、点灯と消灯の短い時間間隔での撮像には適さない。
　また、カメラを配光制御だけでなく、自動緊急ブレーキなどの運転支援に用いる物体検知に使用するためには、例えば５０ｍｓ周期以内など特定の周期以内で繰り返し撮像を行う必要がある。特許文献２のように消灯のタイミングのみ撮像することや、特許文献３のように幻惑防止のために、消灯期間を延長し、撮像間隔を長くすることは、運転支援用の撮像には適さない。
　これらから、カメラにて反射物体を検出し、運転支援の物体検知に利用するためには、点灯と消灯時の撮像タイミングを短くし、カメラの撮像とヘッドライトの点消灯を非同期に制御する手段を提供すること、が課題である。
　そこで、本発明では、この課題を解決する手段を有するカメラ制御装置及び車両制御装置を提供することを目的とする。点灯と消灯時の撮像タイミングを短くし、カメラの撮像とヘッドライトの点消灯を非同期に制御するために、（１）カメラの撮像のタイミングを可変とする可変タイミング制御手段、（２）ヘッドライトの点消灯を制御する手段としてのデューティ比による照射制御手段、（３）点灯と消灯時の撮像タイミングを短くするための撮像タイミングとヘッドライトの照射制御タイミングが非同期のためにタイミングの位相を揃えるための位相制御を行う制御手段、の３つの手段を有するカメラ制御装置を提供することを目的とする。
　更に、本発明では、上記の３つの手段によって、歩行者や自転車などの反射物体の検知が可能となるため、それを活用して、（４）反射物体の検知情報を用いて、自動緊急ブレーキ等の運転支援する手段を有する車両制御装置を提供することを目的とする。
　上記目的を達成するため、本発明によるカメラ制御装置は、自車両の前方を照らすヘッドライト部と、前記自車両の前方を撮像するカメラ撮像部とを制御するカメラ制御装置であって、前記カメラ制御装置は、前記ヘッドライト部に所定の周波数とデューティの点消灯パターンを設定し、前記点消灯パターンを用いて、点消灯するよう前記ヘッドライト部を制御し、前記カメラ撮像部には、前記ヘッドライト部向けの所定の周波数とデューティを基に、定期的な第１の撮像時間間隔と該第１の撮像時間間隔より短い第２の撮像時間間隔の、前記点消灯パターンと異なる撮像タイミングパターンを設定し、前記カメラ撮像部の前記撮像タイミングパターンの時間位相を調整することにより、前記ヘッドライト部の消灯時と点灯時の切替時の撮像時間間隔を削減する。
　また、本発明による車両制御装置は、前記静止物体と判定された前記反射物体が一定の距離で配置されている場合、道路境界と判断し、前記道路境界への侵入を防止するように警報または前記自車両の操舵を制御する。また、本発明による車両制御装置は、前記反射物体が前記移動物体である場合、前記移動物体に対して、前記自車両との相対速度との対比から歩行者または自転車と判断し、過去の軌道から将来の軌道を予測し、前記自車両との衝突可能性のリスクを計算し、前記自車両との衝突可能性のリスクが高いと判断されたときに警報または自動緊急ブレーキ制御を行う。
　以上述べたように、本発明によれば、ヘッドライトを周期的に短時間消灯し、消灯と点灯の境界で短いタイミングで撮像することにより、反射物体と発光物体を検知することができ、反射物体のうち、ヘッドライトの映り込み等で道路上に物体として見えている疑似物体を正しく除去することで、疑似物体で誤ったヘッドライトの配光制御や自動緊急ブレーキを行うことを回避し、更に、縁石やガードレールの反射物体を用いて道路境界とし、レーン検知ができないときに、その代替として利用することにより、自動逸脱回避システムの性能を向上する、といった、種々の高度運転支援システム（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍｓ：ＡＤＡＳ）を実現することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第一の実施例におけるシステム構成図。 本発明の第一の実施例におけるカーブでの反射物体と発光物体の画面表示の例であり、（ａ）は時刻ｔ１での点灯時の画像、（ｂ）は時刻ｔ１での消灯時の画像、（ｃ）は時刻ｔ２での消灯時の画像の例。 本発明の第一の実施例における点灯時画像での移動ベクトルの例であり、（ａ）は時刻ｔ１での点灯時の画像、（ｂ）は時刻ｔ２での点灯時の画像の例。 本発明の第一の実施例におけるライトと撮像のタイミングチャートであり、（ａ）はヘッドライトの点消灯と撮像タイミングの位相調整前のタイミングチャート、（ｂ）はヘッドライトの点消灯と撮像タイミングの位相調整後のタイミングチャート。 本発明の第一の実施例におけるライト点消灯と撮像タイミングの位相調整のフローチャート。 本発明の第一の実施例における対象物認識のフローチャート。 本発明の第一の実施例におけるレーン・道路境界認識のフローチャート。 本発明の第一の実施例における配光制御のフローチャート。 本発明の第一の実施例における自動緊急ブレーキ制御のフローチャート。 本発明の第一の実施例における自動車線逸脱制御のフローチャート。 本発明の第二の実施例におけるライトと撮像のタイミングチャート。
　以下、本発明の実施形態を図面に基づいて説明する。
［第一の実施例］
　本発明の第一の実施例では、カメラにて反射物体を検出し、運転支援の物体検知に利用するためには、ヘッドライトを短時間消灯し、更に点灯と消灯時の撮像タイミングを短くし、カメラの撮像とヘッドライトの点消灯を非同期に制御するという課題に対し、（１）カメラの撮像のタイミングを可変とする可変タイミング制御手段、（２）ヘッドライトの点消灯を制御する手段としてのデューティ比による照射制御手段、（３）点灯と消灯時の撮像タイミングを短くするための撮像タイミングとヘッドライトの照射制御タイミングを調整するために、撮像タイミングの位相をずらすための位相制御手段、並びに、（４）反射物体の検知情報を用いて、自動緊急ブレーキ等の運転支援する手段を提供する。
　第一の実施例の車両システムの構成説明に先立ち、第一の実施例の原理を図２～図４を用いて説明する。
　図２にカーブでの反射物体と発光物体の画面表示の例を示す。自車はカーブに向かって進んでいる。図２（ａ）は時刻ｔ１でのヘッドライト照射時の画像を示す。発光物体として、対向車のヘッドライト１００がある。反射物体として、縁石の反射物体１０１、ガードレールの反射物体１０２があり、これらは一定間隔で並んでいる。道路の境界の視認性が低い時に、これら一定間隔で並んだ反射物体を用いることで、道路境界のおおよその場所が把握できる。また、自車のヘッドライトの点灯に応じ、反射する物体１０３もある。この反射物体１０３は、人や自転車の反射板に反射する場合もあるが、ヘッドライトの映り込み等で道路上に物体として見えている疑似物体である場合もある。同時刻ｔ１でヘッドライトが消灯していた時の画像が図２（ｂ）で、反射物体は画面には映らず、発光物体の対向車のヘッドライト１００のみが画面に表示される。点灯画像（図２（ａ））と消灯画像（図２（ｂ））を比較することにより、縁石やガードレールだけでなく、他の反射物体１０３も分離することができる。時刻ｔ１より後の時刻のｔ２でヘッドライトが消灯していた時の画像が図２（ｃ）である。このとき、時間ｔ２－ｔ１分だけ、自車がカーブに近づき、対向車がカーブから自車の方に向かうため、図２（ｂ）に比べて、画面下部のところに対向車のヘッドライト１０４の位置となる。更に、時刻を経ると、対向車が画面外に位置する為、発光物体の対向車のヘッドライトは画面から消失する。
　ヘッドライトの点灯と消灯は時間差があるため、図２（ａ）、（ｂ）が同時に起こることは無い。時刻ｔ１が点灯時の画像、消灯時を別時刻でｔ１より後の時刻をｔ２としたときの消灯時の画像は図２（ｃ）となり、時間ｔ２－ｔ１の間隔が長いと、環境条件が大きく変わり、発光物体の画面消失の可能性が高まることから、点灯画像と消灯画像を比較する場合、この時間間隔は短い方が望ましいことが言える。
　図２で消灯時に画像から検知されないもので、反射物体かどうかを判別することができるが、図３では、反射物体のうち、移動物体、静止物体、疑似物体の判別を示す。
　図３に、反射物体の移動物体と静止物体、疑似物体の検知の例を示す。反射物体の移動物体は自転車として、後輪など自転車のいずれかの場所に反射物体が貼られているものとする。反射物体の静止物体は、電柱などに反射物体が貼られているものとする。疑似物体は、自車の映り込み、道路での自車のヘッドライトの反射など実際には物体が無いが見かけ上物体に見えるものを指す。
　時刻ｔ１ではヘッドライトが点灯され、車道内側の反射物体１１１と反射疑似物体１１３、車道外側の反射物体１１２がそれぞれ検知されているものとする（図３（ａ））。時刻ｔ１より後の時刻ｔ２でもヘッドライト点灯が継続され、車道内側の反射物体１１４と反射疑似物体１１６、車道外側の反射物体１１５がそれぞれ検知されているものとする（図３（ｂ））。時刻ｔ１と時刻ｔ２の画像を比較し、反射物体の位置から、移動方向のベクトルを算出することができる。車道内の反射物体の移動ベクトルが１１７、車道外の反射物体の移動ベクトルが１１８である。反射疑似物体１１６は常に画面上の同じ場所にあるため、移動ベクトル１１９がゼロである（図３（ｂ））。
　これにより、疑似物体に関しては、移動ベクトルが無いことにより、判別することができる。また、静止物体と移動物体に関しては、移動ベクトルの向きと大きさから判別することができる。
　図４に、本発明の第一の実施例のヘッドライト点灯と消灯時の可変タイミングでの撮像の原理を示す。
　図４（ａ）にヘッドライトの点消灯と撮像タイミングの位相調整前のタイミングチャート、図４（ｂ）に位相調整後のタイミングチャートを示す。
　まず、カメラからヘッドライトに対し、消灯点灯のデューティ比の指示が出される。ヘッドライトはデューティ比の指示を受け、ヘッドライトはデューティ比で消灯と点灯を繰り返す。図４では消灯と点灯のデューティ比は１：９であるため、消灯時間１に対し、点灯時間９の時間間隔で消灯と点灯を繰り返す。
　カメラは撮像タイミングが可変のシャッター制御を有し、短い時間間隔での撮像と、長い時間間隔での撮像を行う。カメラのシャッター制御の時間間隔は、ヘッドライトとは独立に非同期に、周期的に繰り返される。図４（ａ）では、時刻ｔ１とｔ２の間、ｔ２とｔ３の間は短い時間間隔で、ｔ３とｔ４の間、ｔ４とｔ５の間は長い時間間隔となる。ヘッドライトが消灯時に撮像すると暗い画像、点灯時に撮像すると明るさを持つ画像が得られる。図４（ａ）では、時刻ｔ４、時刻ｔ９、時刻ｔ１４がヘッドライト消灯時の消灯時画像、それ以外の時刻の画像は点灯時画像となる。
　反射物体の判定のための画像比較の為に消灯時と点灯時の時間間隔を短縮すること、また、消灯時に複数の画像を取得する為に消灯時の時間間隔を短縮するために、撮像間隔の短い箇所をヘッドライトの消灯タイミングと合わせる必要がある。ヘッドライトの点消灯、撮像タイミングはいずれも周期処理であることから、撮像のタイミングの位相をずらす調整を行うことにより、撮像間隔の短い箇所をヘッドライトの消灯タイミングに合わせることができる。
　図４（ｂ）にヘッドライトの点消灯と撮像タイミングの位相調整後のタイミングチャートを示す。時刻ｔ１、時刻ｔ２、時刻ｔ６、時刻ｔ７、時刻ｔ１１、時刻ｔ１２がヘッドライト消灯時の消灯時画像、それ以外の時刻の画像は点灯時画像となる。図４（ａ）では消灯時に１回の撮像であったのに対し、図４（ｂ）では消灯時に２回の撮像ができる。また、ヘッドライトの消灯と点灯の変化の近傍で撮像することができる。このように、非同期ではあるものの周期的なタイミングのヘッドライトの点消灯と撮像タイミングにおいて、位相を調整することで、消灯時、並びに消灯と点灯の変化の近傍で多く撮像し、点灯時には一定間隔で撮像することができる。
　すなわち、予めヘッドライトの点消灯デューティと、それに対応する、カメラの可変撮像タイミングと、消灯時と点灯時の画像取得数を、例えば、消灯時画像２枚、点灯時画像６枚と定めておくと、図４（ａ）では消灯時画像１枚、点灯時画像７枚であり、枚数が異なるため、撮像タイミングの位相を調整することにより、図４（ｂ）で消灯時画像２枚、点灯時画像６枚となり、定めておいた消灯時画像と点灯時画像の枚数と同じであるため、位相調整後の状態となる。このような形で位相調整の自己調整（自己テスト）を行うことができる。
　本発明の第一の実施例の、カメラにて反射物を検出し、運転支援の物体検知に利用する車両システムの構成例を図１に示す。カメラとして、単眼カメラ、ステレオカメラは特に制限されないが、第一の実施例では、左右の二つのレンズを有し、三角法により物体の距離を検出可能なステレオカメラとする。
　車両１は、カメラのレンズや画像センサが内蔵されて自車両前方の撮像を行うカメラ撮像部２、撮像された画像の画像処理や物体の検知・認識を行うカメラ制御部３、認識情報を用いて、ブレーキ制御や操舵制御の運転支援を行う車両制御部４、車両外部の照度を示す照度計５、車両内通信を行うＣＡＮ６、自車両の前方を照らすヘッドライトの制御を行うヘッドライト部１０、車両の位置とその周囲の環境情報を有する地図部１１、車両のアクチュエータである操舵部１２とブレーキ部１３から構成される。
　カメラ撮像部２は、画像を撮像する機能であり、画像を撮像し、ＲＡＷ画像をＬＶＤＳケーブルで出力する。図では省略しているが、左右レンズや画像センサ、画像デジタルデータをシリアル信号に変更するシリアライザ、シャッター設定部２７を有する。シャッター設定部２７には、撮像シャッターのタイミング情報を保存する。例えば、周期を３５０ｍｓ、シャッター総数８回、うち、２回を２５ｍｓ、６回を５０ｍｓのような情報（撮像タイミングパターン）を保存する（図４参照）。
　カメラ制御部３は、カメラ撮像部２からＬＶＤＳケーブルで接続され、転送されたＲＡＷ画像を処理する画像処理部２０、画像上の物体やレーンの認識を行う認識部２１、ヘッドライトの点消灯のタイミングや車両の有無によりハイビームとロービームを切り替える配光制御の指示を行うライト制御部２３、ＣＡＮバスに接続し、データの送受信を行うＣＡＮ－ＩＦ部２２から構成される。
　画像処理部２０は、カメラ撮像部２への撮像タイミングであるシャッター指示を行う機能と、転送されたＲＡＷ画像から認識に必要な画像を生成する機能を有する。前者は、カメラ撮像部２の撮像のタイミングを計算する撮像タイミング計算部３０、ライトの点消灯に合わせるために、撮像のタイミングの位相をずらし、カメラ撮像部２に撮像タイミングであるシャッター指示を行う撮像位相調整部３１が行う。後者は、図では省略しているが、シリアル信号からＲＡＷ画像データを生成するデシリアライザ、左右のＲＡＷ画像から画素単位での距離情報を有する視差画像を生成する視差画像生成部３３、左右の一方のＲＡＷ画像から輝度画像を生成する輝度画像生成部３２、時間差のある二枚以上の画像を比較する画像比較部３４、輝度画像の勾配からエッジ画像を生成するエッジ画像生成部３５から構成される。
　認識部２１は、ヘッドライトの点消灯の時間のデューティを定める消灯デューティ計算部４０、自車のライトの映り込みなど実際にはない物体である疑似物体を除去する疑似物体除去部４１、静止物体か移動物体かを判定する移動体判定部４２、画像からレーンを検知し、レーンや、縁石や路肩やガードレールの反射物体を用いて道路境界を検知するレーン・道路境界検知部４３、配光制御用の他車両のヘッドライトやテールライトを検知する配光用ライト検出部４４から構成される。
　ライト制御部２３は、ヘッドライトの点消灯のタイミングをデューティ比で定めるためのデューティ指示部７０、車両の有無によりハイビームとロービームを切り替える配光制御の指示を行う配光指示部７１を有する。
　車両制御部４は、車両が車線から逸脱するかどうかを判定し、逸脱したときに警報または車線内に戻すように操舵制御指示を行う車線逸脱制御部２４と、車両が障害物に衝突するかどうかを判定し、衝突する可能性が高い時に自動で緊急ブレーキ指示を行う自動緊急ブレーキ制御部２５と、ＣＡＮバスに接続し、データの送受信を行うＣＡＮ－ＩＦ部２６から構成される。
　車線逸脱制御部２４は、自車軌道を予測計算する自車軌道計算部５２、自車軌道と道路境界情報から、道路境界に逸脱するかどうかを判定する逸脱判定部５３、道路境界に逸脱するとき、警報または操舵制御指示を行う制御部５１から構成される。
　自動緊急ブレーキ制御部２５は、障害物の軌道を計算する障害物軌道計算部６０と、自車の軌道を計算し、障害物との衝突リスクを計算するリスク計算部６１と、衝突リスクに基づいて警告またはブレーキ指示を作成する制御部６２から構成される。
　本実施例では、ライトの点消灯とカメラの撮像は、独立して非同期で動作するが、どちらも周期処理であり、位相を調整することにより、ライト点灯時と消灯時で特定の回数の撮像を行う。ライトは自動点灯の例としているが、人手によるマニュアル点灯にも適用でき、限定されない。
　図５にライト点消灯と撮像タイミングの位相調整のフローチャートを示す。
　まず、ライトの点消灯の制御を行うにあたり、照度計５で明るさの度合いが下がったときから、設定を開始する。照度計５にて照度を計算し、カメラ制御部３に照度を送信する（Ｓ１１）。照度がしきい値以下（Ｓ１２）でないときは、点消灯の制御を開始せず、照度がしきい値以下（Ｓ１２）のとき、点消灯の制御を開始する。消灯デューティ計算部４０にて、メモリに保持されたデータを用いて、消灯デューティを算出する（Ｓ１３）。消灯デューティは、周期時間（消灯及び点灯の時間間隔）と消灯と点灯の時間比を示す。消灯デューティを用いて、画像処理部２０、ライト制御部２３でそれぞれ次のことを行う。画像処理部２０では、撮像タイミング計算部３０にて、消灯デューティを用いて、消灯と点灯時にそれぞれ何回撮像するかの撮像のシャッタータイミングを計算し、カメラ撮像部２にシャッタータイミングを指示する（Ｓ１４）。消灯時は短い時間に多くの撮像を行い、点灯時は一定間隔で（定期的に）撮像し、更に、消灯と点灯の切替の近傍で撮像できるよう、シャッタータイミングを計算する。すなわち、撮像タイミング計算部３０にて、カメラ撮像部２に、後述するヘッドライト部１０向けの所定の周波数とデューティの点消灯パターンを基に、定期的な間隔と該間隔より短い間隔の、点消灯パターンと異なる撮像タイミングパターンを設定する。カメラ撮像部２は、画像処理部２０から転送されたシャッタータイミング（撮像タイミングパターン）に基づき、シャッター設定部２７にシャッタータイミングを設定し、設定タイミングにて撮像を行う（Ｓ１５）。画像処理部２０と並行して、ライト制御部２３は消灯デューティを受取り、デューティ指示部７０にて、ヘッドライト部１０に、消灯デューティ設定を指示する（Ｓ１６）。すなわち、デューティ指示部７０にて、ヘッドライト部１０に所定の周波数（消灯及び点灯の時間間隔に対応）とデューティの点消灯パターンを設定する。また、配光指示部７１にて、当該点消灯パターンを用いて、点消灯するようにヘッドライト部１０（の配光）を制御する。ヘッドライト部１０は、消灯デューティ設定部２８に消灯デューティ（点消灯パターン）を設定し、配光制御部２９にて定めた消灯デューティにて周期的に点消灯する（Ｓ１７）。例えば、周期１ｓｅｃ、消灯デューティが１：９とすると、消灯時間１００ｍｓ、点灯時間９００ｍｓで点消灯を繰り返す（図４（ａ）参照）。
　次に、ヘッドライトの点消灯と撮像タイミングの位相を調整するために、撮像位相調整部３１にて位相調整を行う。撮像位相調整部３１でシャッタータイミング（撮像タイミングパターン）の位相をずらし、カメラ撮像部２に位相情報を指示する（Ｓ１８）。カメラ撮像部２はシャッター設定部２７に位相情報を設定し、設定タイミングに位相をずらして撮像を行う（Ｓ１９）。撮像位相調整部３１で、各画面の特定の画素（例えば、ヘッドライトが直接照射されないが、ヘッドライトの点消灯で必ず差異が出る場所の画素）の輝度を測定し、その輝度で点灯時の画像か、消灯時の画像かを判断し、該当する位相でのシャッタータイミングで周期的な点灯時の画像数と消灯時の画像数が想定通りか（つまり、定めておいた消灯時画像と点灯時画像の枚数と同じであるか）を確認する（Ｓ２０）。点灯時と消灯時の画像数が異なるときは（Ｓ２１）、再度、位相調整を行うために、撮像位相調整部３１での位相調整を行う（Ｓ１８）。このような形で位相調整の自己調整（自己テスト）機能を備えている。
　ライト点灯開始時に自動での位相調整を行った後は（図４（ｂ）参照）、画面上の障害物（対象物）で認識処理を行う。
　図６に対象物認識のフローチャートを示す。カメラはステレオカメラを仮定するが、特に制限されない。
　まず、カメラ制御部３の画像処理部２０はカメラ撮像部２から左右のＲＡＷ画像を受け取る（Ｓ３１）。対象物の輝度を抽出するために、輝度画像生成部３２にて右のＲＡＷ画像から輝度画像を生成する（Ｓ３２）。輝度画像は左右のいずれのＲＡＷ画像を用いてもよい。撮像位相調整部３１で、各画面の特定の画素、例えば、ヘッドライトが直接照射されないが、ヘッドライトの点消灯で必ず差異が出る場所の画素において、画素の輝度を測定する。予め定めた輝度のしきい値でヘッドライト点消灯を判定し、輝度画像に対して、ヘッドライトが点灯か消灯かを示す点消灯属性を計算する（Ｓ３３）。また、視差画像生成部３３は、左右ＲＡＷ画像から三角法を用いて、画素ごとの距離を有する視差画像を生成する（Ｓ３４）。検出された対象物に対し、視差画像生成部３３にて、視差画像を用いて、それぞれの対象物に識別番号としてＩＤを付加し、距離を含む自車両からの相対位置属性を付加する（Ｓ３５）。
　次に、画像比較部３４にて、反射物体と発光物体を判定し、反射・発光物体属性を付加する。属性は、確定するまで随時更新する。点灯画像で検出できる対象物は発光物体と反射物体の両方の可能性があるので、不定属性にしておき、非確定とする。消灯画像で検出できる対象物は発光物体で確定する。画像に点消灯属性が付加されているので、撮像されたある時刻（ｔ１）と撮像された一つ前の時刻（ｔ２）の画像において、片方が点灯属性、もう片方が消灯属性のとき、画像比較を行う。点灯と消灯の輝度画像を比較し、消灯と点灯で両方とも検知した対象物は発光物体として確定（抽出）、点灯時のみ検知した対象物は反射物体として確定（抽出）する。これら発光物体、反射物体の種別を反射・発光物体属性として付加する（Ｓ３６）。
　更に、画像比較部３４にて、連続する時間の複数枚の輝度画像を比較し、対象物の相対座標の差から移動ベクトルを算出し、付加する（Ｓ３７）。対象物は反射物体と発光物体の双方を含む。２つの画像の輝度画像の比較では、点灯同士、消灯同士、点灯と消灯の３種類あるが、点灯同士の比較では、発光物体、反射物体共に移動ベクトルが算出できるが、消灯同士と点灯と消灯では、発光物体のみ移動ベクトルが算出できる。連続する時間の複数枚の軌道画像を用いることにより、反射物体の消灯画像の部分は検知できないため、点灯時の輝度画像を補完してつなぐことにより、移動ベクトルを算出する。各対象物は撮像されたある時刻（ｔ１）と撮像された一つ前の時刻（ｔ２）間の移動ベクトルを属性として保持する。時刻（ｔ１）が消灯、時刻（ｔ２）が点灯の反射物体においては、時刻（ｔ２）に対して撮像された一つ前の時刻（ｔ３）が点灯しているので、時刻（ｔ２）、時刻（ｔ３）の相対位置を用いて、時刻（ｔ１）の相対位置を予測する。時刻（ｔ１）の場所が不明の為、時刻（ｔ２）と時刻（ｔ３）から等速直線運動したと仮定して、時刻（ｔ１）の相対座標を仮定し、時刻（ｔ１）と時刻（ｔ２）の相対座標から移動ベクトルを算出する。ここでは時刻（ｔ３）を用いる例を示したが、精度を向上する為、更に遡った撮像時刻の座標を複数用いてもよく、そちらの方が予測精度は向上する。
　反射物体のうち、実際には物体が無いものの、自車のヘッドライトの影響で見かけ上物体に見えるものに関しては、疑似物体除去部４１にて、反射・発光物体属性を有する対象物のうち、移動ベクトルがゼロの物体は、疑似物体と判定して除去することができる（Ｓ３８）。これにより、後述するヘッドライト部１０の配光制御（障害物を検知したときにハイビームからロービームに切り替える配光制御）において、自車のライトの映り込みなど実際にはない物体である疑似物体を配光制御の障害物対象から除くことができる。そして、移動体判定部４２にて、自車と同じ移動量で反対の移動方向のベクトルを持つものは静止物体、異なるものは移動物体と判定し、対象物情報に移動ベクトルを移動体属性として付加する（Ｓ３９）。
　このように、カメラ制御部３では、対象物を検知し、検知した対象物に対し、ヘッドライト点灯時と消灯時の輝度画像の比較により反射物体か発光物体かを判定して反射・発光物体属性を付加し、視差画像を用いて自車との距離情報を含む相対位置属性を付加し、更に複数の輝度画像の比較で移動体属性を付加する。
　次に、レーン認識について記載する。通常のレーン検知に加え、反射物体の路肩のガードレール上の反射板や視線誘導標（デリネーター）を用いて、レーンのかすれなどでレーンが検知できないときに、反射物体の情報を用いて、レーン検知率を向上する。
　図７にレーン・道路境界検知部４３のフローチャートを示す。
　まず、画像処理部２０の輝度画像生成部３２にて輝度画像を生成する（Ｓ４１）。エッジ画像生成部３５にて、輝度画像の勾配からエッジ画像を生成する（Ｓ４２）。レーン・道路境界検知部４３にて、エッジ画像からレーンを検知し、自車からの一定の相対距離に応じた座標点として算出する（Ｓ４３）。
　レーンに加え、路肩の一定の間隔で配置された反射物体が対象物として認識されるため、その対象物の情報を利用する。レーン・道路境界検知部４３にて、対象物のうち、反射・発光物体属性で反射物体、移動体属性で静止物体、自車からの相対位置で等間隔にて検出される複数の対象物を道路境界群として抽出する（Ｓ４４）。すなわち、レーン・道路境界検知部４３にて、静止物体と判定された反射物体が自車からの相対位置で等間隔にて（一定の距離で）配置されている場合、道路境界（群）と判断する。レーン情報として、画面上にレーンが検知されるかどうかで、レーン検知情報を用いるか、道路境界群を用いるかを選択する。画面上にレーンが検知される（Ｓ４５）場合、レーン・道路境界検知部４３にて、レーン検知の座標点をレーン情報として出力する（Ｓ４６）。画面上にレーンが検知されない（Ｓ４５）場合、レーン・道路境界検知部４３にて、道路境界群の座標から自車両側に一定の距離を近づけた座標点をレーン情報として出力する（Ｓ４７）。
　次に、認識の対象物情報を用いて、ヘッドライトのハイビーム、ロービームを制御する配光制御の方法を用いて説明する。配光制御とは、対象物が無いときはハイビーム、対象物があるときはロービームにと、対象物の有無に応じてハイビームとロービームを切替える技術である。本発明の第一の実施例の特徴として、認識の対象物の反射・発光物体属性を用いて、疑似物体を含む反射物体に対しては、配光制御の対象から除くことである（疑似物体除去部４１）。
　図８に配光制御のフローチャートを示す。
　ヘッドライトの配光制御はきめ細かくハイビーム、ロービームを切替えると、ドライバが不快となるため、障害物検知の確度を向上させるために、複数画像から対象物を蓄積して保存する（Ｓ５１）。複数画像に同一対象物の有無を確認する（Ｓ５２）。同一対象物がある場合、対象物の反射・発光物体属性を用いて、反射物体である場合は、対象物が無いものとして扱う（Ｓ５３）。更に、反射物体でない（Ｓ５３）場合は、同一対象物が、配光用ライト検出部４４で検知された他車両のヘッドライトやテールライトであるかどうかを判定する（Ｓ５４）。
　三つの条件（Ｓ５２、Ｓ５３、Ｓ５４）を満たしたときに、ロービームにすべき有効対象物があると判断し、配光指示部７１にて、ロービームにする配光指示を生成し、ヘッドライト部１０に対して配光指示を送出する（Ｓ５５）。ヘッドライト部１０の配光制御部２９にて、ヘッドライトをロービームにする制御を行う（Ｓ５６）。
　三つの条件（Ｓ５２、Ｓ５３、Ｓ５４）のいずれかを満たさないときは、ロービームにすべき有効対象物がないと判断し、ハイビームにするための制御を行う。配光指示部７１にて、ハイビームにする配光指示を生成し、ヘッドライト部１０に対して配光指示を送出する（Ｓ５７）。ヘッドライト部１０の配光制御部２９にて、ヘッドライトをハイビームにする制御を行う（Ｓ５８）。
　配光制御の反射物体判定条件（Ｓ５３）や対象物判定条件（Ｓ５４）は、変更、拡張が可能である。例えば、本実施例では、発光物体の他車両のヘッドライトやテールライトとしたが、歩行者や自転車の属性が付けられるのであれば、反射物体の歩行者や自転車を検知したときを条件に加えることもできる。
　次に、カメラ制御部３の認識結果の対象物情報とレーン情報を用いて、車両制御部４で自動緊急ブレーキ制御と車線逸脱制御を算出する。
　図９に自動緊急ブレーキ制御のフローチャートを示す。
　カメラ制御部３から、認識の対象物情報として、反射・発光物体属性、相対位置属性、移動体属性を送出する（Ｓ６１）。自動緊急ブレーキ制御部２５は、認識の対象物情報を受け取った後、障害物軌道計算部６０にて、蓄積した対象物情報を用いて、障害物の軌道を予測する（Ｓ６２）。障害物軌道計算部６０にて、反射・発光物体属性で発光物体は、対象物情報の相対位置情報を用いて軌道を予測し、反射・発光物体属性で判定した反射物体は、消灯期間中は検知できず、相対位置が不明の為、遡った複数時間の相対位置から、線形補完や多項式補完により、位置を予測することで軌道を予測する（Ｓ６３）。反射物体は静止対象物、移動対象物いずれも対応するため、移動体属性を使用しない。但し、移動体属性を使用し、移動体属性で静止物体は、対象物の軌道として、軌道予測はスキップして静止として扱い、自車軌道に対して自車との相対位置を求めてもよい。例えば、障害物軌道計算部６０にて、反射物体が移動物体である場合、移動物体に対して、自車両との相対速度との対比から歩行者または自転車と判断し、過去の軌道から将来の軌道を予測する。そして、リスク計算部６１にて、発光物体と反射物体の対象物の軌道が、自車が進行する自車進行路上にあるか、衝突危険性のリスクを計算する（Ｓ６４）。制御部６２にて、リスク計算部６１の衝突危険性リスクに基づき（自車両との衝突危険性のリスクが高いと判断されたときに）、警報または緊急ブレーキ制御指示を行う（Ｓ６５）。その後、アクチュエータのブレーキ部１３はＣＡＮ６で緊急ブレーキ制御指示を受取り、その制御指示に基づいて、自車両のブレーキ制御を行う。
　図１０に自動車線逸脱制御のフローチャートを示す。
　カメラ制御部３から、認識の対象物情報として、反射・発光物体属性、相対位置属性、移動体属性と、認識のレーン情報を送出する（Ｓ７１）。自車軌道計算部５２にて、自車の操舵情報から自車の軌道を予測する（Ｓ７２）。逸脱判定部５３にて、操舵情報から予測した軌道と認識のレーン情報を入力し、レーンから逸脱するかどうかのリスクを計算する（Ｓ７３）。制御部５１にて、逸脱判定部５３の車線逸脱リスクに基づき、車線逸脱を避けるように（道路境界への侵入を防止するように）、警報または操舵制御指示を行う（Ｓ７４）。その後、アクチュエータの操舵部１２はＣＡＮ６で操舵制御指示を受取り、その制御指示に基づいて、自車両の操舵制御を行う。
［第二の実施例］
　ヘッドライトの点消灯のデューティが他車と同期して同じデューティであるとすると、自車からは他車のヘッドライトが常に消灯していることになる。そこで、ヘッドライトの点消灯の周期を複数のデューティを有するマルチデューティ方式とすることで、この事態を避けることができる。
　第二の実施例の原理を図１１に示す。２周期で、１周期目の消灯と点灯の比が１：９、２周期目の消灯と点灯の比が１：４であるものとする。つまり、ヘッドライトを、周期的に複数回の異なるデューティ（１周期目の１：９、２周期目の１：４）で点消灯する。カメラの撮像タイミングも２周期の点消灯デューティに合わせて可変の撮像タイミングとしている。位相調整を行うことで、１周期目は消灯時に２回撮像して、点灯時に６回撮像し、２周期は消灯時に３回撮像して、点灯時に５回撮像する。この周期を繰り返す。２周期は一つの例であり、３、４周期と複数周期のマルチデューティ方式とすることで、他車と同期する可能性を著しく減少することができる。
　第二の実施例のシステム構成図は図１と同じでよい。消灯デューティ計算部４０がマルチデューティとなり、これに伴い、ライト制御部２３のデューティ指示部７０と、ヘッドライト部１０の消灯デューティ設定部２８がマルチデューティ対応のライト制御となる。また、ヘッドライトに合わせて、カメラの撮像タイミングもマルチデューティに対応した可変撮像を行う。具体的には、画像処理部２０の撮像タイミング計算部３０、撮像位相調整部３１、カメラ撮像部２のシャッター設定部２７が点消灯のマルチデューティに対応した可変シャッター制御を行う。
　本発明の第一の実施例、第二の実施例は、次のように拡張することもできる。
　認識部２１のヘッドライトの消灯デューティ計算は、消灯デューティ計算部４０にて固定ではなく、可変に設定することができる。消灯デューティを可変に設定するために、例えばイグニッションオン時に乱数に基づき設定することができる。また、ヘッドライトの消灯の頻度を減らすために、ヘッドライトの消灯は、地図部１１の地図情報に基づき特定期間もしくは特定場所にのみ実行させることも可能である。
［第一、第二の実施例のまとめ］
　以上述べたように、本実施例のカメラ制御装置（カメラ制御部３）は、自車両の前方を照らすヘッドライト部１０と、前記自車両の前方を撮像するカメラ撮像部２とを制御するカメラ制御装置であって、前記カメラ制御装置は、前記ヘッドライト部１０に所定の周波数とデューティの点消灯パターンを設定し（デューティ指示部７０）、前記点消灯パターンを用いて、点消灯するように前記ヘッドライト部１０（の配光）を制御し（配光指示部７１）、前記カメラ撮像部２には、前記ヘッドライト部１０向けの所定の周波数とデューティを基に、定期的な第１の撮像時間間隔と該第１の撮像時間間隔より短い第２の撮像時間間隔の、前記点消灯パターンと異なる撮像タイミングパターンを設定し（撮像タイミング計算部３０）、前記カメラ撮像部２の前記撮像タイミングパターンの時間位相（撮像位相）を調整することにより、前記ヘッドライト部１０の消灯時と点灯時の切替時の撮像時間間隔を削減（短縮）する（撮像位相調整部３１）。
　前記カメラ制御装置は、前記時間位相をずらして前記カメラ撮像部２で撮像された各画像の点灯時の画像数と消灯時の画像数に基づいて、前記カメラ撮像部２の前記撮像タイミングパターンの時間位相を調整する（撮像位相調整部３１）。
　前記カメラ制御装置は、前記時間位相をずらして前記カメラ撮像部２で撮像された各画像の特定の画素の輝度を測定し、当該輝度で点灯時の画像と消灯時の画像を判断し、前記時間位相でのシャッタータイミングで周期的な点灯時の画像数と消灯時の画像数を確認することにより、前記カメラ撮像部２の前記撮像タイミングパターンの時間位相を調整する（撮像位相調整部３１）。
　前記カメラ制御装置は、前記カメラ撮像部２が撮像した前記ヘッドライト部１０の消灯と点灯による第一の輝度画像と第二の輝度画像を比較して、反射物体を抽出し、複数の輝度画像を比較して画像内の前記反射物体の移動ベクトルを算出し、前記反射物体の移動ベクトルが前記自車両の移動ベクトルと反対のときに前記反射物体を静止物体、前記反射物体の移動ベクトルがゼロのときに前記反射物体を疑似物体、それ以外のときに前記反射物体を移動物体と判定する（輝度画像生成部３２、画像比較部３４、疑似物体除去部４１、移動体判定部４２）。
　前記カメラ制御装置は、前記ヘッドライト部１０のデューティを可変に設定する（消灯デューティ計算部４０）。
　前記カメラ制御装置は、前記ヘッドライト部１０のデューティを乱数に基づき設定する（消灯デューティ計算部４０）。
　前記カメラ制御装置は、前記ヘッドライト部１０を、周期的に複数回の異なるデューティで点消灯する（消灯デューティ計算部４０、デューティ指示部７０、配光指示部７１）。
　前記カメラ制御装置は、前記ヘッドライト部１０の消灯を、地図情報に基づき特定期間もしくは特定場所にのみ実行させる（消灯デューティ計算部４０）。
　前記カメラ制御装置は、障害物を検知したときにハイビームからロービームに切り替える前記ヘッドライト部１０の配光制御において、前記反射物体の前記疑似物体を前記配光制御の障害物対象から除く（疑似物体除去部４１、配光指示部７１）。
　また、本実施例の車両制御装置（車両制御部４）は、前記カメラ制御装置から出力される情報を基に、前記自車両を制御する車両制御装置であって、前記車両制御装置は、前記静止物体と判定された前記反射物体が一定の距離で配置されている場合、道路境界と判断し、前記道路境界への侵入を防止するように警報または前記自車両の操舵を制御する（車線逸脱制御部２４）。
　また、本実施例の車両制御装置（車両制御部４）は、前記カメラ制御装置から出力される情報を基に、前記自車両を制御する車両制御装置であって、前記車両制御装置は、前記反射物体が前記移動物体である場合、前記移動物体に対して、前記自車両との相対速度との対比から歩行者または自転車と判断し、過去の軌道から将来の軌道を予測し、前記自車両との衝突可能性のリスクを計算し、前記自車両との衝突可能性のリスクが高いと判断されたときに警報または自動緊急ブレーキ制御を行う（自動緊急ブレーキ制御部２５）。
　以上述べたように、本実施例によれば、ヘッドライトを周期的に短時間消灯し、消灯と点灯の境界で短いタイミングで撮像することにより、反射物体と発光物体を検知することができ、反射物体のうち、ヘッドライトの映り込み等で道路上に物体として見えている疑似物体を正しく除去することで、疑似物体で誤ったヘッドライトの配光制御や自動緊急ブレーキを行うことを回避し、更に、縁石やガードレールの反射物を用いて道路境界とし、レーン検知ができないときに、その代替として利用することにより、自動逸脱回避システムの性能を向上する、といった、種々の高度運転支援システム（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍｓ：ＡＤＡＳ）を実現することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１・・・車両
２・・・カメラ撮像部
３・・・カメラ制御部（カメラ制御装置）
４・・・車両制御部（車両制御装置）
５・・・照度計
６・・・ＣＡＮ
１０・・・ヘッドライト部
１１・・・地図部
１２・・・操舵部
１３・・・ブレーキ部
２０・・・画像処理部
２１・・・認識部
２２、２６・・・ＣＡＮ－ＩＦ部
２３・・・ライト制御部
２４・・・車線逸脱制御部
２５・・・自動緊急ブレーキ制御部
２７・・・シャッター設定部
２８・・・消灯デューティ設定部
２９・・・配光制御部
３０・・・撮像タイミング計算部
３１・・・撮像位相調整部
３２・・・輝度画像生成部
３３・・・視差画像生成部
３４・・・画像比較部
３５・・・エッジ画像生成部
４０・・・消灯デューティ計算部
４１・・・疑似物体除去部
４２・・・移動体判定部
４３・・・レーン・道路境界検知部
４４・・・配光用ライト検出部
５１、６２・・・制御部
５２・・・自車軌道計算部
５３・・・逸脱判定部
６０・・・障害物軌道計算部
６１・・・リスク計算部
７０・・・デューティ指示部
７１・・・配光指示部
１００・・・時刻ｔ１の対向車のヘッドライト
１０１・・・時刻ｔ１の縁石の反射物体での反射
１０２・・・時刻ｔ１のガードレールの反射物体での反射
１０３・・・時刻ｔ１の自車のヘッドライトでの反射（疑似物体）
１０４・・・時刻ｔ２の対向車のヘッドライト
１１１・・・時刻ｔ１の車道内の自転車の反射物体
１１２・・・時刻ｔ１の車道外の静止物体の反射物体
１１３・・・時刻ｔ１の車道内のヘッドライトの反射による疑似物体
１１４・・・時刻ｔ２の車道内の自転車の反射物体
１１５・・・時刻ｔ２の車道外の静止物体の反射物体
１１６・・・時刻ｔ２の車道内のヘッドライトの反射による疑似物体
１１７・・・時刻ｔ２－ｔ１の車道内の自転車の反射物体の移動ベクトル
１１８・・・時刻ｔ２－ｔ１の車道外の静止物体の反射物体の移動ベクトル
１１９・・・時刻ｔ２－ｔ１の車道内のヘッドライトの反射による疑似物体の移動ベクトル

Claims (11)

  1. 　自車両の前方を照らすヘッドライト部と、前記自車両の前方を撮像するカメラ撮像部とを制御するカメラ制御装置であって、
    　前記カメラ制御装置は、
    　前記ヘッドライト部に所定の周波数とデューティの点消灯パターンを設定し、前記点消灯パターンを用いて、点消灯するように前記ヘッドライト部を制御し、
    　前記カメラ撮像部には、前記ヘッドライト部向けの所定の周波数とデューティを基に、定期的な第１の撮像時間間隔と該第１の撮像時間間隔より短い第２の撮像時間間隔の、前記点消灯パターンと異なる撮像タイミングパターンを設定し、前記カメラ撮像部の前記撮像タイミングパターンの時間位相を調整することにより、前記ヘッドライト部の消灯時と点灯時の切替時の撮像時間間隔を削減する、ことを特徴とする、カメラ制御装置。
  2. 　前記カメラ制御装置は、前記時間位相をずらして前記カメラ撮像部で撮像された各画像の点灯時の画像数と消灯時の画像数に基づいて、前記カメラ撮像部の前記撮像タイミングパターンの時間位相を調整する、ことを特徴とする、請求項１に記載のカメラ制御装置。
  3. 　前記カメラ制御装置は、前記時間位相をずらして前記カメラ撮像部で撮像された各画像の特定の画素の輝度を測定し、当該輝度で点灯時の画像と消灯時の画像を判断し、前記時間位相でのシャッタータイミングで周期的な点灯時の画像数と消灯時の画像数を確認することにより、前記カメラ撮像部の前記撮像タイミングパターンの時間位相を調整する、ことを特徴とする、請求項１に記載のカメラ制御装置。
  4. 　前記カメラ制御装置は、前記カメラ撮像部が撮像した前記ヘッドライト部の消灯と点灯による第一の輝度画像と第二の輝度画像を比較して、反射物体を抽出し、複数の輝度画像を比較して画像内の前記反射物体の移動ベクトルを算出し、前記反射物体の移動ベクトルが前記自車両の移動ベクトルと反対のときに前記反射物体を静止物体、前記反射物体の移動ベクトルがゼロのときに前記反射物体を疑似物体、それ以外のときに前記反射物体を移動物体と判定する、ことを特徴とする、請求項１に記載のカメラ制御装置。
  5. 　前記カメラ制御装置は、前記ヘッドライト部のデューティを可変に設定する、ことを特徴とする、請求項１に記載のカメラ制御装置。
  6. 　前記カメラ制御装置は、前記ヘッドライト部のデューティを乱数に基づき設定する、ことを特徴とする、請求項５に記載のカメラ制御装置。
  7. 　前記カメラ制御装置は、前記ヘッドライト部を、周期的に複数回の異なるデューティで点消灯する、ことを特徴とする、請求項１に記載のカメラ制御装置。
  8. 　前記カメラ制御装置は、前記ヘッドライト部の消灯を、地図情報に基づき特定期間もしくは特定場所にのみ実行させる、ことを特徴とする、請求項１に記載のカメラ制御装置。
  9. 　前記カメラ制御装置は、障害物を検知したときにハイビームからロービームに切り替える前記ヘッドライト部の配光制御において、前記反射物体の前記疑似物体を前記配光制御の障害物対象から除く、ことを特徴とする、請求項４に記載のカメラ制御装置。
  10. 　請求項４に記載のカメラ制御装置から出力される情報を基に、前記自車両を制御する車両制御装置であって、
    　前記車両制御装置は、前記静止物体と判定された前記反射物体が一定の距離で配置されている場合、道路境界と判断し、前記道路境界への侵入を防止するように警報または前記自車両の操舵を制御する、ことを特徴とする、車両制御装置。
  11. 　請求項４に記載のカメラ制御装置から出力される情報を基に、前記自車両を制御する車両制御装置であって、
    　前記車両制御装置は、前記反射物体が前記移動物体である場合、前記移動物体に対して、前記自車両との相対速度との対比から歩行者または自転車と判断し、過去の軌道から将来の軌道を予測し、前記自車両との衝突可能性のリスクを計算し、前記自車両との衝突可能性のリスクが高いと判断されたときに警報または自動緊急ブレーキ制御を行う、ことを特徴とする、車両制御装置。
PCT/JP2023/008918 2022-06-17 2023-03-08 カメラ制御装置及び車両制御装置 Ceased WO2023243162A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202380027972.7A CN119032578A (zh) 2022-06-17 2023-03-08 摄像机控制装置及车辆控制装置
DE112023000647.4T DE112023000647T5 (de) 2022-06-17 2023-03-08 Kamerasteuervorrichtung und fahrzeugsteuervorrichtung
JP2024528298A JP7745101B2 (ja) 2022-06-17 2023-03-08 カメラ制御装置及び車両制御装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-097965 2022-06-17
JP2022097965 2022-06-17

Publications (1)

Publication Number Publication Date
WO2023243162A1 true WO2023243162A1 (ja) 2023-12-21

Family

ID=89192563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/008918 Ceased WO2023243162A1 (ja) 2022-06-17 2023-03-08 カメラ制御装置及び車両制御装置

Country Status (4)

Country Link
JP (1) JP7745101B2 (ja)
CN (1) CN119032578A (ja)
DE (1) DE112023000647T5 (ja)
WO (1) WO2023243162A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007076429A (ja) * 2005-09-13 2007-03-29 Koito Mfg Co Ltd ヘッドランプシステム
JP2010235045A (ja) * 2009-03-31 2010-10-21 Toyota Central R&D Labs Inc 照明制御装置及びプログラム
JP2011205619A (ja) * 2010-01-29 2011-10-13 Shinsedai Kk 画像処理装置、画像処理方法、コンピュータプログラム、及び、電子機器
JP2011209961A (ja) * 2010-03-29 2011-10-20 Kyocera Corp 車載用撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0742717B2 (ja) 1991-06-28 1995-05-10 照文 郷戸 便状廃棄物処理装置
JP5415237B2 (ja) 2009-11-25 2014-02-12 株式会社小糸製作所 車両用前照灯システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007076429A (ja) * 2005-09-13 2007-03-29 Koito Mfg Co Ltd ヘッドランプシステム
JP2010235045A (ja) * 2009-03-31 2010-10-21 Toyota Central R&D Labs Inc 照明制御装置及びプログラム
JP2011205619A (ja) * 2010-01-29 2011-10-13 Shinsedai Kk 画像処理装置、画像処理方法、コンピュータプログラム、及び、電子機器
JP2011209961A (ja) * 2010-03-29 2011-10-20 Kyocera Corp 車載用撮像装置

Also Published As

Publication number Publication date
JP7745101B2 (ja) 2025-09-26
CN119032578A (zh) 2024-11-26
DE112023000647T5 (de) 2025-03-06
JPWO2023243162A1 (ja) 2023-12-21

Similar Documents

Publication Publication Date Title
JP4253271B2 (ja) 画像処理システム及び車両制御システム
US10552688B2 (en) Method and device for detecting objects in the surroundings of a vehicle
JP4253275B2 (ja) 車両制御システム
CN103249597B (zh) 车辆配光控制装置以及方法
JP7381388B2 (ja) 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置
JP4538468B2 (ja) 画像処理装置，画像処理方法、及び画像処理システム
EP3517363A1 (en) Vehicle headlight control device
CN102470793B (zh) 用于光特征变化的基于间距的去抖动的方法和装置
CN115151955A (zh) 用于监控机动车辆的环境的系统
US20080101077A1 (en) Vehicle illumination device, vehicle illumination control method and recording medium storing a vehicle illumination control program
EP2525302A1 (en) Image processing system
US20140347872A1 (en) Method and device for recognizing an illuminated roadway ahead of a vehicle
JP5251680B2 (ja) 照明制御装置及びプログラム
RU2760074C1 (ru) Способ управления фарами и устройство управления фарами
WO2019156087A1 (ja) 画像処理装置および車両用灯具
JP7793072B2 (ja) 前照灯制御装置及び前照灯制御方法
JP2023507355A (ja) 自動車両の照明システムを制御するための方法
CN110774976A (zh) 用于控制车辆前灯的装置和方法
JP7745101B2 (ja) カメラ制御装置及び車両制御装置
CN112565618B (zh) 曝光控制装置
JP6539191B2 (ja) 車外環境認識装置
JP7084223B2 (ja) 画像処理装置および車両用灯具
JP6335065B2 (ja) 車外環境認識装置
JP6549974B2 (ja) 車外環境認識装置
US12028621B2 (en) Object detection system for a motor vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23823466

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024528298

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202380027972.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112023000647

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 112023000647

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23823466

Country of ref document: EP

Kind code of ref document: A1