WO2019044434A1 - 物体検出システム - Google Patents

物体検出システム Download PDF

Info

Publication number
WO2019044434A1
WO2019044434A1 PCT/JP2018/029713 JP2018029713W WO2019044434A1 WO 2019044434 A1 WO2019044434 A1 WO 2019044434A1 JP 2018029713 W JP2018029713 W JP 2018029713W WO 2019044434 A1 WO2019044434 A1 WO 2019044434A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination
module
pedestrian
imaging
image processing
Prior art date
Application number
PCT/JP2018/029713
Other languages
English (en)
French (fr)
Inventor
貴清 安川
門司　竜彦
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US16/631,680 priority Critical patent/US11167687B2/en
Priority to DE112018003170.5T priority patent/DE112018003170T5/de
Priority to JP2019539144A priority patent/JP6853890B2/ja
Publication of WO2019044434A1 publication Critical patent/WO2019044434A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers

Definitions

  • the present invention relates to an object detection system, for example, a system which is mounted on a vehicle and which can be applied to traveling control support of the vehicle.
  • a driving support system of this type there is a pedestrian detection system that detects a pedestrian and gives an alarm to a driver, or assists control of a vehicle such as steering or braking.
  • the pedestrian detection system takes in ambient light and reflected light from headlights from a visible camera and detects the pedestrian using an image of the camera. By the way, since it is difficult to detect a pedestrian who is not illuminated at night at night, there is also a system that can detect a pedestrian based on imaging information of a far-infrared camera in recent years.
  • Japanese Patent Laid-Open Publication No. 2009-83824 discloses a walking vehicle including an imaging unit that images the surroundings of the vehicle and a pedestrian detection unit that determines whether an object imaged by the imaging unit is a pedestrian.
  • the pedestrian detection means includes a complementation determination means that determines whether the captured object can be complemented as a pedestrian, and the complementation determination means determines that the complementation is possible. It is proposed that the pedestrian detection means is configured to detect the pedestrian based on the imaging result after switching to the high beam, provided with light switching means for switching the headlight provided in the own vehicle from the low beam to the high beam ing.
  • this pedestrian detection device for a vehicle, even if the vehicle is in a low beam traveling state, there is an advantage that detection of a pedestrian does not delay because it switches to a high beam at a stage where it is determined that complementation is possible as a pedestrian.
  • the present invention is an object detection system for detecting an object outside a vehicle and providing detection information to a control device of a vehicle, comprising: an illumination module for illuminating the object; An illumination control module for controlling the module, an imaging module for imaging the object, and an image processing module for processing an image obtained by imaging the object, wherein the imaging module captures an object in the illumination restricted area
  • the illumination control module controls start and end of illumination of the illumination limited area by the illumination module based on the result of image processing of the image processing module.
  • an object detection system capable of detecting an object even if the object is present in the illumination limited area without exerting disturbance outside the vehicle.
  • FIG. 1 is an example of a functional block diagram of an on-vehicle apparatus 100 provided with an object detection system 10.
  • the functional block diagram of the on-vehicle apparatus shows a configuration related to the object detection system, and for example, does not show all the components as the on-vehicle apparatus.
  • the object (detection target object) is mainly a person as a pedestrian (low-speed moving object), and may include a forward traveling vehicle, an oncoming vehicle, an animal, a structure of a road or a road shoulder, and the like.
  • Cars may include bicycles, two-wheeled vehicles, four-wheeled vehicles.
  • the object detection system 10 includes an imaging module 101, an image processing module 102, a lighting control module 106, and a lighting module 107.
  • the on-vehicle apparatus 100 includes a vehicle information acquisition module 103, a vehicle control module 104, a lighting switching module 105, an alarm notification module 108, and a traveling system control module 109.
  • module is a configuration realized by hardware, software, or a combination of the two, and may be a unit, a unit, a device, a part, or the like. May be paraphrased in the words of
  • the object detection system 10 detects a detection target (a pedestrian, an oncoming vehicle, a preceding vehicle, etc.). As described above, in addition to the imaging module 101 and the image processing module 102, the object detection system 10 is a detection target in order to be able to detect a detection target even in a situation where the driver's visibility decreases at night. And an illumination control module 106 for illuminating the illumination module 107.
  • the imaging module 101 captures an image of the outside of the vehicle, and transfers the captured image (or image) to the image processing module 102.
  • the imaging module 101 may be, for example, a visible camera, a (far) infrared camera, or a hybrid camera of both.
  • the imaging module 101 may be, for example, a monocular camera or a stereo camera.
  • the imaging module 101 and the illumination module 107 may be integrated.
  • the image processing module 102 performs image processing on the captured video (captured image) received from the imaging module 101.
  • the image processing module 102 can determine setting information (for example, imaging timing, imaging time, and the like) for imaging by the imaging module 101, transfer this to the imaging module 101, and set it.
  • the image processing module 102 may be a camera control ECU (Electronic Control Unit), and may be, for example, an image processing LSI as shown in FIG. 2 described later.
  • the illumination control module 106 receives information on processing of the captured image from the image processing module 102, receives information on the traveling state and control state of the vehicle from the vehicle control module 104, and switches the low beam and the high beam by the driver. A signal for this is received from the illumination switching module 105, the optimum illumination state, mode, etc. are determined, selected, judged, etc., and this is set in the illumination module 107 to realize the optimum illumination mode of the headlight.
  • the illumination control module 106 may be configured of, for example, a lamp control ECU or the like.
  • the illumination state is not limited to the low beam and high beam two modes, and may be three or more modes.
  • the illumination module 107 is a headlight that illuminates the front of the vehicle and its drive circuit.
  • the illumination module 107 switches the illumination control module 106 between an illumination method, for example, an aspect of illuminating the front of the vehicle and an aspect of illuminating a distant place.
  • the former is achieved by lighting a low beam valve and the latter by lighting a high beam valve. Note that one valve may be switched to low or high.
  • the headlight may be a type using a plurality of light emitting diodes (LEDs) whose illumination method can be controlled, in addition to a type using a bulb. In the latter case, the illumination area can be finely divided and illuminated.
  • LEDs light emitting diodes
  • the vehicle information acquisition module 103 acquires vehicle information including a traveling state such as the speed of the vehicle and an operation state such as a steering angle from a sensor or the like via a CAN (Controller Area Network), and the vehicle control module 104 Send to
  • the vehicle control module 104 is connected to the vehicle information acquisition module 103, the illumination control module 106, the alarm notification module 108, and the traveling system control module 109.
  • the vehicle control module 104 notifies a warning (for example, pedestrian attention) regarding the traveling state of the vehicle based on the detection information of the pedestrian of the image processing module 102 or this and the vehicle information from the vehicle information acquisition module 103.
  • the alarm notification module 108 may be, for example, a liquid crystal monitor, a speaker, or the like.
  • the illumination switching module 105 outputs designation information to the illumination control module 106 when the illumination state (low beam or high beam) is designated by the manual operation of the driver of the vehicle.
  • FIG. 2 is a block diagram showing the detailed configuration of the image processing module 102.
  • the image processing module 102 includes a controller 201, an image processing circuit 202, a program 203, a memory 204, an imaging I / F 205, a lighting control I / F 206, and a vehicle I / F 207, which are mutually connected by a communication bus .
  • the controller 201 includes a processor such as a CPU (Central Processing Unit), and operates the image processing circuit 202 based on a program 203 in which processing necessary for image processing is described to perform image processing of a captured image.
  • a processor such as a CPU (Central Processing Unit)
  • the controller 201 executes the program 203, the memory 204 is used as a work area.
  • the imaging I / F 205 is an interface for setting conditions for the imaging module 101 to capture a video and performing transmission for capturing the captured video.
  • the illumination control I / F 206 is an interface for transmitting illumination switching (low or high beam) information to the illumination module 107.
  • the image processing module 102 is connected to the imaging module 101 via the imaging I / F 205, is connected to the illumination control module 106 via the illumination control I / F 206, and is connected to the vehicle control module 104 via the vehicle I / F 207. It is connected with.
  • the imaging module 101 includes an imaging element that converts a captured image into an electrical signal.
  • the imaging device be provided with a light receiving surface in which a plurality of light receiving elements are aligned.
  • FIG. 3 shows an example (a schematic view) of the imaging device.
  • the imaging device has an array in which a plurality of light receiving elements (R elements, G elements, B elements) of color pixels are regularly arranged.
  • R is a light receiving element (R element) for detecting a red wavelength band
  • G is a light receiving element (G element) for detecting a green wavelength band
  • B is a light receiving element for detecting a blue wavelength band It is an element (B element).
  • Each light receiving element detects the component of each corresponding color by band limitation, desensitizing so as to receive a specific wavelength in the filter configuration.
  • the imaging device includes an array of a plurality of light receiving devices having different color pixels. Therefore, the image processing module 102 performs a complementing process to reproduce each color projected on the area of each element.
  • the complementing process may be an average value of wavelength band components between adjacent elements ((1) to (3)).
  • the green component (G component) of the R element may be the average value of four G elements that are diagonally adjacent, and similarly, the blue component (B component) of the R element is the two upper and lower It may be the average value of B elements.
  • FIG. 4 shows another example of the imaging device.
  • the light receiving element (C element) of the clear pixel may be applied to the image pickup element in a situation where the color components do not need to be strictly separated. Comparing the arrangement of light receiving elements in the imaging element with FIG. 3, the G element and the B element are replaced with the C element.
  • the clear pixel can receive all frequency components since there is no color restriction. Therefore, as shown in FIG. 4, the complementing process is performed as compared to the case where the light receiving elements of the color pixel are arrayed by setting at least one of the light receiving elements of the color pixel as the light receiving element of the clear pixel (FIG. 3). It can be simplified. As a result, improvement of the dynamic range is expected.
  • FIG. 5 is a flowchart showing an example of the procedure of the pedestrian detection process.
  • the vehicle information acquisition module 103 acquires vehicle information such as speed and steering angle (step S501).
  • the vehicle information acquisition module 103 transmits vehicle information to the image processing module 102 via the vehicle control module 104.
  • step S502 the controller 201 of the image processing module 102 operates the image processing circuit 202, and the image processing circuit 202 determines the "pedestrian model" stored in the memory 204 based on the vehicle information.
  • the pedestrian model is model information set to perform a pattern determination of a pedestrian, and a human body may be identified by an aspect ratio of an image.
  • information such as the color and brightness of the exposed portion (face, hand) may be added to the model information.
  • the image processing circuit 202 compares the video received from the imaging module 101 with a predetermined reference to determine whether the imaging target has the possibility of a pedestrian. If the video is not only the entire image of the pedestrian but also a part of the pedestrian (for example, legs, lower body), the image processing circuit 202 may estimate these videos as a possible pedestrian. Classified into The image processing circuit 202 cumulatively stores in the memory 204 the captured image and the presence or absence of the “estimated pedestrian” with respect to the captured image at each timing of imaging.
  • the image processing circuit 202 refers to the memory 204 to extract features (such as contours) of the video classified as "estimated pedestrians" and / or motion patterns of the continuous video. By extracting (for example, information indicating the movement of a pedestrian), the feature pattern of the video classified as the "presumed pedestrian" is extracted.
  • the image processing circuit 202 compares the feature pattern with the video model.
  • the image processing circuit 202 determines whether the video of the "estimated pedestrian" is the entire pedestrian or whether this video is a part of the pedestrian. If this determination is affirmed, the image processing circuit 202 identifies the imaging target as a pedestrian. Being able to identify that this video is a part of a pedestrian also means that the imaged object can be complemented as a pedestrian. Therefore, the image processing circuit 202 may perform pattern matching with the pedestrian model after complementing the estimated pedestrian. In addition, what is necessary is just to refer a well-known thing including patent document 1 as stated above about complementation.
  • step S504 the image processing circuit 202 directly outputs the determination result (pedestrian identification result) of step S503 to the illumination control module 106.
  • the illumination control module 106 turns on the illumination module 107 so as to be a high beam when the estimated pedestrian is determined as described later. If it is determined in step S503 that the imaging target is not a pedestrian, step S504 may be skipped.
  • the illumination control module 106 receives the identification information of the estimated pedestrian from the image processing module 102 (step 601: Y), the illumination control module 106 switches the headlights (illumination module 107) to high beam irradiation at the imaging timing for the pedestrian (Ste 602).
  • the imaging module 101 images an estimated pedestrian at the timing when the headlights are switched to the high beam (step 603).
  • the illumination control module 106 switches the high beam to the low beam in accordance with the imaging timing of the on-vehicle camera (the illumination module 107) (step 604).
  • the illumination control module 106 can limit the lighting time of the high beam within the range of the imaging cycle.
  • the illumination control module 106 can limit the lighting time of the high beam to, for example, about 2 msec to 50 msec while enabling imaging of the estimated pedestrian by the high beam. Since the lighting time of the high beam is extremely short, it is possible to avoid glare to other vehicles, saturation of sensors of other vehicles, and the like.
  • the image processing circuit 202 compares the video captured in the lighting period of the high beam with the pedestrian model to analyze whether the video is a pedestrian, in other words, whether the estimated pedestrian was correct as a pedestrian It is determined whether the authenticity of the subject (step 606). If the image processing circuit 202 affirms the determination result, the image processing circuit 202 outputs affirmation information to the vehicle control module 104. The vehicle control module 104 sets an alarm notification for the presence of the “pedestrian” in the alarm notification module 108 (step 607). Even if the lighting time of the high beam is very short and the driver can not view the pedestrian, an alert for the presence of the "pedestrian" is provided to the driver.
  • the image processing module 102 repeatedly executes the flowcharts of FIGS. 5 and 6 in accordance with, for example, the imaging cycle.
  • the vehicle When the vehicle is traveling at a speed of 40 km / h, it is calculated to travel about 11 m per second. Pedestrians move about 1 m per second, assuming 4 km / h as a standard.
  • the image processing module 102 may execute the flowcharts of FIGS. 5 and 6 at an interval of at least one second in consideration of the risk of jumping out of a pedestrian or the like.
  • the imaging cycle is much shorter than this.
  • the image processing circuit 202 determines that the “estimated pedestrian” is a pedestrian, the image processing circuit 202 does not turn on the high beam for the “estimated pedestrian”. If the image processing circuit 202 can not determine that the "estimated pedestrian” is a pedestrian, it determines whether it can be determined in step 608 that the "estimated pedestrian” can be determined to be other than a pedestrian, and denies this. Then, the process returns to step 602, and switching to the high beam is performed at the next timing, and the determination of the "estimated pedestrian” is continued.
  • the image processing circuit 202 may use information on the movement of the object (estimated pedestrian), that is, tracking information, etc., to improve the accuracy of recognizing the pedestrian. Since the pedestrian travels at a slower speed than the speed of the vehicle, the distance between the pedestrian and the vehicle becomes shorter in stages, and the accuracy of pedestrian detection improves.
  • the high beam lighting command is directly transmitted from the image processing module 102 to the illumination control module 106 without passing through a network such as CAN, the problem of transmission delay is solved.
  • the illumination control module 106 can turn on the high beam in accordance with the imaging timing and imaging time. Even if the lighting time of the high beam is a very short time, the imaging module 101 can image the object based on the conditions such as the exposure time.
  • the imaging module 101 captures an image in front of the vehicle by repeating the flowchart of FIG. 7.
  • the imaging module 101 performs imaging in a short exposure time to detect a headlight (oncoming vehicle) having high luminance.
  • the imaging module 101 performs imaging at a medium exposure time to detect a tail lamp (front vehicle) with low luminance.
  • the imaging module 101 performs imaging in a long exposure time to detect a pedestrian who does not have a light source.
  • the illumination control module 106 turns on the illumination module 107 in the high beam lighting state in accordance with the imaging timing at the long exposure time. Because the amount of light reflected by the pedestrian is low, detection of the pedestrian requires a relatively long exposure time. The order of these processes may be different from that shown in FIG.
  • FIG. 8 is a timing chart of imaging and lighting of the high beam.
  • 8a is a pattern of the timing signal 801, and the timing signal 801 is output, for example, every 60 msec. A period between adjacent timing signals is an imaging cycle.
  • 8b is a timing pattern of imaging.
  • the imaging module 101 performs short exposure time imaging in synchronization with the first timing signal (802), and performs medium exposure time imaging in synchronization with the second timing signal (803), and synchronizes with the third timing signal. Then, long exposure time imaging is performed (804).
  • the illumination control module 106 illuminates lighting of the high beam in synchronization with the third timing signal, in other words, in synchronization with or in synchronization with long exposure time imaging (804) for imaging of a pedestrian.
  • the module 107 is made to execute (805). Therefore, the illumination control module 106 can limit or set the lighting of the high beam to a period for imaging a pedestrian.
  • the illumination control module 106 sets the high beam on (805) at the same timing as the long exposure time imaging (804) as shown in 8e.
  • the lighting control module 106 performs the high beam on including the time constant ⁇ t. That is, the illumination control module 106 executes the on of the high beam by advancing by the time constant ⁇ t of the waveform (804) of long exposure time imaging of 8 d. As a result, the illuminance of the high beam gradually rises up as indicated by the broken line, and becomes sufficient to start imaging (8e). Since the high beam off is not affected by the time constant ⁇ t, the illumination control module 106 may execute the high beam off at the same timing as the long exposure time imaging (804) off.
  • the illumination control module 106 may perform on / off of the high beam with a margin of, for example, about 30% in addition to the time constant ⁇ t (8f).
  • the imaging module 101 performs the short exposure time 802 and the middle exposure time 803 between the first timing signal and the second timing signal, and the long exposure time 804 is second It may be executed in synchronization with the timing of.
  • FIG. 9A A captured image of the pedestrian 901 at the time of night high beam travel is shown in FIG. 9A.
  • the imaging image of the pedestrian 901 at the time of night low beam travel is shown in FIG. 9B.
  • the driver can confirm the pedestrian 901, while according to FIG. 9B, since the low beam does not reach far, the light becomes a light shielding area 902 in which the illumination is limited. Can not identify the pedestrian 901 in the distance.
  • FIG. 10A shows a captured image (nighttime high beam) in which the pedestrian 1001 approaches the vehicle as the vehicle travels.
  • 1002 is an image of an oncoming vehicle.
  • FIG. 10B is an image at the time of night low beam.
  • the image processing module 102 classifies the image of the foot as an estimated pedestrian and applies the high beam to this for a short time to illuminate the entire pedestrian (FIG. 10A) and determine the pedestrian.
  • the image processing module 102 may use a light spot based on the luminance information of the headlight, not as an image, as in the case of recognition for a pedestrian, for detection of an oncoming vehicle. Even if an oncoming vehicle is present in the low beam light blocking area 1003 (FIG. 10B), the image processing module 102 can detect the oncoming vehicle based on the light spot 1003A of the headlight.
  • FIG. 11 is an image obtained by short-time exposure (FIG. 8 (8d)).
  • the luminance information is derived from the RGB color light receiving element component, which is an array of light receiving elements, according to the following conversion equation.
  • Y 0.299R + 0.587G + 0.114B
  • U -0.147R-0.289G + 0.436B
  • V 0.615R-0.515G-0.100B
  • Y is luminance information
  • U and V are color difference signals.
  • the image processing module 102 can detect headlights and taillights brighter than the surroundings. By limiting the exposure time, the image processing module 102 can delete self-emission noise around oncoming vehicles and forward vehicles, and can detect and extract light spots such as headlights and tail lights.
  • the lighting module 107 is of the type in which high beams are switched on / off of lighting or light irradiation direction is switched to low / high as the entire module, the present invention is not limited thereto.
  • the headlight may be provided with light emitting units such as a plurality of LEDs.
  • the amount of light, the direction of light, and the like can be changed for each light emitting unit.
  • FIG. 12 is an example of an image obtained by capturing an area illuminated by the LED headlights.
  • 1302 is an area of an oncoming vehicle, and the light quantity of this area is limited.
  • the area 1301 is a pedestrian area, and the light quantity is limited here as well.
  • the LED headlight can adjust the light amount for each predetermined area.
  • the light amount being limited means that the LED corresponding to the restricted area is not driven or the driving current of the LED is limited.
  • the limited amount of light is due to the limitation of glare to oncoming vehicles and pedestrians.
  • the image processing module 102 determines that this is an estimated pedestrian, the lighting control module 106 turns on the LED corresponding to the area 1301, increases the LED drive current, or does not face the restricted area.
  • the imaging module 101 can now image the entire pedestrian 1320 by temporarily changing the direction to increase the number of LEDs that irradiate the restricted area, etc., and making the restricted area 1301 brighter (see FIG. 14).
  • FIG. 16 is a detailed block diagram of the image processing and illumination control module 1501.
  • the image processing and illumination control module 1501 includes an illumination control circuit 1602 in addition to the image processing circuit 202, and the controller 201 integrally controls these. By doing this, the on / off of the high beam is promptly and reliably controlled according to the image processing circuit 202 determining the estimated pedestrian, thereby achieving both the pedestrian detection and the dazzling prevention to other vehicles. .
  • the image processing module 102 or the image processing and illumination control module 1501 may be connected to the radar ranging module 1701.
  • a radar ranging module 1701 performs ranging by light irradiation such as millimeter wave radar or LIDAR (Light Detection and Ranging) and light reception of the reflected light.
  • the recognition processing and illumination control module 1702 also provides the radar ranging module 1701 with conveyance information, performs separation control of light reception signals, and further controls the illumination module 107.
  • the recognition processing and illumination control module 1702 can determine the three-dimensional object detected by the radar by the recognition processing and illumination control.
  • the recognition processing and illumination control module 1702 temporarily irradiates a high beam to a three-dimensional object detected by the radar, performs image processing on the captured image at that time, and determines an estimated pedestrian as necessary. While, the three-dimensional object is determined to be a pedestrian. As shown in FIG. 18, the recognition processing and illumination control module 1702 includes a modulation / demodulation circuit 1801 for radar ranging and an interface 1802 to the radar ranging module 1701.
  • the object detection system 10 may include an infrared illumination module 1901 in addition to the illumination module 107 for visible light.
  • the image processing module 102 temporarily irradiates the estimated pedestrian with infrared light from the infrared illumination module 1901 to determine the pedestrian.
  • the imaging module 101 includes an infrared camera, and images an object illuminated by infrared light.
  • the image processing module 102 may or may not perform temporary illumination of visible light.
  • the infrared lighting module 1901 ensures that the estimated pedestrian is illuminated even at night in bad weather.
  • an imaging device having an infrared light receiving device For infrared light detection, an imaging device having an infrared light receiving device is required.
  • the arrangement of the light receiving elements of the color pixel to which the infrared light receiving element (IR) is added is shown in FIG.
  • the light receiving element of the color pixel of FIG. 3 is the same as that of FIG. 3 except that the infrared light component is detected by the IR pixel.
  • the configuration using the clear pixel (C) is shown in FIG.
  • Clear pixels are arranged in a nested manner with respect to the infrared light receiving element and the red light receiving element. By this arrangement, it is possible to realize an imaging device which can receive the clear pixels uniformly over the entire screen and can detect the infrared component and the red component.
  • the present invention is not limited to the above-described embodiment, but includes various modifications.
  • the above-described embodiment is described in detail to explain the present invention in an easy-to-understand manner, and is not necessarily limited to one having all the described configurations.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the configurations, functions, processing units, processing means, etc. described above may be realized by hardware, for example, by designing part or all of them with an integrated circuit. Further, each configuration, function, etc. described above may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as a program, a table, and a file for realizing each function can be placed in a memory, a hard disk, a recording device such as a solid state drive (SSD), or a recording medium such as an SD card.
  • SSD solid state drive
  • control lines and information lines indicate what is considered to be necessary for the description, and not all control lines and information lines in the product are necessarily shown. In practice, almost all configurations may be considered to be mutually connected.
  • Reference Signs List 10 object detection system 100 in-vehicle apparatus, 101 imaging module, 102 image processing module, 106 illumination control module, 107 illumination module

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

本発明は、車両外に外乱を及ぼすことなく、照明制限領域に対象体が存在しても、対象体を検出できるようにした物体検出システムを提供する。撮像モジュールが照明制限領域の物体を撮像するタイミングに合わせて、照明制御モジュールが、画像処理モジュールの画像処理の結果に基づいて、照明モジュールによる、照明制限領域への照明の開始と終了とを制御する。

Description

物体検出システム
　本発明は、物体検出システムに係り、例えば、車両に搭載され、車両の走行制御支援に応用、ないしは、適用等できるシステムに関する。
　現在、自動車には、様々な、運転支援システムが適用されている。この種の運転支援システムとして、歩行者を検出して、ドライバーに警報を与えたり、操舵、制動等、車両の制御を援助できるようにした、歩行者検出システムが存在する。
　歩行者検出システムは、環境光やヘッドライトからの反射光を可視カメラから取り込み、カメラの画像を利用して歩行者を検出する。ところで、夜間においては、照明が当たっていない歩行者を検出することが困難であるため、近年では、遠赤外線カメラの撮像情報に基いて歩行者を検出できるようにしたシステムも存在する。
　しかしながら、歩行者と背景（路面等）との間で温度コントラストが得られにくいシーンでは、歩行者を検出できないといった課題もあるため、可視光カメラからの画像も歩行者の検出ために重要である。
　一方、夜間、車両がロービームで走行している場合、これは、車両がハイビームで走行している場合よりも、遥かに多い状態であるが、ヘッドライトが遠方まで届かないため、ドライバーにとっては、歩行者の検出が遅れるという課題がある。
　そこで、特開２００９－８３８２４号公報には、自車周辺を撮像する撮像手段と、該撮像手段により撮像された物体が歩行者であるか判断する歩行者検出手段と、を備えた車両用歩行者検出装置において、前記歩行者検出手段は、撮像された前記物体を歩行者として補完可能か否かを判定する補完判定手段を備え、該補完判定手段により補完可能と判定された場合に、前記自車に備えられたヘッドライトをロービームからハイビームに切り替えるライト切替手段を備え、前記歩行者検出手段は、ハイビームに切り替えた後の撮像結果に基づいて歩行者を検出するようにしたことが提案されている。この車両用歩行者検出装置によれば、車両がロービーム走行状態であっても、歩行者として補完可能が判定された段階でハイビームに切り替わるために、歩行者の検出が遅れないという利点がある。
特開２００９－８３８２４号公報
　しかし、上記従来の車両用歩行者検出装置では、ヘッドライトをロービームからハイビームに切り替える際に、対向車に対する眩惑や対向車両に搭載されたセンサの飽和等の外乱を生じさせるおそれがある。そこで、本発明は、車両外にこの種の外乱を及ぼすことなく、照明制限領域に対象体が存在しても、対象体を検出できるようにした物体検出システムを提供することを目的とする。
　前記目的を達成するために、本発明は、車両外の物体を検出し、検出情報を車両の制御装置に提供する物体検出システムであって、前記物体を照明するための照明モジュールと、前記照明モジュールを制御する照明制御モジュールと、前記物体を撮像する撮像モジュールと、前記物体が撮像された画像を処理する画像処理モジュールと、を備え、前記撮像モジュールが照明制限領域の物体を撮像するタイミングに合わせて、前記照明制御モジュールは、前記画像処理モジュールの画像処理の結果に基いて、前記照明モジュールによる、前記照明制限領域への照明の開始と終了とを制御する、というものである。
　本発明によれば、車両外に外乱を及ぼすことなく、照明制限領域に対象体が存在しても、対象体を検出できるようにした物体検出システムを提供することができる。
物体検出システムを備える車載装置の機能ブロック図の一例である。 画像処理モジュールの詳細な構成を示すブロック図である。 撮像素子の一例に係る模式図である。 撮像素子の他の例に係る模式図である。 歩行者（特定対象体）検出処理の手順の一例を示すフローチャートである。 物体検出システムが照明を制御する動作の一例を示すフローチャートである。 撮像モジュールの動作の一例を示すフローチャートである。 撮像とハイビームの点灯とのタイミングチャートの一例である。 夜間ハイビーム走行時の撮像映像の一例である。 夜間ロービーム走行時の撮像映像の一例である。 夜間ハイビーム走行時の撮像映像の他の例である。 夜間ロービーム走行時の撮像映像の他の例である。 短時間露光で得られた画像である。 ＬＥＤヘッドライトで照明された領域を撮像した映像の一例である。 車両が歩行者に近づいた際の映像である。 歩行者全身が撮像された映像である。 物体検出システムの機能ブロック図の他の例である。 図１５の画像処理・照明制御モジュールの詳細な構成を示すブロック図である。 物体検出システムの機能ブロック図の更に他の例である。 図１７の画像処理・照明制御モジュールの詳細な構成を示すブロック図である。 物体検出システムの機能ブロック図の更に他の例である。 赤外受光素子を追加したカラー画素の受光素子の配置図である。 クリア画素を備える受光素子の配置図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。以下の実施形態では、物体検出システムを自動車に適用したものについて説明する。図１は、物体検出システム１０を備える車載装置１００の機能ブロック図の一例である。この車載装置の機能ブロック図は、物体検出システムに関連する構成を示したものであり、例えば、車載装置として、全ての構成要素を示したものではない。なお、物体（検出対象体）は、主として歩行者としての人物（低速移動体）であり、前方走行車、対向車、動物、路上・路肩の構造物等を含んでよい。車には自転車、二輪車、四輪車が含まれてよい。
　物体検出システム１０は、撮像モジュール１０１、画像処理モジュール１０２、照明制御モジュール１０６、及び、照明モジュール１０７を備える。車載装置１００は、物体検出システム１０に加えて、車両情報取得モジュール１０３、車両制御モジュール１０４、照明切換モジュール１０５、警報通知モジュール１０８、及び、走行系制御モジュール１０９を備える。なお、「モジュール」という用語は、ハードウェア、ソフトウェア、又は、両者の組み合わせによって、実現される構成であって、「ユニット」、「手段」、又は、「装置」、「パーツ」の如く、他の言葉で言い換えられてもよい。
　次に、物体検出システム１０を詳細に説明する。物体検出システム１０は、検出対象体（歩行者、対向車両、先行車両等）を検出する。物体検出システム１０は、既述のとおり、撮像モジュール１０１、及び、画像処理モジュール１０２に加えて、夜間等のドライバーの視認性が低下する状況でも検出対象を検出できるようにするために、検出対象を照射するための照明モジュール１０７と、その照明制御モジュール１０６を備える。
　撮像モジュール１０１は、車両の外界の映像を撮像し、撮像した映像（または画像）を画像処理モジュール１０２に転送する。撮像モジュール１０１は、例えば、可視カメラ、（遠）赤外線カメラ、又は、両者のハイブリッドカメラであってよい。更に、撮像モジュール１０１は、例えば、単眼カメラ、又は、ステレオカメラであってよい。また、撮像モジュール１０１と照明モジュール１０７とが一体化されてもよい。
　画像処理モジュール１０２は、撮像モジュール１０１から受信した撮像映像（撮像画像）に対して画像処理を行う。画像処理モジュール１０２は、撮像モジュール１０１による撮像のための設定情報（例えば、撮像タイミングや撮像時間等）を決定し、これを撮像モジュール１０１に転送し、設定することができる。画像処理モジュール１０２は、カメラ制御用ＥＣＵ（Electronic Control Unit）であってよく、例えば、後述の図２に示すように、画像処理ＬＳＩであってよい。
　照明制御モジュール１０６は、撮像された画像の処理の情報を画像処理モジュール１０２から受信し、車両の走行状態や制御状態に関する情報を車両制御モジュール１０４から受信し、ドライバーがロービーム、そして、ハイビームを切り替えるための信号を照明切換モジュール１０５から受信し、最適な照明の状態、態様等を決定、選択、判定等し、これを照明モジュール１０７に設定して、ヘッドライトの最適な照射態様を実現する。照明制御モジュール１０６は、例えば、ランプ制御用ＥＣＵ等で構成されてよい。なお、照明状態を、ロービーム、そして、ハイビームの２態様に限定されず、３態様以上にしてもよい。
　照明モジュール１０７は、車両の前方を照射するヘッドライトと、その駆動回路である。照明モジュール１０７は、照明制御モジュール１０６によって、照明方法、例えば、車両の前方を照射する態様と、更に、遠方を照射する態様とを切り替える。前者は、ロービーム用のバルブを点灯し、後者はこれにハイビーム用のバルブを点灯することによって達成される。なお、一つのバルブをロー・ハイに切り替えるようにしてもよい。ヘッドライトは、バルブを利用するタイプの他、夫々で、照明方法を制御が可能な複数の発光ダイオード（ＬＥＤ）を搭載するタイプでもよい。後者のものは、照射領域を細かく分割して照明できる。
　車両情報取得モジュール１０３は、車両の速度等の走行状態、そして、舵角等の操作状態からなる車両情報を、ＣＡＮ（Controller Area Network）を介してセンサ等から取得し、これを車両制御モジュール１０４に送信する。
　車両制御モジュール１０４は、車両情報取得モジュール１０３、照明制御モジュール１０６、警報通知モジュール１０８、及び、走行系制御モジュール１０９に接続している。
車両制御モジュール１０４は、画像処理モジュール１０２の歩行者の検出情報、又は、これと車両情報取得モジュール１０３からの車両情報とに基いて、車両の走行状態に関して警報（例えば、歩行者注意）の報知がドライバーへの注意喚起として必要であると判断した場合に、警報通知モジュール１０８に警報を出力するための駆動信号を出力する。警報通知モジュール１０８は、例えば、液晶モニタ、スピーカ等であってよい。
　照明切換モジュール１０５は、車両のドライバーの手動操作によって照明状態（ロービーム、又は、ハイビーム）が指定される際に、指定情報を照明制御モジュール１０６に出力する。
　図２に、画像処理モジュール１０２の詳細な構成を示すブロック図を示す。画像処理モジュール１０２は、コントローラ２０１、画像処理回路２０２、プログラム２０３、メモリ２０４、撮像Ｉ／Ｆ２０５、照明制御Ｉ／Ｆ２０６、及び、車両Ｉ／Ｆ２０７を備え、これらは通信バスによって互いに接続されている。
　コントローラ２０１は、ＣＰＵ（Central Processing Unit）等のプロセッサを備え、画像処理回路２０２を、画像処理に必要な処理が記述されたプログラム２０３に基いて動作させて、撮像画像の画像処理を行う。コントローラ２０１がプログラム２０３を実行する際、メモリ２０４をワークエリアとして利用する。
　撮像Ｉ／Ｆ２０５は、撮像モジュール１０１が映像を撮像するための条件の設定や、撮像した映像を取り込む伝送を行うためのインターフェースである。照明制御Ｉ／Ｆ２０６は、照明モジュール１０７に照明の切換（ロー又はハイビーム）の情報を伝送するためのインターフェースである。車両Ｉ／Ｆ２０７は、車両制御モジュール１０４を介して、車両情報取得モジュール１０３から車両情報を取得し、そして、画像処理の結果に基づく情報の伝送を、車両制御モジュール１０４に対して行うためのインターフェースである。画像処理モジュール１０２は、撮像Ｉ／Ｆ２０５を経由して撮像モジュール１０１と接続し、照明制御Ｉ／Ｆ２０６を経由して照明制御モジュール１０６と接続し、車両Ｉ／Ｆ２０７を経由して車両制御モジュール１０４と接続している。
　撮像モジュール１０１は、撮像した画像を電気信号に変換する撮像素子を備える。検出対象体の認識に必要な情報を効果的取得するために、撮像素子は、複数の受光素子が整列した受光面を備えるものが好適である。
　図３に、撮像素子の一例（模式図）を示す。撮像素子は、カラー画素の受光素子（Ｒ素子、Ｇ素子、Ｂ素子）が複数規則的に並んだ配列を備える。なお、「Ｒ」は赤色の波長帯を検出する受光素子（Ｒ素子）、「Ｇ」は緑色の波長帯を検出する受光素子（Ｇ素子）、「Ｂ」は青色の波長帯を検出する受光素子（Ｂ素子）である。各受光素子は、フィルタ構成で特定の波長を受けるように感度を落とす、帯域制限によって、対応する各色の成分を検出する。
　撮像素子は、カラー画素が異なる複数の受光素子の配列を備える。そこで、画像処理モジュール１０２は、個々の素子の領域に投影される各色を再現するために、補完処理を行う。例えば、補完処理は、隣接する素子間で、波長帯の成分の平均値でよい（（１）-（３））。（１）のように、Ｒ素子の緑色成分（Ｇ成分）は、斜めに近接する４つのＧ素子の平均値でよく、同様に、Ｒ素子の青色成分（Ｂ成分）は、上下の２つのＢ素子の平均値でよい。
　図４に、撮像素子の他の例を示す。画像処理モジュール１０２が物体のカラー画像を取得する際、色成分を厳密に切り分ける必要がない状況では、クリア画素の受光素子（Ｃ素子）を撮像素子に適用すればよい。撮像素子における受光素子の配列を図３と比較すると、Ｇ素子及びＢ素子がＣ素子に置き換えられている。クリア画素は、色の制約がないため、全ての周波数成分を受光できる。したがって、図４に示すように、カラー画素の受光素子の少なくとも一つがクリア画素の受光素子にされることによって、カラー画素の受光素子が配列される場合（図３）に比較して補完処理を簡略にできる。その結果、ダイナミックレンジの改善が期待される。
　なお、図４に示す配列には、赤色画素の素子（Ｒ素子）が残されている。これは、前方走行車のテールライトの認識において赤色の識別が必要になるからである。こうすることによって、赤色を確実に識別できて、補完処理の軽減を図ることができる。
　次に、物体検出システム１０（図１）が、車両の前方画像を撮像モジュール１０１（カメラ）から取り込んで、歩行者を検出する動作について説明する。図５は、歩行者検出処理の手順の一例を示すフローチャートである。車両情報取得モジュール１０３は、速度や舵角等の車両情報を取得する（ステップＳ５０１）。車両情報取得モジュール１０３は、車両情報を、車両制御モジュール１０４を経由して画像処理モジュール１０２に伝送する。
　ステップＳ５０２では、画像処理モジュール１０２のコントローラ２０１は、画像処理回路２０２を動作させ、画像処理回路２０２は、車両情報に基づいてメモリ２０４に格納された「歩行者モデル」を決定する。歩行者モデルとは、歩行者のパターン判定を行うために設定されたモデル情報であって、画像の縦横比によって人体が特定されるものであってもよい。詳細な歩行者モデルでは、露出部（顔、手）の色や輝度等の情報がモデル情報に付加されてもよい。
　次いで、画像処理回路２０２は、撮像モジュール１０１から受信した映像を所定の基準と比較して、撮像対象が歩行者の可能性があるか否かを判定する。映像が歩行者の全体像ばかりでなく、歩行者の一部（例えば、脚部、下半身）である場合、画像処理回路２０２は、これらの映像を歩行者の可能性がある「推定歩行者」に分類する。画像処理回路２０２は、撮像のタイミング毎に、撮像された画像と、それに対する「推定歩行者」の有無をメモリ２０４に累積記憶する。
　次に、ステップＳ５０３において、画像処理回路２０２は、メモリ２０４を参照して、「推定歩行者」として分類された映像の特徴（輪郭等）を抽出し、及び／又は、連続する映像のモーションパターン（例えば、歩行者の動きを示す情報）を抽出する等して、「推定歩行者」として分類された映像の特徴パターンを抽出する。
　画像処理回路２０２は、特徴パターンと映像モデルとを比較する。画像処理回路２０２は、「推定歩行者」の映像が歩行者の全体である、又は、この映像が歩行者の一部であるか否かを判定する。画像処理回路２０２は、この判定を肯定すると、撮像対象を歩行者である識別する。この映像が歩行者の一部であることを識別できるということは、撮像された対象を歩行者として補完できるということでもある。そこで、画像処理回路２０２は、推定歩行者を補完した上で、歩行者モデルとのパターンマッチングを行ってもよい。なお、補完については、既述の特許文献１を含めて公知のものを参照すればよい。
　そして、ステップＳ５０４では、画像処理回路２０２は、ステップＳ５０３の判定結果（歩行者識別結果）を直接、照明制御モジュール１０６に出力する。照明制御モジュール１０６は、後述のとおり、推定歩行者が判定されると、照明モジュール１０７をハイビームになるように点灯させる。なお、ステップＳ５０３で、撮像対象が歩行者ではないと判定された場合には、ステップＳ５０４がスキップされてもよい。
　次に、図５の判定結果に基づいて、物体検出システム１０が照明を制御する動作を図６のフローチャートに基づいて説明する。なお、照明のためのヘッドライトを一灯式のものとし、ヘッドライトをロービームからハイビームに切り替えられることを前提として説明する。照明制御モジュール１０６は、画像処理モジュール１０２から、推定歩行者の識別情報を受信すると（ステップ６０１：Ｙ）、歩行者のための撮像タイミングにおいて、ヘッドライト（照明モジュール１０７）をハイビーム照射に切り替える（ステップ６０２）。撮像モジュール１０１は、ヘッドライトがハイビームに切り替わったタイミングで、推定歩行者を撮像する（ステップ６０３）。
　照明制御モジュール１０６は、車載カメラ（照明モジュール１０７）の撮像のタイミングに合わせて、ハイビームをロービームに切り替える（ステップ６０４）。これによって、照明制御モジュール１０６は、ハイビームの点灯時間を撮像周期の範囲内に制限することができる。この結果、照明制御モジュール１０６は、ハイビームによって、推定歩行者の撮像を可能にしながら、ハイビームの点灯時間を、例えば、２ｍｓｅｃ～５０ｍｓｅｃ程度に制限できる。ハイビームの点灯時間が極めて短時間であることによって、他車への眩惑、他車のセンサの飽和等を避けることができる。
　画像処理回路２０２は、ハイビームの点灯期間に撮像された映像を歩行者モデルと比較して、映像が歩行者であるか否かを解析、換言すれば、推定歩行者が歩行者として正しかったか否かの真偽を判定する（ステップ６０６）。画像処理回路２０２は、判定結果を肯定すると、肯定情報を車両制御モジュール１０４に出力する。車両制御モジュール１０４は、「歩行者」の存在のための警報の発報を警報通知モジュール１０８に設定する（ステップ６０７）。ハイビームの点灯時間が極短時間であり、ドライバーが歩行者を視認できなくても、「歩行者」の存在のための警報がドライバーに提供される。
　画像処理モジュール１０２は、図５と図６のフローチャートを、例えば、撮像周期に合わせて、繰り返し実行する。車両が時速４０ｋｍ／ｈで走行している場合、１秒あたり約１１ｍ走行する計算となる。歩行者は時速４ｋｍ／ｈを目安とすると、１秒あたり約１ｍ移動する。歩行者の飛び出し等のリスクを考慮すれば、画像処理モジュール１０２は、図５と図６のフローチャートを、少なくとも１秒間隔で実行すればよい。撮像周期は、これより遥かに短い。
　画像処理回路２０２は、「推定歩行者」が歩行者であることを判定した場合は、この「推定歩行者」に対して、ハイビームを点灯させない。画像処理回路２０２は、「推定歩行者」を歩行者であると判定できない場合、ステップ６０８において「推定歩行者」が歩行者以外であると確定できるか否かを判定し、これを否定する場合には、ステップ６０２に戻り、次のタイミングにおいてハイビームへの切替を行い、「推定歩行者」の判定を継続する。
　ステップ６０６、６０８において、画像処理回路２０２は、物体（推定歩行者）の動きの情報つまりトラッキング情報等を用いて、歩行者を認識するための確度を向上できるようにしてよい。歩行者は、車両の速度に対して移動速度が遅いため、段階的に歩行者と車両との距離が短くなり、歩行者の検知の精度が向上する。
　既述のとおり、画像処理モジュール１０２から、ＣＡＮ等のネットワークを経由することなく、照明制御モジュール１０６に、直接、ハイビーム点灯指令が伝達されるため、伝送遅延の問題が解消される。その結果、撮像タイミング・撮像時間に整合して、照明制御モジュール１０６はハイビームを点灯させることができる。ハイビームの点灯時間が極短時間であっても、撮像モジュール１０１は、露光時間等の条件を踏まえた上で、対象体を撮像できる。
　図７に、撮像モジュール１０１の動作をフローチャートとして説明する。撮像モジュール１０１は図７のフローチャートを繰り返すことにより、車両前方を撮像する。短露光時間処理（ステップ７０１）では輝度の高いヘッドライト（対向車）の検出のために、撮像モジュール１０１は、短い露光時間での撮像を行う。中露光時間処理（ステップ７０２）では、輝度の低いテールランプ（前方車）の検出のために、撮像モジュール１０１は、中程度の露光時間での撮像を行う。長露光時間処理（ステップ７０３）では、光源を持たない歩行者の検出のために、撮像モジュール１０１は、長露光時間での撮像を行う。照明制御モジュール１０６は、長露光時間での撮像のタイミングに合わせて、照明モジュール１０７をハイビームの点灯状態にする。歩行者の反射光量が低いため、歩行者の検出には、相対的に長い露光時間を必要とする。なお、これらの処理順番を、図７のものとは異なるようにしてもよい。
　図８は、撮像とハイビームの点灯とのタイミングチャートである。８ａは、タイミング信号８０１のパターンであり、例えば、６０ｍｓｅｃ毎に、タイミング信号８０１が出力される。隣接するタイミング信号の間の期間が、撮像周期である。８ｂは、撮像のタイミングパターンである。撮像モジュール１０１は、第１のタイミング信号に同期して短露光時間撮像を行い（８０２）、第２のタイミング信号に同期して中露光時間撮像を行い（８０３）、第３のタイミング信号に同期して長露光時間撮像を行う（８０４）。
　８ｄは、ハイビーム（遠方照射）の点灯タイミングを示す。照明制御モジュール１０６は、第３のタイミング信号に同期して、換言すれば、歩行者の撮像のための長露光時間撮像（８０４）に合わせて、或いは、同期させて、ハイビームの点灯を、照明モジュール１０７に実行させる（８０５）。したがって、照明制御モジュール１０６は、ハイビームの点灯を、歩行者の撮像のための期間に制限、或いは、設定することができる。
　照明モジュール１０７の応答速度が早ければ、照明制御モジュール１０６は、８ｅに示すように、長露光時間撮像（８０４）と同じタイミングにハイビームのオン（８０５）を設定する。照明モジュール１０７の応答速度、及び、車両での回路内の信号遅延の影響から、十分な照度を得るために、照明制御モジュール１０６は、ハイビームのオンを時定数Δｔを含めて実行する。即ち、照明制御モジュール１０６は、ハイビームのオンを、８ｄの長露光時間撮像の波形（８０４）の時定数Δｔ分先行させて実行する。これにより、ハイビームの照度は、破線部のように徐々に立ち上がり、撮像を開始するまでに十分な照度になる（８ｅ）。なお、ハイビームのオフは時定数Δｔの影響を受けないので、照明制御モジュール１０６は、長露光時間撮像（８０４）のオフと同じタイミングで、ハイビームのオフを実行してもよい。
　なお、照明モジュール１０７の量産品においては、個体差の影響も想定する必要がある。そこで、照明制御モジュール１０６は、時定数Δｔに加えて、例えば、３０％程度の余裕を持って、ハイビームのオン・オフを実行してもよい（８ｆ）。なお、８ｃに示すように、撮像モジュール１０１は、短露光時間８０２と中露光時間８０３とを、第１のタイミング信号と第２のタイミング信号との間で実施し、長露光時間８０４を第２のタイミングに同期させて実行するようにしてもよい。
　夜間ハイビーム走行時の歩行者９０１の撮像映像を図９Ａに示す。夜間ロービーム走行時の歩行者９０１の撮像映像を図９Ｂに示す。図９Ａによれば、ドライバーは、歩行者９０１を確認することができ、一方、図９Ｂによれば、ロービームは遠方まで届かないために、遠方は照明が制限さえる遮光領域９０２となって、ドライバーは、遠方の歩行者９０１を確認できない。
　図１０Ａは、車両の進行によって、歩行者１００１が車両に近接した撮像映像（夜間ハイビーム）を示す。１００２は対向車の映像である。図１０Ｂは、夜間ロービーム時の映像である。図１０Ｂから分かるように、歩行者１００１のうち、その足元１００３Ｂのみが撮像される。ドライバーは、他車への眩惑を避けるため、通常、ロービームで走行しており、歩行者の足元が見えるだけで、これを歩行者であると視認し難い。画像処理モジュール１０２は、その足元の映像を推定歩行者として分類し、これに短時間ハイビームを適用することにより、歩行者の全体を照明して（図１０Ａ）、歩行者を判定する。
　画像処理モジュール１０２は、対向車両の検出については、歩行者のための認識のように、映像としてではなく、そのヘッドライトの輝度情報に基づいた光点を利用すればよい。ロービーム時の遮光領域１００３（図１０Ｂ）に対向車が存在していても、画像処理モジュール１０２は、対向車をヘッドライトの光点１００３Ａに基いて検出できる。図１１は、短時間露光（図８（８ｄ））で得られた画像である。輝度情報は受光素子の配列であるＲＧＢのカラー受光素子成分より以下の換算式により導出される。
        Y =  0.299R + 0.587G + 0.114B
        U = -0.147R - 0.289G + 0.436B
        V =  0.615R - 0.515G - 0.100B
　Ｙは輝度情報、Ｕ，Ｖは色差信号であり、輝度情報Ｙを指標とすることにより、画像処理モジュール１０２は、周辺よりも十分に明るいヘッドライト、及び、テールライトを検知することができる。露光時間が制限することにより、画像処理モジュール１０２は、対向車、前方車周辺の自発光ノイズを削除でき、ヘッドライト、テールライト等の光点を検出、抽出することができる。
　既述の実施形態では、照明モジュール１０７として、モジュール全体として、ハイビームを点灯のオン・オフ、或いは、光の照射方向をロー・ハイと切り替えるタイプのものを説明したが、これに限らず、例えば、複数のＬＥＤ等の発光部を備えるヘッドライトであってもよい。この種の照明モジュールでは、発光部毎に、光量、光の方向等を変えることができる。図１２は、ＬＥＤヘッドライトで照明された領域を撮像した映像の一例である。１３０２は、対向車の領域であって、この領域の光量が制限されている。１３０１は歩行者の領域であって、ここでも光量が制限されている。このように、ＬＥＤヘッドライトは、所定の領域毎に、光量を調整できる。光量が制限されているとは、制限領域に対応するＬＥＤが非駆動か、或いは，ＬＥＤの駆動電流が制限されていることを意味する。光量が制限されるは、対向車や歩行者に対する眩惑の制限のためである。
　１３０１の領域に歩行者が存在すると、車両が歩行者に近づいた際、図１３に示すように、１３０１の領域の下端から歩行者の下肢１３１０が露出した映像が、画像処理モジュール１０２に提供される。画像処理モジュール１０２は、これを推定歩行者と判定すると、照明制御モジュール１０６は、１３０１の領域に対応するＬＥＤを点灯させるか、ＬＥＤの駆動電流を増大させるか、制限領域に向いていないＬＥＤの向きを変えて制限領域を照射するＬＥＤの数を増やすこと等を一時的に行い、制限領域１３０１を高輝度にすることによって、撮像モジュール１０１は歩行者全身１３２０を撮像できるようになった（図１４）。
　既述の実施形態では、画像処理モジュール１０２と照明制御モジュール１０６とを、別なＬＳＩから構成されることを説明したが、図１５に示すように、一体のＬＳＩ（画像処理・照明制御モジュール１５０１）にしてもよい。図１６は、画像処理・照明制御モジュール１５０１の詳細なブロック図である。画像処理・照明制御モジュール１５０１は、画像処理回路２０２に加えて、照明制御回路１６０２を備え、コントローラ２０１は、これらを統合制御する。こうすることによって、画像処理回路２０２が推定歩行者を判定したことに伴う、ハイビームのオン・オフを迅速かつ確実に制御して、歩行者検知と他車への眩惑防止の両立を図っている。
　また、図１７に示すように、画像処理モジュール１０２、又は、画像処理・照明制御モジュール１５０１とレーダ測距モジュール１７０１とを接続してもよい。レーダ測距モジュール１７０１は、ミリ波レーダ、もしくはＬＩＤＡＲ（Light Detection and Ranging）等の光照射とその反射光の受光による測距を行う。また、認識処理・照明制御モジュール１７０２は、レーダ測距モジュール１７０１に搬送情報の提供と受光信号の分別制御、更には照明モジュール１０７の制御も行う。認識処理・照明制御モジュール１７０２は、レーダが検知した立体物を、認識処理・照明制御によって確定することができる。例えば、レーダが検知した立体物に対して、認識処理・照明制御モジュール１７０２は一時的にハイビームを照射し、その際の撮像した映像を画像処理して、必要に応じて推定歩行者を判定しながら、立体物を歩行者であると確定する。図１８に示すように、認識処理・照明制御モジュール１７０２は、レーダ測距のための変復調回路１８０１と、レーダ測距モジュール１７０１へのインターフェース１８０２を備える。
　図１９に示すように、物体検出システム１０は、可視光の照明モジュール１０７の他に、赤外照明モジュール１９０１を備えてもよい。画像処理モジュール１０２は、推定歩行者を判定すると、歩行者の確定のために、赤外照明モジュール１９０１から、推定歩行者に向けて赤外光を一時的に照射する。撮像モジュール１０１は、赤外線カメラを備え、赤外線によって照明された対象を撮像する。画像処理モジュール１０２は、可視光の一時的な照射を実行してもしなくてもよい。赤外照明モジュール１９０１によって、悪天候時の夜間であっても、推定歩行者が確実に照明される。
　赤外光検出のためには、赤外受光素子を有する撮像素子が必要となる。赤外受光素子（ＩＲ）を追加したカラー画素の受光素子の配置を図２０に示す。赤外光成分をＩＲ画素で検知する他は、図３のカラー画素の受光素子と同様である。
　クリア画素（Ｃ）を用いる構成を図２１に示す。赤外受光素子と赤色受光素子に対して、クリア画素を入れ子に配置する。本配列により、クリア画素は画面全体で均等に受光でき、かつ赤外成分、赤色成分も検知が可能な撮像素子が実現できる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＳＤカード等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１０　物体検出システム、１００　車載装置、１０１　撮像モジュール、１０２　画像処理モジュール、１０６　照明制御モジュール、１０７　照明モジュール
 

Claims (7)

  1. 　車両外の物体を検出し、検出情報を車両の制御装置に提供する物体検出システムであって、
    　前記物体を照明するための照明モジュールと、
    　前記照明モジュールを制御する照明制御モジュールと、
    　前記物体を撮像する撮像モジュールと、
    　前記物体が撮像された画像を処理する画像処理モジュールと、
    　を備え、
    　前記撮像モジュールが照明制限領域の物体を撮像するタイミングに合わせて、
    　前記照明制御モジュールは、前記画像処理モジュールの画像処理の結果に基づいて、前記照明モジュールによる、前記照明制限領域への照明の開始と終了とを制御する、
    　物体検出システム。
  2. 　前記画像処理モジュールは、
    　前記物体が撮像された画像が特定対象体の可能性があることを判定すると、
    　前記照明制御モジュールに、前記撮像モジュールが前記照明制限領域の物体を撮像するタイミングに合わせて、前記照明制限領域への照明の開始と終了とを制御させる、
    　請求項１記載の物体検出システム。
  3. 　前記撮像モジュールは、前記照明制限領域への照明によって、前記物体を撮像し、
    　前記画像処理モジュールは、当該物体を撮像した画像が、前記特定対象体であるか否かを判定する、
    　請求項２記載の物体検出システム。
  4. 　前記照明モジュールは、第一の照明状態と、第二の照明状態と、を切替自在に構成され、
    　前記照明制御モジュールは、前記照明制限領域への照明を、前記第二の照明状態によって、実行する、
    　請求項１記載の物体検出システム。
  5. 　前記画像処理モジュールは、
    　前記物体が撮像された画像が前記特定対象体の一部であることを判定すると、
    　当該画像が前記特定対象体の可能性があると判定する、
    　請求項２記載の物体検出システム。
  6. 　前記照明モジュールは、
    　前記第一の照明状態において、前記車両の前方を照明し、
    　前記第二の照明状態において、前記第一の照明状態よりも遠方も照射する、
    　請求項４記載の物体検出システム。
  7. 　前記照明制限領域が、前記第一の照明状態では照明されず、前記第二の照明状態で照明される領域である、
    　請求項４記載の物体検出システム。 
PCT/JP2018/029713 2017-08-28 2018-08-08 物体検出システム WO2019044434A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/631,680 US11167687B2 (en) 2017-08-28 2018-08-08 Object detection system
DE112018003170.5T DE112018003170T5 (de) 2017-08-28 2018-08-08 Objektdetektionssystem
JP2019539144A JP6853890B2 (ja) 2017-08-28 2018-08-08 物体検出システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-163370 2017-08-28
JP2017163370 2017-08-28

Publications (1)

Publication Number Publication Date
WO2019044434A1 true WO2019044434A1 (ja) 2019-03-07

Family

ID=65526322

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029713 WO2019044434A1 (ja) 2017-08-28 2018-08-08 物体検出システム

Country Status (4)

Country Link
US (1) US11167687B2 (ja)
JP (1) JP6853890B2 (ja)
DE (1) DE112018003170T5 (ja)
WO (1) WO2019044434A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3111104B1 (fr) * 2020-06-09 2022-08-05 Alstom Transp Tech Système, et procédé, de signalisation d’obstacles pour un véhicule

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009083824A (ja) * 2007-10-03 2009-04-23 Honda Motor Co Ltd 車両用歩行者検出装置
JP2010111261A (ja) * 2008-11-06 2010-05-20 Honda Motor Co Ltd 視覚支援装置
JP2011084237A (ja) * 2009-10-19 2011-04-28 Koito Mfg Co Ltd 車輌用前照灯の制御システム
JP2013119357A (ja) * 2011-12-08 2013-06-17 Toyota Central R&D Labs Inc 照明制御装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6311768B1 (ja) * 2016-10-24 2018-04-18 マツダ株式会社 車両用ヘッドライト制御装置
JP2019004203A (ja) * 2017-06-12 2019-01-10 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム。

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009083824A (ja) * 2007-10-03 2009-04-23 Honda Motor Co Ltd 車両用歩行者検出装置
JP2010111261A (ja) * 2008-11-06 2010-05-20 Honda Motor Co Ltd 視覚支援装置
JP2011084237A (ja) * 2009-10-19 2011-04-28 Koito Mfg Co Ltd 車輌用前照灯の制御システム
JP2013119357A (ja) * 2011-12-08 2013-06-17 Toyota Central R&D Labs Inc 照明制御装置

Also Published As

Publication number Publication date
US20200148097A1 (en) 2020-05-14
JPWO2019044434A1 (ja) 2020-04-16
DE112018003170T5 (de) 2020-04-02
JP6853890B2 (ja) 2021-03-31
US11167687B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
US10880471B2 (en) Building night vision and other driver assistance systems (DAS) using near infra-red (NIR) illumination and rolling shutter
JP4253271B2 (ja) 画像処理システム及び車両制御システム
JP4253275B2 (ja) 車両制御システム
JP5617999B2 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
EP1962226B1 (en) Image recognition device for vehicle and vehicle head lamp controller and method of controlling head lamps
US10552688B2 (en) Method and device for detecting objects in the surroundings of a vehicle
US20120062746A1 (en) Image Processing Apparatus
US20110074956A1 (en) Device, camera, and method for generating images of the surrounding of a motor vehicle
JP6034923B1 (ja) 車外環境認識装置
CN110087946B (zh) 车辆用照明系统和车辆
JP2004104646A (ja) 車載用画像処理装置
JP2004538545A (ja) 車両のヘッドランプまたは他の車両機器を制御するための画像処理システム
US9616805B2 (en) Method and device for controlling a headlamp of a vehicle
JP6420650B2 (ja) 車外環境認識装置
JP2013534332A (ja) 光源認識方法および装置
JP6335037B2 (ja) 車外環境認識装置
JP6259335B2 (ja) 車外環境認識装置
JP2007124676A (ja) 車載用画像処理装置
JP6853890B2 (ja) 物体検出システム
JP2020107052A (ja) 車外環境認識装置
JP6654870B2 (ja) 車外環境認識装置
JP6335065B2 (ja) 車外環境認識装置
CN110774976B (zh) 用于控制车辆前灯的装置和方法
US20230022313A1 (en) Object detection system for a motor vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18850065

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019539144

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18850065

Country of ref document: EP

Kind code of ref document: A1